CN105323634B - 一种视频的缩略图生成方法及系统 - Google Patents
一种视频的缩略图生成方法及系统 Download PDFInfo
- Publication number
- CN105323634B CN105323634B CN201410296193.XA CN201410296193A CN105323634B CN 105323634 B CN105323634 B CN 105323634B CN 201410296193 A CN201410296193 A CN 201410296193A CN 105323634 B CN105323634 B CN 105323634B
- Authority
- CN
- China
- Prior art keywords
- frame
- face
- key
- personage
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明公开了一种视频的缩略图生成方法及系统，通过提取视频的所有关键帧，识别所有关键帧中各个人物的人脸，并找出关键人物；找出同时存在所有关键人物的起止时间最长的连续关键帧片段，并在所述起止时间最长的连续关键帧片段中找出人脸分布比率最高的人物的人脸面积最大时的关键帧作为人脸关键帧；找出所述人脸关键帧对应的字幕的起止时间段与所述起止时间最长的连续关键帧片段的重叠区域作为关键剧情；根据所述关键剧情的每一帧中所有关键人物的人脸分布比率和对应的人脸面积找出对应的最佳效果帧作为所述视频的缩略图；使得缩略图包含了关键人物间互动的重要剧情，直观地反映了视频的关键信息，给用户带来了大大的方便。
Description
技术领域
本发明涉及视频处理领域，尤其涉及的是一种视频的缩略图生成方法及系统。
背景技术
在用户查看视频文件时，为了方便和快捷的了解视频的信息，通常采取缩略图的形式，直观地展现一些关键信息，从而使得用户能够在不全部观看视频文件的情况下对该视频有一定了解。现有技术为了实现的简单，往往采取获取视频的第一帧、固定帧或指定关键帧作为视频的缩略图，但这些方式对视频内容没有参考意义，这是因为视频的第一帧一般都是黑屏或信息很少，而固定帧无法针对普遍的视频，关键帧也不能保证能体现视频的关键信息，因此这些方法产生的缩略图并不能直观的给用户展现视频的真正关键信息，失去了缩略图的意义。
因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于，提供一种视频的缩略图生成方法及系统，旨在解决现有的视频缩略图无法直观展现视频的关键信息的问题。
本发明解决技术问题所采用的技术方案如下：
一种视频的缩略图生成方法，其中，包括以下步骤：
A、提取视频的所有关键帧，识别所有关键帧中各个人物的人脸，并找出所述各个人物中的人脸分布比率最高的人物，及与最高人脸分布比率之差不超过预定比率的人脸分布比率对应的人物作为关键人物；
B、找出同时存在所有关键人物的起止时间最长的连续关键帧片段，并在所述起止时间最长的连续关键帧片段中找出人脸分布比率最高的人物的人脸面积最大时的关键帧作为人脸关键帧；
C、找出所述人脸关键帧对应的字幕的起止时间段与所述起止时间最长的连续关键帧片段的重叠区域作为关键剧情；
D、分析所述关键剧情的每一帧，根据每一帧中所有关键人物的人脸分布比率和对应的人脸面积找出对应的最佳效果帧，将所述最佳效果帧作为所述视频的缩略图。
所述的视频的缩略图生成方法，其中，所述步骤A具体包括：
A1、提取视频中所有的I帧；
A2、识别所有I帧中各个人物的人脸和人脸所占面积大小；
A3、对识别出来的人脸进行相似归并；
A4、计算各个人物的人脸在所有I帧中的分布比率，找出人脸分布比率最高对应的人物，及与最高人脸分布比率之差不超过预定比率的人脸分布比率对应的人物作为关键人物。
所述的视频的缩略图生成方法，其中，所述步骤B具体包括：
B1、在所有关键帧中找出同时存在所有关键人物的连续关键帧片段作为重点片段，并在所述重点片段中找出起止时间最长的连续关键帧片段作为重点剧情；
B2、找出人脸分布比率最高的人物在所述重点剧情中人脸面积最大时所在的关键帧作为人脸关键帧。
所述的视频的缩略图生成方法，其中，所述步骤C具体包括：
C1、根据所述人脸关键帧的时间找到对应的字幕的起止时间段；
C2、根据所述字幕的起止时间段与所述重点剧情的重叠区域作为关键剧情。
所述的视频的缩略图生成方法，其中，所述步骤D具体包括：
D1、对所述关键剧情的每一帧进行逐一分析；
D2、计算每一帧中各个关键人物的人脸分布比率与对应的人脸面积大小之积再求和，得到每一帧对应的系数，将系数最大的一帧作为最佳效果帧；
D3、根据所述最佳效果帧生成所述视频的缩略图。
一种视频的缩略图生成系统，其中，包括：
关键人物查找模块，用于提取视频的所有关键帧，识别所有关键帧中各个人物的人脸，并找出所述各个人物中的人脸分布比率最高的人物，及与最高人脸分布比率之差不超过预定比率的人脸分布比率对应的人物作为关键人物；
关键帧查找模块，用于找出同时存在所有关键人物的起止时间最长的连续关键帧片段，并在所述起止时间最长的连续关键帧片段中找出人脸分布比率最高的人物的人脸面积最大时的关键帧作为人脸关键帧；
关键剧情查找模块，用于找出所述人脸关键帧对应的字幕的起止时间段与所述起止时间最长的连续关键帧片段的重叠区域作为关键剧情；
缩略图生成模块，用于分析所述关键剧情的每一帧，根据每一帧中所有关键人物的人脸分布比率和对应的人脸面积找出对应的最佳效果帧，将所述最佳效果帧作为所述视频的缩略图。
所述的视频的缩略图生成系统，其中，所述关键人物查找模块包括：
I帧提取单元，用于提取视频中所有的I帧；
人脸识别单元，用于识别所有I帧中各个人物的人脸和人脸所占面积大小；
相似归并单元，用于对识别出来的人脸进行相似归并；
关键人物计算单元，用于计算各个人物的人脸在所有I帧中的分布比率，找出人脸分布比率最高对应的人物，及与最高人脸分布比率之差不超过预定比率的人脸分布比率对应的人物作为关键人物。
所述的视频的缩略图生成系统，其中，所述关键帧查找模块包括：
重点剧情查找单元，用于在所有关键帧中找出同时存在所有关键人物的连续关键帧片段作为重点片段，并在所述重点片段中找出起止时间最长的连续关键帧片段作为重点剧情；
人脸关键帧查找单元，用于找出人脸分布比率最高的人物在所述重点剧情中人脸面积最大时所在的关键帧作为人脸关键帧。
所述的视频的缩略图生成系统，其中，所述关键剧情查找模块包括：
字幕时间查找单元，用于根据所述人脸关键帧的时间找到对应的字幕的起止时间段；
关键剧情计算单元，用于根据所述字幕的起止时间段与所述重点剧情的重叠区域作为关键剧情。
所述的视频的缩略图生成系统，其中，所述缩略图生成模块包括：
帧分析单元，用于对所述关键剧情的每一帧进行逐一分析；
最佳效果帧计算单元，用于计算每一帧中各个关键人物的人脸分布比率与对应的人脸面积大小之积再求和，得到每一帧对应的系数，将系数最大的一帧作为最佳效果帧；
缩略图生成单元，用于根据所述最佳效果帧生成所述视频的缩略图。
本发明所提供的一种视频的缩略图生成方法及系统，有效地解决了现有的视频缩略图无法直观展现视频的关键信息的问题，通过提取视频的所有关键帧，识别所有关键帧中各个人物的人脸，并找出所述各个人物中的人脸分布比率最高的人物，及与最高人脸分布比率之差不超过预定比率的人脸分布比率对应的人物作为关键人物；找出同时存在所有关键人物的起止时间最长的连续关键帧片段，并在所述起止时间最长的连续关键帧片段中找出人脸分布比率最高的人物的人脸面积最大时的关键帧作为人脸关键帧；找出所述人脸关键帧对应的字幕的起止时间段与所述起止时间最长的连续关键帧片段的重叠区域作为关键剧情；分析所述关键剧情的每一帧，根据每一帧中所有关键人物的人脸分布比率和对应的人脸面积找出对应的最佳效果帧，将所述最佳效果帧作为所述视频的缩略图；将出场率最高的人物为主的正面效果对白的帧作为缩略图，使得缩略图包含了关键人物间互动的重要剧情，直观地反映了视频的关键信息，使用户充分的了解文字所无法表达的信息，本发明不仅通过人脸识别技术对视频进行人来呢分析，还对剧情和字幕进行了分析，从而得到了能体现视频的关键信息的视频缩略图，给用户带来了大大的方便。
附图说明
图1为本发明提供的视频的缩略图生成方法较佳实施例的流程图。
图2为本发明提供的视频的缩略图生成方法中步骤S100的方法流程图。
图3为本发明提供的视频的缩略图生成方法中步骤S200的方法流程图。
图4为本发明提供的视频的缩略图生成方法中步骤S300的方法流程图。
图5为本发明提供的视频的缩略图生成方法中步骤S400的方法流程图。
图6为本发明提供的视频的缩略图生成系统较佳实施例的结构框图。
图7为本发明提供的视频的缩略图生成系统中关键人物查找模块的结构框图。
图8为本发明提供的视频的缩略图生成系统中关键帧查找模块的结构框图。
图9为本发明提供的视频的缩略图生成系统中关键剧情查找模块的结构框图。
图10为本发明提供的视频的缩略图生成系统中缩略图生成模块的结构框图。
具体实施方式
本发明提供一种视频的缩略图生成方法及系统，为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，图1为本发明提供的视频的缩略图生成方法较佳实施例的流程图，如图所示，所述方法包括以下步骤：
步骤S100、提取视频的所有关键帧，识别所有关键帧中各个人物的人脸，并找出所述各个人物中的人脸分布比率最高的人物，及与最高人脸分布比率之差不超过预定比率的人脸分布比率对应的人物作为关键人物；
步骤S200、找出同时存在所有关键人物的起止时间最长的连续关键帧片段，并在所述起止时间最长的连续关键帧片段中找出人脸分布比率最高的人物的人脸面积最大时的关键帧作为人脸关键帧；
步骤S300、找出所述人脸关键帧对应的字幕的起止时间段与所述起止时间最长的连续关键帧片段的重叠区域作为关键剧情；
步骤S400、分析所述关键剧情的每一帧，根据每一帧中所有关键人物的人脸分布比率和对应的人脸面积找出对应的最佳效果帧，将所述最佳效果帧作为所述视频的缩略图。
下面结合具体的实施例对上述步骤进行详细的描述。
在步骤S100中，提取视频的所有关键帧，识别所有关键帧中各个人物的人脸，并找出所述各个人物中的人脸分布比率最高的人物，及与最高人脸分布比率之差不超过预定比率的人脸分布比率对应的人物作为关键人物。具体来说，视频的关键帧即为视频的I帧（Iframe），又称为内部画面 (intra picture)，I 帧通常是每个GOP（MPEG 所使用的一种视频压缩技术）的第一个帧，经过适度地压缩，做为随机访问的参考点，可以当成图像。帧是构成视频图像的基本单位。关键帧也叫I帧，它是帧间压缩编码里的重要帧；它是一个全帧压缩的编码帧；解码时仅用I帧的数据就可重构完整图像；I帧不需要参考其他画面而生成。
请参阅图2，图2为本发明提供的视频的缩略图生成方法中步骤S100的方法流程图。进一步地，所述步骤S100具体包括：S110、提取视频中所有的I帧；S120、通过人脸识别技术识别所有I帧中各个人物的人脸和人脸所占面积大小；S130、通过人脸相似算法对识别出来的人脸进行相似归并；S140、计算各个人物的人脸在所有I帧中的分布比率，找出人脸分布比率最高对应的人物，及与最高人脸分布比率之差不超过预定比率的人脸分布比率对应的人物作为关键人物。
具体来说，由于关键帧可以单独提取出来解码，并且可以不通过连续解码直接用函数获取，所以可采取直接从视频文件直接提取关键帧实现，找出所述视频所有的关键帧，即I帧。然后利用人脸识别技术，统计出所有I帧中各个人物的人脸和人脸所占的面积大小（也就是每个I帧上各个人脸所占像素的多少）。所述人脸识别技术乃现有技术，此处不作过多描述。由于视频中各个人物对应的人脸有多种情况，还需要对识别出来的人脸进行相似归并，可通过相似算法，对相似的人脸进行归并，将相似的人脸都归属于同一个人物，从而对人脸识别结果进行归类梳理，得到各个人物对应的人脸，使得识别结果更加准确。所述相似算法乃现有技术，此处不做过多描述。
再计算各个人物的人脸在所有I帧中的分布比率，找出人脸分布比率最高对应的人物及与最高人脸分布比率之差不超过预定比率的人物作为关键人物。也就是说，在人脸相似归并之后，便可得出每个人物对应的多个人脸，计算各个人物的人脸在所有I帧中的分布比率，举例来说就是若某视频文件所有I帧总数为100个，若在80个I帧上都存在某个人物的人脸（无论人脸大小），那么该人物对应的人脸分布比率为80%，这样分别计算每个人物的人脸分布比率，找出其中的最高值，以及与最高人脸分布比率之差不超过预定比率的人脸分布比率对应的人物作为关键人物，譬如最高人脸分布比率为80%，预定比率一般设置为10%，若某人物的人脸分布比率为75%，则将该人物作为关键人物，若某人物的人脸分布比率为65%，则不将该人物作为关键人物。也就是说，该步骤将所述视频中出现次数最多的人物和之分布相近的人物都提取出来作为该视频的关键人物。
在步骤S200中，找出同时存在所有关键人物的起止时间最长的连续关键帧片段，并在所述起止时间最长的连续关键帧片段中找出人脸分布比率最高的人物的人脸面积最大时的关键帧作为人脸关键帧。具体来说，在所有关键帧中找出同时存在上述关键人物的连续关键帧，一般来说，会有多个片段都存储所有关键人物，那么找出这些连续关键帧片段中起止时间最长的（也就是播放时间最长）片段。然后在起止时间最长的连续关键帧片段中找出上述人脸分布比率最高的人物在该连续关键帧片段中人脸面积最大（在某关键帧中人脸占的图像面积最大，像素最多）时的关键帧作为人脸关键帧。
也就是说，查找出同时包括所有关键人物的连续关键帧片段，并以连续关键帧最前的一关键帧为起始帧，最后的一个关键帧为终止帧，找到其中起止时间段最长的连续关键帧片段；需要说明的是，关键帧最多的片段不一定就起止时间最长，因为关键帧是在场景切换时加的比较多，所以关键帧最多的不一定最长。
请参阅图3，图3为本发明提供的视频的缩略图生成方法中步骤S200的方法流程图。进一步地，所述步骤S200具体包括：S210、在所有I帧中找出同时存在所有关键人物的连续关键帧片段作为重点片段，并在所述重点片段中找出起止时间最长的连续关键帧片段作为重点剧情；S220、找出人脸分布比率最高的人物在所述重点剧情中人脸面积最大时所在的I帧作为人脸关键帧。也就是说，在所有关键帧中查找出同时存在包括所有关键人物的连续关键帧片段，所述连续关键帧片段是以连续关键帧最前的一个关键帧为起始帧，最后的一个关键帧为终止帧，起始帧和终止帧之间的视频，可记为重点片段。然后在所有的重点片段中找出播放时间最长的作为重点剧情。再找出人脸分布比率最高的人物在重点剧情中人脸最大时的那个关键帧作为人脸关键帧。
在步骤S300中，找出所述人脸关键帧对应的字幕的起止时间段与所述起止时间最长的连续关键帧片段的重叠区域作为关键剧情。具体来说，再根据所述人脸关键帧的时间找到该关键帧所在的字幕，然后对应的字幕有起止时间段（譬如每条字幕的时间轴），将其与所述起止时间最长的连续关键帧片段的重叠区域作为关键剧情。也就说，找出对应字幕的起止时间段与最长连续关键帧片段的时间上的重叠区域作为关键剧情，所述关键剧情即为所述视频上那个重叠时间内的片段。
请参阅图4，图4为本发明提供的视频的缩略图生成方法中步骤S300的方法流程图。进一步地，所述步骤S300具体包括：S310、根据所述人脸关键帧的时间找到对应的字幕的起止时间段；S320、根据所述字幕的起止时间段与所述重点剧情的重叠区域作为关键剧情。
在步骤S400中，分析所述关键剧情的每一帧，根据每一帧中所有关键人物的人脸分布比率和对应的人脸面积找出对应的最佳效果帧，将所述最佳效果帧作为所述视频的缩略图。
具体来说，对所述关键剧情内的每一帧逐一分析，按照在每一帧中所有关键人物的人脸分布比率乘以各个关键人物的人脸大小再求和，结果最大的一帧就是最佳效果帧，将所述最佳效果帧作为所述视频的缩略图。
请参阅图5，图5为本发明提供的视频的缩略图生成方法中步骤S400的方法流程图。进一步地，所述步骤S400具体包括：S410、对所述关键剧情的每一帧进行逐一分析；S420、计算每一帧中各个关键人物的人脸分布比率与对应的人脸面积大小之积再求和，得到每一帧对应的系数，将系数最大的一帧作为最佳效果帧；S430、根据所述最佳效果帧生成所述视频的缩略图。
以下以一具体的应用实施例来对本发明进行举例说明。以某一段视频为例进行说明如下，首先找到所述视频的所有关键帧，然后在每一个关键帧中找到了所有人物的人脸，用相似算法合并相似人脸，最后统计出所有在关键帧中出现的人物和人物人脸的面积大小，找到出现最多的若干人物认为是主角，找到包含所有主角的关键帧，譬如第3、5、6、7、8、11、12、15帧，则重点片段为5-8帧，11-12帧，这两个区域哪个最长那个就是重点剧情，假设5-8帧长（这里是指5~8关键帧对应的视频播放时间），时间是50-150s，这时我们再在里面找到第一主角人脸面积最大时（占有的像素最多）的人脸关键帧认为是主角说话时，把这人脸关键帧的字幕时间找出，假设是46-62s，则认为关键剧情就是50-62s，这时再找出这关键剧情内的所有帧，则对关键剧情内的每一帧进行分析，由于视频中1s一般有24帧，篇幅所限其中部分帧的情况如下表1所示：
| 项目 | 人物1人脸分布比率 | 人脸面积大小 | 人物2人脸分布比率 | 人脸面积大小 | 人物3人脸分布比率 | 人脸面积大小 | 系数 |
| 52 | 0.5 | 20 | 0.7 | 10 | 0.6 | 18 | 27.8 |
| 53 | 0.5 | 30 | 0.7 | 20 | 0.6 | 10 | 35 |
| 54 | 0.5 | 80 | 0.7 | 100 | 0.6 | 80 | 158 |
| 55 | 0.5 | 20 | 0.7 | 20 | 0.6 | 20 | 36 |
| 56 | 0.5 | 40 | 0.7 | 30 | 0.6 | 40 | 65 |
表1
由表1可知，人物1、人物2和人物3为关键人物，且各自对应的人脸分布比率为50%、70%和60%。在视频帧的52帧~56帧中，人脸面积大小如表1所示，可知第52帧的系数=0.5*20+0.7*10+0.6*18=27.8，其它帧的系数算法一样，可以看出第54帧就是要找的最佳效果帧，因此，采用此帧作为该段视频的缩略图。
综上所述，本发明首先找出所有关键帧中的人脸，再使用相似度算法对人脸进行合并，统计出人物的出现概率，找出概率最高和与之分布相近的人物作为该视频的关键人物；然后再根据关键人物找关键剧情，根据统计出来的关键人物，查找所有同时包含所有关键人物的关键帧，然后找出符合条件的所有连续关键帧，以关键帧作为起止时间段，找出重点片段，然后在这些区域中找到一个起止时间段最长的作为重点剧情。
由于这一段剧情可能很长，或者有几分钟这会使得分析数据量太大，进一步地，本发明添加了字幕的分析，认为出现概率最高的主人公所说的话时候就是本发明想找的关键剧情，一般谁说话，视频镜头会对着说话的人，所以该人物的人脸所占的大小也就最大，所以把刚找出的重点剧情时间段内的关键帧的出现概率最高的人脸的大小拿出来统计，找到人脸最大的关键帧作为人脸关键帧，再根据该人脸关键帧的时间找到该人脸关键帧所在的字幕，这一字幕的起止时间段与重点剧情的交叠区域就是关键剧情。
关键剧情中会有场景或位置的变化，所以很可能这段内时间内关键人物并不是正面照，或是有正面有侧面，会看不清人物，影响对关键信息的理解，再把关键剧情内的帧逐一分析，按照所有关键人物的人脸分布比率乘以在每一帧中各个关键人物的人脸大小再求和，找出结果最大的一帧就是本发明需要的最佳效果帧，在提取出该帧作为该视频的缩略图。
由上可知，本发明提取的缩略图可以包含关键人物间互动的重要剧情，并且能找到以第一主人公为主的正面效果对白的剧情帧，将关键信息呈现给用户，可以很好的直观反映关键信息，使用户充分的了解文字所无法表达的特殊信息，给用户带来了大大的方便。
基于上述视频的缩略图生成方法，本发明实施例还提供了一种视频的缩略图生成系统，如图6所示，所述系统包括：
关键人物查找模块100，用于提取视频的所有关键帧，识别所有关键帧中各个人物的人脸，并找出所述各个人物中的人脸分布比率最高的人物，及与最高人脸分布比率之差不超过预定比率的人脸分布比率对应的人物作为关键人物；具体如步骤S100所述；
关键帧查找模块200，用于找出同时存在所有关键人物的起止时间最长的连续关键帧片段，并在所述起止时间最长的连续关键帧片段中找出人脸分布比率最高的人物的人脸面积最大时的关键帧作为人脸关键帧；具体如步骤S200所述；
关键剧情查找模块300，用于找出所述人脸关键帧对应的字幕的起止时间段与所述起止时间最长的连续关键帧片段的重叠区域作为关键剧情；具体如步骤S300所述；
缩略图生成模块400，用于分析所述关键剧情的每一帧，根据每一帧中所有关键人物的人脸分布比率和对应的人脸面积找出对应的最佳效果帧，将所述最佳效果帧作为所述视频的缩略图；具体如步骤S400所述。
请参阅图7，图7为本发明提供的视频的缩略图生成系统中关键人物查找模块的结构框图。进一步地，所述关键人物查找模块100包括：
I帧提取单元110，用于提取视频中所有的I帧；
人脸识别单元120，用于识别所有I帧中各个人物的人脸和人脸所占面积大小；
相似归并单元130，用于对识别出来的人脸进行相似归并；
关键人物计算单元140，用于计算各个人物的人脸在所有I帧中的分布比率，找出人脸分布比率最高对应的人物，及与最高人脸分布比率之差不超过预定比率的人脸分布比率对应的人物作为关键人物。
请参阅图8，图8为本发明提供的视频的缩略图生成系统中关键帧查找模块的结构框图。进一步地，所述关键帧查找模块200包括：
重点剧情查找单元210，用于在所有关键帧中找出同时存在所有关键人物的连续关键帧片段作为重点片段，并在所述重点片段中找出起止时间最长的连续关键帧片段作为重点剧情；
人脸关键帧查找单元220，用于找出人脸分布比率最高的人物在所述重点剧情中人脸面积最大时所在的关键帧作为人脸关键帧。
请参阅图9，图9为本发明提供的视频的缩略图生成系统中关键剧情查找模块的结构框图。进一步地，所述关键剧情查找模块300包括：
字幕时间查找单元310，用于根据所述人脸关键帧的时间找到对应的字幕的起止时间段；
关键剧情计算单元320，用于根据所述字幕的起止时间段与所述重点剧情的重叠区域作为关键剧情。
请参阅图10，图10为本发明提供的视频的缩略图生成系统中缩略图生成模块的结构框图。进一步地，所述缩略图生成模块400包括：
帧分析单元410，用于对所述关键剧情的每一帧进行逐一分析；
最佳效果帧计算单元420，用于计算每一帧中各个关键人物的人脸分布比率与对应的人脸面积大小之积再求和，得到每一帧对应的系数，将系数最大的一帧作为最佳效果帧；
缩略图生成单元430，用于根据所述最佳效果帧生成所述视频的缩略图。
综上所述，本发明提供的一种视频的缩略图生成方法及系统，通过提取视频的所有关键帧，识别所有关键帧中各个人物的人脸，并找出所述各个人物中的人脸分布比率最高的人物，及与最高人脸分布比率之差不超过预定比率的人脸分布比率对应的人物作为关键人物；找出同时存在所有关键人物的起止时间最长的连续关键帧片段，并在所述起止时间最长的连续关键帧片段中找出人脸分布比率最高的人物的人脸面积最大时的关键帧作为人脸关键帧；找出所述人脸关键帧对应的字幕的起止时间段与所述起止时间最长的连续关键帧片段的重叠区域作为关键剧情；分析所述关键剧情的每一帧，根据每一帧中所有关键人物的人脸分布比率和对应的人脸面积找出对应的最佳效果帧，将所述最佳效果帧作为所述视频的缩略图；将出场率最高的人物为主的正面效果对白的帧作为缩略图，使得缩略图包含了关键人物间互动的重要剧情，直观地反映了视频的关键信息，使用户充分的了解文字所无法表达的信息，不仅通过人脸识别技术进行人脸分析，还对剧情和字幕进行了分析，从而得到了能体现视频的关键信息的视频缩略图，给用户带来了大大的方便。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (6)
1.一种视频的缩略图生成方法，其特征在于，包括以下步骤：
A、提取视频的所有关键帧，识别所有关键帧中各个人物的人脸，并找出所述各个人物中的人脸分布比率最高的人物，及与最高人脸分布比率之差不超过预定比率的人脸分布比率对应的人物作为关键人物；
B、找出同时存在所有关键人物的起止时间最长的连续关键帧片段，并在所述起止时间最长的连续关键帧片段中找出人脸分布比率最高的人物的人脸面积最大时的关键帧作为人脸关键帧；
C、找出所述人脸关键帧对应的字幕的起止时间段与所述起止时间最长的连续关键帧片段的重叠区域作为关键剧情；
D、分析所述关键剧情的每一帧，根据每一帧中所有关键人物的人脸分布比率和对应的人脸面积找出对应的最佳效果帧，将所述最佳效果帧作为所述视频的缩略图；
所述步骤A具体包括：
A1、提取视频中所有的I帧；
A2、识别所有I帧中各个人物的人脸和人脸所占面积大小；
A3、对识别出来的人脸进行相似归并，将相似的人脸归属同一个人物；
A4、计算各个人物的人脸在所有I帧中的分布比率，找出人脸分布比率最高对应的人物，及与最高人脸分布比率之差不超过预定比率的人脸分布比率对应的人物作为关键人物；
所述步骤B具体包括：
B1、在所有关键帧中找出同时存在所有关键人物的连续关键帧片段作为重点片段，并在所述重点片段中找出起止时间最长的连续关键帧片段作为重点剧情；
B2、找出人脸分布比率最高的人物在所述重点剧情中人脸面积最大时所在的关键帧作为人脸关键帧；
所述连续关键帧片段以连续关键帧最前的一个关键帧为起始帧，最后的一个关键帧为终止帧，起始帧和终止帧之间的视频记为重点片段。
2.根据权利要求1所述的视频的缩略图生成方法，其特征在于，所述步骤C具体包括：
C1、根据所述人脸关键帧的时间找到对应的字幕的起止时间段；
C2、根据所述字幕的起止时间段与所述重点剧情的重叠区域作为关键剧情。
3.根据权利要求1所述的视频的缩略图生成方法，其特征在于，所述步骤D具体包括：
D1、对所述关键剧情的每一帧进行逐一分析；
D2、计算每一帧中各个关键人物的人脸分布比率与对应的人脸面积大小之积再求和，得到每一帧对应的系数，将系数最大的一帧作为最佳效果帧；
D3、根据所述最佳效果帧生成所述视频的缩略图。
4.一种视频的缩略图生成系统，其特征在于，包括：
关键人物查找模块，用于提取视频的所有关键帧，识别所有关键帧中各个人物的人脸，并找出所述各个人物中的人脸分布比率最高的人物，及与最高人脸分布比率之差不超过预定比率的人脸分布比率对应的人物作为关键人物；
关键帧查找模块，用于找出同时存在所有关键人物的起止时间最长的连续关键帧片段，并在所述起止时间最长的连续关键帧片段中找出人脸分布比率最高的人物的人脸面积最大时的关键帧作为人脸关键帧；
关键剧情查找模块，用于找出所述人脸关键帧对应的字幕的起止时间段与所述起止时间最长的连续关键帧片段的重叠区域作为关键剧情；
缩略图生成模块，用于分析所述关键剧情的每一帧，根据每一帧中所有关键人物的人脸分布比率和对应的人脸面积找出对应的最佳效果帧，将所述最佳效果帧作为所述视频的缩略图；
所述关键人物查找模块包括：
I帧提取单元，用于提取视频中所有的I帧；
人脸识别单元，用于识别所有I帧中各个人物的人脸和人脸所占面积大小；
相似归并单元，用于对识别出来的人脸进行相似归并，将相似的人脸归属同一个人物；
关键人物计算单元，用于计算各个人物的人脸在所有I帧中的分布比率，找出人脸分布比率最高对应的人物，及与最高人脸分布比率之差不超过预定比率的人脸分布比率对应的人物作为关键人物；
所述关键帧查找模块包括：
重点剧情查找单元，用于在所有关键帧中找出同时存在所有关键人物的连续关键帧片段作为重点片段，并在所述重点片段中找出起止时间最长的连续关键帧片段作为重点剧情；
人脸关键帧查找单元，用于找出人脸分布比率最高的人物在所述重点剧情中人脸面积最大时所在的关键帧作为人脸关键帧；
所述连续关键帧片段以连续关键帧最前的一个关键帧为起始帧，最后的一个关键帧为终止帧，起始帧和终止帧之间的视频记为重点片段。
5.根据权利要求4所述的视频的缩略图生成系统，其特征在于，所述关键剧情查找模块包括：
字幕时间查找单元，用于根据所述人脸关键帧的时间找到对应的字幕的起止时间段；
关键剧情计算单元，用于根据所述字幕的起止时间段与所述重点剧情的重叠区域作为关键剧情。
6.根据权利要求4所述的视频的缩略图生成系统，其特征在于，所述缩略图生成模块包括：
帧分析单元，用于对所述关键剧情的每一帧进行逐一分析；
最佳效果帧计算单元，用于计算每一帧中各个关键人物的人脸分布比率与对应的人脸面积大小之积再求和，得到每一帧对应的系数，将系数最大的一帧作为最佳效果帧；
缩略图生成单元，用于根据所述最佳效果帧生成所述视频的缩略图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410296193.XA CN105323634B (zh) | 2014-06-27 | 2014-06-27 | 一种视频的缩略图生成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410296193.XA CN105323634B (zh) | 2014-06-27 | 2014-06-27 | 一种视频的缩略图生成方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105323634A CN105323634A (zh) | 2016-02-10 |
| CN105323634B true CN105323634B (zh) | 2019-01-04 |
Family
ID=55250092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410296193.XA Active CN105323634B (zh) | 2014-06-27 | 2014-06-27 | 一种视频的缩略图生成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105323634B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105893631B (zh) * | 2016-05-31 | 2020-10-16 | 努比亚技术有限公司 | 一种视频缩略图的获取方法、装置及终端 |
| CN106657762A (zh) * | 2016-09-30 | 2017-05-10 | 上海斐讯数据通信技术有限公司 | 一种基于双摄像头的缩略图生成方法及系统 |
| CN106792272A (zh) * | 2016-11-28 | 2017-05-31 | 维沃移动通信有限公司 | 一种视频缩略图的生成方法及移动终端 |
| CN106503693B (zh) * | 2016-11-28 | 2019-03-15 | 北京字节跳动科技有限公司 | 视频封面的提供方法及装置 |
| CN106851407A (zh) * | 2017-01-24 | 2017-06-13 | 维沃移动通信有限公司 | 一种视频播放进度的控制方法及终端 |
| CN107729387B (zh) * | 2017-09-19 | 2020-12-22 | 深圳市普天宜通技术股份有限公司 | 一种视频缩略图选取方法、存储介质及电子设备 |
| CN109729425B (zh) * | 2017-10-27 | 2021-05-18 | 优酷网络技术（北京）有限公司 | 一种关键片段的预测方法及系统 |
| CN108985176B (zh) * | 2018-06-20 | 2022-02-25 | 阿里巴巴（中国）有限公司 | 图像生成方法及装置 |
| CN109089158B (zh) * | 2018-07-24 | 2020-04-28 | 四川长虹电器股份有限公司 | 用于智能电视的人脸画质参数处理系统及其实现方法 |
| CN108882024B (zh) * | 2018-08-01 | 2021-08-20 | 北京奇艺世纪科技有限公司 | 一种视频播放方法、装置及电子设备 |
| CN109034117B (zh) * | 2018-08-22 | 2020-11-17 | 北京慕华信息科技有限公司 | 一种视频提取方法及装置 |
| CN110287949B (zh) * | 2019-07-30 | 2021-04-06 | 腾讯音乐娱乐科技（深圳）有限公司 | 视频片段提取方法、装置、设备及存储介质 |
| CN110460874B (zh) * | 2019-08-09 | 2020-07-03 | 腾讯科技（深圳）有限公司 | 视频播放参数生成方法、装置、存储介质及电子设备 |
| CN111061914B (zh) * | 2019-12-10 | 2024-01-02 | 懂频智能科技(上海)有限公司 | 一种基于人脸识别技术选取特定人脸视频片段的方法 |
| CN111464833B (zh) * | 2020-03-23 | 2023-08-04 | 腾讯科技（深圳）有限公司 | 目标图像生成方法、目标图像生成装置、介质及电子设备 |
| CN111652131A (zh) * | 2020-06-02 | 2020-09-11 | 浙江大华技术股份有限公司 | 人脸识别装置及其补光方法、可读存储介质 |
| CN111914523B (zh) * | 2020-08-19 | 2021-12-14 | 腾讯科技（深圳）有限公司 | 基于人工智能的多媒体处理方法、装置及电子设备 |
| CN112423062B (zh) * | 2020-10-30 | 2023-11-10 | 深圳Tcl新技术有限公司 | 视频人物信息显示方法、装置、终端设备及存储介质 |
| CN112492382B (zh) * | 2020-11-19 | 2022-01-21 | 创盛视联数码科技（北京）有限公司 | 视频帧提取方法、装置、电子设备和存储介质 |
| CN113806570A (zh) * | 2021-09-22 | 2021-12-17 | 维沃移动通信有限公司 | 图像生成方法和生成装置、电子设备和存储介质 |
| CN115022733B (zh) * | 2022-06-17 | 2023-09-15 | 中国平安人寿保险股份有限公司 | 摘要视频生成方法、装置、计算机设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999051022A1 (en) * | 1998-03-31 | 1999-10-07 | Mate - Media Access Technologies Ltd. | Method of selecting key-frames from a video sequence |
| US6711587B1 (en) * | 2000-09-05 | 2004-03-23 | Hewlett-Packard Development Company, L.P. | Keyframe selection to represent a video |
| CN101021904A (zh) * | 2006-10-11 | 2007-08-22 | 鲍东山 | 视频内容分析系统 |
| CN101295354A (zh) * | 2007-04-23 | 2008-10-29 | 索尼株式会社 | 图像处理装置、成像装置、图像处理方法和计算机程序 |
| CN102685574A (zh) * | 2011-03-09 | 2012-09-19 | 须泽中 | 从数字电视节目中自动抽取图像的系统及其应用 |
| CN102859525A (zh) * | 2011-02-24 | 2013-01-02 | 松下电器产业株式会社 | 图像处理装置以及图像处理方法 |
| CN103200463A (zh) * | 2013-03-27 | 2013-07-10 | 天脉聚源(北京)传媒科技有限公司 | 一种视频摘要生成方法和装置 |
| CN103442252A (zh) * | 2013-08-21 | 2013-12-11 | 宇龙计算机通信科技(深圳)有限公司 | 视频处理方法及装置 |
-
2014
- 2014-06-27 CN CN201410296193.XA patent/CN105323634B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999051022A1 (en) * | 1998-03-31 | 1999-10-07 | Mate - Media Access Technologies Ltd. | Method of selecting key-frames from a video sequence |
| US6711587B1 (en) * | 2000-09-05 | 2004-03-23 | Hewlett-Packard Development Company, L.P. | Keyframe selection to represent a video |
| CN101021904A (zh) * | 2006-10-11 | 2007-08-22 | 鲍东山 | 视频内容分析系统 |
| CN101295354A (zh) * | 2007-04-23 | 2008-10-29 | 索尼株式会社 | 图像处理装置、成像装置、图像处理方法和计算机程序 |
| CN102859525A (zh) * | 2011-02-24 | 2013-01-02 | 松下电器产业株式会社 | 图像处理装置以及图像处理方法 |
| CN102685574A (zh) * | 2011-03-09 | 2012-09-19 | 须泽中 | 从数字电视节目中自动抽取图像的系统及其应用 |
| CN103200463A (zh) * | 2013-03-27 | 2013-07-10 | 天脉聚源(北京)传媒科技有限公司 | 一种视频摘要生成方法和装置 |
| CN103442252A (zh) * | 2013-08-21 | 2013-12-11 | 宇龙计算机通信科技(深圳)有限公司 | 视频处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105323634A (zh) | 2016-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105323634B (zh) | 一种视频的缩略图生成方法及系统 | |
| Recasens et al. | Broaden your views for self-supervised video learning | |
| JP4725690B2 (ja) | 映像識別子抽出装置 | |
| WO2019015682A1 (zh) | 人脸图像动态入库方法和装置、电子设备、介质、程序 | |
| CN104902279B (zh) | 一种视频处理方法及装置 | |
| KR101704775B1 (ko) | 다중해상도 영상 처리 장치 및 영상 처리 방법 | |
| CN107197278B (zh) | 屏幕图像的全局运动向量的处理方法和装置 | |
| CN105744292A (zh) | 一种视频数据的处理方法及装置 | |
| CN110351564B (zh) | 一种文字清晰的视频压缩传输方法及系统 | |
| US10750211B2 (en) | Video-segment identification systems and methods | |
| CN106375771B (zh) | 图像特征匹配方法和装置 | |
| KR101435778B1 (ko) | 비디오 기반 시각적 특징과 다단계 통계적 결합을 이용한 유해 동영상 분류 방법 및 장치 | |
| US20190228227A1 (en) | Method and apparatus for extracting a user attribute, and electronic device | |
| Bagiwa et al. | Chroma key background detection for digital video using statistical correlation of blurring artifact | |
| CN105704559A (zh) | 一种海报生成方法及装置 | |
| US20130113999A1 (en) | Methods, systems, and computer-readable media for detecting scene changes in a video | |
| WO2017032245A1 (zh) | 一种视频文件索引信息的生成方法和设备 | |
| US11611773B2 (en) | System of video steganalysis and a method for the detection of covert communications | |
| CN105763884A (zh) | 视频处理方法、装置及设备 | |
| Raikwar et al. | A framework for key frame extraction from surveillance video | |
| WO2018000699A1 (zh) | 一种电视频道识别方法、装置及电视机、服务器 | |
| CN109040784A (zh) | 广告检测方法及装置 | |
| CN115379233A (zh) | 一种大数据视频信息分析方法和系统 | |
| CN110674347B (zh) | 视觉屏蔽双层ap视频摘要生成方法 | |
| CN109657098B (zh) | 一种视频指纹提取方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |