CN104751107A

CN104751107A - 一种视频关键数据确定方法、装置及设备

Info

Publication number: CN104751107A
Application number: CN201310745635.XA
Authority: CN
Inventors: 袁潮; 姜微; 张俭
Original assignee: China Mobile Communications Group Co Ltd
Current assignee: China Mobile Communications Group Co Ltd
Priority date: 2013-12-30
Filing date: 2013-12-30
Publication date: 2015-07-01
Anticipated expiration: 2033-12-30
Also published as: CN104751107B

Abstract

本发明实施例提供了一种视频关键数据确定方法、装置及设备，采用人脸识别算法，对待处理视频的各视频帧进行人脸识别；根据人脸识别的结果，将各视频帧中出现频次最多的人脸确定为关键人脸；从出现关键人脸的各视频帧中，确定符合预设规则的视频帧，并将符合预设规则的视频帧确定为待处理视频的关键数据。与现有技术中，通过人工的方式从海量的视频数据中获取关键数据相比，提高了工作效率，降低了工作强度，视频关键数据的获取更加合理。本发明涉及视频处理技术领域。

Description

一种视频关键数据确定方法、装置及设备

技术领域

本发明涉及视频处理技术领域，尤其涉及一种视频关键数据确定方法、装置及设备。

背景技术

现有技术中，通常需要确定视频文件的关键数据，关键数据用于表征该视频文件的主要内容，该关键数据可以为视频文件的一帧或者多帧，例如，在视频未被播放时，可以将关键数据作为缺省显示画面等。

视频文件的关键数据比较典型的应用为影视文件的海报。将视频文件某一能够表征该视频文件主要内容的帧作为海报，可以使观看者通过海报的内容直观的对影视作品有一个准确的判断。现有技术中，完全依靠人工通过对视频文件的每一帧进行筛选，得到视频文件中具有代表性的画面作为海报，

但是，随着影视作品的增多，视频文件的存储量日益增长，视频文件内容丰富，完全依靠人工进行筛选的方法耗时长，工作量大，尤其是在互联网时代需要对海量视频文件进行筛选的情况下，完全依靠人工无法完成这一工作。

发明内容

本发明实施例提供了一种视频关键数据确定方法、装置及设备，用以解决现有技术中对视频文件的关键数据确定方法不合理的问题。

基于上述问题，本发明实施例提供的一种视频关键数据的确定方法，包括：

采用人脸识别算法，对待处理视频的各视频帧进行人脸识别；

根据人脸识别的结果，将各视频帧中出现频次最多的人脸确定为关键人脸；

从出现所述关键人脸的各视频帧中，确定符合预设规则的视频帧，并将确定的视频帧确定为所述待处理视频的关键数据。

本发明实施例提供的一种视频关键数据的确定装置，包括：

人脸识别模块，用于采用人脸识别算法，对待处理视频的各视频帧进行人脸识别；

关键人脸确定模块，用于根据人脸识别的结果，将各视频帧中出现频次最多的人脸确定为关键人脸；

关键数据确定模块，用于从出现所述关键人脸的各视频帧中，确定符合预设规则的视频帧，并将确定的视频帧确定为所述待处理视频的关键数据。

本发明实施例提供的一种视频关键数据的确定设备，包括：上述一种视频关键数据的确定装置。

本发明实施例的有益效果包括：

本发明实施例提供的一种视频关键数据确定方法、装置及设备，采用人脸识别算法，对待处理视频的各视频帧进行人脸识别；根据人脸识别的结果，将各视频帧中出现频次最多的人脸确定为关键人脸；从出现关键人脸的各视频帧中，确定符合预设规则的视频帧，并将符合预设规则的视频帧确定为待处理视频的关键数据。通过人脸识别算法，识别关键人脸，再从出现关键人脸的各视频帧中确定符合预设规则的视频帧，作为关键数据，能够实现自动获取视频中的关键数据，与现有技术中，通过人工的方式从海量的视频数据中获取关键数据相比，提高了工作效率，降低了工作强度，视频关键数据的获取更加合理。

附图说明

图1为本发明实施例提供的一种视频关键数据确定方法的流程图；

图2为本发明实施例1提供的一种视频关键数据确定方法的流程图之一；

图3为本发明实施例1提供的一种视频关键数据确定方法的流程图之二；

图4为本发明实施例2提供的一种视频关键数据确定方法的流程图；

图5为本发明实施例提供的一种视频关键数据确定装置的结构示意图。

具体实施方式

本发明实施例提供了一种视频关键数据确定方法及相关设备，以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明实施例提供一种视频关键数据确定方法，如图1所示，包括：

S101、采用人脸识别算法，对待处理视频的各视频帧进行人脸识别。

S102、根据人脸识别的结果，将各视频帧中出现频次最多的人脸确定为关键人脸。

S103、从出现关键人脸的各视频帧中，确定符合预设规则的视频帧，并将确定的视频帧确定为待处理视频的关键数据。

下面结合附图，用具体实施例对本发明提供的方法及相关设备进行详细描述。

实施例1：

本发明实施例1中，提供一种视频关键数据确定方法，如图2所示，具体包括如下步骤：

S201、对待处理视频进行解码，并提取各视频帧的I帧。

进一步地，现有技术中，在对编码压缩后的视频进行解码时，可以将视频中各视频帧的关键帧提取出来，也就是I帧，I帧可以理解为一帧画面的完整保留，能提供该帧图像的完整图像信息。

S202、采用人脸识别算法，对提取的各I帧进行人脸识别。

本步骤中，可以采用现有技术中的人脸识别算法，例如：人脸检测盒识别算法对提取的各I帧进行人脸识别。

S203、根据人脸识别的结果，将各视频帧中出现频次最多的人脸确定为关键人脸。

本步骤中，一般视频中的最主要的人物出现的频次应该最高，因此可以将各视频帧中出现频次最多的人脸确定为关键人脸。

S204、从出现关键人脸的各视频帧中，按照清晰度从高到低确定第二预设数量的视频帧。

本步骤中，可以利用现有技术中视频清晰度评价方法，从出现关键人脸的各视频帧中，按照清晰度从高到低确定第二预设数量的视频帧。

S205、从第二预设数量的各视频帧中，按照各视频帧中关键人脸的面积从大到小确定第三预设数量的视频帧。

本步骤中，针对步骤S204确定的第二预设数量的视频帧，比较各视频帧中出现的关键人脸的面积，并按照面积从大到小确定第三预设数量的视频帧，其中，第二预设数量和第三预设数量可以根据实际需要进行确定，比如，可以将第二预设数量设置为3，将第三预设数量设置为1。

进一步地，步骤S204和步骤S205中，先以清晰度为依据确定符合清晰度条件的视频帧，再从符合清晰度条件的视频帧中，确定符合关键人脸面积条件的视频帧，也可以先以关键人脸面积为依据，从出现关键人脸的各视频帧中确定符合人脸面积条件的视频帧，再从符合人脸面积条件的视频帧中，确定符合清晰度条件的视频帧，也就是说，步骤S204和步骤S205还可以被步骤S2041和步骤S2051替换，如图3所示，即：

S2041、从出现关键人脸的各视频帧中，按照各视频帧中关键人脸的面积从大到小确定第四预设数量的视频帧。

S2051、从第四预设数量的各视频帧中，按照清晰度从高到低确定第五预设数量的视频帧。

其中，第四预设数量和第五预设数量可以根据实际需要进行确定。

S206、将S205中确定的第三预设数量的视频帧确定为待处理视频的关键数据。

本步骤中，当使用步骤S2041和步骤S2051替换步骤S204和步骤S205，步骤S206还可以被替换为S2061：

S2061、将S2051中确定的第五预设数量的视频帧确定为待处理视频的关键数据。

S207、根据S206或者S2061中确定的待处理视频的关键数据，制作待处理视频的海报。

实施例2：

本发明实施例2中，提供一种视频关键数据确定方法，如图4所示，具体包括如下步骤：

S401、采用人脸识别算法，对待处理视频的各视频帧进行人脸识别。

本步骤中，如果在对待处理视频进行处理之前，将待处理视频进行解码，并提取各视频帧的I帧，本步骤为：采用人脸识别算法，对提取的各I帧进行人脸识别。

S402、根据人脸识别的结果，将各视频帧中出现频次最多的人脸确定为关键人脸。

进一步地，本步骤可以具体实施为：针对识别出的每个人脸，将该人脸与已识别出的人脸作比对；当该人脸与任一已识别出的人脸匹配时，将该已识别出的人脸出现次数增加一个计数单位；当该人脸与任一已识别出的人脸均不匹配时，将该人脸作为新的已识别出的人脸，并将该新的已识别出的人脸的出现次数确定为一个计数单位；将各已识别出的人脸中，出现频次最多的人脸确定为键人脸。

也就是说，可以为每个识别出的人脸设置计数器，统计在待处理视频的每一帧中，每个人脸分别出现的频次，并且将已识别出的人脸信息存储在人脸库中，针对每个视频帧或者I帧，当在该帧中检测到人脸，将检测到的人脸与之前已经识别出的人脸进行比对，如果检测到的人脸与之前已经识别出的人脸匹配，则将该人脸的计数器增加一个计数单位，如果之前已经识别出的人脸中不存在与检测到的人脸匹配的人脸，则将该人脸确定为新出现的人脸，将该人脸信息存储到人脸数据库中，并将该人脸的计数器初始化为一个计数单位，以供后续检测出的人脸比对，将各已识别出的人脸中，出现频次最多的人脸确定为键人脸。

S403、从出现关键人脸的各视频帧中，确定符合预设规则的视频帧。

进一步地，本步骤中可以采用实施例1中步骤S204-S205或者S2041-S2051的方法确定符合预设规则的视频帧。

S404、采用文本识别算法，对待处理视频的各视频帧的文本进行文本识别。

本步骤中，如果在对待处理视频进行处理之前，将待处理视频进行解码，并提取各视频帧的I帧，本步骤为：采用文本识别算法，对提取的各I帧的文本进行文本识别。

本步骤中，文本识别算法可以采用现有技术中的文本识别算法，本发明并不对使用的文本识别算法作限定。

S405、根据文本识别的结果，从各视频帧中出现的各词中，按照出现频次从多到少确定第一预设数量的词作为关键词。

进一步地，本步骤可以具体实施为：针对识别出的每个词，将该词与已识别出的词作比对；当该词与任一已识别出的词相同时，将该已识别出的词的出现次数增加一个计数单位；当该词与任一已识别出的词均不相同时，将该词作为新的已识别出的词，并将该新的已识别出的词的出现次数确定为一个计数单位；从各已识别出的词中，按照出现频次从多到少确定第一预设数量词作为关键词。

也就是说，在影视作品中，视频文件中的文字可以以字幕的形式出现在屏幕的下方，可以为识别出的每个词设置计数器，统计在待处理视频帧的每一帧中，每个词分别出现的频次，并且将已识别出的词存储在文本库中，针对每个视频帧或者I帧，当在该帧中检测到文本，识别组成该文本的各词，并将识别出的词与之前已经识别出的词进行比对，如果检测到的词与之前已经识别出的词相同，则将该词的计数器增加一个计数单位，如果之前已经识别出的词中，不存在与检测到的词相同的词，则将该词确定为新出现的词，将该词存储到文本库中，并将该词的计数器初始化为一个计数单位，以供后续检测出的词比对。

进一步地，本步骤中，可以将识别出的各词，按照出现频次从多到少确定第一预设数量的词作为关键词，其中，第一预设数量可以根据实际需要进行设置。例如，识别出的50个词中，各词出现频次分别为100、95、91、82、50等，可以确定3（第一预设数量为3）个词，即出现频次分别为100、95、91的三个词作为关键词。

进一步地，步骤S401-步骤S403与步骤S404-步骤S405之间没有严格的执行顺序，也就是说，也可以先执行步骤S404-步骤S405，再执行步骤S401-步骤S403。

S406、将S405中确定的关键词叠加到S403中确定的符合预设规则的视频帧上，确定合成视频帧。

本步骤中，由于步骤S403中确定的符合预设规则的视频帧为图像信息，有的视频中还包括文本信息，主要表现为字幕，在图像信息中还可以加入文本信息，二者结合更能够代表该视频文件的主要内容。

进一步地，步骤S403中可以确定多个符合预设规则的视频帧，步骤S405中，也可以确定多个关键词，可以将多个符合预设规则的视频帧和多个关键词作为备选视频帧和备选关键词，以人工的方式确定最终的视频帧和关键词，进行合成，得到合成视频帧。

S407、将S406中确定的合成视频帧确定为待处理视频的关键数据。

S408、根据S407中确定的待处理视频的关键数据，制作待处理视频的海报。

基于同一发明构思，本发明实施例还提供了一种视频关键数据确定装置及设备，由于这些装置和设备所解决问题的原理与前述一种视频关键数据确定方法相似，因此该装置和设备的实施可以参见前述方法的实施，重复之处不再赘述。

本发明实施例提供的一种视频关键数据的确定装置，如图5所示，包括：

人脸识别模块501，用于采用人脸识别算法，对待处理视频的各视频帧进行人脸识别；

关键人脸确定模块502，用于根据人脸识别的结果，将各视频帧中出现频次最多的人脸确定为关键人脸；

关键数据确定模块503，用于从出现所述关键人脸的各视频帧中，确定符合预设规则的视频帧，并将确定的视频帧确定为所述待处理视频的关键数据。

进一步地，所述装置还包括：海报制作模块504；

所述海报制作模块504，用于根据所述关键数据确定模块503确定的所述待处理视频的关键数据，制作所述待处理视频的海报。

进一步地，所述装置还包括：文本识别模块505、关键词确定模块506、以及合成模块507；

所述文本识别模块505，用于在所述关键数据确定模块503将确定的视频帧确定为所述待处理视频的关键数据之前，采用文本识别算法，对待处理视频的各视频帧的文本进行文本识别；

所述关键词确定模块506，用于根据所述文本识别模块505确定的文本识别的结果，从各视频帧中出现的各词中，按照出现频次从多到少确定第一预设数量的词作为关键词；

所述合成模块507，用于将所述关键词叠加到所述关键数据确定模块503确定的符合预设规则的视频帧上，确定合成视频帧；

所述关键数据确定模块503，具体用于将确定的所述合成视频帧确定为所述待处理视频的关键数据。

进一步地，所述装置还包括：提取模块508；

所述提取模块508，用于在对待处理视频的各视频帧进行人脸识别或者文本识别之前，对待处理视频进行解码，并提取各视频帧的I帧；

所述人脸识别模块501，具体用于采用人脸识别算法，对提取的各I帧进行人脸识别；

所述文本识别模块505，具体用于采用文本识别算法，对提取的各I帧的文本进行文本识别。

进一步地，所述关键数据确定模块503，具体用于从出现所述关键人脸的各视频帧中，按照清晰度从高到低确定第二预设数量的视频帧；从所述第二预设数量的各视频帧中，按照各视频帧中所述关键人脸的面积从大到小确定第三预设数量的视频帧；或者

从出现所述关键人脸的各视频帧中，按照各视频帧中所述关键人脸的面积从大到小确定第四预设数量的视频帧；从所述第四预设数量的各视频帧中，按照清晰度从高到低确定第五预设数量的视频帧。

进一步地，所述关键人脸确定模块502，具体用于针对识别出的每个人脸，将该人脸与已识别出的人脸作比对；当该人脸与任一已识别出的人脸匹配时，将该已识别出的人脸出现次数增加一个计数单位；当该人脸与任一已识别出的人脸均不匹配时，将该人脸作为新的已识别出的人脸，并将该新的已识别出的人脸的出现次数确定为一个计数单位；将各已识别出的人脸中，出现频次最多的人脸确定为键人脸。

进一步地，所述关键词确定模块506，具体用于针对识别出的每个词，将该词与已识别出的词作比对；当该词与任一已识别出的词相同时，将该已识别出的词的出现次数增加一个计数单位；当该词与任一已识别出的词均不相同时，将该词作为新的已识别出的词，并将该新的已识别出的词的出现次数确定为一个计数单位；从各已识别出的词中，按照出现频次从多到少确定第一预设数量词作为关键词。

本发明实施例提供的一种视频关键数据的确定设备，包括上述的一种视频关键数据的确定装置。

上述各单元的功能可对应于图1至图4所示流程中的相应处理步骤，在此不再赘述。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明实施例可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种视频关键数据的确定方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，在将确定的视频帧确定为所述待处理视频的关键数据之后，还包括：

根据确定的所述待处理视频的关键数据，制作所述待处理视频的海报。

3.如权利要求2所述的方法，其特征在于，在将确定的视频帧确定为所述待处理视频的关键数据之前，还包括：

采用文本识别算法，对待处理视频的各视频帧的文本进行文本识别；

根据文本识别的结果，从各视频帧中出现的各词中，按照出现频次从多到少确定第一预设数量的词作为关键词；

将所述关键词叠加到确定的符合预设规则的视频帧上，确定合成视频帧；

将确定的视频帧确定为所述待处理视频的关键数据，具体包括：

将确定的所述合成视频帧确定为所述待处理视频的关键数据。

4.如权利要求3所述的方法，其特征在于，在对待处理视频的各视频帧进行人脸识别或者文本识别之前，还包括：

对待处理视频进行解码，并提取各视频帧的I帧；

采用人脸识别算法，对待处理视频的各视频帧进行人脸识别，具体包括：

采用人脸识别算法，对提取的各I帧进行人脸识别；

采用文本识别算法，对待处理视频的各视频帧的文本进行文本识别，具体包括：

采用文本识别算法，对提取的各I帧的文本进行文本识别。

5.如权利要求1-4任一项所述的方法，其特征在于，从出现所述关键人脸的各视频帧中，确定符合预设规则的视频帧，具体包括：

从出现所述关键人脸的各视频帧中，按照清晰度从高到低确定第二预设数量的视频帧；从所述第二预设数量的各视频帧中，按照各视频帧中所述关键人脸的面积从大到小确定第三预设数量的视频帧；或者

6.如权利要求1-4任一项所述的方法，其特征在于，根据人脸识别的结果，将各视频帧中出现频次最多的人脸确定为关键人脸，具体包括：

针对识别出的每个人脸，将该人脸与已识别出的人脸作比对；

当该人脸与任一已识别出的人脸匹配时，将该已识别出的人脸出现次数增加一个计数单位；

当该人脸与任一已识别出的人脸均不匹配时，将该人脸作为新的已识别出的人脸，并将该新的已识别出的人脸的出现次数确定为一个计数单位；

将各已识别出的人脸中，出现频次最多的人脸确定为键人脸。

7.如权利要求3或4所述的方法，其特征在于，根据文本识别的结果，从各视频帧中出现的各词中，按照出现频次从多到少确定第一预设数量的词作为关键词，具体包括：

针对识别出的每个词，将该词与已识别出的词作比对；

当该词与任一已识别出的词相同时，将该已识别出的词的出现次数增加一个计数单位；

当该词与任一已识别出的词均不相同时，将该词作为新的已识别出的词，并将该新的已识别出的词的出现次数确定为一个计数单位；

从各已识别出的词中，按照出现频次从多到少确定第一预设数量词作为关键词。

8.一种视频关键数据的确定装置，其特征在于，包括：

9.如权利要求8所述的装置，其特征在于，还包括：海报制作模块；

所述海报制作模块，用于根据所述关键数据确定模块确定的所述待处理视频的关键数据，制作所述待处理视频的海报。

10.如权利要求9所述的装置，其特征在于，文本识别模块、关键词确定模块、以及合成模块；

所述文本识别模块，用于在所述关键数据确定模块将确定的视频帧确定为所述待处理视频的关键数据之前，采用文本识别算法，对待处理视频的各视频帧的文本进行文本识别；

所述关键词确定模块，用于根据所述文本识别模块确定的文本识别的结果，从各视频帧中出现的各词中，按照出现频次从多到少确定第一预设数量的词作为关键词；

所述合成模块，用于将所述关键词叠加到所述关键数据确定模块确定的符合预设规则的视频帧上，确定合成视频帧；

所述关键数据确定模块，具体用于将确定的所述合成视频帧确定为所述待处理视频的关键数据。

11.如权利要求10所述的装置，其特征在于，还包括：提取模块；

所述提取模块，用于在对待处理视频的各视频帧进行人脸识别或者文本识别之前，对待处理视频进行解码，并提取各视频帧的I帧；

所述人脸识别模块，具体用于采用人脸识别算法，对提取的各I帧进行人脸识别；

所述文本识别模块，具体用于采用文本识别算法，对提取的各I帧的文本进行文本识别。

12.如权利要求8-11任一项所述的装置，其特征在于，所述关键数据确定模块，具体用于从出现所述关键人脸的各视频帧中，按照清晰度从高到低确定第二预设数量的视频帧；从所述第二预设数量的各视频帧中，按照各视频帧中所述关键人脸的面积从大到小确定第三预设数量的视频帧；或者

13.如权利要求8-11任一项所述的装置，其特征在于，所述关键人脸确定模块，具体用于针对识别出的每个人脸，将该人脸与已识别出的人脸作比对；当该人脸与任一已识别出的人脸匹配时，将该已识别出的人脸出现次数增加一个计数单位；当该人脸与任一已识别出的人脸均不匹配时，将该人脸作为新的已识别出的人脸，并将该新的已识别出的人脸的出现次数确定为一个计数单位；将各已识别出的人脸中，出现频次最多的人脸确定为键人脸。

14.如权利要求10或11所述的装置，其特征在于，所述关键词确定模块，，具体用于针对识别出的每个词，将该词与已识别出的词作比对；当该词与任一已识别出的词相同时，将该已识别出的词的出现次数增加一个计数单位；当该词与任一已识别出的词均不相同时，将该词作为新的已识别出的词，并将该新的已识别出的词的出现次数确定为一个计数单位；从各已识别出的词中，按照出现频次从多到少确定第一预设数量词作为关键词。

15.一种视频关键数据的确定设备，其特征在于，包括：如权利要求8-14任一项所述的一种视频关键数据的确定装置。