CN105718861B - 一种识别视频流数据类别的方法及装置 - Google Patents

Abstract

本发明公开了一种识别视频流数据类别的方法及装置，该方法可以包括：获取视频流数据；从视频流数据中提取关键帧；获取关键帧的特征信息；将关键帧的特征信息与样本库中类别信息已知的样本帧的特征信息的进行匹配，根据匹配结果识别出关键帧的类别；样本库中包括类别为正常广告帧的样本帧的特征信息和类别为非法广告帧的样本帧的特征信息，识别出的关键帧的类别为正常广告帧、非法广告帧、疑似广告帧或非广告帧；对关键帧的类别进行统计，根据统计结果确定视频流数据的类别；所述视频流数据的类别为正常广告、非法广告、疑似广告和/或非广告。本发明的技术方案降低了视频监测中视频类别识别的人工成本，提高了视频监测中视频类别识别的效率。

Description

一种识别视频流数据类别的方法及装置

技术领域

本发明涉及数据处理技术领域，特别涉及一种识别视频流数据类别的方法及装置。

背景技术

随着技术的进步，视频广告成为主流的产品宣传手段，视频广告的数量及其呈现形式也越来越多样化。该背景下，对视频监播机构来说，如何从视频中识别出视频的类别，以及时根据识别出的视频的类别进行处理具有重要意义。

现有技术中，各视频监播机构在监测视频时，在对相应的视频流进行录制、存储后，需要由视频监测人员回放视频人工识别出视频的类别，最后根据识别出的视频的类别进行处理。由于现有技术中视频监播机构在监测视频时是通过回放视频倚靠人工识别出视频的类别的，所以需要雇用大量的监测人员，人工成本较高，同时，由于回放视频时需要监测人员从头至尾观看视频内容，所以效率较低。

发明内容

本发明实施例中提供了一种识别视频流数据类别的方法及装置，以降低视频监测中视频类别识别的人工成本，提高视频监测中视频类别识别的效率。

为了解决上述技术问题，本发明实施例公开了如下技术方案：

一种识别视频流数据类别的方法，所述方法包括：

获取视频流数据；

从所述视频流数据中提取关键帧；

获取所述关键帧的特征信息；

将所述关键帧的特征信息与样本库中类别信息已知的样本帧的特征信息的进行匹配，根据匹配结果识别出所述关键帧的类别；其中，所述样本库中包括类别为正常广告帧的样本帧的特征信息和类别为非法广告帧的样本帧的特征信息，所述识别出的关键帧的类别为正常广告帧、非法广告帧、疑似广告帧或非广告帧；

对所述关键帧的类别进行统计，根据统计结果确定所述视频流数据的类别；其中，所述视频流数据的类别为正常广告、非法广告、疑似广告和/或非广告。

优选地，所述方法还包括：

获取多个类别已知的视频片段数据；其中，获取的视频片段数据包括类别为正常广告和非法广告的视频片段数据；

从所述视频片段数据中提取所述样本帧；

获取所述样本帧的特征信息；

根据所述样本帧对应的视频片段数据的类别，确定所述样本帧的类别；其中，确定的所述样本帧的类别为正常广告帧或非法广告帧；

建立表征所述样本帧的特征信息与所述样本帧的类别之间的对应关系的索引信息；

根据所述索引信息和所述样本帧的特征信息建立所述样本库。

优选地，若所述视频片段数据是半透明视频广告，所述方法还包括：

利用多帧均值合成算法对所述视频片段数据进行降噪处理。

优选地，所述样本帧的特征信息为所述样本帧的灰度值，所述关键帧的特征信息为所述关键帧的灰度值，所述将所述关键帧的特征信息与样本库中类别信息已知的样本帧的特征信息的进行匹配，根据匹配结果识别出所述关键帧的类别，包括：

当发现所述关键帧的灰度值与样本库中类别为正常广告帧的任一样本帧的灰度值之间的差值的绝对值小于第一阈值时，将所述关键帧的类别识别为正常广告帧；

当发现所述关键帧的灰度值与样本库中类别为非法广告帧的任一样本帧的灰度值之间的差值的绝对值小于第二阈值时，将所述关键帧的类别识别为非法广告帧；

当发现所述关键帧的灰度值与样本库中类别为正常广告帧的任一样本帧的灰度值之间的差值的绝对值均大于第一阈值，所述关键帧的灰度值与样本库中类别为非法广告帧的任一样本帧的灰度值之间的差值的绝对值均大于第二阈值，且发现所述关键帧的灰度值与样本库中至少一个样本帧的灰度值之间的差值的绝对值小于第三阈值时，将所述关键帧的类别识别为疑似广告帧；

当发现所述关键帧的灰度值与样本库中任一样本帧的灰度值之间的差值的绝对值均大于第三阈值时，将所述关键帧的类别识别为非广告帧。

优选地，所述样本帧的特征信息为所述样本帧的感知哈希值，所述关键帧的特征信息为所述关键帧的感知哈希值，所述将所述关键帧的特征信息与样本库中类别信息已知的样本帧的特征信息的进行匹配，根据匹配结果识别出所述关键帧的类别，包括：

当发现所述关键帧的感知哈希值与样本库中类别为正常广告帧的任一样本帧的感知哈希值之间的相似度值大于第四阈值时，将所述关键帧的类别识别为正常广告帧；

当发现所述关键帧的感知哈希值与样本库中类别为非法广告帧的任一样本帧的感知哈希值之间的相似度值大于第五阈值时，将所述关键帧的类别识别为非法广告帧；

当发现所述关键帧的感知哈希值与样本库中类别为正常广告帧的任一样本帧的感知哈希值之间的相似度值均小于第四阈值，所述关键帧的感知哈希值与样本库中类别为非法广告帧的任一样本帧的感知哈希值之间的相似度值均小于第五阈值，且发现所述关键帧的感知哈希值与样本库中至少一个样本帧的感知哈希值之间的相似度值大于第六阈值时，将所述关键帧的类别识别为疑似广告帧；

当发现所述关键帧的感知哈希值与样本库中任一样本帧的感知哈希值之间的相似度值均小于第六阈值时，将所述关键帧的类别识别为非广告帧。

优选地，所述方法还包括：

若视频流数据中任一关键帧的类别被识别为正常广告帧或非法广告帧，则在识别与该关键帧相邻的下一关键帧的类别时，先将所述下一关键帧的特征信息与识别出所述任一关键帧的类别的样本帧的特征信息进行匹配。

优选地，所述对所述关键帧的类别进行统计，根据统计结果确定所述视频流数据的类别，包括：

连续统计识别出的所述关键帧的类别；

根据统计结果计算出同一类别关键帧连续出现的次数；

将正常广告帧连续出现的次数大于正常广告阈值的视频流数据识别为正常广告；

将非法广告帧连续出现的次数大于非法广告阈值的视频流数据识别为非法广告；

将疑似广告帧连续出现的次数大于疑似广告阈值的视频流数据识别为疑似广告；

将非广告帧连续出现的次数大于非广告阈值的视频流数据识别为非广告。

优选地，所述方法还包括：

将正常广告帧连续出现的次数小于正常广告帧阈值、非法广告帧连续出现的次数小于非法广告帧阈值或非广告帧连续出现的次数小于非广告帧阈值的视频流数据识别为疑似广告。

优选地，所述方法还包括：

当识别出所述视频流数据的类别中的非法广告或疑似广告时，发出报警提示。

优选地，所述方法还包括：

当识别出所述视频流数据的类别中的疑似广告时，根据检测到的用户操作，确定出所述疑似广告对应的视频流数据的类别；

若确定出所述疑似广告对应的视频流数据的类别为正常广告或非法广告，相应地，将所述疑似广告对应的关键帧的类别确定为正常广告帧或非法广告帧，并将所述疑似广告对应的关键帧的特征信息添加到所述样本库中，将所述疑似广告对应的关键帧的特征信息与所述疑似广告对应的关键帧的类别之间的对应关系添加到所述样本库中的索引信息中。

一种识别视频流数据类别的装置，所述装置包括：

数据获取单元，用于获取视频流数据；

关键帧提取单元，用于从所述视频流数据中提取关键帧；

关键帧特征信息获取单元，用于获取所述关键帧的特征信息；

关键帧类别识别单元，用于将所述关键帧的特征信息与样本库中类别信息已知的样本帧的特征信息的进行匹配，根据匹配结果识别出所述关键帧的类别；其中，所述样本库中包括类别为正常广告帧的样本帧的特征信息和类别为非法广告帧的样本帧的特征信息，所述识别出的关键帧的类别为正常广告帧、非法广告帧、疑似广告帧或非广告帧；

视频流数据类别确定单元，用于对所述关键帧的类别进行统计，根据统计结果确定所述视频流数据的类别；其中，所述视频流数据的类别为正常广告、非法广告、疑似广告和/或非广告。

优选地，所述装置还包括：

视频片段数据获取单元，用于获取多个类别已知的视频片段数据；其中，获取的视频片段数据包括类别为正常广告和非法广告的视频片段数据；

样本帧提取单元，用于从所述视频片段数据中提取所述样本帧；

样本帧特征信息获取单元，用于获取所述样本帧的特征信息；

样本帧类别确定单元，用于根据所述样本帧对应的视频片段数据的类别，确定所述样本帧的类别；其中，确定的所述样本帧的类别为正常广告帧或非法广告帧；

索引信息建立单元，用于建立表征所述样本帧的特征信息与所述样本帧的类别之间的对应关系的索引信息；

样本库建立单元，用于根据所述索引信息和所述样本帧的特征信息建立所述样本库。

优选地，若视频片段数据获取单元获取的所述视频片段数据是半透明视频广告，所述装置还包括：

降噪处理单元，用于利用多帧均值合成算法对所述视频片段数据进行降噪处理。

优选地，所述样本帧特征信息获取单元获取的样本帧的特征信息为所述样本帧的灰度值，所述关键帧特征信息获取单元获取的所述关键帧的特征信息为所述关键帧的灰度值，所述关键帧类别识别单元，包括：

第一正常关键帧识别子单元，用于当发现所述关键帧的灰度值与样本库中类别为正常广告帧的任一样本帧的灰度值之间的差值的绝对值小于第一阈值时，将所述关键帧的类别识别为正常广告帧；

第一非法关键帧识别子单元，用于当发现所述关键帧的灰度值与样本库中类别为非法广告帧的任一样本帧的灰度值之间的差值的绝对值小于第二阈值时，将所述关键帧的类别识别为非法广告帧；

第一疑似广告帧识别子单元，用于当发现所述关键帧的灰度值与样本库中类别为正常广告帧的任一样本帧的灰度值之间的差值的绝对值均大于第一阈值，所述关键帧的灰度值与样本库中类别为非法广告帧的任一样本帧的灰度值之间的差值的绝对值均大于第二阈值，且发现所述关键帧的灰度值与样本库中至少一个样本帧的灰度值之间的差值的绝对值小于第三阈值时，将所述关键帧的类别识别为疑似广告帧；

第一非广告帧识别子单元，用于当发现所述关键帧的灰度值与样本库中任一样本帧的灰度值之间的差值的绝对值均大于第三阈值时，将所述关键帧的类别识别为非广告帧。

优选地，所述样本帧特征信息获取单元获取的样本帧的特征信息为所述样本帧的感知哈希值，所述关键帧特征信息获取单元获取的所述关键帧的特征信息为所述关键帧的感知哈希值，所述关键帧类别识别单元，包括：

第二正常广告帧识别子单元，用于当发现所述关键帧的感知哈希值与样本库中类别为正常广告帧的任一样本帧的感知哈希值之间的相似度值大于第四阈值时，将所述关键帧的类别识别为正常广告帧；

第二非法广告帧识别子单元，用于当发现所述关键帧的感知哈希值与样本库中类别为非法广告帧的任一样本帧的感知哈希值之间的相似度值大于第五阈值时，将所述关键帧的类别识别为非法广告帧；

第二疑似广告帧识别子单元，用于当发现所述关键帧的感知哈希值与样本库中类别为正常广告帧的任一样本帧的感知哈希值之间的相似度值均小于第四阈值，所述关键帧的感知哈希值与样本库中类别为非法广告帧的任一样本帧的感知哈希值之间的相似度值均小于第五阈值，且发现所述关键帧的感知哈希值与样本库中至少一个样本帧的感知哈希值之间的相似度值大于第六阈值时，将所述关键帧的类别识别为疑似广告帧；

第二非广告帧识别子单元，用于当发现所述关键帧的感知哈希值与样本库中任一样本帧的感知哈希值之间的相似度值均小于第六阈值时，将所述关键帧的类别识别为非广告帧。

优选地，所述装置还包括：

特征信息匹配单元，用于若视频流数据中任一关键帧的类别被识别为正常广告帧或非法广告帧，则在识别与该关键帧相邻的下一关键帧的类别时，先将所述下一关键帧的特征信息与识别出所述任一关键帧的类别的样本帧的特征信息进行匹配。

优选地，所述视频流数据类别确定单元，包括：

关键帧类别统计子单元，用于连续统计识别出的所述关键帧的类别；

次数计算子单元，用于根据统计结果计算出同一类别关键帧连续出现的次数；

正常广告识别子单元，用于将正常广告帧连续出现的次数大于正常广告阈值的视频流数据识别为正常广告；

非法广告识别子单元，用于将非法广告帧连续出现的次数大于非法广告阈值的视频流数据识别为非法广告；

疑似广告识别子单元，用于将疑似广告帧连续出现的次数大于疑似广告阈值的视频流数据识别为疑似广告；

非广告识别子单元，用于将非广告帧连续出现的次数大于非广告阈值的视频流数据识别为非广告。

优选地，所述疑似广告识别子单元还用于将正常广告帧连续出现的次数小于正常广告帧阈值、非法广告帧连续出现的次数小于非法广告帧阈值或非广告帧连续出现的次数小于非广告帧阈值的视频流数据识别为疑似广告。

优选地，所述装置还包括：

报警提示单元，用于当识别出所述视频流数据的类别中的非法广告或疑似广告时，发出报警提示。

优选地，所述装置还包括：

类别确定单元，用于当识别出所述视频流数据的类别中的疑似广告时，根据检测到的用户操作，确定出所述疑似广告对应的视频流数据的类别；

添加单元，用于若确定出所述疑似广告对应的视频流数据的类别为正常广告或非法广告，相应地，将所述疑似广告对应的关键帧的类别确定为正常广告帧或非法广告帧，并将所述疑似广告对应的关键帧的特征信息添加到所述样本库中，将所述疑似广告对应的关键帧的特征信息与所述疑似广告对应的关键帧的类别之间的对应关系添加到所述样本库中的索引信息中。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开实施例提供的一种识别视频流数据类别的方法及装置，在获取到视频流数据之后，提取视频流数据中的关键帧，然后获取关键帧的特征信息，将该关键帧的特征信息与样本库中类别信息已知的样本帧的特征信息进行匹配，并根据匹配结果识别出关键帧的类别，进一步地，对识别出的关键帧的类别进行统计，根据统计结果识别出视频流数据的类别。

当应用本发明实施例的方案时，对识别出的视频流数据中的关键帧的类别进行统计，根据统计结果确定视频流数据的类别，实现了对视频类别的识别。可见，本发明的技术方案不需要人工识别视频的类别，降低了视频监测中视频类别识别的人工成本，此外，由于从视频文件中读取视频数据比人工观看视频的速度要快的多，所以本发明的技术方案还提高了视频监测中视频类别识别的效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种识别视频流数据类别的方法的流程图；

图2为本发明实施例提供的另一种识别视频流数据类别的方法的流程图；

图3为本发明实施例提供的一种识别视频流数据类别的方法中步骤S104的一种流程图；

图4为本发明实施例提供的一种识别视频流数据类别的方法中步骤S104的另一种流程图；

图5为本发明实施例提供的一种识别视频流数据类别的方法中步骤S105的一种流程图；

图6为本发明实施例提供的一种识别视频流数据类别的方法中步骤S105的另一种流程图；

图7为本发明实施例提供的又一种识别视频流数据类别的方法的流程图；

图8为本发明实施例提供的一种识别视频流数据类别的装置的结构示意图；

图9为本发明实施例提供的另一种识别视频流数据类别的装置的结构示意图；

图10为本发明实施例提供的一种识别视频流数据类别的装置中关键帧类别识别单元804的一种结构示意图；

图11为本发明实施例提供的一种识别视频流数据类别的装置中关键帧类别识别单元804的另一种结构示意图；

图12为本发明实施例提供的一种识别视频流数据类别的装置中视频流数据类别确定单元805的一种结构示意图；

图13为本发明实施例提供的又一种识别视频流数据类别的装置的结构示意图。

具体实施方式

本发明如下实施例提供了一种识别视频流数据类别的方法及装置，以降低视频监测中视频类别识别的人工成本，提高视频监测中视频类别识别的效率。

为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。

在对本发明实施例中技术方案作进一步详细的说明之前，首先对本发明技术方案的执行主体进行说明。本发明的技术方案的执行主体可以是电脑、iPad、手机等电子设备。

如图1所示，为本发明实施例提供的一种识别视频流数据类别的方法的流程图，该方法可以包括以下步骤：

在步骤S101中，获取视频流数据。

具体地，在该步骤中，读取预先录制的视频文件中的视频流数据。其中，在读取某个视频文件中的数据时，按照录制时间的先后顺序进行读取。

在步骤S102中，从所述视频流数据中提取关键帧。

具体地，在该步骤中，提取步骤S101中获取的视频流数据的关键帧。其中，所述关键帧为反映步骤S101中获取的视频流数据的主要内容的一帧或多帧视频帧图像。其中，关键帧的提取方法为现有技术，这里不再赘述。

在步骤S103中，获取所述关键帧的特征信息。

具体地，在该步骤中，获取步骤S102中提取的关键帧的灰度值、RGB值或感知哈希值等作为特征信息。其中，获取关键帧的灰度值、RGB值、感知哈希值的方法为现有技术，这里不再赘述。

在步骤S104中，将所述关键帧的特征信息与样本库中类别信息已知的样本帧的特征信息的进行匹配，根据匹配结果识别出所述关键帧的类别。

其中，所述样本库中包括类别为正常广告帧的样本帧的特征信息和类别为非法广告帧的样本帧的特征信息，所述识别出的关键帧的类别为正常广告帧、非法广告帧、疑似广告帧或非广告帧。

具体地，在该步骤中，将步骤S103中获取的特征信息与预存的样本库中的样本帧的特征信息进行匹配，并根据匹配结果识别出关键帧的类别。其中，样本库中任一样本帧的类别是已知的，样本库中有类别为正常广告帧的样本帧的特征信息，还有类别为非法广告帧的样本帧的特征信息，并在样本库中存储有样本帧的类别与样本帧的特征信息之间的对应关系。在本发明的一种具体实施方式中，如图2所示，样本库的建立方式可以包括以下步骤：

在步骤S201中，获取多个类别已知的视频片段数据。

其中，获取的视频片段数据包括类别为正常广告和非法广告的视频片段数据。

具体地，在该步骤中，可以从人工识别出类别的视频片段数据中，抽取类别为正常广告的视频片段数据和类别为非法广告的视频片段数据。

在步骤S202中，从所述视频片段数据中提取所述样本帧。

具体地，在该步骤中，提取步骤S201中获取的视频片段数据中的关键帧作为对应的视频片段数据的样本帧。

在步骤S203中，获取所述样本帧的特征信息。

具体地，在该步骤中，获取步骤S202中提取的样本帧的灰度值、RGB值或感知哈希值等作为特征信息。

在步骤S204中，根据所述样本帧对应的视频片段数据的类别，确定所述样本帧的类别。

其中，确定的所述样本帧的类别为正常广告帧或非法广告帧。

具体地，当步骤S201中获取的视频片段数据的类别为正常广告时，将相应的样本帧的类别确定为正常广告帧；当步骤S201中获取的视频片段数据的类别为方法广告时，将相应的样本帧的类别确定为非法广告帧。

在步骤S205中，建立表征所述样本帧的特征信息与所述样本帧的类别之间的对应关系的索引信息。

具体地，在该步骤中，建立步骤S203中获取的样本帧的特征信息，以及步骤S204中确定的样本帧的类别之间的一一对应关系，获取相应的索引信息。

在步骤S206中，根据所述索引信息和所述样本帧的特征信息建立所述样本库。

具体地，在该步骤中，将步骤S203中获取的样本帧的特征信息，以及步骤S205中获取的索引信息放在一起，生成样本库。

另外，若步骤S201中获取的视频片段数据是半透明视频广告，为了建立更好地样本库，使得视频流数据类别的识别更加准确，在本发明的一种具体实施方式中，所述方法还可以包括：

利用多帧均值合成算法对所述视频片段数据进行降噪处理。

其中，利用多帧均值合成算法对视频片段数据进行降噪处理的方法为现有技术，这里不再赘述。

此外，在本发明的具体实施过程中，根据关键帧的特征信息，以及样本帧的特征信息的不同，步骤S104有不同的执行方式。

例如：如图3所示，在本发明的一种具体实施方式中，所述样本帧的特征信息为所述样本帧的灰度值，所述关键帧的特征信息为所述关键帧的灰度值，步骤S104可以包括：

当发现所述关键帧的灰度值与样本库中类别为正常广告帧的任一样本帧的灰度值之间的差值的绝对值小于第一阈值时，在步骤S301中，将所述关键帧的类别识别为正常广告帧。

当发现所述关键帧的灰度值与样本库中类别为非法广告帧的任一样本帧的灰度值之间的差值的绝对值小于第二阈值时，在步骤S302中，将所述关键帧的类别识别为非法广告帧。

当发现所述关键帧的灰度值与样本库中类别为正常广告帧的任一样本帧的灰度值之间的差值的绝对值均大于第一阈值，所述关键帧的灰度值与样本库中类别为非法广告帧的任一样本帧的灰度值之间的差值的绝对值均大于第二阈值，且发现所述关键帧的灰度值与样本库中至少一个样本帧的灰度值之间的差值的绝对值小于第三阈值时，在步骤S303中，将所述关键帧的类别识别为疑似广告帧。

当发现所述关键帧的灰度值与样本库中任一样本帧的灰度值之间的差值的绝对值均大于第三阈值时，在步骤S304中，将所述关键帧的类别识别为非广告帧。

具体地，在图3所示的实施例中，计算关键帧的灰度值与样本库中样本帧的灰度值之间的差值的绝对值，当发现关键帧的灰度值与类别为正常广告帧的一个样本帧的灰度值之间的差值的绝对值小于第一阈值时，将相应关键帧的类别识别为正常广告帧；当发现关键帧的灰度值与类别为非法广告帧的一个样本帧的灰度值之间的差值的绝对值小于第二阈值时，将相应关键帧的类别识别为非法广告帧；且在识别出关键帧的类别为正常关键帧或非法关键帧之后，不再进行关键帧的灰度值与样本库中样本帧的灰度值之间的差值的绝对值的计算。如果通过计算发现：关键帧的灰度值与类别为正常广告帧的每一个样本帧的灰度值之间的差值的绝对值均大于第一阈值、关键帧的灰度值与类别为非法广告帧的每一个样本帧的灰度值之间的差值的绝对值均大于第二阈值，且关键帧的灰度值与样本库中至少一个样本帧的灰度值的之间的差值的绝对值小于第三阈值，则将关键帧的类别识别为疑似广告帧。如果通过计算发现：关键帧的灰度值与样本库中每一个样本帧的灰度值之间的差值的绝对值均大于第三阈值，则将关键帧的类别识别为非广告帧。

其中，上述第一阈值和第二阈值可根据需要进行设定，第一阈值和第二阈值可以相同，也可以不同，第一阈值和第二阈值均小于第三阈值。

又例如，如图4所示，在本发明的另一种具体实施方式中，所述样本帧的特征信息为所述样本帧的感知哈希值，所述关键帧的特征信息为所述关键帧的感知哈希值，步骤S104可以包括：

当发现所述关键帧的感知哈希值与样本库中类别为正常广告帧的任一样本帧的感知哈希值之间的相似度值大于第四阈值时，在步骤S401中，将所述关键帧的类别识别为正常广告帧。

当发现所述关键帧的感知哈希值与样本库中类别为非法广告帧的任一样本帧的感知哈希值之间的相似度值大于第五阈值时，在步骤S402中，将所述关键帧的类别识别为非法广告帧。

当发现所述关键帧的感知哈希值与样本库中类别为正常广告帧的任一样本帧的感知哈希值之间的相似度值均小于第四阈值，所述关键帧的感知哈希值与样本库中类别为非法广告帧的任一样本帧的感知哈希值之间的相似度值均小于第五阈值，且发现所述关键帧的感知哈希值与样本库中至少一个样本帧的感知哈希值之间的相似度值大于第六阈值时，将所述关键帧的类别识别为疑似广告帧。

当发现所述关键帧的感知哈希值与样本库中任一样本帧的感知哈希值之间的相似度值均小于第六阈值时，在步骤S404中，将所述关键帧的类别识别为非广告帧。

具体地，在图4所示的实施例中，计算关键帧的感知哈希值与样本库中样本帧的感知哈希值之间的相似度值，当发现关键帧的感知哈希值与类别为正常广告帧的一个样本帧的感知哈希值之间的相似度值大于第四阈值时，将相应关键帧的类别识别为正常广告帧；当发现关键帧的感知哈希值与类别为非法广告帧的一个样本帧的感知哈希值之间的相似度值大于第五阈值时，将相应关键帧的类别识别为非法广告帧；且在识别出关键帧的类别为正常关键帧或非法关键帧之后，不再进行关键帧的感知哈希值与样本库中样本帧的感知哈希值之间的相似度值的计算。如果通过计算发现：关键帧的感知哈希值与类别为正常广告帧的每一个样本帧的感知哈希值之间的相似度值均小于第四阈值、关键帧的感知哈希值与类别为非法广告帧的每一个样本帧的感知哈希值之间的相似度值均小于第五阈值，且关键帧的感知哈希值与样本库中至少一个样本帧的感知哈希值的之间的相似度值大于第六阈值，则将关键帧的类别识别为疑似广告帧。如果通过计算发现：关键帧的感知哈希值与样本库中每一个样本帧的感知哈希值之间的相似度值均小于第六阈值，则将关键帧的类别识别为非广告帧。

其中，上述第四阈值和第五阈值可根据需要进行设定，第四阈值和第五阈值可以相同，也可以不同，第四阈值和第五阈值均大于第六阈值。

在步骤S105中，对所述关键帧的类别进行统计，根据统计结果确定所述视频流数据的类别。

其中，所述视频流数据的类别为正常广告、非法广告、疑似广告和/或非广告。

具体地，对步骤S104中识别出的关键帧的类别进行统计，根据具体的统计结果，确定所述视频流数据的类别。例如，根据统计结果发现在前一万个关键帧中，仅有第五个关键帧和第一千个关键帧被识别为非法广告帧，其他关键帧的类别均为非广告帧，则可将相应的视频流数据识别为非广告。后续过程中，发现第一万个关键帧与第一万一千个关键帧之间的关键帧除第一万零五百个关键帧被识别为非广告帧之外，其他的关键帧均被识别为正常广告帧，则将相应的视频流数据识别为正常广告。

本发明实施例提供的该方法，在获取到视频流数据之后，提取视频流数据中的关键帧，然后获取关键帧的特征信息，将该关键帧的特征信息与样本库中类别信息已知的样本帧的特征信息进行匹配，并根据匹配结果识别出关键帧的类别，进一步地，对识别出的关键帧的类别进行统计，根据统计结果识别出视频流数据的类别。

当应用本发明实施例的方案时，对识别出的视频流数据中的关键帧的类别进行统计，根据统计结果确定视频流数据的类别，实现了对视频类别的识别。可见，本发明的技术方案不需要人工识别视频的类别，降低了视频监测中视频类别识别的人工成本，此外，由于从视频文件中读取视频数据比人工观看视频的速度要快的多，所以本发明的技术方案还提高了视频监测中视频类别识别的效率。

如图5所示，在本发明的一种具体实施方式中，步骤S105可以包括：

在步骤S501中，连续统计识别出的所述关键帧的类别。

具体地，在该步骤中，连续统计识别出的关键帧的类别，以方便后续识别出相应的视频流数据的类别。

在步骤S502中，根据统计结果计算出同一类别关键帧连续出现的次数。

具体地，在该步骤中，当任一类别的关键帧连续出现时，计算相应类别的关键帧连续出现的次数。

在步骤S503中，将正常广告帧连续出现的次数大于正常广告阈值的视频流数据识别为正常广告。

在步骤S504中，将非法广告帧连续出现的次数大于非法广告阈值的视频流数据识别为非法广告。

在步骤S505中，将疑似广告帧连续出现的次数大于疑似广告阈值的视频流数据识别为疑似广告。

在步骤S506中，将非广告帧连续出现的次数大于非广告阈值的视频流数据识别为非广告。

具体地，在图5所示的实施例中，正常广告阈值、非法广告阈值、疑似广告阈值和非广告阈值可根据需要进行设定，在本发明具体实施过程中，正常广告阈值、非法广告阈值、疑似广告阈值和非广告阈值可以相同，也可以不同。当然，在具体场景中，正常广告阈值、非法广告阈值、疑似广告阈值和非广告阈值可能有一定大小关系。例如，在电影节目中，可设定非广告阈值大于正常广告阈值和非法广告阈值，疑似广告阈值小于正常广告阈值和非法广告阈值。又例如，在广告节目中，可设定正常广告阈值大于非广告阈值、非法广告阈值和疑似广告阈值。

此外，可以理解的是，图5所示的实施例仅仅是步骤S105的一种执行方式，步骤S105还可以有其他执行方式。例如，在连续统计识别出的关键帧的类别之后，可计算同一类别的关键帧聚集处对应类别关键帧所占的比例，当比例大于相应的阈值时，则将相应的视频流数据的类别与关键帧的类别对应。其中，若统计结果中发现某一区间内的关键帧除零星的几个关键帧的类别为其他类别关键帧之外，剩余的关键帧的类别均为同一类别，且该同一类别的关键帧的次数达到一定的数目(例如可以是300个、500个等)，则将该区间作为一个关键帧聚集处。例如，根据统计结果发现某一区间内有1000个关键帧，除第101个关键帧为疑似广告帧、第608个关键帧为非广告帧之外，其余的关键帧均为正常广告帧，则将该区间作为一个关键帧聚集处。进一步地，发现该区间内的正常广告帧的比例为0.998，大于预先设定的阈值比例0.9，则可将该区间对应的视频流数据识别为正常广告。

如图6所示，在图5所示方法实施例的基础上，在本发明的一种具体实施方式中，所述方法还可以包括：

在步骤S6中，将正常广告帧连续出现的次数小于正常广告帧阈值、非法广告帧连续出现的次数小于非法广告帧阈值或非广告帧连续出现的次数小于非广告帧阈值的视频流数据识别为疑似广告。

通过步骤S6，将正常广告帧连续出现的次数小于正常广告帧阈值、非法广告帧连续出现的次数小于非法广告帧阈值或非广告帧连续出现的次数小于非广告帧阈值的视频流数据识别为疑似广告,使得视频流数据类别的识别涵盖面更广，识别的更加全面。

优选地，在本发明的一种具体实施方式中，所述方法还可以包括：

当识别出所述视频流数据的类别中的非法广告或疑似广告时，发出报警提示。

在该步骤中，通过报警提示，可提醒相关人员及时对视频流数据中出现的非法广告或疑似广告进行处理，减小违规广告植入造成的影响。

如图7所示，在本发明的一种具体实施方式中，所述方法还可以包括：

当识别出所述视频流数据中的疑似广告后，在步骤S701中，根据检测到的用户操作，确定出所述疑似广告对应的视频流数据的类别。

具体地，在识别出视频流数据中的疑似广告后，当检测到用户将疑似广告确定为正常广告的操作时，将对应的视频流数据的类别确定为正常广告；当检测到用户将疑似广告确定为非法广告的操作时，将对应的视频流数据的类别确定为非法广告；当检测到用户将疑似广告确定为非广告的操作时，将对应的视频流数据的类别确定为非广告。

在步骤S702中，若确定出所述疑似广告对应的视频流数据的类别为正常广告或非法广告，相应地，将所述疑似广告对应的关键帧的类别确定为正常广告帧或非法广告帧，并将所述疑似广告对应的关键帧的特征信息添加到所述样本库中，将所述疑似广告对应的关键帧的特征信息与所述疑似广告对应的关键帧的类别之间的对应关系添加到所述样本库中的索引信息中。

在该步骤中，若根据用户的操作，将疑似广告对应的视频流数据的类别确定为正常广告，则将疑似广告对应的关键帧的类别确定为正常广告帧；若根据用户的操作，将疑似广告对应的视频流数据的类别确定为非法广告，则将疑似广告对应的关键帧的类别确定为非法广告帧。进一步地，将疑似广告对应的关键帧的特征信息添加到样本库中，并将疑似广告对应的关键帧的特征信息与疑似广告对应的关键帧的类别之间的对应关系添加到样本库中的索引信息中。通过该实施方式，丰富了样本库中的样本帧，使得视频流数据类别的识别更加准确。

优选地，在本发明的一种具体实施方式中，所述方法还可以包括：

若视频流数据中任一关键帧的类别被识别为正常广告帧或非法广告帧，则在识别与该关键帧相邻的下一关键帧的类别时，先将所述下一关键帧的特征信息与识别出所述任一关键帧的类别的样本帧的特征信息进行匹配。

在实际场景中，视频广告通常都具有一定的连续性，即相邻关键帧的相似度很可能较高，所以如果识别出视频流数据中某一关键帧的类别为正常广告帧或非法广告帧时，将该关键帧的下一关键帧的特征信息与识别出该关键帧类别的样本帧的特征信息进行匹配时，很可能是同样的识别结果，即可能通过一次匹配就识别出下一关键帧的类别。因此，先将下一关键帧的特征信息与识别出该关键帧类别的样本帧的特征信息进行匹配，可减小匹配时的计算量，增加识别出关键帧的类别的效率。

前述方法实施例中，相同的步骤可以相互借鉴，不同的步骤可以自由组合，并且不同的步骤组合后形成的方案，也属于本公开的保护范围。

相对于上面的方法实施例，本发明实施例还提供了一种识别视频流数据类别的装置。参照图8，为本发明实施例提供的一种识别视频流数据类别的装置的结构示意图，该装置可以包括：数据获取单元801、关键帧提取单元802、关键帧特征信息获取单元803、关键帧类别识别单元804和视频流数据类别确定单元805。

数据获取单元801用于获取视频流数据；

关键帧提取单元802用于从所述视频流数据中提取关键帧；

关键帧特征信息获取单元803用于获取所述关键帧的特征信息；

关键帧类别识别单元804用于将所述关键帧的特征信息与样本库中类别信息已知的样本帧的特征信息的进行匹配，根据匹配结果识别出所述关键帧的类别；其中，所述样本库中包括类别为正常广告帧的样本帧的特征信息和类别为非法广告帧的样本帧的特征信息，所述识别出的关键帧的类别为正常广告帧、非法广告帧、疑似广告帧或非广告帧；

视频流数据类别确定单元805用于对所述关键帧的类别进行统计，根据统计结果确定所述视频流数据的类别；其中，所述视频流数据的类别为正常广告、非法广告、疑似广告和/或非广告。

本发明实施例提供的该识别视频流数据类别的装置，在获取到视频流数据之后，提取视频流数据中的关键帧，然后获取关键帧的特征信息，将该关键帧的特征信息与样本库中类别信息已知的样本帧的特征信息进行匹配，并根据匹配结果识别出关键帧的类别，进一步地，对识别出的关键帧的类别进行统计，根据统计结果识别出视频流数据的类别。

当应用本发明实施例的方案时，对识别出的视频流数据中的关键帧的类别进行统计，根据统计结果确定视频流数据的类别，实现了对视频类别的识别。可见，本发明的技术方案不需要人工识别视频的类别，降低了视频监测中视频类别识别的人工成本，此外，由于从视频文件中读取视频数据比人工观看视频的速度要快的多，所以本发明的技术方案还提高了视频监测中视频类别识别的效率。

如图9所示，在本发明的一种具体实施方式中，所述装置还可以包括：视频片段数据获取单元901、样本帧提取单元902、样本帧特征信息获取单元903、样本帧类别确定单元904、索引信息建立单元905和样本库建立单元906。

视频片段数据获取单元901用于获取多个类别已知的视频片段数据；其中，获取的视频片段数据包括类别为正常广告和非法广告的视频片段数据；

样本帧提取单元902用于从所述视频片段数据中提取所述样本帧；

样本帧特征信息获取单元903用于获取所述样本帧的特征信息；

样本帧类别确定单元904用于根据所述样本帧对应的视频片段数据的类别，确定所述样本帧的类别；其中，确定的所述样本帧的类别为正常广告帧或非法广告帧；

索引信息建立单元905用于建立表征所述样本帧的特征信息与所述样本帧的类别之间的对应关系的索引信息；

样本库建立单元906用于根据所述索引信息和所述样本帧的特征信息建立所述样本库。

优选地，在本发明的一种具体实施方式中，若视频片段数据获取单元获取的所述视频片段数据是半透明视频广告，所述装置还可以包括降噪处理单元。

降噪处理单元用于利用多帧均值合成算法对所述视频片段数据进行降噪处理。

如图10所示，在本发明的一种具体实施方式中，所述样本帧特征信息获取单元获取的样本帧的特征信息为所述样本帧的灰度值，所述关键帧特征信息获取单元获取的所述关键帧的特征信息为所述关键帧的灰度值，所述关键帧类别识别单元可以包括：第一正常关键帧识别子单元1001、第一非法关键帧识别子单元1102、第一疑似广告帧识别子单元1003和第一非广告帧识别子单元1004。

第一正常关键帧识别子单元1001用于当发现所述关键帧的灰度值与样本库中类别为正常广告帧的任一样本帧的灰度值之间的差值的绝对值小于第一阈值时，将所述关键帧的类别识别为正常广告帧；

第一非法关键帧识别子单元1002用于当发现所述关键帧的灰度值与样本库中类别为非法广告帧的任一样本帧的灰度值之间的差值的绝对值小于第二阈值时，将所述关键帧的类别识别为非法广告帧；

第一疑似广告帧识别子单元1003用于当发现所述关键帧的灰度值与样本库中类别为正常广告帧的任一样本帧的灰度值之间的差值的绝对值均大于第一阈值，所述关键帧的灰度值与样本库中类别为非法广告帧的任一样本帧的灰度值之间的差值的绝对值均大于第二阈值，且发现所述关键帧的灰度值与样本库中至少一个样本帧的灰度值之间的差值的绝对值小于第三阈值时，将所述关键帧的类别识别为疑似广告帧；

第一非广告帧识别子单元1004用于当发现所述关键帧的灰度值与样本库中任一样本帧的灰度值之间的差值的绝对值均大于第三阈值时，将所述关键帧的类别识别为非广告帧。

如图11所示，在本发明的一种具体实施方式中，所述样本帧特征信息获取单元获取的样本帧的特征信息为所述样本帧的感知哈希值，所述关键帧特征信息获取单元获取的所述关键帧的特征信息为所述关键帧的感知哈希值，所述关键帧类别识别单元可以包括：第二正常关键帧识别子单元1101、第二非法关键帧识别子单元1102、第二疑似广告帧识别子单元1103和第二非广告帧识别子单元1104。

第二正常广告帧识别子单元1101用于当发现所述关键帧的感知哈希值与样本库中类别为正常广告帧的任一样本帧的感知哈希值之间的相似度值大于第四阈值时，将所述关键帧的类别识别为正常广告帧；

第二非法广告帧识别子单元1102用于当发现所述关键帧的感知哈希值与样本库中类别为非法广告帧的任一样本帧的感知哈希值之间的相似度值大于第五阈值时，将所述关键帧的类别识别为非法广告帧；

第二疑似广告帧识别子单元1103用于当发现所述关键帧的感知哈希值与样本库中类别为正常广告帧的任一样本帧的感知哈希值之间的相似度值均小于第四阈值，所述关键帧的感知哈希值与样本库中类别为非法广告帧的任一样本帧的感知哈希值之间的相似度值均小于第五阈值，且发现所述关键帧的感知哈希值与样本库中至少一个样本帧的感知哈希值之间的相似度值大于第六阈值时，将所述关键帧的类别识别为疑似广告帧；

第二非广告帧识别子单元1104用于当发现所述关键帧的感知哈希值与样本库中任一样本帧的感知哈希值之间的相似度值均小于第六阈值时，将所述关键帧的类别识别为非广告帧。

优选地，在本发明的一种具体实施方式中，所述装置还可以包括:特征信息匹配单元。

特征信息匹配单元用于若视频流数据中任一关键帧的类别被识别为正常广告帧或非法广告帧，则在识别与该关键帧相邻的下一关键帧的类别时，先将所述下一关键帧的特征信息与识别出所述任一关键帧的类别的样本帧的特征信息进行匹配。

如图12所示，在本发明的一种具体实施方式中，所述视频流数据类别确定单元可以包括：关键帧类别统计子单元1201、次数计算子单元1202、正常广告识别子单元1203、非法广告识别子单元1204、疑似广告识别子单元1205和非广告识别子单元1206。

关键帧类别统计子单元1201用于连续统计识别出的所述关键帧的类别；

次数计算子单元1202用于根据统计结果计算出同一类别关键帧连续出现的次数；

正常广告识别子单元1203用于将正常广告帧连续出现的次数大于正常广告阈值的视频流数据识别为正常广告；

非法广告识别子单元1204用于将非法广告帧连续出现的次数大于非法广告阈值的视频流数据识别为非法广告；

疑似广告识别子单元1205用于将疑似广告帧连续出现的次数大于疑似广告阈值的视频流数据识别为疑似广告；

非广告识别子单元1206用于将非广告帧连续出现的次数大于非广告阈值的视频流数据识别为非广告。

优选地，在本发明的一种具体实施方式中，所述疑似广告识别子单元还用于将正常广告帧连续出现的次数小于正常广告帧阈值、非法广告帧连续出现的次数小于非法广告帧阈值或非广告帧连续出现的次数小于非广告帧阈值的视频流数据识别为疑似广告。

优选地，在本发明的一种具体实施方式中，所述装置还可以包括：报警提示单元。

报警提示单元用于当识别出所述视频流数据的类别中的非法广告或疑似广告时，发出报警提示。

如图13所示，在本发明的一种具体实施方式中，所述装置还可以包括：类别确定单元1301和添加单元1302。

类别确定单元1301用于当识别出所述视频流数据的类别中的疑似广告时，根据检测到的用户操作，确定出所述疑似广告对应的视频流数据的类别；

添加单元1302用于若确定出所述疑似广告对应的视频流数据的类别为正常广告或非法广告，相应地，将所述疑似广告对应的关键帧的类别确定为正常广告帧或非法广告帧，并将所述疑似广告对应的关键帧的特征信息添加到所述样本库中，将所述疑似广告对应的关键帧的特征信息与所述疑似广告对应的关键帧的类别之间的对应关系添加到所述样本库中的索引信息中。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。且可以理解的是，上述实施例中的装置的各模块之间可以自由组合，由不同的模块组合后的方案，也属于本公开的保护范围。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (20)

1.一种识别视频流数据类别的方法，其特征在于，所述方法包括：

获取视频流数据；

从所述视频流数据中提取关键帧；

获取所述关键帧的特征信息；

将所述关键帧的特征信息与样本库中类别信息已知的样本帧的特征信息的进行匹配，根据匹配结果识别出所述关键帧的类别；其中，所述样本库中包括类别为正常广告帧的样本帧的特征信息和类别为非法广告帧的样本帧的特征信息，所述识别出的关键帧的类别为正常广告帧、非法广告帧、疑似广告帧或非广告帧；

对所述关键帧的类别进行统计，根据统计结果计算出同一类别关键帧连续出现的次数，并根据计算结果确定所述视频流数据的类别；其中，所述视频流数据的类别为正常广告、非法广告、疑似广告和/或非广告。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取多个类别已知的视频片段数据；其中，获取的视频片段数据包括类别为正常广告和非法广告的视频片段数据；

从所述视频片段数据中提取所述样本帧；

获取所述样本帧的特征信息；

根据所述样本帧对应的视频片段数据的类别，确定所述样本帧的类别；其中，确定的所述样本帧的类别为正常广告帧或非法广告帧；

建立表征所述样本帧的特征信息与所述样本帧的类别之间的对应关系的索引信息；

根据所述索引信息和所述样本帧的特征信息建立所述样本库。

3.根据权利要求2所述的方法，其特征在于，若所述视频片段数据是半透明视频广告，所述方法还包括：

利用多帧均值合成算法对所述视频片段数据进行降噪处理。

4.根据权利要求2所述的方法，其特征在于，所述样本帧的特征信息为所述样本帧的灰度值，所述关键帧的特征信息为所述关键帧的灰度值，所述将所述关键帧的特征信息与样本库中类别信息已知的样本帧的特征信息的进行匹配，根据匹配结果识别出所述关键帧的类别，包括：

当发现所述关键帧的灰度值与样本库中类别为正常广告帧的任一样本帧的灰度值之间的差值的绝对值小于第一阈值时，将所述关键帧的类别识别为正常广告帧；

当发现所述关键帧的灰度值与样本库中类别为非法广告帧的任一样本帧的灰度值之间的差值的绝对值小于第二阈值时，将所述关键帧的类别识别为非法广告帧；

当发现所述关键帧的灰度值与样本库中类别为正常广告帧的任一样本帧的灰度值之间的差值的绝对值均大于第一阈值，所述关键帧的灰度值与样本库中类别为非法广告帧的任一样本帧的灰度值之间的差值的绝对值均大于第二阈值，且发现所述关键帧的灰度值与样本库中至少一个样本帧的灰度值之间的差值的绝对值小于第三阈值时，将所述关键帧的类别识别为疑似广告帧；

当发现所述关键帧的灰度值与样本库中任一样本帧的灰度值之间的差值的绝对值均大于第三阈值时，将所述关键帧的类别识别为非广告帧。

5.根据权利要求2所述的方法，其特征在于，所述样本帧的特征信息为所述样本帧的感知哈希值，所述关键帧的特征信息为所述关键帧的感知哈希值，所述将所述关键帧的特征信息与样本库中类别信息已知的样本帧的特征信息的进行匹配，根据匹配结果识别出所述关键帧的类别，包括：

当发现所述关键帧的感知哈希值与样本库中类别为正常广告帧的任一样本帧的感知哈希值之间的相似度值大于第四阈值时，将所述关键帧的类别识别为正常广告帧；

当发现所述关键帧的感知哈希值与样本库中类别为非法广告帧的任一样本帧的感知哈希值之间的相似度值大于第五阈值时，将所述关键帧的类别识别为非法广告帧；

当发现所述关键帧的感知哈希值与样本库中类别为正常广告帧的任一样本帧的感知哈希值之间的相似度值均小于第四阈值，所述关键帧的感知哈希值与样本库中类别为非法广告帧的任一样本帧的感知哈希值之间的相似度值均小于第五阈值，且发现所述关键帧的感知哈希值与样本库中至少一个样本帧的感知哈希值之间的相似度值大于第六阈值时，将所述关键帧的类别识别为疑似广告帧；

当发现所述关键帧的感知哈希值与样本库中任一样本帧的感知哈希值之间的相似度值均小于第六阈值时，将所述关键帧的类别识别为非广告帧。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

若视频流数据中任一关键帧的类别被识别为正常广告帧或非法广告帧，则在识别与该关键帧相邻的下一关键帧的类别时，先将所述下一关键帧的特征信息与识别出所述任一关键帧的类别的样本帧的特征信息进行匹配。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述对所述关键帧的类别进行统计，根据统计结果确定所述视频流数据的类别，包括：

连续统计识别出的所述关键帧的类别；

根据统计结果计算出同一类别关键帧连续出现的次数；

将正常广告帧连续出现的次数大于正常广告阈值的视频流数据识别为正常广告；

将非法广告帧连续出现的次数大于非法广告阈值的视频流数据识别为非法广告；

将疑似广告帧连续出现的次数大于疑似广告阈值的视频流数据识别为疑似广告；

将非广告帧连续出现的次数大于非广告阈值的视频流数据识别为非广告。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

将正常广告帧连续出现的次数小于正常广告帧阈值、非法广告帧连续出现的次数小于非法广告帧阈值或非广告帧连续出现的次数小于非广告帧阈值的视频流数据识别为疑似广告。

9.根据权利要求7所述的方法，其特征在于，所述方法还包括：

当识别出所述视频流数据的类别中的非法广告或疑似广告时，发出报警提示。

10.根据权利要求8所述的方法，其特征在于，所述方法还包括：

当识别出所述视频流数据中的疑似广告后，根据检测到的用户操作，确定出所述疑似广告对应的视频流数据的类别；

若确定出所述疑似广告对应的视频流数据的类别为正常广告或非法广告，相应地，将所述疑似广告对应的关键帧的类别确定为正常广告帧或非法广告帧，并将所述疑似广告对应的关键帧的特征信息添加到所述样本库中，将所述疑似广告对应的关键帧的特征信息与所述疑似广告对应的关键帧的类别之间的对应关系添加到所述样本库中的索引信息中。

11.一种识别视频流数据类别的装置，其特征在于，所述装置包括：

数据获取单元，用于获取视频流数据；

关键帧提取单元，用于从所述视频流数据中提取关键帧；

关键帧特征信息获取单元，用于获取所述关键帧的特征信息；

关键帧类别识别单元，用于将所述关键帧的特征信息与样本库中类别信息已知的样本帧的特征信息的进行匹配，根据匹配结果识别出所述关键帧的类别；其中，所述样本库中包括类别为正常广告帧的样本帧的特征信息和类别为非法广告帧的样本帧的特征信息，所述识别出的关键帧的类别为正常广告帧、非法广告帧、疑似广告帧或非广告帧；

视频流数据类别确定单元，用于对所述关键帧的类别进行统计，根据统计结果计算出同一类别关键帧连续出现的次数，并根据计算结果确定所述视频流数据的类别；其中，所述视频流数据的类别为正常广告、非法广告、疑似广告和/或非广告。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括：

视频片段数据获取单元，用于获取多个类别已知的视频片段数据；其中，获取的视频片段数据包括类别为正常广告和非法广告的视频片段数据；

样本帧提取单元，用于从所述视频片段数据中提取所述样本帧；

样本帧特征信息获取单元，用于获取所述样本帧的特征信息；

样本帧类别确定单元，用于根据所述样本帧对应的视频片段数据的类别，确定所述样本帧的类别；其中，确定的所述样本帧的类别为正常广告帧或非法广告帧；

索引信息建立单元，用于建立表征所述样本帧的特征信息与所述样本帧的类别之间的对应关系的索引信息；

样本库建立单元，用于根据所述索引信息和所述样本帧的特征信息建立所述样本库。

13.根据权利要求12所述的装置，其特征在于，若视频片段数据获取单元获取的所述视频片段数据是半透明视频广告，所述装置还包括：

降噪处理单元，用于利用多帧均值合成算法对所述视频片段数据进行降噪处理。

14.根据权利要求12所述的装置，其特征在于，所述样本帧特征信息获取单元获取的样本帧的特征信息为所述样本帧的灰度值，所述关键帧特征信息获取单元获取的所述关键帧的特征信息为所述关键帧的灰度值，所述关键帧类别识别单元，包括：

第一正常关键帧识别子单元，用于当发现所述关键帧的灰度值与样本库中类别为正常广告帧的任一样本帧的灰度值之间的差值的绝对值小于第一阈值时，将所述关键帧的类别识别为正常广告帧；

第一非法关键帧识别子单元，用于当发现所述关键帧的灰度值与样本库中类别为非法广告帧的任一样本帧的灰度值之间的差值的绝对值小于第二阈值时，将所述关键帧的类别识别为非法广告帧；

第一疑似广告帧识别子单元，用于当发现所述关键帧的灰度值与样本库中类别为正常广告帧的任一样本帧的灰度值之间的差值的绝对值均大于第一阈值，所述关键帧的灰度值与样本库中类别为非法广告帧的任一样本帧的灰度值之间的差值的绝对值均大于第二阈值，且发现所述关键帧的灰度值与样本库中至少一个样本帧的灰度值之间的差值的绝对值小于第三阈值时，将所述关键帧的类别识别为疑似广告帧；

第一非广告帧识别子单元，用于当发现所述关键帧的灰度值与样本库中任一样本帧的灰度值之间的差值的绝对值均大于第三阈值时，将所述关键帧的类别识别为非广告帧。

15.根据权利要求12所述的装置，其特征在于，所述样本帧特征信息获取单元获取的样本帧的特征信息为所述样本帧的感知哈希值，所述关键帧特征信息获取单元获取的所述关键帧的特征信息为所述关键帧的感知哈希值，所述关键帧类别识别单元，包括：

第二正常广告帧识别子单元，用于当发现所述关键帧的感知哈希值与样本库中类别为正常广告帧的任一样本帧的感知哈希值之间的相似度值大于第四阈值时，将所述关键帧的类别识别为正常广告帧；

第二非法广告帧识别子单元，用于当发现所述关键帧的感知哈希值与样本库中类别为非法广告帧的任一样本帧的感知哈希值之间的相似度值大于第五阈值时，将所述关键帧的类别识别为非法广告帧；

第二疑似广告帧识别子单元，用于当发现所述关键帧的感知哈希值与样本库中类别为正常广告帧的任一样本帧的感知哈希值之间的相似度值均小于第四阈值，所述关键帧的感知哈希值与样本库中类别为非法广告帧的任一样本帧的感知哈希值之间的相似度值均小于第五阈值，且发现所述关键帧的感知哈希值与样本库中至少一个样本帧的感知哈希值之间的相似度值大于第六阈值时，将所述关键帧的类别识别为疑似广告帧；

第二非广告帧识别子单元，用于当发现所述关键帧的感知哈希值与样本库中任一样本帧的感知哈希值之间的相似度值均小于第六阈值时，将所述关键帧的类别识别为非广告帧。

16.根据权利要求11-15任一项所述的装置，其特征在于，所述装置还包括：

特征信息匹配单元，用于若视频流数据中任一关键帧的类别被识别为正常广告帧或非法广告帧，则在识别与该关键帧相邻的下一关键帧的类别时，先将所述下一关键帧的特征信息与识别出所述任一关键帧的类别的样本帧的特征信息进行匹配。

17.根据权利要求11-15任一项所述的装置，其特征在于，所述视频流数据类别确定单元，包括：

关键帧类别统计子单元，用于连续统计识别出的所述关键帧的类别；

次数计算子单元，用于根据统计结果计算出同一类别关键帧连续出现的次数；

正常广告识别子单元，用于将正常广告帧连续出现的次数大于正常广告阈值的视频流数据识别为正常广告；

非法广告识别子单元，用于将非法广告帧连续出现的次数大于非法广告阈值的视频流数据识别为非法广告；

疑似广告识别子单元，用于将疑似广告帧连续出现的次数大于疑似广告阈值的视频流数据识别为疑似广告；

非广告识别子单元，用于将非广告帧连续出现的次数大于非广告阈值的视频流数据识别为非广告。

18.根据权利要求17所述的装置，其特征在于，所述疑似广告识别子单元还用于将正常广告帧连续出现的次数小于正常广告帧阈值、非法广告帧连续出现的次数小于非法广告帧阈值或非广告帧连续出现的次数小于非广告帧阈值的视频流数据识别为疑似广告。

19.根据权利要求17所述的装置，其特征在于，所述装置还包括：

报警提示单元，用于当识别出所述视频流数据的类别中的非法广告或疑似广告时，发出报警提示。

20.根据权利要求18所述的装置，其特征在于，所述装置还包括：

类别确定单元，用于当识别出所述视频流数据的类别中的疑似广告时，根据检测到的用户操作，确定出所述疑似广告对应的视频流数据的类别；

添加单元，用于若确定出所述疑似广告对应的视频流数据的类别为正常广告或非法广告，相应地，将所述疑似广告对应的关键帧的类别确定为正常广告帧或非法广告帧，并将所述疑似广告对应的关键帧的特征信息添加到所述样本库中，将所述疑似广告对应的关键帧的特征信息与所述疑似广告对应的关键帧的类别之间的对应关系添加到所述样本库中的索引信息中。