CN109543511A - 基于图纹突变帧和特征计算的视频识别方法、系统及装置 - Google Patents

Abstract

本发明公开了基于图纹突变帧和特征计算的视频识别方法、系统及装置；方法包括：计算视频中每一帧图片的图纹数据；根据图片的图纹数据，计算相邻两帧图片之间的图纹相似度；对相邻两帧图片之间的图纹相似度进行阈值比对，得到突变帧；根据突变帧计算得到待识别特征码；根据预存的视频特征码，对待识别特征码进行检索匹配，得到视频识别结果；其中，所述待识别特征码和视频特征码均为文本格式。本发明能够避免漏判和误判，提高了识别准确率，还大大降低了样本库检索的难度，复杂度低，可广泛应用于图像处理技术领域。

Description

基于图纹突变帧和特征计算的视频识别方法、系统及装置

技术领域

本发明涉及图像处理技术领域，尤其是基于图纹突变帧和特征计算的视频识别方法、系统及装置。

背景技术

名词解释：

图纹，是图片指纹的简称。图片指纹，又称图片哈希(Image Hash)，具体是将图片的高维内容特征映射到二值空间中，以生成一个能够表示图片的低维哈希序列。

突变帧，指的是在视频流的连续多帧图片中，图片内容与前一帧存在较大差异的帧，差异大小可以利用图纹差值来度量。

突变帧间隔，指的是在视频流中两个连续突变帧之间的帧序号差值。

在电视广告播出监测领域，需要通过计算机技术替代人工来追踪标记广告的实际播出记录。

现有的做法是，首先需要将要追踪的广告视频纳入到样本库，通过合适的算法计算出其对应的视频特征值。然后捕捉处理电视视频流，将电视视频流拆分成若干个，然后使用相同的算法计算视频片段的特征值。将计算得到的特征值置于样本库中进行检索匹配，如果样本库中匹配到对应的特征值，就认为该特征值对应的广告视频在电视视频中播出过。这种特征值应能涵盖视频特性，应类似于文本或图片哈希数据，方便于计算机进行检索。

上述做法的关键在于样本视频特征值的计算方法，这种计算方法存在两个问题：1)、待检视频的自有特征较少，容易出现漏判和误判，识别准确率低；2)、为了提高视频识别的准确率，现有计算方法得到的视频特征值的信息量较大，加大了样本库检索的难度，复杂度较高。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种识别准确率高且复杂度低的，基于图纹突变帧和特征计算的视频识别方法、系统及装置。

本发明一方面所采取的技术方案是：

基于图纹突变帧和特征计算的视频识别方法，包括以下步骤：

计算视频中每一帧图片的图纹数据；

根据图片的图纹数据，计算相邻两帧图片之间的图纹相似度；

对相邻两帧图片之间的图纹相似度进行阈值比对，得到突变帧；

根据突变帧计算得到待识别特征码；

根据预存的视频特征码，对待识别特征码进行检索匹配，得到视频识别结果；

其中，所述待识别特征码和视频特征码均为文本格式。

进一步，所述计算视频中每一帧图片的图纹数据这一步骤，其具体为：

采用平均哈希算法、感知哈希算法、梯度散列算法或小波散列算法，对视频中每一帧图片的图纹数据进行计算。

进一步，所述根据图片的图纹数据，计算相邻两帧图片之间的图纹相似度这一步骤，包括以下步骤：

根据图片的图纹数据，分别计算相邻两帧图片的汉明距离；

将相邻两帧图片的汉明距离相减，得到图纹相似度。

进一步，所述对相邻两帧图片之间的图纹相似度进行阈值比对，得到突变帧这一步骤，其具体为：

判断相邻两帧图片之间的图纹相似度是否大于预设的阈值，若是，则确定所述相邻两帧图片中的后一帧图片为突变帧；反之，则不做处理。

进一步，所述根据突变帧计算得到待识别特征码这一步骤，包括以下步骤：

根据突变帧，获取所述突变帧的突变帧序号；

将相邻两个突变帧的突变帧序号相减，得到所述视频的待识别特征码。

进一步，所述根据预存的视频特征码，对待识别特征码进行检索匹配，得到视频识别结果这一步骤，其具体为：

根据预存的视频特征码，采用文本检索方式对待识别特征码进行匹配，得到视频识别结果。

进一步，所述根据预存的视频特征码，采用文本检索方式对待识别特征码进行匹配，得到视频识别结果这一步骤，包括以下步骤：

计算突变帧相对于所述视频的相对位置，得到所述视频的第一特征标识串；

将第一特征标识串转化为文本格式的第二特征标识串，所述第二特征标识串通过分隔符进行分隔；

通过数据库检索工具，基于预存的视频特征码，对第二特征标识串进行匹配，得到视频识别结果。

本发明另一方面所采取的技术方案是：

基于图纹突变帧和特征计算的视频识别系统，包括：

图纹数据计算模块，用于计算视频中每一帧图片的图纹数据；

图纹相似度计算模块，用于根据图片的图纹数据，计算相邻两帧图片之间的图纹相似度；

比对模块，用于对相邻两帧图片之间的图纹相似度进行阈值比对，得到突变帧；

特征码计算模块，用于根据突变帧计算得到待识别特征码；

匹配模块，用于根据预存的视频特征码，对待识别特征码进行检索匹配，得到视频识别结果；

其中，所述待识别特征码和视频特征码均为文本格式。

进一步，所述特征码计算模块包括：

突变帧序号获取单元，用于根据突变帧，获取所述突变帧的突变帧序号；

特征码计算单元，用于将相邻两个突变帧的突变帧序号相减，得到所述视频的待识别特征码。

本发明另一方面所采取的技术方案是：

基于图纹突变帧和特征计算的视频识别装置，包括：

存储器，用于存储程序；

处理器，用于加载程序，以执行所述的基于图纹突变帧和特征计算的视频识别方法。

本发明的有益效果是：本发明基于视频中每一帧图片的图纹数据，通过获取突变帧和待识别特征码，最终得到视频识别结果，能够避免漏判和误判，提高了识别准确率；另外，本发明的待识别特征码和视频特征码均为文本格式，通过文本格式的检索匹配，大大降低了样本库检索的难度，复杂度低。

附图说明

图1为本发明基于图纹突变帧和特征计算的视频识别方法的整体步骤流程图；

图2为本发明实施例的步骤流程图。

具体实施方式

下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

参照图1，本发明基于图纹突变帧和特征计算的视频识别方法，包括以下步骤：

计算视频中每一帧图片的图纹数据；

根据图片的图纹数据，计算相邻两帧图片之间的图纹相似度；

对相邻两帧图片之间的图纹相似度进行阈值比对，得到突变帧；

根据突变帧计算得到待识别特征码；

根据预存的视频特征码，对待识别特征码进行检索匹配，得到视频识别结果；

其中，所述待识别特征码和视频特征码均为文本格式。

进一步作为优选的实施方式，所述计算视频中每一帧图片的图纹数据这一步骤，其具体为：

采用平均哈希算法、感知哈希算法、梯度散列算法或小波散列算法，对视频中每一帧图片的图纹数据进行计算。

进一步作为优选的实施方式，所述根据图片的图纹数据，计算相邻两帧图片之间的图纹相似度这一步骤，包括以下步骤：

根据图片的图纹数据，分别计算相邻两帧图片的汉明距离；

将相邻两帧图片的汉明距离相减，得到图纹相似度。

进一步作为优选的实施方式，所述对相邻两帧图片之间的图纹相似度进行阈值比对，得到突变帧这一步骤，其具体为：

判断相邻两帧图片之间的图纹相似度是否大于预设的阈值，若是，则确定所述相邻两帧图片中的后一帧图片为突变帧；反之，则不做处理。

进一步作为优选的实施方式，所述根据突变帧计算得到待识别特征码这一步骤，包括以下步骤：

根据突变帧，获取所述突变帧的突变帧序号；

将相邻两个突变帧的突变帧序号相减，得到所述视频的待识别特征码。

进一步作为优选的实施方式，所述根据预存的视频特征码，对待识别特征码进行检索匹配，得到视频识别结果这一步骤，其具体为：

根据预存的视频特征码，采用文本检索方式对待识别特征码进行匹配，得到视频识别结果。

进一步作为优选的实施方式，所述根据预存的视频特征码，采用文本检索方式对待识别特征码进行匹配，得到视频识别结果这一步骤，包括以下步骤：

计算突变帧相对于所述视频的相对位置，得到所述视频的第一特征标识串；

将第一特征标识串转化为文本格式的第二特征标识串，所述第二特征标识串通过分隔符进行分隔；

通过数据库检索工具，基于预存的视频特征码，对第二特征标识串进行匹配，得到视频识别结果。

与图1的方法相对应，本发明基于图纹突变帧和特征计算的视频识别系统，包括：

图纹数据计算模块，用于计算视频中每一帧图片的图纹数据；

图纹相似度计算模块，用于根据图片的图纹数据，计算相邻两帧图片之间的图纹相似度；

比对模块，用于对相邻两帧图片之间的图纹相似度进行阈值比对，得到突变帧；

特征码计算模块，用于根据突变帧计算得到待识别特征码；

匹配模块，用于根据预存的视频特征码，对待识别特征码进行检索匹配，得到视频识别结果；

其中，所述待识别特征码和视频特征码均为文本格式。

进一步作为优选的实施方式，所述特征码计算模块包括：

突变帧序号获取单元，用于根据突变帧，获取所述突变帧的突变帧序号；

特征码计算单元，用于将相邻两个突变帧的突变帧序号相减，得到所述视频的待识别特征码。

与图1的方法相对应，基于图纹突变帧和特征计算的视频识别装置，包括：

存储器，用于存储程序；

处理器，用于加载程序，以执行所述的基于图纹突变帧和特征计算的视频识别方法。

下面结合说明书附图，对本发明的基于图纹突变帧和特征计算的视频识别方法的具体实施步骤做详细描述：

如图2所示，本发明实施例的视频识别方法包括以下步骤：

S1、捕捉一段待识别的视频流。其中，本发明的视频流长度可根据实际需要进行确定，用户可可以无限追加视频流，也可以对其任意裁剪，可以使用其中一部分进行匹配，也可以扩大范围精确匹配。

S2、获取每一帧图片的图纹数据；

具体地，本发明可按顺序逐一获取每一帧图片的图纹数据，也可以同时获取多个或者所有帧图片的图纹数据，上述图纹数据的获取方式均在本申请的保护范围内。

所述步骤S2具体为：首先对每一帧图片进行预处理，所述预处理包括裁剪和去噪等方式，然后采用平均哈希算法、感知哈希算法、梯度散列算法或小波散列算法，对视频中每一帧图片的图纹数据进行计算。

S3、根据计算得到的每帧图片的图纹数据，计算相邻两帧图片之间的图纹相似度；

其中，所述步骤S3包括以下步骤：

S31、根据图片的图纹数据，分别计算相邻两帧图片的汉明距离；

S32、将相邻两帧图片的汉明距离相减，得到图纹相似度。

例如，相邻两帧图片的图纹数据分别是e0e7e7e0c080c0c0和e7e7e7e0c080c0c0，则这两帧图片之间的差值(即汉明距离)为3。本实施例的汉明距离的取值范围是0-64，当两帧图片之间的汉明距离越小时，说明这两帧图片的相似度越高。

S4、对相邻两帧图片之间的图纹相似度进行阈值比对，得到突变帧。

其中，所述步骤S4具体为：判断相邻两帧图片之间的图纹相似度是否大于预设的阈值，若是，则确定所述相邻两帧图片中的后一帧图片为突变帧；反之，则不做处理。

具体地，以具有52帧图片的视频流为例，计算得到第9帧图片与第8帧图片之间的图纹差值为48，计算得到第36帧图片与第35帧图片之间的图纹差值为30，而其他相邻两帧图片之间的图纹差值均不超过10，因此，本实施例确认第9帧图片和第36帧图片为突变帧。

S5、根据突变帧计算得到待识别特征码。

其中，所述步骤S5包括以下步骤：

S51、根据突变帧，获取所述突变帧的突变帧序号；

S52、将相邻两个突变帧的突变帧序号相减，得到所述视频的待识别特征码。

具体地，继续以上述52帧图片的视频流为例，计算两个突变帧的帧序号差值，即36-9＝27，得到的这个帧序号差值就是这段视频流的一个待识别特征码。

S6、根据预存的视频特征码，对待识别特征码进行检索匹配，得到视频识别结果。

其中，所述步骤S6包括以下步骤：

S61、计算突变帧相对于所述视频的相对位置，得到所述视频的第一特征标识串；

S62、将第一特征标识串转化为文本格式的第二特征标识串，所述第二特征标识串通过分隔符进行分隔；

S63、通过数据库检索工具，基于预存的视频特征码，对第二特征标识串进行匹配，得到视频识别结果。其中，本实施例中预存的视频特征码是广告视频特征码，以供广告商判断电视频道是否在规定时间段以及按照规定时长进行广告视频的播放，无需进行人为监测，降低了人工成本。

具体地，根据所述步骤S5的方法，假设计算得到的一段视频流的一组待识别特征码为[27，28，33，125，149，3，1，1，2，1，1，92，2，1，1，191]，则将这组待识别特征码确认为第一特征标识串；所述第一特征标识串记录了该段视频流的突变帧之间的间隔距离。本实施例通过计算得到的第一特征标识串，相较于现有技术通过比较音频或者视频文件来匹配的方法，大大减少了视频特征值的存储容量，并且后续可以利用常见的文本检索来实现特征值匹配，效率高。

其中，对于实际应用中的两个完全不同的视频，通过本发明可能会计算得到相同的待识别特征码，此时可以扩大匹配范围(比如将图纹差值为5-10的图片也确认为突变帧，或者辅助其它算法予以区分，在此不再赘述)，本发明适用于海量视频的大范围过滤搜索。再有，假设存在相同广告内容经过剪切发布了两个版本，比如分别是15秒钟版本和5秒钟版本，此时这两个版本的广告计算出的视频特征序列是不一致的，因此通过本发明的方法得到的结果是这两段视频属于不同广告内容。

另外，在为视频流计算特征码序列过程中，会遇到两种情况，一是连续的多帧图片都出现了突变，这个情况无需特殊处理，本实施例确认这种情况属于这段视频的特征。二是连续的多帧图片都没有出现突变，从而造成新出现的突变特征码变得很大。考虑到电视广告时长一般是15秒，以1秒有为25帧计算的话，15秒则共有375帧；因此，为了更好地通过特征码定位出广告的播出时间，本实施例中，对于大于或者等于375的新特征码，本实施例强制输出一条对应该视频流的特征码。

例如，假设某个广告的视频特征码是[38，27，72，37，103，69，64，245，50]。根据这样组视频特征码，借助文本检索，可以在视频库的特征码序列中快速定位出广告播出时间点(例如20171201-013235.296)，然后在该时间点的基础上，加上这组特征码没有计入的突变帧距离(如470)，则可以精确计算出该视频的精确播出时间。

综上所述，本发明基于图纹突变帧和特征计算的视频识别方法、系统及装置，具有以下优点：

1、本发明基于视频中每一帧图片的图纹数据，通过获取突变帧和待识别特征码，最终得到视频识别结果，能够避免漏判和误判，提高了识别准确率。

2、本发明的待识别特征码和视频特征码均为文本格式，通过文本格式的检索匹配，大大降低了样本库检索的难度，复杂度低。

3、本发明生成的待识别特征码结构简单，大大减少了视频特征的存储数据量，方便为全天候的海量视频计算特征码并存储。

4、本发明的文本序列格式的视频特征码，方便于进一步去重、统计等操作。

5、本发明的视频特征码技术，除了可以识别视频广告，还可以识别特定的节目片头片尾，从而识别出电视节目的播出记录。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.基于图纹突变帧和特征计算的视频识别方法，其特征在于：包括以下步骤：

计算视频中每一帧图片的图纹数据；

根据图片的图纹数据，计算相邻两帧图片之间的图纹相似度；

对相邻两帧图片之间的图纹相似度进行阈值比对，得到突变帧；

根据突变帧计算得到待识别特征码；

根据预存的视频特征码，对待识别特征码进行检索匹配，得到视频识别结果；

其中，所述待识别特征码和视频特征码均为文本格式。

2.根据权利要求1所述的基于图纹突变帧和特征计算的视频识别方法，其特征在于：所述计算视频中每一帧图片的图纹数据这一步骤，其具体为：

采用平均哈希算法、感知哈希算法、梯度散列算法或小波散列算法，对视频中每一帧图片的图纹数据进行计算。

3.根据权利要求1所述的基于图纹突变帧和特征计算的视频识别方法，其特征在于：所述根据图片的图纹数据，计算相邻两帧图片之间的图纹相似度这一步骤，包括以下步骤：

根据图片的图纹数据，分别计算相邻两帧图片的汉明距离；

将相邻两帧图片的汉明距离相减，得到图纹相似度。

4.根据权利要求1所述的基于图纹突变帧和特征计算的视频识别方法，其特征在于：所述对相邻两帧图片之间的图纹相似度进行阈值比对，得到突变帧这一步骤，其具体为：

判断相邻两帧图片之间的图纹相似度是否大于预设的阈值，若是，则确定所述相邻两帧图片中的后一帧图片为突变帧；反之，则不做处理。

5.根据权利要求1所述的基于图纹突变帧和特征计算的视频识别方法，其特征在于：所述根据突变帧计算得到待识别特征码这一步骤，包括以下步骤：

根据突变帧，获取所述突变帧的突变帧序号；

将相邻两个突变帧的突变帧序号相减，得到所述视频的待识别特征码。

6.根据权利要求1所述的基于图纹突变帧和特征计算的视频识别方法，其特征在于：所述根据预存的视频特征码，对待识别特征码进行检索匹配，得到视频识别结果这一步骤，其具体为：

根据预存的视频特征码，采用文本检索方式对待识别特征码进行匹配，得到视频识别结果。

7.根据权利要求6所述的基于图纹突变帧和特征计算的视频识别方法，其特征在于：所述根据预存的视频特征码，采用文本检索方式对待识别特征码进行匹配，得到视频识别结果这一步骤，包括以下步骤：

计算突变帧相对于所述视频的相对位置，得到所述视频的第一特征标识串；

将第一特征标识串转化为文本格式的第二特征标识串，所述第二特征标识串通过分隔符进行分隔；

通过数据库检索工具，基于预存的视频特征码，对第二特征标识串进行匹配，得到视频识别结果。

8.基于图纹突变帧和特征计算的视频识别系统，其特征在于：包括：

图纹数据计算模块，用于计算视频中每一帧图片的图纹数据；

图纹相似度计算模块，用于根据图片的图纹数据，计算相邻两帧图片之间的图纹相似度；

比对模块，用于对相邻两帧图片之间的图纹相似度进行阈值比对，得到突变帧；

特征码计算模块，用于根据突变帧计算得到待识别特征码；

匹配模块，用于根据预存的视频特征码，对待识别特征码进行检索匹配，得到视频识别结果；

其中，所述待识别特征码和视频特征码均为文本格式。

9.根据权利要求8所述的基于图纹突变帧和特征计算的视频识别系统，其特征在于：所述特征码计算模块包括：

突变帧序号获取单元，用于根据突变帧，获取所述突变帧的突变帧序号；

特征码计算单元，用于将相邻两个突变帧的突变帧序号相减，得到所述视频的待识别特征码。

10.基于图纹突变帧和特征计算的视频识别装置，其特征在于：包括：

存储器，用于存储程序；

处理器，用于加载程序，以执行如权利要求1-7任一项所述的基于图纹突变帧和特征计算的视频识别方法。