CN110175559B - 一种用于智能识别的视频帧的独立判断方法 - Google Patents

Abstract

本发明提供了一种用于智能识别的视频帧的独立判断方法，本发明在基于感知哈希图片相似度对比基础之上，采用多种基于帧图原始色彩通道与其它域信息的感知哈希算法分别生成同一张帧图的不同指纹，得到当前帧图的指纹组，并将所述指纹组中所述的指纹码映射至映射空间中的对应比特位上，新抽得的帧图生成指纹后，用同样的算法映射后，通过检验存储内空间对应的比特位，来判断是当前帧是否独立。本发明利用哈希算法冲突率低的特点，采用指纹码映射空间来保存已处理帧图的哈希指纹码，从而无需重新计算或逐图保存已处理视频帧图的指纹码，也无需逐个对比当前处理帧与所有已处理帧间的相似度，从而降低相似度评判的耗时，提升视频处理的整体效率。

Description

一种用于智能识别的视频帧的独立判断方法

技术领域

本发明属于视频图像处理技术领域，尤其涉及一种用于智能识别的视频帧的独立判断方法。

背景技术

近些年来，机器视觉领域中深度学习技术有了迅速的发展，也越来越多地应用到各种场景之中。基于深度学习的机器视觉方案基本实现方式是通过预训练的深度卷积神经网络模型，对目标图片进行复杂的神经网络前向运算，最终得到如图片分类、检测等结果。基于深度学习的机器视觉算法准确率通常高于传统算法，但其代价是运算复杂，速度较慢。目前的主流深度学习模型，在中高端图形处理单元(GPU)上，单个模型处理单张图片耗时大致为上百至数百毫秒。由于视频中包含非常多的帧图(每秒视频约25～30帧)，当利用深度学习算法对海量视频资源进行处理时，其耗时与需经模型处理的帧图量成正比，检测总耗时将会很大，需要优化。

发明内容

针对现有技术中的上述不足，本发明提供的一种用于智能识别的视频帧的独立判断方法可以无需重新计算或逐图保存已处理视频帧图的指纹码，也无需逐个对比当前处理帧与所有已处理帧间的相似度，从而降低相似度评判的耗时，提升视频处理的整体效率。

为了达到以上目的，本发明采用的技术方案为：

本方案提供一种用于智能识别的视频帧的独立判断方法，包括如下步骤：

S1、获取映射空间中2段4Gbits的存储空间，并初始化所述存储空间；

S2、根据固定时间间隔对原始视频进行抽帧处理；

S3、根据抽取的帧图利用感知哈希算法生成当前帧图的指纹组；

S4、将所述指纹组中的所有指纹码分别进行映射处理，得到当前帧图中所有指纹码在映射空间中对应的比特位；

S5、根据所述当前帧图的所有比特位判断当前帧是否为独立帧，若是，进入步骤S6，反之，则丢弃当前帧图，结束对当前视频帧图的独立判断，并进入步骤S7；

S6、根据判断结果将所述独立帧进行智能识别处理，并将所述当前帧图指纹组中的所有指纹码在映射空间中对应的比特位均置为1；

S7、判断步骤S2是否能抽取新的帧，若是，则返回步骤S3，反之，则结束视频。

进一步地，所述步骤S3中根据抽取的帧图利用感知哈希算法生成当前帧图的指纹组，其具体为：

根据抽取的帧图利用空域均值哈希算法、空域差分哈希算法、频域低频均值哈希算法同时生成当前帧图的空域均值哈希指纹码、空域差分哈希指纹码、频域低频均值哈希指纹码，并根据所述同时生成的所述当前帧图的空域均值哈希指纹码、空域差分哈希指纹码、频域低频均值哈希指纹码得到当前帧图的指纹组。

再进一步地，所述利用空域均值哈希生成当前帧图的空域均值哈希指纹码，其包括如下步骤：

a1、根据抽取的帧图将RGB三通道格式的帧图转为单通道灰度图；

a2、将所述灰度图通过双线性插值法进行压缩，得到像素为8x8的缩略图；

a3、利用感知哈希算法得到所述8x8的缩略图中所有64个像素灰度值的均值；

a4、根据所有64个像素灰度值与所述均值得到长度为64位的0，1序列,生成当前帧图的64位比特流，得到当前帧图的空域均值哈希指纹码。

再进一步地，所述步骤a3中像素灰度值的均值p_avg的表达式如下：

其中，p_ij表示像素为8x8缩略图中第i行第j列像素的灰度值。

再进一步地，所述步骤a4，其具体为：

从所述8x8缩略图左上角像素开始，逐行逐元素顺次将64个像素灰度值的均值与每个像素点的灰度值进行比较，若像素点的灰度值大于所述64个像素灰度值的均值，则记为1，反之，则记为0，得到长度为64位的0/1值序列，从而生成当前帧图的64位空域均值哈希指纹码。

再进一步地，所述步骤S4包括如下步骤：

b1、将所述64位指纹码划分为前32位与后32位的两个指纹码，并分别与当前帧图的上半部分和下半部分对应；

b2、将所述2个32位指纹码分别映射至两段映射空间的比特位上，从而得到当前帧图的比特位。

再进一步地，所述步骤b2包括如下步骤：

c1、将每个32位指纹码映射为一个无符号的32位整型值；

c2、将所述整型值映射至映射空间的比特位上，从而得到当前帧图在映射空间中的比特位。

再进一步地，所述步骤c2中整型值s的表达式如下：

其中，c_i表示指纹码中第i位的取值，i表示指纹码的位索引。

再进一步地，所述步骤c2中将所述整型值映射至映射空间的比特位上，其具体为：

将所述整型值从映射空间最右侧的比特位向左移位，从而完成将所述整型值映射至映射空间的比特位上，其中，所述移位数为整型值。

再进一步地，所述步骤S5中判断当前帧是否为独立帧，其具体为：

根据当前帧图的指纹组，判断所述指纹组中每一个指纹码在对应的映射空间的比特位的值是否为1，若所有比特位上的值均为1，则当前帧为独立帧，反之，则当前帧为非独立帧。

本发明的有益效果：

(1)本发明在基于感知哈希图片相似度对比基础之上，利用感知哈希算法生成原始视频中当前帧图的指纹组，并将所述指纹组中所述的指纹码映射至映射空间中的对应比特位上，新抽得的帧图生成指纹后，用同样的算法映射后，通过检验存储内空间对应的比特位，来判断是当前帧是否独立；

(2)本发明利用哈希算法冲突率低的特点，采用指纹码映射空间来保存已处理帧图的哈希指纹码，从而无需重新计算或逐图保存已处理视频帧图的指纹码，也无需逐个对比当前处理帧与所有已处理帧间的相似度，从而降低相似度评判的耗时，提升视频处理的整体效率；

(3)本发明对于同样的视频，采用优化抽帧方法后，需要输出的帧图数量少，有效地提升理视频的整体处理效率；

(4)本发明可以能够保证相同场景，相似内容的片段中，至少能抽取出一帧进行检测与识别，以保证对于视频不致有漏检；

(5)本发明对于视频中的原始抽得帧图，提供了高效的相似帧对比方法，检测出新抽得的帧图是否与历史已检帧图雷同，若雷同则无须将该图送进行检测与识别，有效地提高了视频帧图提取的效率。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

本发明利用哈希算法冲突率低的特点，采用指纹码映射空间来保存已处理帧图的哈希指纹码，利用感知哈希算法生成原始视频中当前帧图的指纹组，并将所述指纹组中所述的指纹码映射至映射空间中的对应比特位上，新抽得的帧图生成指纹后，用同样的算法映射后，通过检验存储内空间对应的比特位，来判断是当前帧是否独立，从而无需重新计算或逐图保存已处理视频帧图的指纹码，也无需逐个对比当前处理帧与所有已处理帧间的相似度，从而降低相似度评判的耗时，提升视频处理的整体效率。

实施例

如图1所示，本发明公开了一种用于智能识别的视频帧的独立判断方法，其实现方法如下：

S1、获取映射空间中2段4Gbits的存储空间，并初始化所述存储空间，在具体实施例中，先在内存中获取2段4Gbits(512Mbytes)的存储空间，作为后续步骤中生成指纹码的映射空间，作为初始化，将这两段存储空间置为全0值；

S2、根据固定时间间隔对原始视频进行抽帧处理，比如，每秒抽5帧；

S3、根据抽取的帧图利用感知哈希算法生成当前帧图的指纹组，在具体实施例中，采用多种基于帧图原始色彩通道与其它域信息的感知哈希算法分别生成同一张帧图的不同指纹，根据抽取的帧图利用空域均值哈希算法、空域差分哈希算法、频域低频均值哈希算法同时生成当前帧图的空域均值哈希指纹码、空域差分哈希指纹码、频域低频均值哈希指纹码，并根据所述同时生成的所述当前帧图的空域均值哈希指纹码、空域差分哈希指纹码、频域低频均值哈希指纹码得到当前帧图的指纹组，以空域均值哈希为例其生成当前帧图的64位比特流，其包括如下步骤：

a1、根据抽取的帧图将RGB三通道格式的帧图转为单通道灰度图；

a2、将所述灰度图通过双线性插值法进行压缩，得到像素为8x8的缩略图；

a3、利用感知哈希算法得到所述8x8的缩略图中所有64个像素灰度值的均值，所述像素灰度值的均值的表达式如下：

其中，p_ij表示像素为8x8缩略图中第i行第j列像素的灰度值；

a4、根据所有64个像素灰度值与所述均值得到长度为64位的0，1序列,生成当前帧图的64位比特流，得到当前帧图的空域均值哈希指纹码，其具体为：

从所述8x8缩略图左上角像素开始，逐行逐元素顺次将64个像素灰度值的均值与每个像素点的灰度值进行比较，若像素点的灰度值大于所述64个像素灰度值的均值，则记为1，反之，则记为0，得到长度为64位的0，1值序列，从而生成当前帧图的64位空域均值哈希指纹码；

S4、将所述指纹组中的所有指纹码分别进行映射处理，得到当前帧图中所有指纹码在映射空间中对应的比特位，在具体实施例中，对于帧图生成的每一个64位比特指纹码，将其划分为2个32位比特指纹码，分别对应原图上半部分与下半部分。对于每一部分，将其32比特指纹码映射为一个指纹值，并映射至步骤S1中获取的内存空间中，其实现方法如下：

b1、将所述64位指纹码划分为前32位与后32位的两个指纹码，并分别与当前帧图的上半部分和下半部分对应；

b2、将所述2个32位指纹码分别映射至两段映射空间的比特位上，从而得到当前帧图的比特位，其实现方法如下：

c1、将每个32位指纹码映射为一个无符号的32位整型值，所述整型值s的表达式如下：

其中，c_i表示指纹码中第i位的取值，i表示指纹码的位索引；

c2、将所述整型值映射至映射空间的比特位上，从而得到当前帧图在映射空间中的比特位，其具体为：

将所述整型值从映射空间最右侧的比特位向左移位，从而完成将所述整型值映射至映射空间的比特位上，其中，所述移位数为整型值，在具体实施例中，通过步骤S4每一个代表原始帧图上半或下半部分的32位比特指纹码，都映射至指纹空间中的一个比特位上；

S5、根据所述当前帧图的所有比特位判断当前帧是否为独立帧，若是，进入步骤S6，反之，则丢弃当前帧图，结束对当前视频帧图的独立判断，并进入步骤S7，在具体实施例中，当前帧图的指纹组映射为指纹空间的多个比特位，若在上半部分和下半部分两块映射空间中，当前帧图指纹映射得到的所有比特位其值都为1，则意味着之前已有一张帧图与当前帧图高度相似，当前帧不是独立帧；若当前帧图指纹映射得到的比特位之中有值为0的，则意味着系统之前未处理过与当前帧图高度相似的图，当前帧为独立帧，其中，判断当前帧是否为独立帧，其具体为：

根据当前帧图的指纹组，判断所述指纹组中每一个指纹码在对应的映射空间的比特位的值是否为1，若所有比特位上的值均为1，则当前帧为独立帧，反之，则当前帧为非独立帧；

S6、根据判断结果将所述独立帧进行智能识别处理，并将所述当前帧图指纹组中的所有指纹码在映射空间中对应的比特位均置为1；

S7、判断步骤S2是否能抽取新的帧，若是，则返回步骤S3，反之，则结束视频，在具体实施例中，得出的当前处理帧是否为独立帧的结果，决定该帧的后续处理：是独立帧则需要送入智能识别处理，并且完成当前帧所有指纹码在指纹空间的映射，即将得到的指纹码映射到的空间比特位都置为1，若当前处理帧并非独立帧，意味着在智能识别处理之前已对相同帧图进行过处理，该帧无需再送入智能识别处理。

Claims (10)

1.一种用于智能识别的视频帧的独立判断方法，其特征在于，包括如下步骤：

S1、获取映射空间中2段4Gbits的存储空间，并初始化所述存储空间；

S2、根据固定时间间隔对原始视频进行抽帧处理；

S3、根据抽取的帧图利用感知哈希算法生成当前帧图的指纹组；

S4、将所述指纹组中的所有指纹码分别进行映射处理，得到当前帧图中所有指纹码在映射空间中对应的比特位；

S5、根据所述当前帧图的所有比特位判断当前帧是否为独立帧，若是，进入步骤S6，反之，则丢弃当前帧图，结束对当前视频帧图的独立判断，并进入步骤S7；

S6、根据判断结果将所述独立帧进行智能识别处理，并将所述当前帧图指纹组中的所有指纹码在映射空间中对应的比特位均置为1；

S7、判断步骤S2是否能抽取新的帧，若是，则返回步骤S3，反之，则结束视频。

2.根据权利要求1所述的用于智能识别的视频帧的独立判断方法，其特征在于，所述步骤S3中根据抽取的帧图利用感知哈希算法生成当前帧图的指纹组，其具体为：

根据抽取的帧图利用空域均值哈希算法、空域差分哈希算法、频域低频均值哈希算法同时生成当前帧图的空域均值哈希指纹码、空域差分哈希指纹码、频域低频均值哈希指纹码，并根据所述同时生成的所述当前帧图的空域均值哈希指纹码、空域差分哈希指纹码、频域低频均值哈希指纹码得到当前帧图的指纹组。

3.根据权利要求2所述的用于智能识别的视频帧的独立判断方法，其特征在于，所述利用空域均值哈希算法生成当前帧图的空域均值哈希指纹码，其包括如下步骤：

a1、根据抽取的帧图将RGB三通道格式的帧图转为单通道灰度图；

a2、将所述灰度图通过双线性插值法进行压缩，得到像素为8x8的缩略图；

a3、利用感知哈希算法得到所述8x8的缩略图中所有64个像素灰度值的均值；

a4、根据所有64个像素灰度值与所述均值得到长度为64位的0，1序列,生成当前帧图的64位比特流，得到当前帧图的空域均值哈希指纹码。

4.根据权利要求3所述的用于智能识别的视频帧的独立判断方法，其特征在于，所述步骤a3中像素灰度值的均值p_avg的表达式如下：

其中，p_ij表示像素为8x8缩略图中第i行第j列像素的灰度值。

5.根据权利要求3所述的用于智能识别的视频帧的独立判断方法，其特征在于，所述步骤a4，其具体为：

从所述8x8缩略图左上角像素开始，逐行逐元素顺次将64个像素灰度值的均值与每个像素点的灰度值进行比较，若像素点的灰度值大于所述64个像素灰度值的均值，则记为1，反之，则记为0，得到长度为64位的0/1值序列，从而生成当前帧图的64位空域均值哈希指纹码。

6.根据权利要求1所述的用于智能识别的视频帧的独立判断方法，其特征在于，所述步骤S4包括如下步骤：

b1、将64位空域均值哈希指纹码划分为前32位与后32位的两个指纹码，并分别与当前帧图的上半部分和下半部分对应；

b2、将所述2个32位指纹码分别映射至两段映射空间的比特位上，从而得到当前帧图的比特位。

7.根据权利要求6所述的用于智能识别的视频帧的独立判断方法，其特征在于，所述步骤b2包括如下步骤：

c1、将每个32位指纹码映射为一个无符号的32位整型值；

c2、将所述整型值映射至映射空间的比特位上，从而得到当前帧图在映射空间中的比特位。

8.根据权利要求7所述的用于智能识别的视频帧的独立判断方法，其特征在于，所述步骤c2中整型值s的表达式如下：

其中，c_i表示指纹码中第i位的取值，i表示指纹码的位索引。

9.根据权利要求8所述的用于智能识别的视频帧的独立判断方法，其特征在于，所述步骤c2中将所述整型值映射至映射空间的比特位上，其具体为：

将所述整型值从映射空间最右侧的比特位向左移位，从而完成将所述整型值映射至映射空间的比特位上，其中，所述移位数为整型值。

10.根据权利要求1所述的用于智能识别的视频帧的独立判断方法，其特征在于，所述步骤S5中判断当前帧是否为独立帧，其具体为：

根据当前帧图的指纹组，判断所述指纹组中每一个指纹码在对应的映射空间的比特位的值是否为1，若所有比特位上的值均为1，则当前帧为独立帧，反之，则当前帧为非独立帧。

Images