CN102779184A - 一种近似重复视频片段自动定位方法 - Google Patents

Abstract

本发明公开了一种近似重复视频片段自动定位方法，该方法包括以下步骤：抽取查询视频片段和目标视频的关键帧序列；提取关键帧序列的视频二值时间灰度序特征；提取关键帧序列的视频时空统一灰度序特征；对目标视频进行三层自动定位过滤，得到目标视频中与查询视频片段近似重复的视频片段。本发明方法较基于空间灰度序的定位方法平均能够节省约62％的响应时间，较基于时间灰度序的定位方法平均能够节省约89％的响应时间，并能够使定位查询在召回率平均值为1.0时，精度平均值达到0.965，高于基于空间灰度序方法的0.934，以及基于时间灰度序方法的0.775。由上可知，本发明方法大幅提高了定位过滤的执行效率，能够在召回率较高的情况下，显著提高定位精度。

Description

一种近似重复视频片段自动定位方法

技术领域

本发明涉及多媒体图像视频检索技术领域。尤其是一种近似重复视频片段自动定位方法，可应用于视频拷贝检测、近似重复视频检索等子领域。

背景技术

近似重复视频片段自动定位是视频检索领域中，一个重要的子问题。与其紧密相关的技术领域包括：近似重复图像检索、近似重复视频检索和拷贝视频检测等。近似重复的视频检索技术的一个显著特征是，其检索返回的视频具有高度的相似性。尽管如此，由于视觉信息缺乏语义性，信息量巨大，并且易受编码格式、视频分辨率、视频对比度等视频参数变换的影响，快速准确的进行近似重复视频内容检测，仍然是一项极具挑战性的技术。目前，随着广播电视、互联网、电信网等带宽的不断增加，视频的生成、传播、消费规模呈现几何级增长，传统的人工标注、查询、管理的方式效率低下，急需基于内容相似性的视频检测技术进行智能化的处理。

目前，针对近似重复视频片段自动定位技术展开的各项研究，主要是集中在如何选取更好的视频表达特征上，而由于定位问题对于时间精度的要求，查询方法基本都是采用串匹配的方式进行。常用的特征表示有，统计颜色直方图、运动估计向量、梯度直方图，以及空间灰度序和时间灰度序等。其中，基于灰度序的各种特征，由于其计算简单，并对颜色退化等问题不敏感，在定位查询时往往能取得较好的效果。然而，传统的灰度序特征的唯一性表示能力不够，使得尤其在查询视频较短时，误判率较高。综上所述，传统的近似重复视频片段自动定位问题主要存在以下两个问题：一是定位查询的效率不高，方法时间复杂度为O(MN)(M为查询视频抽取的关键帧序列帧数，N为目标视频抽取的关键帧序列帧数。不引起歧义的情况下，下文以视频长度代替关键帧序列帧数)不适合实时定位查询；二是定位查询的精度在召回率较高时下降较快，难以达到实际应用的要求。

发明内容

针对上述两个主要问题，本发明提出了一种近似重复视频片段自动定位方法。

本发明所提出的一种近似重复视频片段自动定位方法，其特征在于，该方法包括以下步骤：

步骤1，对于查询视频片段和目标视频，分别抽取该查询视频片段和目标视频中的关键帧序列；

步骤2，提取抽取出的关键帧序列的视频二值时间灰度序特征；

步骤3，提取所述关键帧序列的视频时空统一灰度序特征；

步骤4，基于提取出的所述视频二值时间灰度序特征与所述时空统一灰度序特征对所述目标视频进行自动定位，得到所述目标视频中与查询视频片段近似重复的视频片段；

其中，所述步骤4进一步包括以下步骤：

步骤4.1，利用所述视频二值时间灰度序特征，提取所述查询视频片段以及目标视频中所有候选视频片段的时空二值模式直方图，并计算所述查询视频片段与每一所述候选视频片段的时空二值模式直方图相交度量下的相似度，所述相似度大于给定阈值T₁的候选视频片段通过第一层的定位过滤，所述候选视频片段为所述目标视频中可能与所述查询视频片段近似重复的视频片段；

步骤4.2，利用所述视频二值时间灰度序特征，计算所述查询视频片段与通过第一层定位过滤的候选视频片段之间的串匹配相似度，所述串匹配相似度大于给定阈值T₂的候选视频片段通过第二层的定位过滤；

步骤4.3，利用所述视频时空统一灰度序特征，计算所述查询视频片段与通过前两层定位过滤的候选视频片段之间的串匹配相似度，所述串匹配相似度大于给定阈值T₃的候选视频片段即为所述目标视频中与所述查询视频片段近似重复的视频片段。

本发明所提出的一种近似重复视频片段自动定位方法对于目标视频中的候选视频片段首先进行基于时空二值模式直方图的实时过滤，在线性时间复杂度O(N)内过平均滤掉80％以上的候选视频片段，然后进行基于二值时间灰度序特征的快速过滤，使平均过滤率达到99％，大幅提高了定位过滤的执行效率，能够在召回率较高的情况下，显著提高定位精度。本发明虽然主要针对基于内容相似性的近似重复视频片段自动定位领域，但对于其他相似领域亦具有借鉴意义。

附图说明

图1是本发明近似重复视频片段自动定位方法的流程图。

图2是本发明提出的二值时间灰度序和时空统一灰度序特征提取示意图。

图3是本发明提出的对目标视频中与查询视频片段近似重复视频片段进行三层自动定位过滤的方法流程图。

图4是本发明方法、基于空间灰度序的近似重复视频片段自动定位方法和基于时间灰度序的近似重复片段自动定位方法在测试数据集上的召回率平均值-精度平均值曲线图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明提出了一种近似重复视频片段自动定位方法，能够快速、准确的定位出目标视频中与查询视频片段近似重复的相关片段。本发明的基本特征主要有以下七个方面：一是采用均匀抽取的方式，抽取视频关键帧序列；二是提出并应用了一种视频时空二值模式直方图特征表示方法，该特征利用一个包含了视频中灰度序时空分布信息的二值模式直方图来表示一段视频，特征表示非常紧凑，使得计算视频相似度时不依赖串匹配，时间复杂度为O(N)(由于目标视频中候选视频片段的划分随查询视频片段长度变化而变化，因此时空二值模式直方图的统计是在定位查询过程中根据事先提取的视频二值时间灰度序特征动态生成的)；三是提出并应用了一种视频二值时间灰度序特征表示方法，该特征较以往灰度序特征仅使用0，1两个数字表示帧间平均灰度的相对关系，使得特征表示更加紧凑，在特征提取或计算视频相似度时均不需要进行排序操作，且可以采用位运算，因此其计算速度较传统灰度序特征更快；四是提出并应用了一种视频时空统一灰度序特征表示方法，该特征较以往灰度序特征，具有更好的唯一性，能够减少定位查询的误判率；五是利用视频时空二值模式直方图，计算查询视频片段与目标视频中候选视频片段之间在直方图相交度量下的相似度，对候选视频片段进行线性时间复杂度的实时过滤；六是应用视频二值时间灰度序，采用串匹配的方式对通过时空二值模式直方图的候选视频片段进一步进行过滤，缩小精确定位时的查询范围；七是采用区分性更好的视频时空统一灰度序特征，计算查询视频片段与目标视频在该特征下的串匹配相似度，通过过滤的视频片段认为与查询视频片段近似重复。实验证明，与以往方法相比，本发明所提方法，大幅提高了定位查询的效率，并进一步提高了定位查询的准确度。

本发明的目的在于，给定一个查询视频片段，从一个目标视频中将与该查询视频片段近似重复的视频片段检索、定位出来。图1是本发明近似重复视频片段自动定位方法流程图，如图1所示，本发明所提出的近似重复视频片段快速定位方法包括以下几个步骤：

步骤1，对于查询视频片段和目标视频，分别抽取该查询视频片段和目标视频中的关键帧序列；

由于视频片段定位一般对定位出的视频片段的起始时间和结束时间有精度要求，因此本发明采用均匀抽取的方式，抽取查询视频片段和目标视频中的关键帧序列，而不是采用基于镜头分割的关键帧序列抽取方式。比如，对于重复播放广告的广播视频，由于广告片段时长一般较短，因此，抽取间隔可以采用5帧，即每隔5帧抽取一帧。具体的关键帧序列抽取频率可根据具体应用进行调整。

步骤2，提取抽取出的关键帧序列的视频二值时间灰度序特征；

类似于其他灰度序特征的提取过程，该步骤依次对抽取出的关键帧序列中的每一帧进行处理，所述视频二值时间灰度序特征的提取进一步包括以下步骤：

步骤2.1，首先，将关键帧序列中的每一个帧图像转化成灰度图像；

灰度图像的转化为本领域的通用技术，在此不再赘述。本发明中，采用8位灰度图。

步骤2.2，然后，将每一个灰度图像划分成k*k个均匀大小的矩形图像块，如图2(a)所示；

在本发明的一个实施例中，为了避免广播视频的台标、挂角广告和滚动字幕等因素的干扰，在将灰度图像划分成矩形图像块之前，首先去除了灰度图像的顶部和底部各20％的图像(如图2(a)所示)。所述k为一正整数，比如2、3、4。

步骤2.3，计算各矩形图像块的灰度平均值，如图2(b)所示；

步骤2.4，最后，按照下面的公式(1)提取相邻两个关键帧之间的二值时间灰度序特征，得到关键帧序列的视频二值时间灰度序特征：

$\mathrm{sgn}(F_i(u,v)-F_{i+1}(u,v))=\left\{\begin{array}{cc}1,& F_i(u,v)\&GreaterEqual;F_{i+1}(u,v)\\ 0,& F_i(u,v)<F_{i+1}(u,v)\end{array}\right.---\left(1\right)$

其中，F_i(u，v)表示关键帧序列中第i个关键帧第(u，v)个矩形图像块的灰度平均值，u，v≤k。提取的二值时间灰度序特征如图2(c)所示。

提取得到的视频二值时间灰度序特征，可以以矩阵形式来描述，该矩阵的行数为帧图像分成矩形图像块的个数(k*k)，由于视频二值时间灰度序特征描述的是帧间的特征，所以该矩阵的列数为帧图像的个数减1，矩阵中的各个元素的值为相应矩形图像块之间的二值时间灰度序特征值，如图2(e)所示其中，第一行的矩阵元素为图2(c)所示的帧图像中按照从左至右、从上至下的顺序排列矩形图像块时，每幅图像的第一个矩形图像块与下一帧图像中相应位置的矩形图像块之间按照公式(1)计算得到的二值时间灰度序特征，其他的矩阵元素依次类推。

步骤3，提取所述关键帧序列的视频时空统一灰度序特征；

所述视频时空统一灰度序特征是对关键帧序列的视频二值时间灰度序特征进行的一个整体上的描述，具体地，是对帧内(空间)和帧间(时间)的所有矩形图像块的灰度平均值进行统一的排序，而不仅仅对帧内矩形图像块的灰度平均值进行排序(此种方式为空间灰度序特征的灰度序生成方式)，或是仅仅对帧间对应矩形图像块的灰度平均值进行排序(此种方式为时间灰度序特征的灰度序生成方式)。

所述关键帧序列的视频时空统一灰度序特征的提取进一步包括以下步骤：

步骤3.1，将所述关键帧序列中的所有帧图像转化成灰度图像；

该步骤中，仍然采用8位灰度图。

步骤3.2，将转化得到的每个灰度图像均匀划分成k*k个矩形图像块，如图2(a)所示，其中k的取值与所述步骤2.2中k的取值相同；

步骤3.3，计算得到的所有矩形图像块的灰度平均值，如图2(b)所示；

步骤3.4，对所有矩形图像块的灰度平均值按照从小到大的顺序进行统一排序并编号；对于图2(b)所示的关键帧序列，其视频时空统一灰度序特征如图2(d)所描述。

抽取的视频时空统一灰度序特征，也可以以矩阵的形式表示，如图2(f)所示。矩阵中的各个元素的值为相应矩形图像块的时间统一灰度序特征值，其中第一行为帧图像中按照从左至右、从上至下的顺序排列矩形图像块时，每幅图像的第一个矩形图像块的排序编号，其他矩阵元素依次类推。

由上可见，所述视频时空统一灰度序特征提取过程的前三步与所述视频二值时间灰度序特征提取过程的前三步相同，只是在最后一步进行特征描述时不同，所述视频时空统一灰度序特征的提取是对关键帧序列中所有帧的所有矩形图像块的灰度平均值进行统一排序，而不仅仅是在每一帧空间内部或仅仅在时间序列上对于空间位置相同的矩形图像块进行排序，本发明称这种灰度序表示方式为时空统一灰度序特征。不难分析，这种表示方式较空间灰度序的帧内排序和时间灰度序的帧间排序，特征表示的唯一性更强。

类似于时间灰度序特征，时空统一灰度序特征在保存特征时有两种方式，一是保存各个矩形图像块的灰度平均值，在后续对视频片段进行查询时根据查询视频片段的长度，动态计算所述关键帧序列的时空统一灰度序特征；二是保存该目标视频整个视频长度的时空统一灰度序特征，在后续对视频片段进行查询时根据具体查询的查询视频片段的长度，将全局时空统一灰度序特征转换成与查询视频片段长度相同的局部灰度序特征，具体转换可采用经典的快速排序方法，对候选视频片段对应的全局灰度序的编号进行排序，并分配连续的局部排序编号，作为候选视频片段的灰度序特征。本发明采用第二种特征保存方式。

步骤4，基于提取出的所述视频二值时间灰度序特征与所述时空统一灰度序特征对所述目标视频进行自动定位，得到所述目标视频中与查询视频片段近似重复的视频片段；

对于一长度为M的查询视频片段和一长度为N的目标视频，目标视频中任一连续的M帧组成的视频片段均可能与所述查询视频片段近似重复，因此目标视频中共有N-M+1个可能的候选视频片段，但其中绝大多数候选视频片段是与所述查询视频片段明显不可能近似重复的，因此可以首先利用简单的特征对所述候选视频片段进行快速过滤，最后再利用复杂的特征对所述候选视频片段进行准确定位。基于上述思想，本发明提出了一种对目标视频中与查询视频片段近似重复的视频片段三层自动定位过滤的方法，所述三层自动定位过滤的方法的流程图如图3所示。

所述步骤4进一步包括以下步骤：

步骤4.1，利用所述视频二值时间灰度序特征，提取所述查询视频片段以及目标视频中所有候选视频片段的时空二值模式直方图，并计算所述查询视频片段与每一所述候选视频片段的时空二值模式直方图相交度量下的相似度，所述相似度大于给定阈值T₁的候选视频片段通过第一层的定位过滤；

时空二值模式形式上与局部二值模式(Local Binary Pattern)类似，具体是指二值时间灰度序特征中满足一定约束的二值取值组合，该约束可以是空间位置上或时间序列上的约束。

例如，当k＝2时，满足空间位置约束(比如按照从左至右、从上至下的矩形图像块排列顺序)的4个二值时间灰度序特征的组合，可以认为是一个二值模式，如公式(2)所示：

$\left\{\begin{array}{c}{v}_{11}\\ v_{12}\\ v_{21}\\ v_{22}\end{array}\right\},(v_{i,j}\&Element;\{\mathrm{0,1}\},i\&Element;\{\mathrm{1,2}\},j\&Element;\{\mathrm{1,2}\left\}\right)---\left(2\right)$

其中，i，j为矩形图像块的位置坐标，v_i，j是对应位置矩形图像块的二值时间灰度序特征。由于二值时间灰度序特征取值的不同，上述二值模式的所有取值共2^k*k种。

定义好时空二值模式之后，对于一视频片段可以从其二值时间灰度序特征中统计生成该视频片段的时空二值模式直方图。传统的直方图统计方法为本领域的通用技术，在此不再赘述；本发明中，根据视频关键帧序列的连续性，采用如下步骤所描述的时空二值模式直方图快速统计方法来提取所述查询视频片段和所述候选视频片段的时空二值模式直方图：

步骤4.1.1，采用传统直方图统计方法，统计在时间序列上第一个候选视频片段的时空二值模式直方图；

步骤4.1.2，由第i个候选视频片段的时空二值模式直方图，减去所述目标视频二值时间灰度序特征中第i个帧间特征对应的二值取值，加上第i+M个帧间特征对应的二值取值，生成所述目标视频中第i+1个候选视频片段的时空二值模式直方图，其中，1≤i≤N-M。所述步骤4.1中所述时空二值模式直方图相交度量下的相似度根据下式来计算：

$\mathrm{sim}(V_q,V_{t_i})=\frac{{\mathrm{\&Sigma;}}_w\min (p_q^w,p_{t_i}^w)}{{\mathrm{\&Sigma;}}_w\max (p_q^w,p_{t_i}^w)}---\left(3\right)$

其中，V_q表示查询视频片段，

表示目标视频中时间序列上第i个候选视频片段，p^w为给定二值模式的第w种取值。为了减轻直方图应量化效应，在统计时p^w除了计算第w种取值的个数，还加上了二值模式中与第w种取值仅有1位不同的对应二值模式取值的个数。

所述步骤4.1中所述阈值的设定与所述查询视频片段的长度相关，可以通过训练数据学习获得，表1是本发明实验时采用的阈值：

查询视频片段长度M	T1
		M＜30	0.20
30≤M＜40	0.25
		40≤M＜70	0.35
70≤M＜80	0.40

80≤M

0.55

步骤4.2，利用所述视频二值时间灰度序特征，计算所述查询视频片段与通过第一层定位过滤的候选视频片段之间的串匹配相似度，所述串匹配相似度大于给定阈值T₂的候选视频片段通过第二层的定位过滤；

所述查询视频片段与通过第一层定位过滤的候选视频片段之间的串匹配相似度根据下式来计算：

$\mathrm{sim}(V_q,V_{t_i})=1-\frac{1}{k^2}\underset{(u,v)=\left(\mathrm{1,1}\right)}{\overset{(k,k)}{\mathrm{\&Sigma;}}}\frac{1}{M-1}\underset{j=1}{\overset{M-1}{\mathrm{\&Sigma;}}}|V_q\left(j\right)-V_{t_i}\left(j\right)|---\left(4\right)$

上述计算过程没有排序过程，且由于二值时间灰度序特征的二值表示特性，公式(4)中计算

时可以用速度较快的位运算代替减法运算，从而获得较快的运算速度。

所述阈值T₂的选取可以从训练数据中学习获得，即通过测试试验得到，是经验性的一个阈值。本发明在实验时采用的阈值为0.58。

步骤4.3，利用所述视频时空统一灰度序特征，计算所述查询视频片段与通过前两层定位过滤的候选视频片段之间的串匹配相似度，所述串匹配相似度大于给定阈值T₃的候选视频片段通过第三层的定位过滤，所述通过第三层定位过滤的候选视频片段即为所述目标视频中与所述查询视频片段近似重复的视频片段。

该步骤中所述查询视频片段与通过前两层定位过滤的候选视频片段之间的串匹配相似度根据下式来计算：

$\mathrm{sim}(V_q,V_{t_i})=1-\frac{1}{C_{k,M}}\underset{(u,v)=\left(\mathrm{1,1}\right)}{\overset{(k,k)}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}|V_q(u,v,j)-V_{t_i}(u,v,j)|---\left(5\right)$

其中，C_k，M是一个关于k和M的归一化因子，其值为两个排序完全相反的序列之间的差值，计算公式为 $C_{k,M}=\underset{i=1}{\overset{M*k^2}{\mathrm{\&Sigma;}}}|M*k^2+1-2*i|.$

所述阈值T₃的选取可以从训练数据中学习获得，即通过测试试验得到，是经验性的一个阈值。本发明实验时采用的阈值为0.80。

为了全面准确的评估本发明所提出的方法的性能，本发明采用精度(Precision)、召回率(Recall)来评估单次定位查询的效果，用多次查询的精度平均值(Mean Precision，区别于Average Precision)、多次查询的召回率平均值(Mean Recall)来评估本发明方法的总体效果，用平均查询时间(Mean Response Time)评估本发明方法的总体执行效率。

上述评估指标的计算公式为：

$P_i=\frac{H_i\&cap;G_i}{H_i}---\left(6\right)$

$R_i=\frac{H_i\&cap;G_i}{G_i}---\left(7\right)$

$\mathrm{MP}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{P}_i---\left(8\right)$

$\mathrm{MR}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{R}_i---\left(9\right)$

$\mathrm{MRT}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}R{T}_i---\left(10\right)$

其中，H_i为第i次定位查询到的视频片段个数，G_i为第i次查询对应人工标注的目标视频中与查询视频片段近似重复的视频片段总数，P_i为第i次定位查询的精度，R_i为第i次定位查询的召回率，MP为多次定位查询精度的平均值，MR为多次定位查询召回率的平均值，RT_i为第i次定位查询的响应时间，MRT为多次定位查询的平均响应时间，n为查询样本总数。

图4为利用本发明对16小时视频(编码格式为WMV，分辨率为720*576，帧率为25fps，宽高比为4∶3)中所有277个不同的广告视频片段(共播放了792次)进行定位检索的召回率平均值-精度平均值曲线，以及对比方法基于空间灰度序和时间灰度序的视频片段定位方法在该数据集下的召回率平均值-精度平均值曲线。其中，图4(a)使用的目标视频是原始视频，图4(b)、图4(c)、图4(d)、图4(e)、图4(f)、图4(g)分别采用的是MPG编码格式、AVI编码格式、分辨率为320*240、分辨率为1280*720、对比度提高25％、对比度降低25％的拷贝视频。

表2为k＝3时，采用本发明方法、基于空间灰度序的定位方法和基于时间灰度序方法在原始目标视频中召回率平均值为1.0以及分别采用推荐阈值(基于空间灰度序定位方法的两个阈值分别为6和0.5，基于时间灰度序的定位方法的阈值为0.2，本发明方法的三层过滤阈值为前文中所述推荐阈值)的定位检索结果。

表2

表3为k＝3时，利用本发明方法对16小时视频中重复播放的所有277广告片段进行定位检索时，定位检索的响应时长。测试机器为3.2GHz，4G内存台式机器。

表3

综上所述，本发明提出了一种新的近似重复视频片段自动定位方法，该方法能够快速准确的定位检索出目标视频中与查询视频片段近似重复的视频片段，实验证明了本发明较以往方法，能够大幅提高查询效率，并能够进一步提高定位检索的精度。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种近似重复视频片段自动定位方法，其特征在于，该方法包括以下步骤：

步骤1，对于查询视频片段和目标视频，分别抽取该查询视频片段和目标视频中的关键帧序列；

步骤2，提取抽取出的关键帧序列的视频二值时间灰度序特征；

步骤3，提取所述关键帧序列的视频时空统一灰度序特征；

步骤4，基于提取出的所述视频二值时间灰度序特征与所述时空统一灰度序特征对所述目标视频进行自动定位，得到所述目标视频中与查询视频片段近似重复的视频片段；

其中，所述步骤4进一步包括以下步骤：

步骤4.1，利用所述视频二值时间灰度序特征，提取所述查询视频片段以及目标视频中所有候选视频片段的时空二值模式直方图，并计算所述查询视频片段与每一所述候选视频片段的时空二值模式直方图相交度量下的相似度，所述相似度大于给定阈值T₁的候选视频片段通过第一层的定位过滤，所述候选视频片段为所述目标视频中可能与所述查询视频片段近似重复的视频片段；

步骤4.2，利用所述视频二值时间灰度序特征，计算所述查询视频片段与通过第一层定位过滤的候选视频片段之间的串匹配相似度，所述串匹配相似度大于给定阈值T₂的候选视频片段通过第二层的定位过滤；

步骤4.3，利用所述视频时空统一灰度序特征，计算所述查询视频片段与通过前两层定位过滤的候选视频片段之间的串匹配相似度，所述串匹配相似度大于给定阈值T₃的候选视频片段即为所述目标视频中与所述查询视频片段近似重复的视频片段。

2.根据权利要求1所述的方法，其特征在于，所述步骤1中，采用均匀抽取的方式来抽取查询视频片段和目标视频中的关键帧序列。

3.根据权利要求1所述的方法，其特征在于，所述视频二值时间灰度序特征的提取进一步包括以下步骤：

步骤2.1，将关键帧序列中的每一个帧图像转化成灰度图像；

步骤2.2，将每一个灰度图像划分成k*k个均匀大小的矩形图像块；

步骤2.3，计算各矩形图像块的灰度平均值；

步骤2.4，提取相邻两个关键帧之间的二值时间灰度序特征，得到关键帧序列的视频二值时间灰度序特征。

4.根据权利要求3所述的方法，其特征在于，所述步骤2.2之前还进一步包括去除所述灰度图像顶部和底部各20％的图像的步骤。

5.根据权利要求3所述的方法，其特征在于，所述步骤2.4中根据下面的公式提取相邻两个关键帧之间的二值时间灰度序特征：

$\mathrm{sgn}(F_i(u,v)-F_{i+1}(u,v))=\left\{\begin{array}{cc}1,& F_i(u,v)\&GreaterEqual;F_{i+1}(u,v)\\ 0,& F_i(u,v)<F_{i+1}(u,v)\end{array}\right.,$

其中，F_i(u，v)表示关键帧序列中第i个关键帧第(u，v)个矩形图像块的灰度平均值，u，v≤k。

6.根据权利要求1所述的方法，其特征在于，所述关键帧序列的视频时空统一灰度序特征的提取进一步包括以下步骤：

步骤3.1，将所述关键帧序列中的所有帧图像转化成灰度图像；

步骤3.2，将转化得到的每个灰度图像均匀划分成k*k个矩形图像块；

步骤3.3，计算得到的所有矩形图像块的灰度平均值；

步骤3.4，对所有矩形图像块的灰度平均值按照从小到大的顺序进行统一排序并编号。

7.根据权利要求1所述的方法，其特征在于，所述时空二值模式为二值时间灰度序特征中满足一定约束的二值取值组合，该约束是空间位置上或时间序列上的约束。

8.根据权利要求1所述的方法，其特征在于，所述步骤4.1中提取所述查询视频片段和所述候选视频片段的时空二值模式直方图的步骤进一步包括：

步骤4.1.1，统计在时间序列上第一个候选视频片段的时空二值模式直方图；

步骤4.1.2，由第i个候选视频片段的时空二值模式直方图，减去所述目标视频二值时间灰度序特征中第i个帧间特征对应的二值取值，加上第i+M个帧间特征对应的二值取值，得到所述目标视频中第i+1个候选视频片段的时空二值模式直方图，其中，M为查询视频片段的长度，1≤i≤N-M，N为目标视频的长度。

9.根据权利要求1所述的方法，其特征在于，所述步骤4.1中所述时空二值模式直方图相交度量下的相似度根据下式来计算：

$\mathrm{sim}(V_q,V_{t_i})=\frac{{\mathrm{\&Sigma;}}_w\min (p_q^w,p_{t_i}^w)}{{\mathrm{\&Sigma;}}_w\max (p_q^w,p_{t_i}^w)},$

其中，V_q表示查询视频片段，

表示目标视频中时间序列上第i个候选视频片段，1≤i≤N-M，M为查询视频片段的长度，N为目标视频的长度，p^w为给定二值模式的第w种取值。

10.根据权利要求1所述的方法，其特征在于，所述步骤4.2中，所述查询视频片段与通过第一层定位过滤的候选视频片段之间的串匹配相似度根据下式来计算：

$\mathrm{sim}(V_q,V_{t_i})=1-\frac{1}{k^2}\underset{(u,v)=\left(\mathrm{1,1}\right)}{\overset{(k,k)}{\mathrm{\&Sigma;}}}\frac{1}{M-1}\underset{j=1}{\overset{M-1}{\mathrm{\&Sigma;}}}|V_q\left(j\right)-V_{t_i}\left(j\right)|,$

其中，1≤i≤N-M，M为查询视频片段的长度，N为目标视频的长度。

11.根据权利要求1所述的方法，其特征在于，所述步骤4.3中，所述查询视频片段与通过前两层定位过滤的候选视频片段之间的串匹配相似度根据下式来计算：

$\mathrm{sim}(V_q,V_{t_i})=1-\frac{1}{C_{k,M}}\underset{(u,v)=\left(\mathrm{1,1}\right)}{\overset{(k,k)}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}|V_q(u,v,j)-V_{t_i}(u,v,j)|,$

其中，1≤i≤N-M，M为查询视频片段的长度，N为目标视频的长度，C_k，M是一个关于k和M的归一化因子：

$C_{k,M}=\underset{i=1}{\overset{M*k^2}{\mathrm{\&Sigma;}}}|M*k^2+1-2*i|.$

Images