CN102902981A - 基于慢特征分析的暴力视频检测方法 - Google Patents

Abstract

本发明公开了一种基于慢特征分析的暴力视频检测方法，包括以下步骤：对已经标好类的视频进行密集轨迹提取，基于轨迹用慢特征分析方法学习出慢特征函数，通过慢特征函数得到视频段的特征表示，最后对提取的特征进行训练并建模；对新来视频进行特征提取，将提取的特征输入到训练得到的模型，得到视频的类别(暴力视频或非暴力视频)。该方法通过密集轨迹提取构建了有效的特征向量，并通过慢特征分析方法学习出了非常具有区分力的视频特征表示。近几年随着社交网站的发展，大量的视频被上传到互联网供用户下载，其中不乏含有暴力内容的视频，这些内容会对青少年产生不良影响，基于慢特征分析的暴力视频检测方法能有效检测出这些不良内容，对建设健康的互联网环境具有重要作用。

Description

基于慢特征分析的暴力视频检测方法

技术领域

本发明涉及模式识别技术领域，特别涉及一种基于慢特征分析的暴力视频检测方法。

背景技术

现在，随着社交网站的快速发展，比如国外的Facebook，Twitter，Youtube，国内的人人网，新浪微博，优酷网，上传到网络上的视频的数量迅猛增长，用户可以方便地观看和下载他们感兴趣的视频，然而在大量的视频中，存在着很多暴力内容，这些内容会对青少年用户产生不良的示范作用，有可能会诱导他们产生暴力行为，甚至犯罪。为了保护青少年用户免受这些暴力内容的影响，现在急需一种有效地，自动地，基于内容的暴力视频检测方法，来过滤掉这些有害视频。

现有的技术大多需要使用声音信息进行暴力视频的检测，一些技术单独用声音信息构建特征向量，另一些技术将声音信息和视觉信息结合构建特征向量，然后送入分类器进行模型构建，最后，对新来样本进行分类。然而，在很多情况下，视频中并没有声音信息，如监控录像；而且，一些视频的声音信息和它们的视频内容并不一致，甚至会干扰视频内容的检测。

发明内容

为了解决上述现有技术中存在的问题，本发明的目的是提供一种基于慢特征分析的暴力视频检测方法，提取能有效区分暴力内容的视觉特征，单独使用视觉特征来检测暴力视频。

本发明提出的一种基于慢特征分析的暴力视频检测方法包括以下步骤：

步骤S1，对于已经标好类的视频样本，计算其密集光流场；

步骤S2，从所述视频的每个帧中以一定步长提取多个密集特征点，分别跟踪所述密集特征点在整个视频中的轨迹，从而得到由所述视频中所有密集特征点对应的密集轨迹组成的密集轨迹集合T；

步骤S3，对于所述密集轨迹集合T中的每条密集轨迹，提取其中各轨迹点邻域的像素值，构建出与每条密集轨迹对应的多个向量V；

步骤S4，基于每条密集轨迹对应的多个向量V，通过慢特征学习方法，对于每一类向量，得到一个对该类向量对应的J维慢特征函数C1；

步骤S5，将步骤S3得到的与每条密集轨迹对应的多个向量V分别输入到慢特征函数C1中，基于所述慢特征函数C1的输出向量构建该视频的特征表示f；

步骤S6，将所述视频的特征表示f作为特征向量输入到支持向量机SVM分类器中，构造分类器模型；

步骤S7，输入一个测试视频，将该测试视频分为多个测试视频段，对于每个测试视频段计算其密集光流场；

步骤S8，从所述测试视频段的每个帧中提取多个密集特征点，分别跟踪所述密集特征点在整个视频段中的轨迹，从而得到由所述测试视频段中所有密集特征点对应的密集轨迹组成的密集轨迹集合T′；

步骤S9，对于所述密集轨迹集合T′中的每条密集轨迹，提取其中各轨迹点邻域的像素值，构建出与每条密集轨迹对应的多个向量V′；

步骤S10，将步骤S9得到的与每条密集轨迹对应的多个向量V′输入到所述慢特征函数C1中，基于所述慢特征函数C1的输出向量得到该测试视频段的特征表示f′；

步骤S11，将所述测试视频段的特征表示f′作为特征向量输入到所述步骤S6得到的分类器模型中，即可判断该测试视频段是否为暴力视频段；

步骤S12，如果该测试视频中超过一比例的视频段被识别为暴力，则该测试视频为暴力视频，否则，为非暴力视频。

根据本发明的方法，能有效检测出互联网上视频的暴力内容，为互联网不良内容的过滤提供强有力的依据。

附图说明

图1是本发明基于慢特征分析的暴力视频检测方法流程图。

图2是本发明基于轨迹的向量的构造示意图。

图3是根据本发明实施例的暴力视频检测结果。

图4是根据本发明实施例的非暴力视频的检测结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1是本发明基于慢特征分析的暴力视频检测方法流程图，如图1所示，本发明基于慢特征分析的暴力视频检测方法流程图，包括训练过程和识别过程两个部分：

所述训练过程可以描述为：对已经标好类的视频进行密集轨迹提取，基于轨迹用慢特征分析方法学习出慢特征函数，通过慢特征函数得到视频段的特征表示，最后对提取的特征进行训练并建模，即学习能有效区分暴力视频和非暴力视频的特征。所述识别过程可以描述为：对新来视频进行特征提取，将提取的特征输入到训练得到的模型，从而得到视频的类别(暴力视频或非暴力视频)。

所述训练过程进一步包括以下步骤：

步骤S1，对于已经标好类的视频样本，计算其密集光流场；

所述已经标好类的视频是事先收集到的大量的暴力视频和非暴力视频，这些视频用于训练本发明用到的暴力视频识别模型。

密集光流场ω＝(u_t，v_t)的计算方法如下：

对于视频的第t帧，位置(x，y)的偏移量可以表示为如下参数化形式：

u(x，y)＝a₁+a₂x+a₃y+a₇x²+a₈xy    (1)

v(x，y)＝a₄+a₅x+a₆y+a₇x²+a₈xy    (2)

其中，u(x，y)为光流场在位置(x，y)的u_t分量，v(x，y)为光流场在位置(x，y)的v_t分量，a₁，a₂，a₃，a₄，a₅，a₆，a₇，a₈为待定参数。

公式(1)和(2)可以写成如下向量形式：

d＝(u，v)^T＝Sp    (3)

$S=\left(\begin{array}{cccccccc}1& x& y& 0& 0& 0& x^2& \mathrm{xy}\\ 0& 0& 0& 1& x& y& \mathrm{xy}& y^2\end{array}\right)---\left(4\right)$

p＝(a₁a₂a₃a₄a₅a₆a₇a₈)    (5)

通过求解如下加权最小二乘问题得到位置(x，y)的偏移量：

$\underset{i}{\mathrm{\Σ}}{w}_i{\left|\right|A_i{S}_{i}p-\mathrm{\Δ}{b}_i\left|\right|}^2---\left(6\right)$

上述问题的解为：

$p={\left(\underset{i}{\mathrm{\Σ}}{w}_i{S}_i^T{A}_i^T{A}_i{S}_i\right)}^{-1}\underset{i}{\mathrm{\Σ}}{w}_i{S}_i^T{A}_i^T\mathrm{\Δ}{b}_i---\left(7\right)$

其中，i用来索引位置(x，y)的w×h的邻域，w_i表示邻域第i个位置的权重(人为设定)，S_i表示邻域第i个位置通过式(4)得到的向量，A_i是一个2*2的对称矩阵，该矩阵的元素均为参数，Δb_i是一个2维列向量，该向量的元素均为参数。

假定对于视频第t帧某个位置x，通过给定的先验偏移量它移动到了下一帧的位置

则视频第t帧某个位置x的A(x)，Δb(x)通过如下方法得到：

$A\left(x\right)=\frac{A_1\left(x\right)+A_2\left(\tilde{x}\right)}{2}---\left(8\right)$

$\mathrm{\Δb}\left(x\right)=-\frac{1}{2}(b_2\left(\tilde{x}\right)-b_1\left(x\right))+A\left(x\right)\tilde{d}\left(x\right)---\left(9\right)$

其中，A₁(x)，b₁(x)，

可以通过用如下式子(10)拟合对应位置w×h邻域内的像素值，用加权最小二乘法求得：

f(x)＝x^TAx+b^Tx+c    (10)

其中，A是一个2*2对称矩阵，b是一个二维列向量，c是常变量。

通过上述方法，依次计算第t帧每个位置的偏移量，可以得到第t帧的光流场。

步骤S2，从所述视频的每个帧中以一定步长提取多个密集特征点，分别跟踪所述密集特征点在整个视频中的轨迹，从而得到由所述视频中所有密集特征点对应的密集轨迹组成的密集轨迹集合T；

密集特征点的轨迹能有效地表示视频内容，所以本发明从视频的每一帧中以步长5提取N个密集特征点，并基于密集光流场的偏移量来跟踪它们，得到与各个密集特征点对应的密集轨迹：

对于某一视频第t帧的轨迹点P_t＝(x_t，y_t)，通过对其密集光流场ω＝(u_t，v_t)进行中值滤波得到该轨迹点在第t+1帧中对应的轨迹点P_t+1：

$P_{t+1}=(x_{t+1},y_{t+1})=(x_t,y_t)+(M*\mathrm{\ω}){|}_{({\stackrel{\‾}{x}}_t,{\stackrel{\‾}{y}}_t)}---\left(11\right)$

其中，M是一个中值滤波器，

是轨迹点P_t＝(x_t，y_t)邻域内的一个点，

表示对光流场中轨迹点对应位置的邻域进行中值滤波的操作，其表示轨迹点P_t＝(x_t，y_t)相对于P_t+1＝(x_t+1，y_t+1)的偏移量。

一系列视频帧中的对应密集轨迹点就组成了一个对应于某一密集特征点的密集轨迹：(P_t，P_t+1，P_t+2，...)，所有密集特征点对应的密集轨迹就组成了密集轨迹集合T。

根据本发明的一个实施例，选取长度范围在3-15之间的密集轨迹进行后续的操作。

步骤S3，对于所述密集轨迹集合T中的每条密集轨迹，提取其中各轨迹点邻域的像素值，构建出与每条密集轨迹对应的多个向量V；

对于一条长度为l的轨迹(轨迹的长度即为该轨迹所包含的轨迹点的个数)，提取其中每个轨迹点h×w邻域内的像素值，然后从第一个轨迹点开始，每Δt＝3个轨迹点对应的邻域中的所有像素值组成一个向量，如图2所示，图2中，P(i)，i＝1…l，表示长度为l的轨迹中的第i个轨迹点的h×w邻域内所有的像素值组成的向量，P(1)、P(2)、P(3)为第1、2、3个轨迹点对应邻域中的所有像素值组成的向量，P(2)、P(3)、P(4)为第2、3、4个轨迹点对应邻域中的所有像素值组成的向量，以此类推，对于一条长度为l的轨迹，就能得到该轨迹对应的l-2个向量V。

根据本发明的一个实施例，所述邻域取为5*5。

步骤S4，基于每条密集轨迹对应的多个向量V，通过慢特征学习方法，对于每一类向量，得到一个对该类向量对应的J维慢特征函数C1；

所述向量的类别与视频的类别相对应。

假定向量的类别共有C类，令t∈[t₀，t₁]表示时间，对于第c类的一个I维输入向量V(I＝3*h×w)：{x_c(t)＝[x_c1(t)，...，x_cI(t)]|c∈{1，...，C}}，使用慢特征方法即通过最小化公式(12)得到一组J维慢特征函数C1：g_c(x)＝[g_c1(x)，...，g_cJ(x)]^T，其中，函数C1中的第j维元素g_cj(x)表示类c的第j个慢特征函数：

$\mathrm{\Δ}\left(g_{\mathrm{cj}}\left(x_c\right)\right)-\mathrm{\γ}*\mathrm{\Δ}\left(g_{\mathrm{cj}}\left(x_{c^{\′}}\right)\right)$

$={<{\left[g_{\mathrm{cj}}\left({\stackrel{\&CenterDot;}{x}}_c\right)\right]}^2>}_t-\mathrm{\&gamma;}*{<{\left[g_{\mathrm{cj}}\left({\stackrel{\&CenterDot;}{x}}_{c^{\&prime;}}\right)\right]}^2>}_t---\left(12\right)$

$={\mathrm{\&omega;}}_{\mathrm{cj}}^T[{<{\stackrel{\&CenterDot;}{x}}_c{\stackrel{\&CenterDot;}{x}}_c^T>}_t-\mathrm{\&gamma;}*{<{\stackrel{\&CenterDot;}{x}}_{c^{\&prime;}}{\stackrel{\&CenterDot;}{x}}_{c^{\&prime;}}^T>}_t]{\mathrm{\&omega;}}_{\mathrm{cj}}$

公式(12)的约束条件为：

<g_cj(x_c∪c′)>_t＝0     (13)

<[g_cj(x_c∪c′)]²>_t＝1  (14)

$\&ForAll;j^{\&prime;}<j:{<g_{c{j}^{\&prime;}}\left(x_{c\&cup;c^{\&prime;}}\right)g_{\mathrm{cj}}\left(x_{c\&cup;c^{\&prime;}}\right)>}_t=0---\left(15\right)$

其中，Δ(·)表示对向量序列·求一阶导数后再在时间上求平均，x_c′为第c′类的输入向量V，

为对向量x_c求一阶导数，

为对向量x_c′求一阶导数，<·>_t表示在时间上对·取均值，ω_cj表示类c的第j个慢特征函数的权重向量，γ为权重系数，x_c∪c′表示所有类别的输入向量。

公式(12)可以转化为广义特征值问题求解，即公式(12)可以写成如下广义特征值形式：

EW＝BWΛ    (16)

其中，

Λ表示广义特征值的对角矩阵，W为对应的广义特征向量。

步骤S5，将步骤S3得到的与每条密集轨迹对应的多个向量V分别输入到慢特征函数C1中，基于所述慢特征函数C1的输出向量构建该视频的特征表示f；

假设所述密集轨迹集合T中一条轨迹的长度是l，则其对应的向量V的个数为l-Δt+1。所述步骤S4学习得到的慢特征函数C1的维数为J，用F_j表示慢特征函数C1中的第j维元素，则所述视频的特征表示f的元素可以按照下式计算：

$v_{i,j}=\frac{1}{l-\mathrm{\&Delta;t}}\underset{t=1}{\overset{l-\mathrm{\&Delta;t}}{\mathrm{\&Sigma;}}}[C_i(t+1)\&CircleTimes;F_j-C_i\left(t\right)\&CircleTimes;F]---\left(17\right)$

其中，C_i(t+1)为第t+1个向量V中的第i维元素，

表示将C_i输入到函数F_j中的操作。

那么，对于一个含有N*M条密集轨迹的视频，其中，M为该视频所包含的帧数，其特征向量可以表示为：

$f=\underset{i=1}{\overset{N*M}{\mathrm{\&Sigma;}}}{V}_i---\left(18\right)$

其中，V_i＝<v_i，1，v_i，2，...，v_i，J>^T。

步骤S6，将所述视频的特征表示f作为特征向量输入到支持向量机SVM分类器中，构造分类器模型；

所述支持向量机SVM分类器为分类器的常用技术，在此不作赘述。

步骤S7，输入一个测试视频，将该测试视频分为多个测试视频段，对于每个测试视频段计算其密集光流场；

根据本发明的一个实施例，设定30个视频帧为一个视频段。

该步骤中计算测试视频段的密集光流场公式与步骤S1中的计算公式相同。

步骤S8，从所述测试视频段的每个帧中提取多个密集特征点，分别跟踪所述密集特征点在整个视频段中的轨迹，从而得到由所述测试视频段中所有密集特征点对应的密集轨迹组成的密集轨迹集合T′；

所述密集轨迹的长度范围选为3-15。

步骤S9，对于所述密集轨迹集合T′中的每条密集轨迹，提取其中各轨迹点邻域的像素值，构建出与每条密集轨迹对应的多个向量V′；

根据本发明的一个实施例，所述邻域取为5*5。

步骤S10，将步骤S9得到的与每条密集轨迹对应的多个向量V′输入到所述慢特征函数C1中，基于所述慢特征函数C1的输出向量得到该测试视频段的特征表示f′；

步骤S11，将所述测试视频段的特征表示f′作为特征向量输入到所述步骤S6得到的分类器模型中，即可判断该测试视频段是否为暴力视频段；

步骤S12，如果该测试视频中超过一比例的视频段被识别为暴力，则该测试视频为暴力视频，否则，为非暴力视频。

所述比例可设定为50％。

图3和图4分别给出暴力视频和非暴力视频的示例及其示例的检测结果。

接下来，借助实验结果来验证本发明的有效性，实验中，选取200个暴力视频作为正样本，选取200个非暴力视频作为负样本，将视频中的30帧看作一个视频段，分别提取每个视频段的密集轨迹集合T，其中，轨迹的长度范围选为3-15；对于密集轨迹集合T中的每条密集轨迹，提取各轨迹点5*5邻域的像素值，构建与每条密集轨迹对应的向量；随机选取其中5000条密集轨迹的向量构建向量V，通过慢特征学习方法得到200维(人为设定)的慢特征函数C1；将每个视频段的密集轨迹集合中轨迹对应的向量V输入到慢特征函数C1中，得到该视频段的特征表示f，其维数为400(2*200，即视频类别数*慢特征函数维数)；

将所有视频段的特征表示f作为特征向量输入到支持向量机SVM分类器，训练出分类模型；输入一个测试视频，将该测试视频以30个视频帧分为多个测试视频段，对每个测试视频段计算其密集光流场，从所述测试视频段的每个帧中提取多个密集特征点，分别跟踪所述密集特征点在整个视频段中的轨迹，从而得到由所述测试视频段中所有密集特征点对应的密集轨迹组成的密集轨迹集合T′，其中轨迹的长度范围为3-15；对于密集轨迹集合T′中的每条轨迹，提取各轨迹点的5*5邻域的像素值，构建出与每条密集轨迹对应的多个向量V′；将向量V′输入到慢特征函数C1中，基于慢特征函数C1的输出向量得到该测试视频段的特征表示f′，其维数为400；将f′作为特征向量输入到分类器模型，判断该测试视频段是否为暴力视频段，如果一个视频中多数视频段被识别为暴力，则该测试视频为暴力视频，否则，为非暴力视频。图3和图4分别为暴力视频和非暴力视频的检测结果，其中，图3(a)、(b)为暴力视频的检测结果，图4(a)、(b)为非暴力视频的检测结果。

综上，本发明提出了一种有效的基于慢特征分析的暴力视频检测方案。本发明易于实现、性能稳定，识别准确率高。本发明能够有效识别出视频的暴力内容，为过滤不健康内容提供了有力的依据。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于慢特征分析的暴力视频检测方法，其特征在于，该方法包括以下步骤：

步骤S1，对于已经标好类的视频样本，计算其密集光流场；

步骤S2，从所述视频的每个帧中以一定步长提取多个密集特征点，分别跟踪所述密集特征点在整个视频中的轨迹，从而得到由所述视频中所有密集特征点对应的密集轨迹组成的密集轨迹集合T；

步骤S3，对于所述密集轨迹集合T中的每条密集轨迹，提取其中各轨迹点邻域的像素值，构建出与每条密集轨迹对应的多个向量V；

步骤S4，基于每条密集轨迹对应的多个向量V，通过慢特征学习方法，对于每一类向量，得到一个对该类向量对应的J维慢特征函数C1；

步骤S5，将步骤S3得到的与每条密集轨迹对应的多个向量V分别输入到慢特征函数C1中，基于所述慢特征函数C1的输出向量构建该视频的特征表示f；

步骤S6，将所述视频的特征表示f作为特征向量输入到支持向量机SVM分类器中，构造分类器模型；

步骤S7，输入一个测试视频，将该测试视频分为多个测试视频段，对于每个测试视频段计算其密集光流场；

步骤S8，从所述测试视频段的每个帧中提取多个密集特征点，分别跟踪所述密集特征点在整个视频段中的轨迹，从而得到由所述测试视频段中所有密集特征点对应的密集轨迹组成的密集轨迹集合T′；

步骤S9，对于所述密集轨迹集合T′中的每条密集轨迹，提取其中各轨迹点邻域的像素值，构建出与每条密集轨迹对应的多个向量V′；

步骤S10，将步骤S9得到的与每条密集轨迹对应的多个向量V′输入到所述慢特征函数C1中，基于所述慢特征函数C1的输出向量得到该测试视频段的特征表示f′；

步骤S11，将所述测试视频段的特征表示f′作为特征向量输入到所述步骤S6得到的分类器模型中，即可判断该测试视频段是否为暴力视频段；

步骤S12，如果该测试视频中超过一比例的视频段被识别为暴力，则该测试视频为暴力视频，否则，为非暴力视频。

2.根据权利要求1所述的方法，其特征在于，所述步骤S2和S8中，基于密集光流场的偏移量来跟踪所述密集特征点，得到与各个密集特征点对应的密集轨迹。

3.根据权利要求2所述的方法，其特征在于，所述步骤S2中，基于密集光流场的偏移量来跟踪所述密集特征点进一步为：对于某一视频第t帧的轨迹点P_t＝(x_t，y_t)，通过对其密集光流场ω＝(u_t，v_t)进行中值滤波得到该轨迹点在第t+1帧中对应的轨迹点P_t+1：

$P_{t+1}=(x_{t+1},y_{t+1})=(x_t,y_t)+(M*\mathrm{\&omega;}){|}_{({\stackrel{\&OverBar;}{x}}_t,{\stackrel{\&OverBar;}{y}}_t)},$

其中，M是一个中值滤波器，是轨迹点P_t＝(x_t，y_t)邻域内的一个点，

表示对光流场中轨迹点对应位置的邻域进行中值滤波，其表示轨迹点P_t＝(x_t，y_t)相对于P_t+1＝(x_t+1，y_t+1)的偏移量。

4.根据权利要求1所述的方法，其特征在于，所述步骤S2和S8进一步包括选取长度范围在3-15之间的密集轨迹组成密集轨迹集合T的步骤。

5.根据权利要求1所述的方法，其特征在于，所述步骤S3中，构建向量V进一步为：对于一条长度为l的轨迹，提取其中每个轨迹点h×w邻域内的像素值，然后从第一个轨迹点开始，每Δt＝3个轨迹点对应的邻域中的所有像素值组成一个向量，其中，所述轨迹的长度为该轨迹所包含的轨迹点的个数。

6.根据权利要求1所述的方法，其特征在于，所述步骤S4中，所述向量的类别与视频的类别相对应。

7.根据权利要求1所述的方法，其特征在于，所述步骤S4中，通过慢特征学习方法得到慢特征函数C1进一步为：假定向量的类别共有C类，令t∈[t₀，t₁]表示时间，对于第c类的一个I维输入向量V(I＝3*h×w)：{x_c(t)＝[x_c1(t)，...，x_cI(t)]|c∈{1，...，C}}，使用慢特征方法即通过最小化下式得到一组J维慢特征函数C1：g_c(x)＝[g_c1(x)，...，g_cJ(x)]^T，其中，函数C1中的第j维元素g_cj(x)表示类c的第j个慢特征函数：

$\mathrm{\&Delta;}\left(g_{\mathrm{cj}}\left(x_c\right)\right)-\mathrm{\&gamma;}*\mathrm{\&Delta;}\left(g_{\mathrm{cj}}\left(x_{c^{\&prime;}}\right)\right)$

$={<{\left[g_{\mathrm{cj}}\left({\stackrel{\&CenterDot;}{x}}_c\right)\right]}^2>}_t-\mathrm{\&gamma;}*{<{\left[g_{\mathrm{cj}}\left({\stackrel{\&CenterDot;}{x}}_{c^{\&prime;}}\right)\right]}^2>}_t,$

$={\mathrm{\&omega;}}_{\mathrm{cj}}^T[{<{\stackrel{\&CenterDot;}{x}}_c{\stackrel{\&CenterDot;}{x}}_c^T>}_t-\mathrm{\&gamma;}*{<{\stackrel{\&CenterDot;}{x}}_{c^{\&prime;}}{\stackrel{\&CenterDot;}{x}}_{c^{\&prime;}}^T>}_t]{\mathrm{\&omega;}}_{\mathrm{cj}}$

上式的约束条件为：

<g_cj(x_c∪c′)>_t＝0，

<[g_cj(x_c∪c′)]²>_t＝1，

$\&ForAll;j^{\&prime;}<j:{<g_{c{j}^{\&prime;}}\left(x_{c\&cup;c^{\&prime;}}\right)g_{\mathrm{cj}}\left(x_{c\&cup;c^{\&prime;}}\right)>}_t=0,$

其中，Δ(·)表示对向量序列·求一阶导数后再在时间上求平均，x_c′为第c′类的输入向量V，

为对向量x_c求一阶导数，

为对向量x_c′求一阶导数，<·>_t表示在时间上对·取均值，ω_cj表示类c的第j个慢特征函数的权重向量，γ为权重系数，x_c∪c′表示所有类别的输入向量。

8.根据权利要求1所述的方法，其特征在于，所述步骤S5中，构建特征表示进一步为：假设所述密集轨迹集合T中一条轨迹的长度是l，则其对应的向量V的个数为l-Δt+1，所述慢特征函数C1的维数为J，用F_j表示慢特征函数C1中的第j维元素，则所述视频的特征表示f的元素可以按照下式计算：

$v_{i,j}=\frac{1}{l-\mathrm{\&Delta;t}}\underset{t=1}{\overset{l-\mathrm{\&Delta;t}}{\mathrm{\&Sigma;}}}[C_i(t+1)\&CircleTimes;F_j-C_i\left(t\right)\&CircleTimes;F],$

其中，C_i(t+1)为第t+1个向量V中的第i维元素，

表示将C_i输入到函数F_j中的操作；

那么，对于一个含有N*M条密集轨迹的视频，其中，M为该视频所包含的帧数，其特征向量可以表示为：

$f=\underset{i=1}{\overset{N*M}{\mathrm{\&Sigma;}}}{V}_i,$

其中，V_i＝<v_i，1，v_i，2，...，v_i，J>^T。

9.根据权利要求1所述的方法，其特征在于，所述步骤S7中，设定30个视频帧为一个视频段。

10.根据权利要求1所述的方法，其特征在于，所述步骤S12中的比例为50％。

Images