CN102236783A - 检测异常行为的方法和设备及生成检测器的方法和设备 - Google Patents

Abstract

公开了检测异常行为的方法和设备及生成检测器的方法和设备。检测视频中对象的异常行为的设备包含提取装置，其从所述视频中获得具有预定长度的图像的序列；特征计算装置，其计算所述序列的每个所述图像的运动向量方向直方图，并且将所述序列的所有图像的运动向量方向直方图形成特征向量；和检测装置，其将所述特征向量输入检测器，以检测对象的异常行为。

Description

检测异常行为的方法和设备及生成检测器的方法和设备

技术领域

本发明涉及模式识别领域，尤其涉及检测视频中对象的异常行为的方法和设备，以及生成用于检测视频中对象的异常行为的检测器的方法和设备。

背景技术

随着技术的发展以及硬件设备价格的逐渐降低，大量的监控摄像头被安装到各种场合，特别是那些对安全要求敏感的场合，如机场、社区、银行、停车场、军事基地等。动态场景的视觉监控是近年来备受关注的前沿研究方向。视觉监控是从摄像机捕捉的图像序列中分析和理解运动目标的行为，并对异常行为进行报警的技术。异常行为检测是智能视觉监控的重要功能。因此，对异常行为检测的研究具有重要的意义。

在Hu等人的文章“Anomaly Detection Based on Motion Direction”，ACTA AUTOMATICA SINICA，Vol.34，No.11，November，2008(下文中简称为文献1)中提出了提出了一种基于运动方向的异常行为检测方法。根据不同行为的运动方向具有不同的规律性的事实，该方法采用块运动方向描述不同的动作，并利用支持向量机对实时监控视频进行异常行为检测。在进行行为描述时，先提取相应视频段的所有前景帧的块运动方向，然后对这些运动方向进行归一化直方图统计得到该视频段的行为描述特征。

发明内容

本发明旨在提供一种检测视频中对象的异常行为的方法和设备，以及生成用于检测视频中对象的异常行为的检测器的方法和设备，以改进异常行为检测。

本发明的一个实施例是一种检测视频中对象的异常行为的方法。根据该方法，从视频中获得具有预定长度的图像的序列。计算序列的每个图像的运动向量方向直方图。将序列的所有图像的运动向量方向直方图形成特征向量。将特征向量输入检测器，以检测对象的异常行为。

在上述检测视频中对象的异常行为的方法的进一步实施例中，从视频中获得序列可以包括从视频中检测独立运动区域，以及从视频中的独立运动区域获得序列。

在上述检测视频中对象的异常行为的方法的进一步实施例中，从视频中检测独立运动区域可以包括从视频的图像帧之一中检测出前景，检测前景中的独立连通区域，以及将覆盖独立连通区域的区域提取为独立运动区域。

在上述检测视频中对象的异常行为的方法的进一步实施例中，还可以响应于检测器检测出对象的异常行为，检测序列的图像中非对象的运动物体的存在，以及在检测结果表明不存在非对象的运动物体的情况下，检测出对象的异常行为。

在上述检测视频中对象的异常行为的方法的进一步实施例中，还可以将转换矩阵Map_d×m乘以所形成的特征向量，以将相乘结果作为输入检测器的特征向量，其中m为相乘之前特征向量的维数，d为相乘之后特征向量的维数，并且d＜m。

本发明的一个实施例是一种检测视频中对象的异常行为的设备，包括提取装置、特征计算装置和检测装置。提取装置从视频中获得具有预定长度的图像的序列。特征计算装置计算序列的每个图像的运动向量方向直方图，并且将序列的所有图像的运动向量方向直方图形成特征向量。检测装置将特征向量输入检测器，以检测对象的异常行为。

在上述检测视频中对象的异常行为的设备的进一步实施例中，提取装置可以包括运动区域检测装置和区域图像提取装置。运动区域检测装置从视频中检测独立运动区域。区域图像提取装置从视频中的独立运动区域获得序列。

在上述检测视频中对象的异常行为的设备的进一步实施例中，运动区域检测装置可以包括前景检测装置、连通区域分析装置和覆盖区域提取装置。前景检测装置从视频的图像帧之一中检测出前景。连通区域分析装置检测前景中的独立连通区域。覆盖区域提取装置将覆盖独立连通区域的区域提取为独立运动区域。

在上述检测视频中对象的异常行为的设备的进一步实施例中，检测装置可以包括非对象检测装置和过滤装置。非对象检测装置响应于检测器检测出对象的异常行为，检测序列的图像中非对象的运动物体的存在。过滤装置在检测结果表明不存在非对象的运动物体的情况下，检测出对象的异常行为。

在上述检测视频中对象的异常行为的设备的进一步实施例中，特征计算装置可以包括降维装置，其将转换矩阵Map_d×m乘以所形成的特征向量，并且将相乘结果作为要输入检测器的特征向量提供给检测装置，其中m为相乘之前特征向量的维数，d为相乘之后特征向量的维数，并且d＜m。

本发明的一个实施例是一种生成用于检测视频中对象的异常行为的检测器的方法。根据该方法，输入多个具有预定长度的图像的序列中的每个序列，其中每个序列包含的对象的行为的类型已被标记。计算序列的每个图像的运动向量方向直方图。将序列的所有图像的运动向量方向直方图形成特征向量。根据各个序列的相应特征向量和所标记的行为类型来训练检测器。

在上述生成检测器的方法的进一步实施例中，形成特征向量可以包括利用降维方法计算将所形成的特征向量降维的变换矩阵Map_d×m，其中m为降维之前特征向量的维数，d为降维之后特征向量的维数，并且d＜m，以及将转换矩阵Map_d×m乘以所形成的特征向量，以将相乘结果作为训练所根据的特征向量。

本发明的一个实施例是一种生成用于检测视频中对象的异常行为的检测器的设备，包括输入装置、特征计算装置和训练装置。输入装置输入多个具有预定长度的图像的序列中的每个序列，其中每个序列包含的对象的行为的类型已被标记。特征计算装置计算序列的每个图像的运动向量方向直方图，并且将序列的所有图像的运动向量方向直方图形成特征向量。训练装置根据各个序列的相应特征向量和所标记的行为类型来训练检测器。

在上述生成检测器的设备的进一步实施例中，特征计算装置可以包括变换矩阵生成装置和变换装置。变换矩阵生成装置利用降维方法计算将所形成的特征向量降维的变换矩阵Map_d×m，其中m为降维之前特征向量的维数，d为降维之后特征向量的维数，并且d＜m。变换装置将转换矩阵Map_d×m乘以所形成的特征向量，以将相乘结果作为训练所根据的特征向量。

降维方法可以包括主成份分析方法、因子分析方法、单值分解(Singular Value Decomposition，SVD)、多维尺度分析(multi-dimensionalscaling，MDS)、局部线性嵌入(locally linear embedding，LLE)、等距映射(Isomap)、线性鉴别分析(Linear Discriminant Analysis，LDA)、局部切空间排列(local tangent space alignment，LTSA)和最大方差展开(Maximum variance unfolding，MVU)。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。在附图中，相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。在附图中不必依照比例绘制出单元的尺寸和相对位置。

图1的框图示出根据本发明实施例的生成用于检测视频中对象的异常行为的检测器的设备的结构。

图2是示出生成特征向量的过程的例子的示意图。

图3A是示出根据本发明实施例的生成用于检测视频中对象的异常行为的检测器的方法的流程图。

图3B是示出图3A所示的方法中计算运动向量方向直方图并形成特征向量的步骤的一个例子的流程图。

图4的框图示出根据本发明实施例的生成用于检测视频中对象的异常行为的检测器的设备400的结构。

图5的框图示出了根据本发明实施例的检测视频中对象的异常行为的设备的结构。

图6A是示出根据本发明实施例的检测视频中对象的异常行为的方法的流程图。

图6B是示出图6A所示的方法中获得图像序列的步骤的一个例子的流程图。

图6C是示出图6B所示的过程中检测独立运动区域的步骤的一个例子的流程图。

图6D是示出图6A所示的过程中检测异常行为的步骤的一个例子的流程图。

图7的框图示出了根据本发明实施例的检测视频中对象的异常行为的设备的结构。

图8示出图7的运动区域检测装置的一个例子的结构。

图9示出图7的检测装置的一个例子的结构。

图10示出图7的特征计算装置的一个例子的结构。

图11是示出其中实现本发明的计算机的示例性结构的框图。

具体实施方式

下面参照附图来说明本发明的实施例。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

图1的框图示出根据本发明实施例的生成用于检测视频中对象的异常行为的检测器的设备100的结构。

如图1所示，设备100包括输入装置101、特征计算装置102和训练装置103。

为生成用于检测视频中对象的异常行为的检测器，通常准备样本视频段。每个视频段中包含有特定行为类型的对象(例如人、动物、车辆等等)的行为，例如正常行走、聊天、打架、病倒等等。根据具体应用的检测目的，可以将这些行为类型中的一或多个类型划分为正常行为类型，而将其余行为类型划分为异常行为类型。对于包含正常行为类型的行为的视频段，将其标记为正常行为类型。对于包含异常行为类型的行为的视频段，将其标记为异常行为类型。

针对每个这样的视频段，从中提取出行为描述特征，从而获得视频段的行为描述特征和相应行为类型。所有视频段的行为描述特征和相应行为类型形成训练数据集。于是能够使用相应训练方法根据训练数据集训练出检测器。例如，在文献1中提出了一种这样的方案。根据该方案，对于每个视频段，提取该视频段中每一前景帧的块运动向量方向。然后，对该视频段的所有块运动向量方向做归一化直方图统计，得到该视频段的行为描述特征。根据该方案，采用支持向量机方法来训练出用于检测异常行为的检测器(也称分类器)。

在图1所示的实施例中，输入装置101输入多个具有预定长度的图像的序列中的每个序列。这样的图像序列即为样本视频段，其具有预定长度。预定长度L可以用序列所包含的图像的帧数N来衡量，也可以用序列所占的时间T来衡量。可以理解，帧数N(例如30)和时间T满足关系N＝T×R，其中R为视频的帧速率。预定长度L的选择取决于要检测的完整对象行为通常所需的时间。所选择的预定长度L应保证图像序列能够基本包含所要检测的完整对象行为的过程，以便提供足够的信息来进行检测。

出于训练的目的，每个序列包含某个行为类型的对象行为，并且此对象行为的行为类型已被标记。因而，当后续处理遇到一个序列时，能够得知此序列所包含的对象行为的行为类型。序列所包含的对象行为的行为类型可以是正常行为类型，或异常行为类型。当然，正常行为类型和异常行为类型可以分别包括一或多个具体的行为类型，但在本发明的实施例中将这些具体的行为类型归类为正常行为类型和异常行为类型。

对于输入装置101输入的每个序列，特征计算装置102计算序列的每个图像的运动向量方向直方图。可选地，运动向量方向直方图可以是归一化的运动向量方向直方图。运动向量可以是像素运动向量，也可以是块运动向量。

运动向量方向直方图的计算通常基于前景图像。可采用已知的方法来从序列的图像中提取出前景图像。已知的方法包括基于像素的前景检测算法和基于轮廓邻域信息的前景检测算法。基于像素的前景检测算法主要包括帧差法(Temporal differencing)和背景法(Background subtraction)。例如在Chris Stauffer和W.E.L.Grimson的文章“Adaptive backgroundmixture models for real-time tracking”，1999 IEEE Computer SocietyConference on Computer Vision and Pattern Recognition(CVPR′99)-Volume 2，pp.2246，1999中描述了如何采用高斯混合模型对背景进行建模以及如何在图像中区分前景和背景的技术。

可采用已知的方法来计算运动向量方向直方图。例如，在文献1中介绍了计算运动向量方向直方图的技术。

运动向量方向直方图的方向区间的配置(即方向区间的宽度和数目)可以是任意的。可选地，也可以采用文献1的3.2.1节中介绍的原则来确定配置。在一个具体实现中，可以采用[-π/8，π/8]、[0，π/4]、[π/8，3π/8]、[π/4，π/2]、[3π/8，5π/8]、[π/2，3π/4]、[5π/8，7π/8]、[3π/4，π]、[7π/8，9π/8]、[π，5π/4]、[9π/8，11π/8]、[5π/4，3π/2]、[11π/8，13π/8]、[3π/2，7π/4]、[13π/8，15π/8]、[7π/4，2π]这样的16个方向区间。

对于每个序列，特征计算装置102将该序列的所有图像的运动向量方向直方图形成特征向量。假设运动向量方向直方图的方向区间的数目为K，序列中图像数目为N，则每个运动向量方向直方图包含数据x_i，j，其中1＜i≤K，1＜j≤N，x_i，j表示针对序列中第j个图像统计出的方向落在方向区间i的运动向量的数目(或归一化数目)。所形成的特征向量由所有的数据x_i，j构成。数据x_i，j在特征向量中的排列顺序可以是任意的。作为一个例子，特征向量可以是(x_1，1，x_1，2，…，x_1，N，x_2，1，x_2，2，…，x_2，N，…，x_K，1，x_K，2，…，x_K，N)。

图2是示出生成特征向量的过程的例子的示意图。如图2所示，输入装置101输入一个序列。该序列包含图像201-1、201-2、…、201-N。特征计算装置102计算序列的每个图像201-1、201-2、…、201-N的运动向量方向直方图202-1、202-2、…、202-N。运动向量方向直方图包含前面的例子中描述的16个方向区间。特征计算装置102将该序列的所有图像的运动向量方向直方图202-1、202-2，…、202-N形成特征向量203，即(x_1，1，x_1，2，…，x_1，N，x_2，1，x_2，2，…，x_2，N，…，x_16，1，x_16，2，…，x_16，N)。

回到图1，训练装置103根据各个序列的相应特征向量和所标记的行为类型来训练检测器。

可采用已知的训练方法来训练检测器。例如，可以像在文献1中描述的那样采用支持向量机来训练检测器。

此外，可以采用基于概率分布模型的训练方法来训练检测器。假设从一个序列中提取的特征向量为X_m，其中m是特征向量的维数。从n个序列中提取的所有特征向量表示为矩阵X_m×n。

可以基于所得到的矩阵X_m×n，计算概率分布模型，其中概率分布模型所基于的单概率分布模型对应于不同行为类型(即正常行为类型和异常行为类型)。也就是说，基于从包含正常行为的序列中提取的特征向量获得对应于正常行为类型的单概率分布模型，基于从包含异常行为的序列中提取的特征向量获得对应于异常行为类型的单概率分布模型。

通过已知的方法，能够根据对应于每个行为类型的特征向量的集合，能够计算出相应的单概率分布模型(即模型参数)，进而能够计算出所有行为类型的单概率分布模型的概率分布模型(即模型参数)。

适合使用的概率分布模型包括但不限于混合高斯模型、隐马尔科夫模型和条件随机场。

在一个具体示例中，采用混合高斯模型。在这个示例中，对于特征向量X，假设特征X满足概率分布公式：

$p\left(X\right|\mathrm{\θ})=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\ρ}}_i*N\left(x\right|u_i,{\mathrm{\Σ}}_i),$

其中M为行为类型的数目，N(x|u_i，∑_i)为针对行为类型i的单高斯模型，即正态分布模型。u_i和∑_i是正态分布模型的参数，ρ_i表示针对行为类型i的单高斯模型在混合高斯模型中的权重。根据所有行为类型的特征集，通过已知的估计方法，例如期望最大化方法EM能够计算最优的ρ_i，u_i和∑_i，i＝1，…，M。

图3A是示出根据本发明实施例的生成用于检测视频中对象的异常行为的检测器的方法300的流程图。

如图3A所示，方法300从步骤301开始。在步骤303，输入具有预定长度的图像序列，其中该序列包含的对象的行为的类型已被标记。

在步骤305，计算序列的每个图像的运动向量方向直方图。可选地，运动向量方向直方图可以是归一化的运动向量方向直方图。运动向量可以是像素运动向量，也可以是块运动向量。

在步骤305，将序列的所有图像的运动向量方向直方图形成特征向量。假设运动向量方向直方图的方向区间的数目为K，序列中图像数目为N，则每个运动向量方向直方图包含数据x_i，j，其中1＜i≤K，1＜j≤N，x_i，j表示针对序列中第j个图像统计出的方向落在方向区间i的运动向量的数目(或归一化数目)。所形成的特征向量由所有的数据x_i，j构成。数据x_i，j在特征向量中的排列顺序可以是任意的。作为一个例子，特征向量可以是(x_1，1，x_1，2，…，x_1，N，x_2，1，x_2，2，…，x_2，N，…，x_K，1，x_K，2，…，x_K，N)。

在步骤307，确定是否还有要输入的序列。如果有，则返回步骤303。否则，执行步骤309。

在步骤309，根据各个序列的相应特征向量和所标记的行为类型来训练检测器。

可采用已知的训练方法来训练检测器。例如，可以像在文献1中描述的那样采用支持向量机来训练检测器。

此外，可以采用基于概率分布模型的训练方法来训练检测器。假设从一个序列中提取的特征向量为X_m，其中m是特征向量的维数。从n个序列中提取的所有特征向量表示为矩阵X_m×n。

可以基于所得到的矩阵X_m×n，计算概率分布模型，其中概率分布模型所基于的单概率分布模型对应于不同行为类型(即正常行为类型和异常行为类型)。也就是说，基于从包含正常行为的序列中提取的特征向量获得对应于正常行为类型的单概率分布模型，基于从包含异常行为的序列中提取的特征向量获得对应于异常行为类型的单概率分布模型。

通过已知的方法，能够根据对应于每个行为类型的特征向量的集合，能够计算出相应的单概率分布模型(即模型参数)，进而能够计算出所有行为类型的单概率分布模型的概率分布模型(即模型参数)。

适合使用的概率分布模型包括但不限于混合高斯模型、隐马尔科夫模型和条件随机场。

在一个具体示例中，采用混合高斯模型。在这个示例中，对于特征向量X，假设特征X满足概率分布公式：

$p\left(X\right|\mathrm{\θ})=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\ρ}}_i*N\left(x\right|u_i,{\mathrm{\Σ}}_i),$

其中M为行为类型的数目，N(x|u_i，∑_i)为针对行为类型i的单高斯模型，即正态分布模型。u_i和∑_i是正态分布模型的参数，ρ_i表示针对行为类型i的单高斯模型在混合高斯模型中的权重。根据所有行为类型的特征集，通过已知的估计方法，例如期望最大化方法EM能够计算最优的ρ_i，u_i和∑_i，i＝1，…，M。

方法在步骤311结束。

可以理解，方法300中步骤的执行顺序不限于图3A所示的顺序。例如，可以先输入所有的序列，然后再计算每个序列的运动向量方向直方图并形成相应的特征向量，以用于训练检测器。

对象的行为在本质上是一个连续的动作过程。在本发明的实施例中，针对包含这样的连续动作过程的图像序列中的每个图像计算运动向量方向直方图并且利用所有这些运动向量方向直方图来形成特征向量。因而，所提取的特征向量能够更加忠实地表征对象行为。相应地，所生成的检测器能够更加准确地检测对象行为的类型。

训练出的检测器以检测模型的方式被存储起来。当进行检测时，检测装置通常根据所存储的检测模型初始化检测器，然后提取特征向量并将特征向量输入检测器。检测器根据输入的特征向量进行运算以给出判决结果。

图4的框图示出根据本发明实施例的生成用于检测视频中对象的异常行为的检测器的设备400的结构。

如图4所示，设备400包括输入装置401、特征计算装置402和训练装置403。输入装置401和训练装置403的功能与输入装置101和训练装置103的功能相同，这里省略其说明。

特征计算装置402包含图1的特征计算装置102的功能。此外，特征计算装置402包括变换矩阵生成装置410和变换装置411。

变换矩阵生成装置410利用降维方法计算将所形成的特征向量降维的变换矩阵Map_d×m，其中m为降维之前特征向量的维数，d为降维之后特征向量的维数，并且d＜m。降维方法包括但不限于主成份分析方法、因子分析方法、单值分解、多维尺度分析、局部线性嵌入、等距映射、线性鉴别分析、局部切空间排列和最大方差展开。

变换装置411将转换矩阵Map_d×m乘以所形成的特征向量，以将相乘结果作为训练所根据的特征向量。经过变换而得到的特征向量被输入到训练装置403。

图3B是示出图3A所示的方法的步骤305的一个例子的流程图。如图3B所示，步骤305从步骤321开始。在步骤323，利用降维方法计算将所形成的特征向量降维的变换矩阵Map_d×m，其中m为降维之前特征向量的维数，d为降维之后特征向量的维数，并且d＜m。在步骤325，将转换矩阵Map_d×m乘以所形成的特征向量，以将相乘结果作为训练所根据的特征向量。步骤305在步骤327结束。

降维方法包括但不限于主成份分析方法、因子分析方法、单值分解、多维尺度分析、局部线性嵌入、等距映射、线性鉴别分析、局部切空间排列和最大方差展开。

由于针对包含这样的连续动作过程的图像序列中的每个图像计算运动向量方向直方图并且利用所有这些运动向量方向直方图来形成特征向量，使得特征向量的维数较大。然而所有的维在表征对象行为方面的贡献不一定相同。尤其是相对于较大的维数而言，贡献较大的维的数目相对较小。因而采取降维措施能够显著减少要处理的数据量。

图5的框图示出了根据本发明实施例的检测视频中对象的异常行为的设备500的结构。

如图5所示，设备500包括提取装置501、特征计算装置502和检测装置503。设备500还包括检测模型存储装置504，其中存储训练好的检测模型，以供检测装置503用来初始化检测器。检测模型存储装置504也可以位于设备500之外、能够被设备500访问的位置。

提取装置501从视频中获得具有预定长度的图像的序列。这里的预定长度与前面结合图1的实施例描述的训练检测器时所基于的图像序列的预定长度相同，即序列中图像的数量相同。如果用时间来衡量预定长度，那么供检测的视频的帧速率应与训练检测器时所基于的图像序列的帧速率相同。

特征计算装置502计算序列的每个图像的运动向量方向直方图，并且将序列的所有图像的运动向量方向直方图形成特征向量。这里，运动向量方向直方图所采用的方向区间的配置应与前面结合图1的实施例描述的训练检测器时所基于的配置相同，计算运动向量方向直方图的方法与前面结合图1的实施例描述的训练检测器时所基于的方法相同，并且所有运动向量方向直方图的数据x_i，j在特征向量中的排列顺序应与前面结合图1的实施例描述的训练检测器时所基于的排列顺序相同。

检测装置503将特征向量输入检测器。检测器是检测装置503根据检测模型存储装置504中存储的检测模型初始化的。检测器能够根据输入的特征向量进行计算并给出有关特征向量表征的行为是正常行为还是异常行为的判决。相应地，检测装置503能够根据检测器的判决来检测出异常行为。

检测器可以是已知的训练方法来训练的。例如，可以像在文献1中描述的那样采用通过基于支持向量机的技术训练的检测器。

在一个实施例中，检测器是如前面描述的采用基于概率分布模型的训练方法来训练的检测器。假设从图像序列中提取的特征向量为X。检测器根据基于针对各行为类型的单概率分布模型的概率分布模型，计算在假设每个行为类型θ的条件下所提取的特征向量的概率p(X|θ)。

检测器将针对所有可能行为类型计算的概率p(X|θ)中最大的概率所对应的行为类型作为检测结果。

获得图像序列以进行检测的时机可以取决于具体检测目的。例如，可以响应操作人员的命令，从视频流中的当前位置或指定位置获得预定长度的图像序列。例如，可以在预先设定的时机，例如在预定时间、响应预定事件或满足预定条件，从视频流中的当前位置或指定位置获得预定长度的图像序列。或者，可以按照预定间隔，例如1帧、2帧等等从视频流中获得图像序列来进行检测。

在不止一次从视频流中获得图像序列以进行检测的情况下，如果在前图像序列和在后图像序列可能发生交叠，那么可以在设备500中设置缓冲器，以存储特征计算装置502至少针对在前图像序列的可能交叠部分计算的相应运动向量方向直方图。相应地，特征计算装置502在计算下一图像序列的各个图像的运动向量方向直方图时，可以省略交叠部分的运动向量方向直方图的计算，并且从缓冲器中获得相应的运动向量方向直方图。

图6A是示出根据本发明实施例的检测视频中对象的异常行为的方法600的流程图。

如图6A所示，方法600从步骤601开始。在步骤603，从视频中获得具有预定长度的图像的序列。这里的预定长度与前面结合图1的实施例描述的训练检测器时所基于的图像序列的预定长度相同，即序列中图像的数量相同。如果用时间来衡量预定长度，那么供检测的视频的帧速率应与训练检测器时所基于的图像序列的帧速率相同。

在步骤605，计算序列的每个图像的运动向量方向直方图，并且将序列的所有图像的运动向量方向直方图形成特征向量。这里，运动向量方向直方图所采用的方向区间的配置应与前面结合图1的实施例描述的训练检测器时所基于的配置相同，计算运动向量方向直方图的方法与前面结合图1的实施例描述的训练检测器时所基于的方法相同，并且所有运动向量方向直方图的数据x_i，j在特征向量中的排列顺序应与前面结合图1的实施例描述的训练检测器时所基于的排列顺序相同。

在步骤607，将特征向量输入检测器。检测器是根据所存储的检测模型初始化的。检测器能够根据输入的特征向量进行计算并给出有关特征向量表征的行为是正常行为还是异常行为的判决。相应地，在步骤607能够根据检测器的判决来检测出异常行为。

方法在步骤609结束。

检测器可以是已知的训练方法来训练的。例如，可以像在文献1中描述的那样采用通过基于支持向量机的技术训练的检测器。

在一个实施例中，检测器是如前面描述的采用基于概率分布模型的训练方法来训练的检测器。假设从图像序列中提取的特征向量为X。检测器根据基于针对各行为类型的单概率分布模型的概率分布模型，计算在假设每个行为类型θ的条件下所提取的特征向量的概率p(X|θ)。

检测器将针对所有可能行为类型计算的概率p(X|θ)中最大的概率所对应的行为类型作为检测结果。

获得图像序列以进行检测的时机可以取决于具体检测目的。例如，可以响应操作人员的命令，从视频流中的当前位置或指定位置获得预定长度的图像序列。例如，可以在预先设定的时机，例如在预定时间、响应预定事件或满足预定条件，从视频流中的当前位置或指定位置获得预定长度的图像序列。或者，可以按照预定间隔，例如1帧、2帧等等从视频流中获得图像序列来进行检测。

在不止一次从视频流中获得图像序列以进行检测的情况下，如果在前图像序列和在后图像序列可能发生交叠，那么可以在计算在前图像序列的运动向量方向直方图之后缓冲至少针对在前图像序列的可能交叠部分计算的相应运动向量方向直方图。相应地，在计算下一图像序列的各个图像的运动向量方向直方图时，可以省略交叠部分的运动向量方向直方图的计算，并且获得所缓冲的相应运动向量方向直方图。

视频监控的场景中可能包括不同的对象运动区域。这些运动区域中对象的活动彼此关联以导致作为检测目标的特定行为的可能性不大。相反，这些运动区域中对象活动的同时存在会干扰对特定对象行为的检测。

图7的框图示出了根据本发明实施例的检测视频中对象的异常行为的设备700的结构。

如图7所示，设备700包括提取装置701、特征计算装置702和检测装置703。设备700还包括检测模型存储装置704。检测模型存储装置704也可以位于设备700之外、能够被设备700访问的位置。提取装置701、检测装置703和检测模型存储装置704分别与提取装置501、检测装置503和检测模型存储装置504功能相同，这里省略其说明。

提取装置701包括运动区域检测装置710和区域图像提取装置711。运动区域检测装置710从视频中检测独立运动区域。区域图像提取装置711从视频中的独立运动区域获得图像序列。可以看出，提取装置701所提取的图像序列来自于所检测出的独立运动区域。

可以利用各种运动对象检测技术来检测场景中运动对象的各个活动区域。将彼此存在交叠或明显交叠的活动区域确定为一个组合。覆盖这样的组合的区域可以作为独立运动区域。

运动区域检测装置710可能检测出不止一个候选独立运动区域。根据不同的策略，运动区域检测装置710可以从中选择一个或多个候选独立运动区域作为要提取图像序列的独立运动区域。这样的策略例如包括但不限于选择面积较大的区域、选择接近场景中心或指定位置的区域、选择对象活动频繁的区域、选择最近发生对象活动的区域。

针对运动区域检测装置710检测到的每个独立运动区域，区域图像提取装置711分别从中提取图像序列并提供给特征计算装置702来提取特征向量以供检测。

图6B是示出图6A所示的方法中的步骤603的一个例子的流程图。如图6B所示，步骤603从步骤611开始。在步骤613，从视频中检测独立运动区域。可以利用各种运动对象检测技术来检测场景中运动对象的各个活动区域。将彼此存在交叠或明显交叠的活动区域确定为一个组合。覆盖这样的组合的区域可以作为独立运动区域。

在步骤615，从视频中的独立运动区域获得序列。

步骤603在步骤617结束。

可以看出，步骤603所提取的图像序列来自于所检测出的独立运动区域。

可能检测出不止一个候选独立运动区域。根据不同的策略，在步骤613可以从中选择一个或多个候选独立运动区域作为要提取图像序列的独立运动区域。这样的策略例如包括但不限于选择面积较大的区域、选择接近场景中心或指定位置的区域、选择对象活动频繁的区域、选择最近发生对象活动的区域。在步骤615，针对检测到的每个独立运动区域，分别从中提取图像序列并提供给步骤605来提取特征向量以供检测。

可以理解，不必每次提取图像序列之前都检测独立运动区域。可以响应外部命令、响应预定事件、按照固定或不固定的时间间隔或随机检测独立运动区域。在下一次检测之前，从前次检测出的独立运动区域中提取图像序列。

图8示出运动区域检测装置710的一个例子的结构。

如图8所示，运动区域检测装置710包括前景检测装置801、连通区域分析装置802和覆盖区域提取装置803。

前景检测装置801从视频的图像帧之一(即样本图像)中检测出前景。

连通区域分析装置802检测前景中的独立连通区域。可通过各种连通域分析方法，例如B.Han，Y.Hu，等人在“Enhanced Sports Video ShotBoundary Detection Based on Middle Level Features and a UnifiedModel”，IEEE Trans.Consumer Electronics，vol.53，no.3，pp.1168-1176，2007中介绍的方法将从前景中检测出独立连通区域。

覆盖区域提取装置803将覆盖独立连通区域的区域提取为独立运动区域。例如，可以将彼此存在交叠或明显交叠的独立连通区域确定为一个组合。覆盖这样的组合的区域可以作为独立运动区域。

图6C是示出图6B所示的过程中的步骤613的一个例子的流程图。如图6C所示，步骤613从步骤621开始。在步骤623，从视频的图像帧之一(即样本图像)中检测出前景。在步骤625，检测前景中的独立连通区域。可通过各种连通域分析方法，例如B.Han，Y.Hu，等人在“EnhancedSports Video Shot Boundary Detection Based on Middle Level Featuresand a Unified Model”，IEEE Trans.Consumer Electronics，vol.53，no.3，pp.1168-1176，2007中介绍的方法将从前景中检测出独立连通区域。在步骤627，将覆盖独立连通区域的区域提取为独立运动区域。例如，可以将彼此存在交叠或明显交叠的独立连通区域确定为一个组合。覆盖这样的组合的区域可以作为独立运动区域。在步骤629，步骤613结束。

图9示出检测装置703的一个例子的结构。

如图9所示，检测装置703包括非对象检测装置910和过滤装置911。非对象检测装置910响应于检测器检测出对象的异常行为，检测序列的图像中非对象的运动物体的存在。过滤装置911在检测结果表明不存在非对象的运动物体的情况下，检测出对象的异常行为。可利用已有的分类器来检测图像序列的图像中非对象运动物体的存在。例如，在对象为人的情况下，可以检测图像序列的图像中是否存在非人物体，例如汽车。如果存在，则异常行为可能是由人与非人物体的交互产生的。根据图9所示的例子，能够大量减少因人与非人物体的交互而产生的大量误报(如：人开车门)。

图6D是示出图6A所示的过程中的步骤607的一个例子的流程图。如图6D所示，步骤607从步骤631开始。在步骤633，响应于检测器检测出对象的异常行为，检测序列的图像中非对象的运动物体的存在。在步骤635，确定检测结果是否表明存在非对象的运动物体。如果不存在，则在步骤637检测出对象的异常行为，并且在步骤639，步骤607结束。如果存在，则未检测出异常行为，并且步骤607在步骤639结束。可利用已有的分类器来检测图像序列的图像中非对象运动物体的存在。例如，在对象为人的情况下，可以检测图像序列的图像中是否存在非人物体，例如汽车。如果存在，则异常行为可能是由人与非人物体的交互产生的。根据图6D所示的例子，能够大量减少因人与非人物体的交互而产生的大量误报(如：人开车门)。

图10示出特征计算装置702的一个例子的结构。

如图10所示，特征计算装置702包括降维装置1001。降维装置1001将转换矩阵Map_d×m乘以所形成的特征向量，并且将相乘结果作为要输入检测器的特征向量提供给检测装置703，其中m为相乘之前特征向量的维数，d为相乘之后特征向量的维数，并且d＜m。如前面所述，转换矩阵Map_d×m是在训练阶段获得的。

在图6A所示方法的一个改进例子中，步骤605可以包括将转换矩阵Map_d×m乘以所形成的特征向量，以将相乘结果作为输入检测器的特征向量，其中m为相乘之前特征向量的维数，d为相乘之后特征向量的维数，并且d＜m。如前面所述，转换矩阵Map_d×m是在训练阶段获得的。

图11是示出其中实现本发明的计算机的示例性结构的框图。

在图11中，中央处理单元(CPU)1101根据只读映射数据(ROM)1102中存储的程序或从存储部分1108加载到随机存取映射数据(RAM)1103的程序执行各种处理。在RAM 1103中，也根据需要存储当CPU 1101执行各种处理等等时所需的数据。

CPU 1101、ROM 1102和RAM 1103经由总线1104彼此连接。输入/输出接口1105也连接到总线1104。

下述部件连接到输入/输出接口1105：输入部分1106，包括键盘、鼠标等等；输出部分1107，包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等等，和扬声器等等；存储部分1108，包括硬盘等等；和通信部分1109，包括网络接口卡比如LAN卡、调制解调器等等。通信部分1109经由网络比如因特网执行通信处理。

根据需要，驱动器1110也连接到输入/输出接口1105。可拆卸介质1111比如磁盘、光盘、磁光盘、半导体映射数据等等根据需要被安装在驱动器1110上，使得从中读出的计算机程序根据需要被安装到存储部分1108中。

在通过软件实现上述步骤和处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1111安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图11所示的其中存储有程序、与方法相分离地分发以向用户提供程序的可拆卸介质1111。可拆卸介质1111的例子包含磁盘、光盘(包含光盘只读映射数据(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)和半导体映射数据。或者，存储介质可以是ROM 1102、存储部分1108中包含的硬盘等等，其中存有程序，并且与包含它们的方法一起被分发给用户。

在前面的说明书中参照特定实施例描述了本发明。然而本领域的普通技术人员理解，在不偏离如权利要求书限定的本发明的范围的前提下可以进行各种修改和改变。

Claims (16)

1.一种检测视频中对象的异常行为的方法，包括：

从所述视频中获得具有预定长度的图像的序列；

计算所述序列的每个所述图像的运动向量方向直方图；

将所述序列的所有图像的运动向量方向直方图形成特征向量；和

将所述特征向量输入检测器，以检测对象的异常行为。

2.如权利要求1所述的方法，其中，从所述视频中获得所述序列包括：

从所述视频中检测独立运动区域；和

从所述视频中的所述独立运动区域获得所述序列。

3.如权利要求2所述的方法，其中，从所述视频中检测独立运动区域包括：

从所述视频的图像帧之一中检测出前景；

检测所述前景中的独立连通区域；和

将覆盖所述独立连通区域的区域提取为所述独立运动区域。

4.如权利要求1至3中任何一个所述的方法，还包括：

响应于所述检测器检测出对象的异常行为，检测所述序列的图像中非对象的运动物体的存在；和

在检测结果表明不存在非对象的运动物体的情况下，检测出对象的异常行为。

5.如权利要求1所述的方法，还包括：

将转换矩阵Map_dxm乘以所形成的特征向量，以将相乘结果作为输入所述检测器的所述特征向量，其中m为相乘之前所述特征向量的维数，d为相乘之后所述特征向量的维数，并且d＜m。

6.一种检测视频中对象的异常行为的设备，包括：

提取装置，其从所述视频中获得具有预定长度的图像的序列；

特征计算装置，其计算所述序列的每个所述图像的运动向量方向直方图，并且将所述序列的所有图像的运动向量方向直方图形成特征向量；和

检测装置，其将所述特征向量输入检测器，以检测对象的异常行为。

7.如权利要求6所述的设备，其中，所述提取装置包括：

运动区域检测装置，其从所述视频中检测独立运动区域；和

区域图像提取装置，其从所述视频中的所述独立运动区域获得所述序列。

8.如权利要求7所述的设备，其中，所述运动区域检测装置包括：

前景检测装置，其从所述视频的图像帧之一中检测出前景；

连通区域分析装置，其检测所述前景中的独立连通区域；和

覆盖区域提取装置，其将覆盖所述独立连通区域的区域提取为所述独立运动区域。

9.如权利要求6至8中任何一个所述的设备，其中，所述检测装置包括：

非对象检测装置，其响应于所述检测器检测出对象的异常行为，检测所述序列的图像中非对象的运动物体的存在；和

过滤装置，其在检测结果表明不存在非对象的运动物体的情况下，检测出对象的异常行为。

10.如权利要求6所述的设备，其中，所述特征计算装置包括：

降维装置，其将转换矩阵Map_d×m乘以所形成的特征向量，并且将相乘结果作为要输入所述检测器的所述特征向量提供给所述检测装置，其中m为相乘之前所述特征向量的维数，d为相乘之后所述特征向量的维数，并且d＜m。

11.一种生成用于检测视频中对象的异常行为的检测器的方法，包括：

输入多个具有预定长度的图像的序列中的每个序列，其中所述序列包含的对象的行为的类型已被标记；

计算所述序列的每个所述图像的运动向量方向直方图；

将所述序列的所有图像的运动向量方向直方图形成特征向量；和

根据各个序列的相应特征向量和所标记的行为类型来训练所述检测器。

12.如权利要求11所述的方法，其中，形成特征向量包括：

利用降维方法计算将所形成的特征向量降维的变换矩阵Map_d×m，其中m为降维之前所述特征向量的维数，d为降维之后所述特征向量的维数，并且d＜m；和

将转换矩阵Map_d×m乘以所形成的特征向量，以将相乘结果作为所述训练所根据的所述特征向量。

13.如权利要求12所述的方法，其中所述降维方法包括主成份分析方法、因子分析方法、单值分解、多维尺度分析、局部线性嵌入、等距映射、线性鉴别分析、局部切空间排列和最大方差展开)。

14.一种生成用于检测视频中对象的异常行为的检测器的设备，包括：

输入装置，其输入多个具有预定长度的图像的序列中的每个序列，其中所述序列包含的对象的行为的类型已被标记；

特征计算装置，其计算所述序列的每个所述图像的运动向量方向直方图，并且将所述序列的所有图像的运动向量方向直方图形成特征向量；和

训练装置，其根据各个序列的相应特征向量和所标记的行为类型来训练所述检测器。

15.如权利要求14所述的设备，其中，所述特征计算装置包括：

变换矩阵生成装置，其利用降维方法计算将所形成的特征向量降维的变换矩阵Map_d×m，其中m为降维之前所述特征向量的维数，d为降维之后所述特征向量的维数，并且d＜m；和

变换装置，其将转换矩阵Map_d×m乘以所形成的特征向量，以将相乘结果作为所述训练所根据的所述特征向量。

16.如权利要求15所述的设备，其中所述降维方法包括主成份分析方法、因子分析方法、单值分解、多维尺度分析、局部线性嵌入、等距映射、线性鉴别分析、局部切空间排列和最大方差展开。

Images