CN104008390A - 用于检测异常运动的方法和设备 - Google Patents

Abstract

提供了一种用于检测异常运动的方法和设备。所述设备包括特征跟踪单元，被配置为提取输入图像中的运动对象的特征，跟踪提取的特征的位置随着时间的变化，并确定提取的特征的轨迹；主题在线学习单元，被配置为以作为成束的轨迹的文件为单位对输入图像进行分类，并通过使用作为概率主题模型的在线学习方法来确定构成分类的文件的主题的概率分布状态；运动模式在线学习单元，被配置为对于每个确定的主题来学习速度和方向，并通过推断确定的主题之间的时空相关性来学习运动模式。

Description

用于检测异常运动的方法和设备

本申请要求于2013年2月25日提交到韩国专利局的第10-2013-0020130号韩国专利申请以及于2013年8月5日提交到韩国知识产权局的第10-2013-0092658号韩国专利申请的优先权，其公开通过引用完整地包含于此。

技术领域

本公开涉及一种用于通过使用在线学习方法来检测异常运动的方法和设备。

背景技术

学习图像中的对象的运动流的方法大致分为基于轨迹的学习方法或基于局部特征的学习方法。这些学习方法可以大致分为三种类型的方法：

第一，有一种通过跟踪图像中的运动对象来搜索其轨迹并通过将轨迹聚类为几种主要模式来学习图像的方法。在这种第一类型的方法中，定义轨迹之间的距离，以使类似的轨迹以很短的距离相互分开，并通过使用定义的距离将类似的轨迹分类为各个模式。

第二，有一种通过使用高斯混合模型和核密度估计来定义从图像的每个像素到下一个像素的转移概率来学习图像的方法。在这种第二类型的方法中，并未搜索轨迹的普通模式，而是统计地学习经过图像的每个位置的对象的速度和尺寸。与上述第一类型的方法相比，第二类型的方法具有对于以任意角度投射的图像而言更加强健的性能。此外，第二类型的方法还可以有效地处理被切断的轨迹。

第三，有一种通过从图像提取局部特征（诸如光流）来学习图像的方法。在这种第三类型的方法中，使用高斯混合模型或概率主题模型来生成学习模型。

然而，由于这些学习方法通常使用批量学习方案，因此，在图像不断变化的情况下，变化可能不会被反映在学习模型中。

第2011-0133476号韩国专利公布是现有技术的一种示例。

发明内容

本公开的一个或更多个实施例包括一种即使多个正常运动模式相隔时间差地出现在输入图像中的任意局部区域中也允许执行学习的方法。

本公开的一个或更多个示例性实施例可以包括一种检测异常行为的方法。所述方法可以允许学习图像中的特征的速度和方向信息，并且可以允许确定模式之间的时空关系。

本公开的一个或更多个示例性实施例可以包括一种检测异常行为的方法。所述方法可以适应于随着时间变化在图像中的变化，并且即使对于复杂图像（诸如人群集中的图像）也可以具有强健的性能。

将在下面的描述中阐述其他方面，并且通过下面的描述其他方面将变得清楚。

根据本公开的一个或更多个示例性实施例，一种用于检测异常运动的设备可以包括：特征跟踪单元，用于提取输入图像中的运动对象的特征，跟踪提取的特征的位置随着时间的变化，并确定提取的特征的轨迹；主题在线学习单元，用于以文件（作为成束的轨迹）为单位对输入图像进行分类，并通过使用在线学习方法（作为概率主题模型）来确定构成分类的文件的主题的概率分布状态；运动模式在线学习单元，用于对于每个确定的主题来学习速度和方向，并通过推断确定的主题之间的时空相关性来学习运动模式。

根据本公开的一个或更多个示例性实施例，一种用于检测异常运动的设备可以包括：特征跟踪单元，用于提取输入图像中的运动对象的特征，跟踪提取的特征的位置随着时间的变化，并确定提取的特征的轨迹；轨迹分类单元，用于以指示一束轨迹的文件为单位对输入图像进行分类，并通过使用在线学习方法（作为概率主题模型）来推断指示构成每个文件的主题的直方图分布的多项分布参数概率矢量值，由此对于文件中的每个主题来聚类轨迹的位置；时空相关性推断单元，用于基于推断的多项分布参数概率矢量值来推断时空相关性；运动模式在线学习单元，用于对于每个聚类的主题来学习速度和方向，并通过推断确定的主题之间的时空相关性来学习运动模式。

所述设备还可以包括异常性检测单元，通过使用学习到的运动模式的高斯学习结果，当包括在每一帧输入图像中的轨迹被包括在学习到的运动模式中的概率低时，将运动模式分类为异常运动模式。

轨迹可以由一组单词w_ji和一组矢量差v_jiτ来表示，所述一组单词表示指示轨迹经过的栅格点的位置的一组单词。所述一组矢量差表示单词中的实际特征的位置与所述实际特征在τ帧之前的位置之间的一组矢量差v_jiτ，w_ji指示第j轨迹经过第i栅格，其中，τ、j和i是整数。

多项分布参数概率矢量值可以包括文件-主题概率分布（θ_d）和主题-单词概率分布。

时空相关性推断单元可以使用K均值聚类方法来推断时空相关性。

根据本公开的一个或更多个示例性实施例，一种检测异常运动的方法可以包括：在特征跟踪单元中，提取输入图像中的运动对象的特征，跟踪提取的特征的位置随着时间的变化，并确定提取的特征的轨迹；在主题在线学习单元中，以文件（作为成束的轨迹）为单位对输入图像进行分类，并通过使用在线学习方法（作为概率主题模型）来确定构成分类的文件的主题的概率分布状态；在运动模式在线学习单元中，对于每个确定的主题来学习速度和方向，通过推断确定的主题之间的时空相关性来学习运动模式。

根据本公开的一个或更多个示例性实施例，一种检测异常运动的方法可以包括：在特征跟踪单元中，提取输入图像中的运动对象的特征，跟踪提取的特征的位置随着时间的变化，确定提取的特征的轨迹；在轨迹分类单元中，以指示一束轨迹的文件为单位对输入图像进行分类，并通过使用在线学习方法（作为概率主题模型）来推断指示构成每个文件的主题的直方图分布的多项分布参数概率矢量值，由此对于文件中的每个主题来聚类轨迹的位置；在时空相关性推断单元中，基于推断的多项分布参数概率矢量值来推断时空相关性；在运动模式在线学习单元中，对于每个聚类的主题来学习速度和方向，并通过推断确定的主题之间的时空相关性来学习运动模式。

附图说明

通过下面结合附图对示例性实施例进行的描述，这些和/或其他方面将变得清楚和更易于理解，其中：

图1是根据本公开的示例性实施例的异常行为检测设备的内部配置图；

图2A和图2B是示出根据本公开的示例性实施例的通过使用在线潜在狄利克雷分配（OLDA）学习方法以文件为单位对输入图像进行分类并确定构成分类的文件的主题的概率分布状态的示例的示图；

图3是示出根据本公开的示例性实施例的提取输入图像中的运动对象的特征并通过跟踪提取的特征的位置随着时间的变化来确定轨迹信息的示例的示图；

图4是示出根据本公开的示例性实施例的示出轨迹信息段的方法的示例的示图；

图5是示出根据本公开的示例性实施例的使用K均值聚类方法确定时空相关性的示例的示图；

图6是示出根据本公开的示例性实施例的通过推断主题之间的时空相关性来学习运动模式的示例的示图；

图7是示出根据本公开的示例性实施例的在线学习方法（作为概率主题模型）的图形的类型的示图；

图8A至图8C是示出根据本公开的示例性实施例的级联推断方法的示例的示图；

图9A和图9B是示出根据本公开的示例性实施例的对于每个主题来聚类轨迹的位置的示例的示图。

具体实施方式

现在将对示例性实施例进行详细的描述，其示例在附图中示出，其中，相同的标号始终指示相同部件。就这一点而言，当前的示例性实施例可以具有不同的形式并且不应被解释为局限于这里所阐述的描述。因此，仅仅是通过参照附图在下面描述示例性实施例，以解释本说明书的各方面。

附图中的框图示出根据本公开的示例性实施例的设备和方法。就这一点而言，每个框可以表示包含用于执行指定逻辑功能的一个或更多个可执行指令的模块、程序或部分代码。还应该注意的是，可以通过用于执行指定功能/操作的基于专用硬件的系统、通过用于执行指定功能/操作的基于软件的系统或通过专用硬件和计算机指令的组合来实现框图。

图1是根据本公开的示例性实施例的异常行为检测设备100的内部配置图。

异常行为检测设备100包括特征跟踪单元110、主题在线学习单元120、运动模式在线学习单元130和异常检测单元140。

例如，当输入图像是描述车辆交通的一系列帧时，特征跟踪单元110提取输入图像中的运动对象（例如，车辆）的特征，并跟踪提取的特征随着时间的位置变化，以确定轨迹信息。

在本公开的示例性实施例中，特征跟踪单元110根据主要主题（例如，径直前进轨迹信息、左转弯轨迹信息、右转轨迹信息、U形转弯轨迹信息等）对输入图像中的轨迹信息进行分类。特征跟踪单元110通过使用Kanade-Lucas-Tomasi（KLT）跟踪技术对所述轨迹信息进行分类。如以下参照图3所述，特征跟踪单元110通过使用所述分类的轨迹信息来学习区域、速度等。

主题在线学习单元120根据主要主题（诸如，作为示例的水平方向径直前进轨迹、左转弯轨迹、U形转弯轨迹或垂直方向径直前进轨迹）对由特征跟踪单元110确定的轨迹信息进行分类。

为此，如以下参照图2A和图2B所述，主题在线学习单元120以指示一束轨迹的文件为单位对输入图像进行分类，并通过使用在线学习方法（作为概率主题模型）来确定包括构成分类的文件的单词的主题的概率分布状态。例如，每一帧输入图像可以被划分成栅格，并且由单词来表示轨迹经过的栅格的位置。

此后，运动模式在线学习单元130对于由主题在线学习单元120确定的每个主题来学习区域、速度和方向。运动模式在线学习单元130推断确定的主题之间的时空相关性。可以通过使用K均值聚类方法来推断时空相关性。例如，如以下参照图5所述，在左转弯之后出现U形转弯的情况下，通过推断U形转弯和左转弯之间的时空相关性来学习运动模式。

当包括在每一帧输入图像中的轨迹偏离由运动模式在线学习单元130学习的预定义运动模式时，异常检测单元140确定出现异常行为。当包括在每一帧输入图像中的轨迹对应于学习到的运动模式的概率低时，异常检测单元140基于由运动模式在线学习单元130学习的运动模式的高斯学习结果（参考表达式10至表达式12）将包括在帧中的轨迹的运动模式确定为异常。另一方面，当包括在每一帧输入图像中的轨迹没有偏离由运动模式在线学习单元130学习的预定义运动模式时，异常检测单元140确定出现正常行为。

图2A和图2B是示出根据本公开的示例性实施例的在主题在线学习单元120（见图1）中通过使用在线潜在狄利克雷分配（OLDA）学习方法以文件为单位对输入图像进行分类并确定构成分类的文件的主题的概率分布状态的示例的示图。

OLDA是主要用于自然语言处理领域的概率主题模型。OLDA是根据主题对多个文件进行分类并确定文件中的单词包括在哪个主题中的技术。目前还以各种方式来使用OLDA，不仅用于自然语言处理领域，而且用于计算机图像处理领域。

在本公开的示例性实施例中，使用了将变分贝叶斯（VB）用作在线学习方法的OLDA学习方法。

通过使用OLDA学习方法，即使输入图像的情况不断变化，所述变化也可反映在学习模型中并且可以根据顺序的输入来不断更新输出结果。

此外，通过使用OLDA学习方法，即使多个正常运动模式相隔时间差地出现在输入图像中的任意局部区域中，也可以学习运动模式。

参照图2A，在本公开的示例性实施例中，以文件为单位对输入图像进行分类，其中，所述文件均指示一束轨迹Tr₁至Tr_m，例如，文件d1201、文件d2202和文件d3203。在这种情况下，文件d1201、文件d2202和文件d3203由一束m个轨迹（m是自然数）构成。

图2B是示出通过使用在线学习方法（作为概率主题模型）获得的示图。所述示图是具有构成分类的文件的单词的主题的概率分布状态的示例。

根据本公开的示例性实施例，文件d1201分别由轨迹Tr₁210至Tr_m213构成。轨迹Tr₁210由指示轨迹的位置的一组单词220构成。

具体地讲，将每一帧输入图像划分为n乘n栅格。轨迹经过的栅格的位置由单词表示。例如，当第j轨迹经过第i栅格时，栅格的位置由W_ji表示。以这种方式，第j轨迹由一组单词220（W_ji,i=1,2,...,n）表示。此后，通过使用在线学习方法（作为概率主题模型）确定指示在每个轨迹中单词包括在哪个主题的概率分布。

在这种情况下，假设指示一束轨迹的文件由通过多项分布生成的多个主题构成。此外，假设构成输入图像的轨迹包括在潜在主题之一中，其中，所述潜在主题表示输入图像中的代表性的k个流。

参照图2B中的概率分布230，明显的是，构成轨迹Tr₁210的一组单词220（W_ji,i=1,2,...,n）很有可能包括在第一主题T1（径直前进轨迹）中。

类似地，轨迹Tr₂211还被示为很有可能包括在第一主题T1（径直前进轨迹）中，轨迹Tr₃212被示为很有可能包括在第二主题T2（左转弯轨迹）中，轨迹Tr_m213被示为很有可能包括在第三主题T3（右转弯轨迹）中。

在本公开的示例性实施例中，如图2B的示例性实施例中描述，以指示一束轨迹的文件为单位对输入图像进行分类，并确定构成文件的单词包括在哪个主题的概率分布状态。以这种方式，对于每个主题来聚类轨迹的位置。例如，可以针对整个输入图像来根据主题对轨迹进行分类。包括在第一主题T1（径直前进轨迹）中的轨迹可以聚类为轨迹Tr₁210、轨迹Tr₂211,…,包括在第二主题T2（左转弯轨迹）中的轨迹可以聚类为轨迹Tr₃212,...,包括在第三主题T3（右转弯轨迹）中的轨迹可以聚类为轨迹Tr_m213,....。以这种方式，可以分析根据时区在输入图像中最频繁出现的主题的分布和对于每个主题的轨迹的位置。

图3是示出提取输入图像中的运动对象的特征并通过跟踪提取的特征随着时间的位置变化来确定轨迹信息的示例的示图。

参照图3，从t1的输入图像提取特征A310、特征B320、特征C330和特征D340。然后，跟踪这些提取的特征随着时间的位置变化。

例如，特征A的位置随着时间改变到310、311和312。此外，特征B的位置改变到320、321和322，特征C的位置改变到330、331和332，特征D的位置改变到340、341和342。跟踪所述特征的位置的这些变化。

图4是示出根据本公开的示例性实施例的示出轨迹信息段的方法的示例的示图。

轨迹Tr410={(x₁,y₁,1),(x₂,y₂,2),(x₃,y₃,3),(x₄,y₄,4)...,(x_T,y_T,T)}

参照图4，轨迹Tr410由一组单词w_ji和一组矢量差v_jiτ来表示。一组单词w_ji指的是表示在输入图像中轨迹经过的栅格点的位置的一组单词。参照图4，w_ji420指示第j轨迹经过第i栅格，第j轨迹由一组单词（W_ji,i=1,2,...,N_j）来表示。

一组矢量差表示单词内的实际特征的位置420和实际特征在τ帧之前的位置之间的一组矢量值的差v_jiτ。

参照图4，一组矢量差由一组以下项来表示：实际特征的位置420和在一帧之前的位置(x₁,y₁,1)421之间的矢量差v_ji1430、实际特征的位置420和在两帧之前的位置(x₂,y₂,2)422之间的矢量差v_ji2440、实际特征的位置420和在τ帧之前的位置(x_T,y_T,T)423之间的矢量差v_jiτ450。优选地，如参照以下表达式6所描述，矢量差v_jiτ450具有高斯分布并且以N(μ,Σ)的形式表示。

在这种情况下，可将矢量差表示为v_ji1=(Δx_ji1,Δy_ji1),v_ji2=(Δx_ji2,Δy_ji2),...,v_jiτ=(Δx_jiτ,Δy_jiτ)。

高斯分布可以指示对于每个主题在τ帧之前单词相互分开的距离。可以通过使用关于在单词内轨迹经过的实际特征的位置和实际特征在τ帧之前的位置之间的矢量差v_jiτ的信息来确定高斯分布。

图5是示出根据本公开的示例性实施例的使用K均值聚类方法来确定时空相关性的示例的示图。

如以下参照图8B详细描述，可以使用K均值聚类方法来确定文件和主题之间的概率分布θ_d。

图6是示出根据本公开的示例性实施例的通过推断主题之间的时空相关性来学习运动模式的示例的示图。

在本公开的示例性实施例中，如上所述，图7中所示的在线学习模型用于对于每个主题来学习区域、速度和方向，并通过推断确定的主题之间的时空相关性来学习运动模式。

图7是示出根据本公开的示例性实施例的在线学习方法（作为概率主题模型）的图形的类型的示图。

在本公开的示例性实施例中，通过使用下面所描述的表达式1至表达式6将基于KLT跟踪技术确定的轨迹变形为基于图7中所示的概率主题模型的在线学习模型的形式。

在所述在线学习方法的处理中，假设轨迹z_j包括在潜在主题中，其中，所述潜在主题表示输入图像中的代表性的k个流。潜在主题是图像中的主要运动模式，诸如径直前进、左转弯等。

此外，假设指示一束轨迹的文件由通过多项分布生成的多个主题构成。这样，文件中的主题的概率分布与通过状态s_d生成的多项分布的参数概率矢量θ_d相关。这里，状态s_d指的是对于每个时间单位出现的一组行为主题。因此，当确定随着时间的状态转移时，可以确定随着时间的主要行为。

在根据本公开的示例性实施例的概率主题模型中，使用了表达式1至表达式6。

$s_d|s_{d-1}~\mathrm{Multi}\left({\mathrm{\π}}_{s_{d-1}}\right),---\left(1\right)$

在表达式1中，s_d表示当前状态，s_d-1表示之前状态，Multi（）表示多项分布。状态s_d具有关于在顺序d中主要生成什么运动模式（或主题）的信息。

表达式1指示在当前顺序d中出现的特定状态s_d是否只受到在之前顺序d-1中的特定的之前状态s_d-1的影响。

θ_d|s_d～Dir(α)，(2)

在表达式2中，s_d表示当前状态，θ_d表示多项分布的参数概率矢量，Dir（）表示狄利克雷分布，α表示狄利克雷分布的超参数（hyper-parameter）。

表达式2指示θ_d以指示当整个模型被假设为贝叶斯定理（Bayesian）时的特定分布的概率的形式表示。

φ_k～Dir(β)，(3)

在表达式3中，φ_k表示单词-主题分布，Dir（）表示狄利克雷分布，β表示狄利克雷分布的超参数。

z_j|θ_d～Multi(θ_d)，(4)

表达式4假设变量z由θ_d导出。变量z用于确定每个单词是否具有特定的主题索引。θ_d是指示对应的文件包括在哪个主题中的概率分布。

$w_{\mathrm{ji}}|z_j,\mathrm{\φ}~\mathrm{Multi}\left({\mathrm{\φ}}_{z_j}\right),---\left(5\right)$

表达式5指示每个单词在主题分布中生成。通过主题索引z来确定每个单词是否在特定的主题分布中生成。

在表达式5中，第j轨迹的一组单词W_ji基于将（R表示R维）用作参数的多项分布。

$v_{\mathrm{ji\τ}}|z_j,w_{\mathrm{ji}},\mathrm{\μ},\mathrm{\Σ}~N({\mathrm{\μ}}_{w_{\mathrm{ji}}{z}_j\mathrm{\τ}},{\mathrm{\Σ}}_{w_{\mathrm{ji}}{z}_j\mathrm{\τ}}),---\left(6\right)$

在表达式6中，包括在每个单词中的矢量差v_jiτ具有高斯分布并且以N(μ,Σ)的形式表示。矢量差v_jiτ还可以指示速度。

然而，当通过使用以上表达式1至表达式6将使用KLT跟踪技术提取的轨迹变形为可以用于在线学习方法的形式时，会无法使用变形的输入来推断隐变量。在图6中示出的基于概率主题模型的在线学习方法，没有定义积分（integral），因此无法推断隐变量。

在本公开的示例性实施例中，为了解决这样的问题，近似方法（诸如抽样方法）被额外地应用于如图6中所示的基于概率主题模型的在线学习方法。

在本公开的示例性实施例中，作为近似方法的示例，使用了级联推断方法。图8A至图8C示出根据本公开的示例性实施例的级联推断方法的示例。

在本公开的示例性实施例中，使用了级联推断方法的三个步骤。通过将在每个步骤中推断的隐变量用作下个步骤中的观察值来在每个步骤中推断隐变量。

级联推断方法的三个步骤如下：

1.对于文件中的每个主题来聚类轨迹的位置的步骤。

2.确定主题之间的时空相关性的步骤。

3.通过将关于聚类的轨迹的信息用作观察值，以高斯形式对没有量化的运动模式进行建模的步骤。

参照图8A，通过对于文件中的每个主题来聚类轨迹的位置的步骤推断指示文件中的主题的直方图分布的多项分布的参数概率矢量θ_d820和821的值。通过使用推断的θ_d820和821的观察值来确定主题之间的时空相关性。通过确定主题之间的时空相关性的处理来确定一般运动模式。

此后，通过将包括单词的主题的信息值z_dji830用作观察值，以高斯形式表示没有量化的运动模式。由此，执行学习。使用高斯形式的学习结果来计算包括在每一帧中的轨迹出现在预先学习的运动模式之内的概率，由此可以将具有低概率的轨迹确定为异常轨迹。

将如下详细描述每个上述步骤：

1.对于文件中的每个主题来聚类轨迹的位置的步骤。

首先，如图8A中所示，确定文件-主题分布θ_d820、主题z_dj830和单词w_dji840之间的结合概率。通过指示包括在文件800中的M个轨迹中的N_j个单词740（见图7）是否包括在特定的主题z_dji830中来接近概率分布。然后，可以通过使用级联推断方法来推断文件-主题概率分布θ_d820和主题-单词概率分布821的隐变量值。以这种方式，可以对于每个主题来聚类轨迹的位置。以下，图9A和图9B用于描述对于每个主题来聚类轨迹的位置。

参照图8A，当通过表达式2和表达式3给出狄利克雷参数α810和狄利克雷参数β811时，文件-主题分布θ_d820、主题z_dj830和单词w_dji840之间的结合概率由表达式7所表示。

文件由通过多项分布生成的多个主题所构成。文件中的主题的概率分布与通过每个状态s_d生成的多项分布的参数概率矢量θ_d相关。这里，多项分布的参数概率矢量θ_d820和参数概率矢量φ821表示文件中的主题的直方图分布。

$\begin{array}{c}P(\mathrm{\φ},{\mathrm{\θ}}_d,\{z_{\mathrm{dji}}\},\{w_{\mathrm{dji}}\left\}\right|\mathrm{\α},\mathrm{\β})=\\ p\left({\mathrm{\θ}}_d\right|\mathrm{\α})p\left(\mathrm{\φ}\right|\mathrm{\β})\underset{i,j}{\∏}p\left(z_{\mathrm{dji}}\right|{\mathrm{\θ}}_d)p\left(w_{\mathrm{dji}}\right|z_{\mathrm{dji}},\mathrm{\φ}),---\left(7\right)\end{array}$

在表达式7中，φ表示主题-单词概率分布821，文件-主题概率分布θ_d820表示文件中的主题的分布，z_dji830表示主题，w_dji840表示单词。在这种情况下，下标d是用于标识文件的标识符，j∈{1,2,...,M}表示包括在文件中的轨迹的索引，其中，M是文件中的轨迹的数量。

在表达式7中，通过使用VB的OLDA学习方法来执行推断。在这个处理中，将针对潜在变量的变分分布设置为如表达式8所表示。潜在变量是指在概率模型中实际上无法观察到的所有变量。

在表达式8中，表示用于接近表达式7的变分参数。在表达式8中，假设在过去有条件地相互依赖的变量彼此独立。使用接近将被输入的轨迹所转换成的信息的对数似然值的下限的方法来推断变分参数以这种方式，可以看出在每个轨迹中的单词是否具有特定的主题。通过改变的值来执行推断，使表达式8近似于表达式7。

此后，在本公开的示例性实施例中，通过对于文件800中的每M个轨迹形成单词w_dji840z_dji和主题z_dji830之间的直方图并通过使用众数（mode）确定轨迹的主题来执行聚类。在这个处理中，可以通过使用众数来最小化误差的数量。

图9A和图9B是示出对于每个主题来聚类轨迹的位置的示例的示图。

参照图9A，确定对于轨迹Tr1910、Tr2920、Tr3930、....单词分别包括在哪些主题的概率分布911、921和931。然后，对于每个轨迹确定最有可能出现的主题，例如，轨迹Tr1910中的第一主题T1、轨迹Tr2920中的第一主题T1和轨迹Tr3930中的第二轨迹T2。以这种方式，分析针对输入图像的所有轨迹的主题。

然后，如图9B中所示，对于每个主题来聚类轨迹。

例如，执行聚类以使很可能出现第一主题T1的轨迹为Tr1、Tr2、Tr10、Tr11、Tr12、Tr17和Tr18，很可能出现第二主题T2的轨迹为Tr3、Tr5、Tr6和Tr21，很可能出现第三主题T3的轨迹为Tr4，很可能出现第四主题T4的轨迹为Tr7和Tr8，，很可能出现第k主题Tk的轨迹为Tr9。

2.确定主题之间的时空相关性的步骤。

图5和图6描述用于确定主题之间的时空相关性的基本构思。

图8B是用于确定主题之间的时空相关性的模型的构思示图。图8B中所示的概率分布与通过状态s_d生成的多项分布参数θ_d相关。在这种情况下，每个状态s_d表示在每个时间出现的一组行为主题。因此，当确定随着时间的转移状态时，可以确定在每个时间主要出现什么行为。

在这个步骤中，使用在对于每个主题来聚类文件中的轨迹的位置的步骤中确定的多项分布参数θ_d来确定状态之间的转移状态，以便确定主题之间的时空相关性。

在这个处理中，使用K均值聚类方法来选择用于确定时空相关性的最小状态组。

在确定主题之间的时空相关性的步骤中，θ_d表示K维矢量。通过将给定的K个主题出现的概率当作一个元素来假设K维矢量。

当给定D个直方图时，将所述直方图划分为Nc个组{C₁,C₂,...,C_NC}。Nc是表示状态的数量的设计参数。为了确定时空相关性而选择的Nc个组的数量被设置为表达式9的最小值。

$\underset{\{C_n{\}}_{n=1}^{N_c}}{\arg \min }\underset{n=1}{\overset{N_c}{\mathrm{\Σ}}}{\underset{{\stackrel{\‾}{\mathrm{\θ}}}_d\∈C_n}{\mathrm{\Σ}}\left|\right|{\stackrel{\‾}{\mathrm{\θ}}}_d-m_n\left|\right|}^2---\left(9\right)$

在表达式9中，将一组C_n中的矢量的平均定义为m_n{θ_d}玉表示对于指示主题的数量的每个K维的的归一化结果。在本公开的示例性实施例中，通过执行K均值聚类来计算{s_d}和{θ_d}以便最小化表达式9的值。在这种情况下，K的值是Nc的值。此外，{s_d}表示相应的多项式分布参数θ_d的聚类索引。在这种情况下，s_d具有关于哪个主题主要出现的信息。

作为本公开的示例性实施例，当Nc为3时，为确定时空相关性而选择的组表示为如图8B中所示。在图8B中，s_d-1850表示之前状态，s_d860表示当前状态，s_d+1870表示随后状态。在图8B中所示的模型以与隐马尔可夫模型（Hidden Markov Model）类似的形式来配置。

此外，通过转移概率矩阵Π，每个状态（例如，s_d）以与隐马尔可夫模型类似的形式转移到另一状态（例如，s_d-1或s_d+1）。

隐马尔可夫模型是假设观察出现在马尔可夫链（markov chain）的状态下的模型。此时，实际上没有观察到构成马尔可夫链的状态。

作为本公开的示例性实施例，如上所述定义的参数m_n是指基于图像中的行为的时空相关性而绑定的一般运动模式，诸如沿着水平方向运动的车辆的运动m₁或者沿着垂直方向运动的车辆的运动m₂。一组状态索引{s_d}表示图像中的状态随着时间过去而出现的变化。

作为本公开的示例性实施例，通过使用为了使用渐进学习方法（graduallearning method）而指定的滑动窗口的大小，在线学习方法可以适应于图像中的变化。滑动窗口的大小与OLDA的小型批量的大小相关。

3.通过将关于聚类的轨迹的信息用作观察值，以高斯形式对没有量化的运动模式进行建模的步骤。

在这个步骤中，获得对于每个主题来对运动模式进行建模的结果。以单高斯模型的形式来存储经过构成图像的栅格的轨迹在t1..t_T时间之前的位置。

图8C是用于通过将聚类的轨迹的信息Z_j880用作观察值，以高斯形式对没有量化的运动模式进行建模的构思示图。在本公开的示例性实施例中，假设邻近位置的像素具有类似的行为模式而对于每个单元来确定行为模式。

${\mathrm{\μ}}_{w_{\mathrm{ji}}{z}_j\mathrm{\τ}}=(1-{\mathrm{\ρ}}_t){\mathrm{\μ}}_{w_{\mathrm{ji}}{z}_j\mathrm{\τ}}+{\mathrm{\ρ}}_t{v}_{\mathrm{ji\τ}}---\left(10\right)$

表达式10是表示高斯模型的增量更新的表达式。当将新值输入到表达式10时，更新均值和协方差。

在表达式10中，ρ表示学习速率。为了学习协方差，将平方的均值更新为如表达式11所表示。

$Z_{w_{\mathrm{ji}}{z}_j\mathrm{\τ}}=(1-{\mathrm{\ρ}}_t)Z_{w_{\mathrm{ji}}{z}_j\mathrm{\τ}}+{\mathrm{\ρ}}_t\mathrm{vji\τ}{v}_{\mathrm{ji\τ}}^T,---\left(11\right)$

通过使用表达式11的结果，可以获得如表达式12所表示的协方差矩阵。

${\mathrm{\Σ}}_{w_{\mathrm{ji}}{z}_j\mathrm{\τ}}=Z_{w_{\mathrm{ji}}{z}_j\mathrm{\τ}}-{\mathrm{\μ}}_{\mathrm{ji\τ}}{\mathrm{\μ}}_{\mathrm{ji\τ}}^T\·---\left(12\right)$

表达式12是用于增量地更新信号的表达式。

在本公开的示例性实施例中，通过使用上述表达式，以概率分布的形式对针对每个主题（每个运动模式）出现的行为和相关性进行建模。因此，在输入到运动模式在线学习单元130的行为中，由于概率分布而具有高概率值的行为被分类为正常行为，而不具有高概率值的行为被分类为异常行为，

如上所述，根据本公开的以上示例性实施例的中一个或更多个示例性实施例中，在诸如交叉点的复杂情况下，学习了图像中的对象（诸如，人）的主要运动，并且可以基于学习模型来自动搜索在图像中出现的异常行为。此外，可以不考虑交通情况的类型来执行检测异常行为的功能。例如，所述功能用于自动检测在各种实时监视的情况下的异常行为。当在交通情况监视系统中使用所述功能时，可以将违反交通的情况（诸如，走路不遵守交通规则或非法的U形转弯）自动检测为异常行为。此外，还可以将在图像中具有低出现频率的行为检测为在其他监视情况下的异常行为。

具体地讲，根据用于检测异常运动的方法和设备，即使多个正常运动模式相隔时间差地出现在图像中的任意局部区域中，也可以执行学习。此外，可以确定经过图像的每个位置的对象的速度和方向信息以及运动模式之间的时空关系。此外，所述方法和设备可以适应于随着时间变化在图像中的变化，并且即使对于复杂图像（诸如人群集中的图像）也可以具有强健的性能。

应该理解，这里所描述的示例性实施例应该被看作仅具有描述性意义而不是为了限制。对每个示例性实施例内的特征或方面的描述通常应该被看作可用于在其他示例性实施例中的其他类似的特征或方面。

虽然已经参照附图描述了本公开的一个或更多个示例性实施例，但是本领域的普通技术人员将理解，在不脱离由权利要求限定的本公开的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (23)

1.一种用于检测异常运动的设备，所述设备包括：

特征跟踪单元，被配置为提取输入图像中的运动对象的特征，跟踪提取的特征的位置随着时间的变化，并确定提取的特征的轨迹；

主题在线学习单元，被配置为以作为成束的轨迹的文件为单位对输入图像进行分类，并通过使用作为概率主题模型的在线学习方法来确定包括在分类的文件中的主题的概率分布状态；

运动模式在线学习单元，被配置为对于每个确定的主题来学习速度和方向，并通过推断确定的主题之间的时空相关性来学习运动模式。

2.根据权利要求1所述的设备，还包括：异常检测单元，被配置为通过使用学习到的运动模式的高斯学习结果，响应于包括在每一帧输入图像中的轨迹被包括在学习到的运动模式中的概率低，将运动模式分类为异常运动模式。

3.根据权利要求1所述的设备，其中，所述特征跟踪单元被配置为通过使用Kanade-Lucas-Tomasi跟踪技术来提取输入图像中的运动对象的特征。

4.根据权利要求1所述的设备，其中，在所述主题在线学习单元中，文件包括通过多项分布生成的多个主题，指示构成文件的多个主题的概率分布状态的多项分布参数概率矢量值被推断以对于每个主题来聚类轨迹的位置。

5.根据权利要求1所述的设备，其中，指示构成文件的多个主题的概率分布状态的多项分布参数概率矢量值包括文件-主题概率分布（θ_d）和主题-单词概率分布。

6.根据权利要求1所述的设备，其中，所述轨迹由一组单词w_ji和一组矢量差v_jiτ来表示，所述一组单词由轨迹经过的栅格点位置表示，并且

其中，w_ji指示第j轨迹经过第i栅格，所述一组矢量差表示单词中的实际特征的位置与所述实际特征在τ帧之前的位置之间的一组矢量差v_jiτ。

7.根据权利要求6所述的设备，其中，单词w_ji基于多项分布，并且包括在单词中的矢量的差v_jiτ具有高斯分布。

8.根据权利要求6所述的设备，其中，通过使用特定栅格的当前帧的位置值和在τ帧之前的特定栅格的实际位置值，对于每个单词位置来确定速度。

9.根据权利要求1所述的设备，其中，所述在线学习方法为在线潜在狄利克雷分配学习方法。

10.根据权利要求9所述的设备，其中，在所述在线潜在狄利克雷分配学习方法中，使用变分贝叶斯来推断潜在狄利克雷分配。

11.根据权利要求1所述的设备，其中，所述运动模式在线学习单元被配置为通过使用K均值聚类方法来推断时空相关性。

12.一种用于检测异常运动的设备，所述设备包括：

特征跟踪单元，被配置为提取输入图像中的运动对象的特征，跟踪提取的特征的位置随着时间的变化，并确定提取的特征的轨迹；

轨迹分类单元，被配置为以指示一束轨迹的文件为单位对输入图像进行分类，并通过使用作为概率主题模型的在线学习方法来推断多项分布参数概率矢量值，以便对于文件中的每个主题来聚类轨迹的位置，其中，所述多项分布参数概率矢量值指示构成每个文件的主题的直方图分布；

时空相关性推断单元，被配置为基于推断的多项分布参数概率矢量值来推断时空相关性；

运动模式在线学习单元，被配置为对于每个聚类的主题来学习速度和方向，并通过推断确定的主题之间的时空相关性来学习运动模式。

13.根据权利要求12所述的设备，还包括：异常检测单元，被配置为通过使用学习到的运动模式的高斯学习结果，响应于包括在每一帧输入图像中的轨迹被包括在学习到的运动模式中的概率低，将运动模式分类为异常运动模式。

14.根据权利要求12所述的设备，其中，所述多项分布参数概率矢量值包括文件-主题概率分布（θ_d）和主题-单词概率分布。

15.根据权利要求12所述的设备，其中，所述时空相关性推断单元被配置为使用K均值聚类方法来推断时空相关性。

16.根据权利要求12所述的设备，其中，所述轨迹由一组单词w_ji和一组矢量差v_jiτ来表示，所述一组单词由轨迹经过的栅格点位置表示，并且

其中，w_ji指示第j轨迹经过第i栅格，所述一组矢量差表示单词中的实际特征的位置与所述实际特征在τ帧之前的位置之间的一组矢量差v_jiτ。

17.根据权利要求16所述的设备，其中，单词w_ji基于多项分布，并且包括在单词中的矢量的差v_jiτ具有高斯分布。

18.根据权利要求16所述的设备，其中，通过使用特定栅格的当前帧的位置值和在τ帧之前的特定栅格的实际位置值，对于每个单词位置来确定速度。

19.根据权利要求12所述的设备，其中，所述特征跟踪单元被配置为通过使用Kanade-Lucas-Tomasi跟踪技术来提取输入图像中的运动对象的特征。

20.根据权利要求12所述的设备，其中，所述在线学习方法为在线潜在狄利克雷分配学习方法。

21.一种检测异常运动的方法，所述方法包括：

提取输入图像中的运动对象的特征；

跟踪提取的特征的位置随着时间的变化；

确定提取的特征的轨迹；

以作为成束的轨迹的文件为单位对输入图像进行分类；

通过使用作为概率主题模型的在线学习方法来确定构成分类的文件的主题的概率分布状态；

对于每个确定的主题来学习速度和方向；

通过推断确定的主题之间的时空相关性来学习运动模式。

22.根据权利要求21所述的方法，还包括：通过使用学习到的运动模式的高斯学习结果，响应于包括在每一帧输入图像中的轨迹被包括在学习到的运动模式中的概率低，将运动模式分类为异常运动模式。

23.一种检测异常运动的方法，所述方法包括：

提取输入图像中的运动对象的特征；

跟踪提取的特征的位置随着时间的变化；

确定提取的特征的轨迹；

以指示一束轨迹的文件为单位对输入图像进行分类；

通过使用作为概率主题模型的在线学习方法来推断指示多项分布参数概率矢量值，以便对于文件中的每个主题来聚类轨迹的位置，其中，所述多项分布参数概率矢量值构成每个文件的主题的直方图分布；

基于推断的多项分布参数概率矢量值来推断时空相关性；

对于每个聚类的主题来学习速度和方向；

通过推断确定的主题之间的时空相关性来学习运动模式。