CN102663429B - 运动目标的运动模式分类和动作识别的方法 - Google Patents

Abstract

一种基于光流方向序列处理运动目标的运动模式识别和动作识别的方法，该方法首先用背景减除法检测出目标，然后用均值漂移跟踪算法对目标进行跟踪，再计算光流值，分别对刚体和非刚体目标得到光流方向，通过量化之后得到光流方向的时间序列，最后用时间序列建立隐马尔科夫模型，再用隐马尔科夫模型处理运动模式识别和动作识别。本发明通过光流方向，可以同时来处理运动目标的运动模式识别和动作识别，可广泛应用于视频监控系统、视频会议系统、工业产品检测系统、机器人视觉导航系统、军事目标检测分类系统等各类民用及军用系统中，具有广阔的市场前景和应用价值。

Description

运动目标的运动模式分类和动作识别的方法

技术领域

本发明涉及的是图像处理技术领域，具体是一种基于光流序列的运动目标的运动模式分类和动作识别的方法。

背景技术

运动模式(motion pattern)和动作识别(action recognition)是计算机视觉与模式识别领域的研究热点。视频图像中对运动目标的运动模式准确分类和对人的动作进行识别在民用和军用上均具有广泛的应用前景。针对这两个问题，国内外学者提出了很多方法，主要方法归纳如下。

传统的运动模式分类的方法主要有两种。

第一种是基于轨迹的方法，对目标进行跟踪得到轨迹，然后对轨迹进行聚类。此类方法的缺点在于必须对目标进行准确的跟踪，而得到的所有轨迹的长度需要相同，才能进行聚类。

第二种方法是基于光流信息的，可以通过主题模型(topic model)，词袋模型(bagof word)等对光流信息进行聚类，从而得到各种运动模式。

动作识别的主要方法有：

(1)基于形状的方法，即通过提取局部特征和全局特征来建立时空模型，然后聚类；

(2)基于外表的方法，即通过对训练视频里面得到人的外表特征序列，来用隐马尔科夫模型(以下简称为HMM)进行训练，得到对应的HMM，然后对测试视频得到相应的人的外表特征序列，并用HMM模型来判别属于哪个类；

(3)基于特征点的方法，即对于训练视频，通过特征点提取的算法提取特征，然后通过聚类算法得到一个个视频单词(video words)，对于训练视频，通过支持向量机(SVM)，将各个训练视频提取的特征映分离开，来得到各个类的模型，然后对测试视频提取的视频单词通过支持向量机来进行测试，以判别属于哪个类。

以上两个识别问题里都用到光流信息和轨迹信息。但是光流和轨迹信息是分开使用的。轨迹可以提供目标的位置信息，但是必须精确跟踪，光流可以给出目标的运动的信息，但是一种局部的运动信息。而且人们是将以上两个识别问题割裂开来考虑的。

经对现有技术文献的检索发现，J.Yamato等在《IEEE Conference on ComputerVision and Pattern Recognition》(pp.379-385，1992)上发表“Recognizing HumanAction in Time Sequential Images Using Hidden Markov Model”(基于隐马尔科夫模型的时间序列图像的动作识别，IEEE计算机视觉与模式识别会议)。该文提出了利用提取人的外表特征来组成一个时间序列，然后通过隐马尔科夫模型来学习，得到各个动作的模型，然后用来识别。文中的实验结果说明该方法具有可行性。但是该方法只能提取人的特征，用来动作识别，而不能提取车或者其它刚体的特征。因此该方法不能推广到运动模式分类。

发明内容

本发明的目的在于克服上述现有技术中的不足，提供一种基于光流序列的对运动目标进行运动模式识别或动作识别的方法，该方法将运动模式分类和动作识别这两类以往被分别处理的问题统一起来，能够同时实现运动模式分类和动作识别。

本发明是通过以下技术方案实现的：

一种基于光流方向序列运动目标的运动模式识别或动作识别的方法，其特点在于，该方法包括下列步骤：

①首先提取运动目标的运动轨迹：对于刚体目标，首先通过混合高斯法对背景建模；对于非刚体目标，给出各个节点，然后采用均值漂移跟踪算法，利用目标的颜色信息对运动目标进行跟踪；采用加权的颜色直方图来考虑像素的空间位置信息。

②计算轨迹点的光流时间序列值：根据运动目标的横向光流速度和纵向光流速度计算出光流方向，并将光流方向量化成4个值并组成时间序列，当相邻的两个值相同时，则合并成一个值，获得光流时间序列值；

③用隐马尔科夫模型对光流时间序列进行训练，建立运动目标的隐马尔科夫模型：

所述的光流时间序列，通过隐马尔科夫理论的学习算法，得到相应的隐马尔科夫模型；

④重复步骤①②③分别建立各种运动目标的隐马尔科夫模型；

⑤对待识别的运动目标用隐马尔科夫模型进行测试：

对待测试的运动目标按步骤①②提取运动目标的运动轨迹，计算轨迹点的光流时间序列值，

⑥计算该光流时间序列值由某个隐马尔科夫模型生成的概率，并与设定的概率阈值进行比较，当计算概率大于设定的阈值，即认为测试的光流序列由这个给定的隐马尔科夫模型生成，则进入步骤⑧；否则进入步骤⑦

⑦选择另一个隐马尔科夫模型，重复步骤⑥；

⑧待测试的运动目标属于所述的隐马尔科夫模型对应的运动目标的运动模式，或所述的隐马尔科夫模型对应的运动目标的动作，实现了对所述的运动目标进行运动模式识别或动作识别。

所述的运动目标分为刚体和非刚体，对于刚体，由一个光流时间序列组成，对于非刚体，确定动作识别的考察部位即节点数K，非刚体的运动，看作K个光流时间序列组成。

本发明的技术效果如下：

本发明采用了比较鲁棒的跟踪算法来得到目标的轨迹，同时通过计算光流值来得到目标的光流方向。通过对光流方向聚类来得到目标的运动模式。通过对运动模式进行训练，可以很方便的对各个运动模式和动作进行分类。

本发明通过光流方向来同时处理运动模式分类和动作识别，相比与以往用只用轨迹或者光流信息来处理运动模式识别，和用词袋模型，形状信息或者外表信息来处理动作识别的方法，更加简单稳健。

本发明可以广泛应用于视频监控系统、视频会议系统、工业产品检测系统、机器人视觉导航系统、军事目标检测分类系统等各类民用及军用系统中，具有广阔的市场前景和应用价值。

附图说明

图1为本发明处理方法总体框图。

图2为背景减除法得到的前景图。

图3为刚体轨迹图。

图4为非刚体轨迹图。

图5为计算的光流图。

图6为HMM训练测试流程图。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明基于光流方向序列运动目标的运动模式识别或动作识别的方法，包括下列步骤：

(1)提取运动目标的运动轨迹：

这里分为刚体和非刚体两种情况来考虑。刚体由于没有形变，所以可以看做一个整体来考虑，而非刚体由于形变的原因，各个部分的相对位置会发生改变，因而需要对某几个部分来分别考虑。对于刚体，可以先通过背景减除法检测新出现的目标，然后通过跟踪算法来得到目标的轨迹。对于非刚体，手动选取运动目标的K(K＝5，即左手，右手，左腿，右腿，头部)个重要部分，对该K个部分通过跟踪算法得到K个轨迹。

(2)计算光流方向：

对步骤(1)中得到运动目标的每个轨迹点，用光流法计算每个轨迹点光流值(详细步骤见第三节计算光流)。根据光流的横向速度和纵向速度来计算光流的方向(详细步骤见第三节计算光流)。将光流方向量化为四个方向，分别用1，2，3，4来表示。将每个轨迹点的光流方向进行合并，即相邻的两个光流方向如果相同，则认为是一个模式。如光流轨迹方向{1，1，1，1，2，2，2，2，3，3}合并成为{1，2，3}。

(3)训练样本

对于每个刚体训练样本，一条轨迹得到的是一个样本模式。然后用隐马尔科夫模型(HMM)对每个刚体的每个模式进行训练，得到各个模式的隐马尔科夫模型；

对于每个非刚体训练样本，k个部分有k个轨迹，因而是k个模式的组合；同理对其中的每个模式进行训练，得到每个模式的隐马尔科夫模型；这个非刚体训练样本是k个隐马尔科夫模型的组合。

(4)测试样本：

对于测试刚体样本，将样本轨迹的模式送入到每个训练样本的隐马尔科夫模型里面进行测试，如果两个运动模式的测试值小于某个阂值(本发明的实验里面可以选取为-100)，则将这两个运动模式归为一类。依次将所有样本的模式归为相应的类别之后，即完成了运动模式分类的工作。

对于测试非刚体样本，动作识别可以分解为K(K＝5，即左手，右手，左腿，右腿，头部)个模式的组合。将样本轨迹的K个模式分别送入到每个训练样本的k个隐马尔科夫模型里面进行测试，如果两个运动模式的测试值小于某个阈值(本实施例里面可以选取为-100)，则将这两个运动模式归为一类。依次将所有样本的K个模式的组合归为相应的类别之后，即完成了动作识别的工作。

对运动模式识别，我们用NGSIM数据(http://www.ngsim.fhwa.dot.gov/，文章Y.Yang，J.Liu，and M.Shah.Video scene understanding using multi-scale analysis.InICCV，2009.)。对动作识别，我们用weizmann dataset(http://www.wisdom.weizmann.ac.il/～vision/SpaceTimeActions.html文章L.Gorelick，M.Blank，E.Shechtman，M.Irani，and R.Basri，Actions as Space-Time Shapes.InIEEE Transactions on Pattern Analysis and Machine Intelligence(PAMI)，29(12)：2247-2253，December 2007.)部分数据。

图1为本发明提出的一种通过计算光流方向来对运动模式和动作进行识别的总体框图。各部分具体实施细节如下：

1、检测

对于刚体，可以通过背景建模，建立出视频里面的背景，即视频里面静止的场景。每辆移动的车属于前景。当建立了背景之后，和新图片比较，就可以检测出移动的车，即前景。本方法中，我们只检测出新进入观测区域的目标，然后用跟踪算法进行跟踪。

由于混合高斯法(GMM)背景建模(见文献C.Stauffer and E.Grimson.Learningpatterns of activity using real-time tracking.PAMI，22(8)：747-757，2000.)对光照变化不敏感，所以我们选择此方法。以灰度图像序列为例来解释GMM背景建模的原理如下：

令{X₁，...，X_t}＝{I(x₀，y₀，i)：1≤i≤t}为图像序列I在(x₀，y₀)位置的像素时间序列值。我们将[X₁，...，X_t}看作是K个混合高斯分布，则当前观测到的像素值的概率可以表示为：

$P\left(X_t\right)={\mathrm{\Σ}}_{i=1}^K{\mathrm{\ω}}_{i,t}*\mathrm{\η}(X_t,{\mathrm{\μ}}_{i,t},{\mathrm{\Σ}}_{i,t})---\left(1\right)$

其中：K是高斯分布的个数，ω_i，t是第i个高斯分量在t时刻的权重，μ_i，t和∑_i，t分别是第i个高斯分量在t时刻的期望和方差，η是高斯概率密度函数：

$\mathrm{\η}(X_t,{\mathrm{\μ}}_{i,t},{\mathrm{\Σ}}_{i,t})=\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{n}{2}}{\left|\mathrm{\Σ}\right|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}{(x_t-{\mathrm{\μ}}_t)}^T{\mathrm{\Σ}}^{-1}(X_t-{\mathrm{\μ}}_t)}---\left(2\right)$

为了计算方便，我们一般取

其中：σ是标准差，I是单位阵。

K个高斯分布按照ω/σ降序排列，取前面B个高斯分布表示背景分布，即

$B=\arg {\min }_b(\underset{i=1}{\overset{b}{\mathrm{\Σ}}}{\mathrm{\ω}}_{i,t}>T)$

其中：T为背景阈值，b是所有的背景分布的个数。

K个分布的先验权重调整如下：

ω_i，t＝(1-α)ω_i，t-i+α(M_i，t)      (3)

其中：α是更新速率，当模型匹配时，M_i，t取1，否则取0。然后权重归一化。当分布匹配时，μ和σ的更新如下：

μ_t＝(1-ρ)μ_t-1+ρX_t      (4)

${\mathrm{\σ}}_i^2=(1-\mathrm{\ρ}){\mathrm{\σ}}_{i-1}^2+\mathrm{\ρ}{(X_t-{\mathrm{\μ}}_t)}^T(X_t-{\mathrm{\μ}}_t)---\left(5\right)$

其中：

ρ＝αη(X_t|μ_k，σ_k)      (6)

是更新当前分布的速率。

如果当前的像素值和K(K＝3即可)个分布都不匹配，则产生一个新的高斯分布代替权重最小的高斯分布加入到背景模型中。当前像素值定为其均值，方差定为最大值，权重定为最小值。

建立了背景之后，通过背景减除法(即当前帧为前景减去建立的背景)和数学形态学步骤(机器视觉，贾云得编著)就可以提取前景，这样就完成了对新进入场景的目标检测，然后就可以对检测到的目标进行跟踪了。

2、跟踪

当检测到新目标之后，对目标进行跟踪。本发明用mean shift跟踪算法(文献Comaniciu，D.，Ramesh，V.，Meer，P.：Kernel-based object tracking.IEEE Transactions onPattern Analysis and Machine Intelligence25(5)，564-577(2003))来得到跟踪目标的轨迹。

假设目标中心位于x₀，我们用一个目标的灰度或色彩分布来描述这个目标，则该目标可以表示为：

$q_u=C{\mathrm{\Σ}}_{i=1}^{n}k\left({\left|\right|\frac{x_i-x_0}{h}\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i\right)-u]---\left(13\right)$

其中：{x_i}是潜在的目标位置，函数b是将二维坐标x_i映射到特征空间上，u是特征空间的值，本发明里面特征空间即为颜色空间。C是归一化算子，δ是Kronecker delta函数，即 $\mathrm{\δ}[b-u]=\left\{\begin{array}{cc}0,& b\≠u\\ 1,& b=u\end{array}\right.;$ k是剖面函数，满足：

(1)k是非负的，

(2)k是非增的，即如果a＜b那么k(a)＞k(b)，

(3)k是分段连续的，并且

候选的位于y的目标可以描述为：

$p_u\left(y\right)=C_h{\mathrm{\Σ}}_{i=1}^{n}k\left({\left|\right|\frac{x_i-y}{h}\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i\right)-u]---\left(14\right)$

其中：h是函数的带宽，作为参数控制函数k的作用范围，h＝1.5。

因此跟踪问题可以视为寻找最优的y，使得||p_u-q_u||＜ε_pq，ε_pq为事先给定的阈值。p_u与q_u最相似(请给出范围)，ε_pq＝0.01。

我们选择Bhattacharrya系数ρ(y)来度量p_u与q_u之间的相似性，

$\mathrm{\ρ}\left(y\right)=\mathrm{\ρ}[p\left(y\right),q]={\mathrm{\Σ}}_{u=1}^m\sqrt{p_u\left(y\right)q_u}---\left(15\right)$

将上式在p_u(y₀)点泰勒展开可得，

$\mathrm{\ρ}[p\left(y\right),q]\≈\frac{1}{2}{\mathrm{\Σ}}_{u=1}^m\sqrt{p_u\left(y_0\right)q_u}+\frac{1}{2}{\mathrm{\Σ}}_{u=1}^m{p}_u\left(y\right)\sqrt{\frac{q_u}{p_u\left(y_0\right)}}---\left(16\right)$

把式(14)代入该式，整理可得

$\mathrm{\ρ}[p\left(y\right),q]\≈\frac{1}{2}{\mathrm{\Σ}}_{u=1}^m\sqrt{p_u\left(y_0\right)q_u}+\frac{C_h}{2}{\mathrm{\Σ}}_{u=1}^n{w}_{i}k\left({\left|\right|\frac{x_i-y}{h}\left|\right|}^2\right)---\left(17\right)$

其中，

$w_i={\mathrm{\Σ}}_{i=1}^n\mathrm{\δ}[b\left(x_i\right)-u]\sqrt{\frac{q_u}{p_u\left(y_0\right)}}---\left(18\right)$

对式(17)右边的第二项

可以转化为：

$y_1=\frac{{\mathrm{\Σ}}_{i=1}^{n_h}{x}_i{w}_{i}g\left({\left|\right|\frac{y-x_i}{h}\left|\right|}^2\right)}{{\mathrm{\Σ}}_{i=1}^{n_h}{w}_{i}g\left({\left|\right|\frac{y-x_i}{h}\left|\right|}^2\right)}---\left(19\right)$

其中：g(x)＝-k′(x)。

本节的mean shift跟踪算法步骤归纳如下：给定目标模型q_u，初始位置y₀。

(1)计算当前帧在位置y₀的颜色模型p_u(y₀)，并计算

$\mathrm{\ρ}[p\left(y_0\right),q]=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{p_u\left(y_0\right)q_u}$

(2)根据式(18)计算权重

(3)根据式(19)得到下一个候选位置；

(4)计算{p_u(y₁)}_u＝1...m，并计算

$\mathrm{\ρ}[p\left(y_1\right),q]=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{p_u\left(y_1\right)q_u};$

(5)当ρ[p(y₁)，q]＜ρ[p(y₀)，q]，令

并计算新的ρ[p(y₁)，q]；

(6)如果||y₁-y₀||＜ε停止，否则令y₀→y₁，转到步骤(2)。

3、计算光流

本发明的光流法参考文献“T.Kanade and B.Lucas.An iterative image registrationtechnique with an application to stereo vision.In IJCAI，1981.”计算光流是评估两幅图像之间的变形，基本假设是图像像素守恒。它假设一个目标的颜色在前后两帧没有巨大而明显的变化。因此，我们可以得到图像的约束方程。

设I(x，y，t)是图像点(x，y)在时刻t的像素值，如果u(x，y)和v(x，y)是该点光流的x和y分量，假定点在t+δt时运动到(x+δx，y+δy)时，像素不变，则I(x+δx，y+δy，t+δt)＝I(x，y，t)。将上式左边用Taylor级数展开，得：

$I(x,y,t)+\∂x\frac{\∂I}{\∂x}+\∂y\frac{\∂I}{\∂y}+\∂t\frac{\∂I}{\∂t}=I(x,y,t)---\left(7\right)$

上式两边除以δt，并取极限δt→0，得到

$\frac{\∂I}{\∂x}\frac{\mathrm{dx}}{\mathrm{dt}}+\frac{\∂I}{\∂y}\frac{\mathrm{dy}}{\mathrm{dt}}+\frac{\∂I}{\∂t}=0---\left(8\right)$

设

$I_x=\frac{\∂I}{\∂x},I_y=\frac{\∂I}{\∂x},I_t=\frac{\∂I}{\∂t},$

$u=\frac{\mathrm{dx}}{\mathrm{dt}},v=\frac{\mathrm{dy}}{\mathrm{dt}}$

则得到空间和时间梯度与速度分量之间的关系：

I_xu+I_yv+I_t＝0                                           (9)

上式称为光流约束方程。但是仅通过光流约束方程是无法计算图像的光流值的。

Lucas-Kanade方法假设在一个小的空间邻域上运动矢量保持恒定，然后使用加权最小二乘法(weighted least-squares)估计光流。在一个小的空间邻域Ω上，光流估计误差定义为：

∑_(x，y)∈ΩW²(I_xu+I_yv+I_t)²                         (10)

其中：W(x)表示窗口权重函数，它使邻域中心部分对约束产生的影响比外围部分更大。设v＝(u，v)^T，

上式的解由下式给出：

A^TW²Av＝A^TW²b                                        (11)

其中，在时刻t的n个点x_i∈Ω，

$A={[\▿I\left(x_1\right),...,\▿I\left(x_n\right)]}^T$

W＝diag[W(x₁)，…，W(x_n)]

b＝-(I_t(x₁)，…，I_t(x_n))^T

式(11)的解为v＝[A^TW²A]^-1A^TW²b，其中当A^TW²A为非奇异时得到解析解，因为它是一个2*2的矩阵：

$A^T{W}^{2}A=\left[\begin{array}{cc}\mathrm{\Σ}{W}^2\left(x\right)I_x^2\left(x\right)& \mathrm{\Σ}{W}^2\left(x\right)I_x\left(x\right)I_y\left(x\right)\\ \mathrm{\Σ}{W}^2\left(x\right)I_y\left(x\right)I_x\left(x\right)& \mathrm{\Σ}{W}^2\left(x\right)I_y^2\left(x\right)\end{array}\right]---\left(12\right)$

其中所有的和都是在邻域Ω上的点得到的。

等式(10)和(11)也可认为是从法向速度(normal velocities)v_nsn v_n＝sn得到的估计v的加权最小二乘估计(weighted least-squares estimates)；即等式(10)等于：

$\underset{(x,y)\∈\mathrm{\Ω}}{\mathrm{\Σ}}{W}^2\left(x\right)w^2\left(x\right){[v*n\left(x\right)-s\left(x\right)]}^2$

实现Lucas-Kanade光流算法可以归结为三个步骤。第一步骤为初始化需要跟踪的点；第二步骤为根据两帧之间的光流来计算由初始化的需要跟踪的点的目标点，为此要先计算出两帧的光流金字塔；第三步骤为把输入输出点进行互换，还有上一帧与目前帧的互换以及上一帧与当前帧金字塔的互换。

计算光流方向

我们选取刚体的中心点和非刚体的各个节点的轨迹位置，得到该位置的光流值，u和v。我们对光流方向进行量化的规则如下：

经过量化之后，我们可以得到一组方向的时间序列。

对运动模式，我们以图2为例来说明，我们得到的时间序列为：

从右向左直行：3，3；

从右向左左转弯：3，4；

从右向左右转弯：3，2；

从上向下直行：4，4；

从上向下左转弯：4，1；

从上向下右转弯：4，3；

从左向右直行：1，1；

从左向右左转弯：1，2；

从左向右右转弯：1，4；

从下向上直行：2，2；

从下向上左转弯：2，3；

从下向上右转弯：2，1；

对动作识别，选取人的头和四肢五部分来计算光流方向序列，得到的时间序列为：

蹲下(daria_bend)：

头：1，2，3，1，3；

左手：3，1，2，3，1；

右手：1，3，2，1，2；

左脚：0；

右脚：0；

向上跳(daria_jack)：

头：2，4；

左手：1，2；

右手：3，2；

左脚：1，2，4；

右脚：3，2，4；

跳(daria_jump)：

头：1；

左手：1；

右手：1；

左脚：1；

右脚：1；

挥一只手(daria_wavel)：

头：0；

左手：0；

右手：1，2，4；

左脚：0；

右脚：0；

挥双手(daria_wave2)：

头：0；

左手：1，2，4；

右手：3，2，4；

左脚：0；

右脚：0；

3、隐马尔科夫模型HMM训练

将得到的光流方向时间序列通过HMM训练，形成HMM模型。文献Rabiner,L.R.(1989).A tutorial on hidden Markov models and selected applications in speechrecognition.Proc.IEEE，77(2)，257-286给予了详细介绍。

隐马尔科夫模型λ可以表示为一个五元组(S，V，A，B，π)。

其中：S是一组状态的集合，S={1，2，3，…，N}。

V是一组输出符号组成的集合，V={v₁，v₂，v₃，…，v_M}。

A是状态转移矩阵，A=[a_ij]，a_ij=P{q_t+1=j|q_t=i}，1≤i，j≤N。

B是输出符号的概率分布，B={b_j(k)}，b_j(k)表示在状态j时输出符号v_k的概率，b_j(k)=P(v_k|j)，1≤k≤M，1≤j≤N。

π是初始状态概率分布π={π_i)，π_i=P(q₁=i)表示i时刻选择某个状态的概率。

首先我们需要根据已有的时间序列来求得HMM的模型参数，即确定一组模型参数，使得P(O|λ)最大。我们选择Baum-Welch算法。首先定义变量如下：

定义变量ζ_t(i，j)，ζ_t(i，j)=P(q_t=i，q_t+1=j|O，λ)，即在给定模型λ和观察序列O，在时刻t处在状态i，时刻t+1处在状态j的期望概率。

定义变量γ_t(i)，表示在给定模型以及观察序列的情况下，t时刻处在状态i的概率，则 ${\mathrm{\γ}}_t\left(i\right)={\mathrm{\Σ}}_{j=1}^N{\mathrm{\ζ}}_t(i,j).$

Baum-Welch算法可以用Expectation-maximization(EM)迭代得到，算法如下：

(1)选择模型参数初始值，并满足HMM要求，即 ${\mathrm{\Σ}}_{i=1}^N{\mathrm{\π}}_i=1,{\mathrm{\Σ}}_{j=1}^N{a}_{\mathrm{ij}}=1,$ $1\≤i\≤N,{\mathrm{\Σ}}_{k=1}^N{b}_j\left(k\right)=\mathrm{1,1}\≤j\≤N.$ ${\widetilde{\mathrm{\π}}}_i={\mathrm{\γ}}_1\left(i\right),$ 在t=1时处在状态i的期望概率。

(2)E-M迭代算法

E-step：计算ζ_t(i，j)和γ_t(i)。

M-step：计算新的参数

${\widetilde{\mathrm{\π}}}_i={\mathrm{\γ}}_t\left(i\right),$

从状态i到状态j的转换的期望概率除以以状态i出发的转换的期望概率。

${\tilde{b}}_j\left(k\right)=\frac{{\mathrm{\Σ}}_{t=1}^T{\mathrm{\γ}}_t\left(j\right)*\mathrm{\δ}(O_t,v_k)}{{\mathrm{\Σ}}_{t=1}^T{\mathrm{\γ}}_t\left(j\right)}$

(3)如果满足条件：|log(P(O|λ_i+1))-log(P(O|λ_i))|＜ε，则停止；否则返回步骤(2)。

5、HMM分类

当HMM模型建立起来之后，我们要解决的问题是：如何有效的计算时间序列的概率，即P(O|λ)。这可以通过前向算法来计算。算法如下：

(1)初始化：α₁(i)＝π_ib_i(O₁)，(1≤i≤N)。

(2)迭代计算： ${\mathrm{\α}}_{t+1}\left(j\right)=\left[{\mathrm{\Σ}}_{i=1}^N{\mathrm{\α}}_t\left(i\right)a_{\mathrm{ij}}\right]b_j\left(O_{t+1}\right),1\≤t\≤T-\mathrm{1,1}\≤j\≤N.$

(3)终止： $P\left(O\right|\mathrm{\λ})={\mathrm{\Σ}}_{i=1}^N{\mathrm{\α}}_T\left(i\right).$

对于运动模式分类，因为每辆车得到的是一个HMM模型，我们设定一个阈值，低于阈值的就当做一个新的模式。

对于动作识别，我们先对各个类进行训练，通过得到的时间序列，由Baum-Welch算法来建立模型参数。然后由测试数据的光流序列，通过前向算法来计算各个测试数据与哪个类最相近。表1给出了5个动作计算的结果值。横坐标的每个动作生成一个隐马尔科夫模型，纵坐标的光流时间序列分别与这5个模型比较，结果越大，说明两者相似度越大。我们暂时只选择5个视频为例，表1给出了结果。以第一行为例，动作“daria_bend”的光流序列依次和动作“daria_bend”，“daria_jack”，“daria_jump”，“daria_wave1”，“daria_wave2”的模型相比较，可以看出动作“daria_bend”和“daria_bend”比较后得出的结果最小，为-7.22，和其它几个动作比较得出的数值都小于-1000，我们在表中以“-inf“表示。同理，我们可以看出”daria_jack“等几个动作都可以很好的识别出来。

表1

图2(a)为通过高斯建模得到的前景图。经过初试几帧来进行学习，得到相应参数后，混合高斯法可以有效地对背景进行建模。通过背景差法以及数学形态学操作，可以有效地提取前景。图中白色部分即为提取的前景车。图2(b)给出了跟踪算法里面得到颜色相似度的流程图。

图3为计算的光流图。图3(a)为视频里面车的光流图。横线上的上半区域蓝色代表车从右边开往左边，横线下的下半区域红色代表车从左边开往右边。图3(b)代表人的躯体不同部分运动方向。颜色的深浅代表速度的大小。标号(1)代表头部，标号(2)代表左手，标号(3)代表右手，标号(4)代表左腿，标号(5)代表右腿。从图中可以看出光流颜色比较准确的代表了目标的不同的运动方向。

图4为刚体轨迹图。从图中可以看出mean shift算法可以实现有效地跟踪。标号(1)，(2)，(3)，(4)分别代表了车的运行轨迹。在很多复杂场景下，即使出现跟踪丢失再跟踪上的情况，对本发明影响也不会很大。本发明需要的是光流方向，并不需要准确的目标位置。

图5为非刚体轨迹图。从图中可以看出来，由于人的各个躯干部分运动方向不一样，不能仿照刚体那样来看做一个整体跟踪。标号(1)，(2)，(3)，(4)分别代表了人的各个部分的运行轨迹。

图6给出了隐马尔科夫模型的训练和测试过程。首先将需要训练的光流时间序列通过Baum-Welch算法来建立隐马尔科夫模型。待测试的光流时间序列通过前向算法来判别待测试的光流时间序列属于哪个隐马尔科夫模型，即将待测的光流时间序列分类到相应的训练的光流时间序列。

Claims (2)

1.一种基于光流方向序列运动目标的运动模式识别或动作识别的方法，其特征在于，该方法包括下列步骤：

①首先提取运动目标的运动轨迹：对于刚体目标，首先通过混合高斯法对背景建模；对于非刚体目标，给出各个节点，然后采用均值漂移跟踪算法，利用目标的颜色信息对运动目标进行跟踪；采用加权的颜色直方图来考虑像素的空间位置信息；

②计算轨迹点的光流时间序列值：根据运动目标的横向光流速度和纵向光流速度计算出光流方向，并将光流方向量化成4个值并组成时间序列，当相邻的两个值相同时，则合并成一个值，获得光流时间序列值；

③对于每个刚体训练样本，一条光流时间序列是一个样本模式，然后用隐马尔科夫模型对每个刚体的模式进行训练，得到各个模式的隐马尔科夫模型；

对于每个非刚体训练样本，将其视为k个刚体组合，每个刚体部分的光流时间序列训练得到一个隐马尔科夫模型，这个非刚体训练样本是k个隐马尔科夫模型的组合；

④重复步骤①②③分别建立各种运动目标的隐马尔科夫模型；

⑤对待识别的运动目标用隐马尔科夫模型进行测试：

对待测试的运动目标按步骤①②提取运动目标的运动轨迹，计算轨迹点的光流时间序列值，

⑥对于测试刚体样本，将样本光流时间序列送入到每个训练样本的隐马尔科夫模型里面进行测试，如果两个运动模式的测试值大于某个阈值，则认为测试的光流序列由这个给定的隐马尔科夫模型生成，则进入步骤⑧；否则进入步骤⑦；

对于测试非刚体样本，将其视为k个刚体组合，将样本的K个光流序列分别送入到每个训练样本的k个隐马尔科夫模型里面进行测试，如果两个运动模式的测试值大于某个阈值，则进入步骤⑧；否则进入步骤⑦；

⑦选择另一个隐马尔科夫模型，重复步骤⑥；

⑧待测试的运动目标属于所述的隐马尔科夫模型对应的运动目标的运动模式，或所述的隐马尔科夫模型对应的运动目标的动作，实现了对所述的运动目标进行运动模式识别或动作识别。

2.根据权利要求1所述的运动目标的运动模式识别或动作识别的方法，其特征在于，所述的运动目标分为刚体和非刚体，对于刚体，由一个光流时间序列组成，对于非刚体，确定动作识别的考察部位即节点数K，非刚体的运动，看作K个光流时间序列组成。

Images