CN102043967B - 一种有效的运动目标行为建模与识别方法 - Google Patents

Abstract

本发明是一种有效的运动目标行为建模与识别方法，包括步骤1：用特征提取模块提取运动目标行为的局部特征，再提取运动目标行为的运动特征；步骤2：采用子空间学习的方法，用特征融合模块对提取的局部特征和运动特征进行融合，并对特征空间进行降维；步骤3：采用原型学习算法和测度学习算法相结合，用行为识别模块对运动目标行为进行识别，对识别的运动目标行为做出评判。本发明对局部特征和运动特征进行特征融合处理，降低了特征空间的维度，提高了特征表达的鲁棒性，具有低存储和低计算复杂度的特点，同时具有较好的分类识别性能。本发明可以用来对公共安全领域的异常行为进行智能监控，一旦发现异常行为发生，立刻报警。

Description

一种有效的运动目标行为建模与识别方法

技术领域

本发明涉及计算机应用技术领域，特别涉及运动目标行为建模与识别方法。

背景技术

国内近几年在城市的重要位置安装了监控摄像头，在多起犯罪案件中，视频监控录像都提供了很重要的破案线索。但是目前公共场所装有的摄像头大都只能记录当时的场景，作为事后调查的依据，而不能做到实时自动报警。运动目标行为建模与识别正可以满足智能监控中自动实时报警的迫切需求。

近几年由于公共安全的需要，智能监控方面的需求迅速增加。1997年美国国防高级研究项目署设立了以卡内基梅隆大学为首、麻省理工学院等高校参与的视觉监控重大项目VSAM(visualsurveillance and monitoring)，主要研究用于战场及普通民用场景监控的自动视频理解技术。马里兰大学的W4系统不仅能够定位和分割出人的身体部分，而且通过建立外观模型能实现对多人的跟踪，同时可以检测人是否携带物体等简单行为。最近，欧洲的VISONTRAIN计划将人的行为分析与理解作为一个很重要的方面进行研究。英国伦敦大学(University of London)的Queen Mary视觉实验室的项目INSIGHT(Video Analysis and Selective Zooming using SemanticModels of Human Presence and Activity)，旨在对公共场合下，人的异常行为以及侵略性行为的检测与识别问题进行研究。美国中佛罗里达大学(University of central Florida)、澳大利亚Curtin科技大学(Curtin University of Technology)等对室内环境下人的行为进行了分析和识别。新加坡信息通信研究所(Institute for InfocommResearch)、英国伦敦大学等对人的户外行为进行了分析与识别。

发明内容

为了解决现有技术方案只能记录当时的场景，而不能做到实时自动报警的技术问题，本发明的目的是提供一种有效的运动目标行为建模与识别方法，亦可用来对公共场所异常行为进行监控。

为实现本发明的目的，本发明提出有效的运动目标行为建模与识别方法的技术方案包括步骤如下：

步骤S1：由计算机中的特征提取模块提取运动目标行为的局部特征，再提取运动目标行为的运动特征；

步骤S2：采用子空间学习的方法，由计算机中的特征融合模块对提取的局部特征和运动特征进行融合，并对特征空间进行降维；

步骤S3：采用原型学习算法和测度学习算法相结合，由计算机中的行为识别模块对运动目标行为进行识别，对识别的运动目标行为做出评判。

其中，所述特征提取模块提取运动目标行为的运动特征的步骤包括：

步骤S11：对运动序列图像检测，获得时空兴趣点，将时空兴趣点形成立方体特征，并用协方差描述子对立方体特征进行描述，统计成直方图作为运动目标行为的局部特征；

步骤S12：利用前后帧的差分图像，对运动序列图像形成运动历史图像；对历史图像进行分块，分别统计灰度直方图，形成运动目标行为的运动特征。

其中，所述特征融合模块对局部特征和运动特征进行融合是把局部特征和运动特征表示成一个新的特征矩阵，对这一新矩阵进行子空间学习，形成融合后的特征表达。

其中，所述对运动目标行为进行识别是利用测度学习形成距离矩阵，用原型学习算法结合学习出的距离测度对运动目标行为进行检测。

本发明的有益效果：本发明采用多特征融合的思想，充分利用运动图像序列中局部信息和运动信息，并采用机器学习方法来进行运动目标行为的识别，增加了运动目标行为的识别速度和可靠性。本发明可以用来对公共区域的异常行为进行识别。本发明形成的监控系统可以提高公共区域的安全性。

附图说明

图1为本发明系统结构框图。

具体实施方式

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

本发明的执行环境是由计算机实现以下三个模块组构成：一、特征提取模块，该模块的功能是提取运动目标的局部特征和运动特征。二、特征融合模块，该模块的功能是将局部特征和运动特征相融合，同时起到降低维度空间的作用。三、行为识别模块，该模块的功能是对待识别行为进行分类决策。本发明的整体框架见图1。

下面详细给出本发明技术方案中所涉及的各个步骤细节问题的说明。

步骤一：运动目标行为的特征提取，此步骤首先由计算机中的特征提取模块提取运动目标行为的局部特征，然后再提取运动目标行为的运动特征。将视频序列f中的每一帧用二维坐标到像素点亮度的映射

其中，R表示空间，f_sp表示空间映射。使用空域中的高斯核函数g^sp将视频序列f中的每一帧变换到空间，得到其中L_sp表示高斯映射，R，R₊均表示空间。具体的，有L_sp(x，y，σ²)*f_sp(x，y)，其中：

$g^{\mathrm{sp}}(x,y;{\mathrm{\σ}}^2)=\frac{1}{{2\mathrm{\π\σ}}^2}\exp (-(x^2+y^2)/{2\mathrm{\σ}}^2)---\left(1\right)$

其中g^sp表示高斯核函数，σ表示方差，x，y分别表示点的横坐标和纵坐标。接下来，对经过高斯平滑的视频序列

沿着f的时间轴方向，对每一列元素进行选定窗口的一维Gabor滤波，其具体运算过程如下式：

$I={(f*(-\cos \left(2\mathrm{\πt\ω}\right)e^{-t^2/{\mathrm{\τ}}^2}))}^2+{(f*(-\sin \left(2\mathrm{\πt\ω}\right)e^{-t^2/{\mathrm{\τ}}^2}))}^2---\left(2\right)$

其中τ²表示滤波器在时域上的尺度，ω为Gabor窗口大小的1/8。I即为该像素点的强度，计算视频序列f中每一点的空间值，然后选定观测窗口的大小对I进行极大值滤波，就可以得到时空兴趣点的位置。

当把视频中兴趣点的位置找到以后，在每一个兴趣点位置提取出包含时空窗像素值的立方体。立方体的尺寸按照在兴趣点附近有助于脉冲函数取得最大体积得到。得到立方体特征后，要对立方体内的点进行描述。

下面将从立方体中提取底层特征。假设s是立方体中的一个像素值，立方体内所有的点形成一个点集S＝{s_i}，这里i＝1，2，…，N，N表示点的个数。立方体内对于每个点s_i表示成一个8维向量l_i＝{x，y，t，f_x，f_y，f_t，v_x，v_y}，其中x，y，t表示的是位置和时间信息，f_x，f_y，f_t表示梯度信息，而v_x，v_y表达的是光流分量。这样，立方体就可以表示成L＝{l₁，l₂，…，l_N}这样一个8×N的矩阵，l_N表示一个8维的列向量。

下面对这一矩阵提取协方差矩阵来描述原始矩阵C，如下式所示：

$C=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(I_i-u){(I_i-u)}^T---\left(3\right)$

这里u表示L中向量的均值，T表示矩阵的转置，I_i表示矩阵C的列向量。

这样一段视频就可以由多个立方体的协方差矩阵表示了。接下来要对所有的立方体聚类形成若个类，每个类表示一个词(Word)，这样所有的视频特征就用“词袋”模型(Bag of Words)来表达。统计每个视频中词出现的频率，形成一个直方图，这也就是行为的局部特征。

对于运动特征，先计算两个相邻帧的像素值的差分，得到差分图像D(a，b，t)，对其累加后形成运动历史图像H_λ(a，b，t)表示如下：

这里t表示运动处于的时刻，λ表示行为持续的时间，(a，b)表示图像中点的位置坐标。

把得到的运动历史图像分成4×4的子块，分别计算每一个子块的灰度直方图，把每个子块的直方图连接起来，就得到了行为的运动特征。

步骤二：由计算机中的特征融合模块对运动目标行为的局部特征和运动目标行为的运动特征进行融合，此步骤采用子空间学习的方法对上一步提取的两种特征进行融合，并对特征空间进行降维。

给定数据集

每个数据有类标号l_i∈L，其中L＝{l₁，l₂，…，l_c}一共表示有c类，l_c表示第c类的数据样本。用上一步特征提取方法得到n个特征集合

i＝1，2，…，n。另一方面，可以当作这种特征集合，

k＝1，2。其中当k＝1时表示局部特征集，k＝2时表示运动特征集。这样，特征空间可以用一个特征矩阵来表示，这个矩阵不管按行还是按列可以看作两个特征集合分别表示为

这里用典型相关关系来衡量两个特征集合的相似度。假定F₁和F₂表示由两个特征集合分别形成的两个特征矩阵，矩阵是由特征集中的特征向量按列形成的。定义两个正交基矩阵

和

表示空间，D₀×d₁，D₀×d₂表示空间的维度，所以有和

这里Λ₁和Λ₂分别表示相应特征值形成的对角阵。这两个子空间选择相同维度d₀。

是

并且有

其中d₀×d₀表示空间的维度，Q₁₂，Q₂₁表示旋转矩阵。两个特征集合的相似度如下式：

$S(F_1,F_2)=\max \mathrm{Tr}\left(Q_{12}^T{P}_1^T{P_{2}Q}_{21}\right)---\left(5\right)$

基中Tr表示迹算子。

通过求解下面优化问题来找到特征空间的子空间P：

$P=\underset{P}{\arg \max }(J_1+J_2)=\underset{P}{\arg \max }(\underset{k_1=1}{\overset{2}{\mathrm{\Σ}}}\underset{k_2=1}{\overset{2}{\mathrm{\Σ}}}{S}_P(F_{k_1}^{\left(2\right)},F_{k_2}^{\left(2\right)})+\underset{i_1=1}{\overset{n}{\mathrm{\Σ}}}\underset{l_{i_2}=l_{i_1}}{\mathrm{\Σ}}{S}_P(F_{i_1}^{\left(1\right)},F_{i_2}^{\left(1\right)},L))---\left(6\right)$

其中

$S_P(F_{k_1}^{\left(2\right)},F_{k_2}^{\left(2\right)})=\max \mathrm{Tr}\left(Q_{k_1{k}_2}^T{P}_{k_1}^T{\mathrm{PP}}^T{P}_{k_2}{Q}_{k_2{k}_1}\right)---\left(7\right)$

$S_P(F_{i_1}^{\left(2\right)},F_{i_2}^{\left(2\right)},L)=\max \mathrm{Tr}\left(Q_{i_1{i}_2}^T{P}_{i_1}^T{\mathrm{PP}}^T{P}_{i_2}{Q}_{i_2{i}_1}\right)---\left(8\right)$

上面J₁，J₂，S_P均表示集合的相似度矩阵，L表示类标号，而J₁和J₂可以重新写为

J₁＝Tr(P^TAP)，J₂＝Tr(P^TBP)    (9)

这里

$A=\underset{k_1=1}{\overset{2}{\mathrm{\Σ}}}\underset{k_2=1}{\overset{2}{\mathrm{\Σ}}}(P_{k_1}{Q}_{k_1{k}_2}-P_{k_2}{Q}_{k_2{k}_1}){(P_{k_1}{Q}_{k_1{k}_2}-P_{k_2}{Q}_{k_2{k}_1})}^T,$

$B=\underset{i_1=1}{\overset{n}{\mathrm{\Σ}}}\underset{l_{i_2}=l_{i_1}}{\mathrm{\Σ}}(P_{i_1}{Q}_{i_1{i}_2}-P_{i_2}{Q}_{i_2{i}_1}){(P_{i_1}{Q}_{i_1{i}_2}-P_{i_2}{Q}_{i_2{i}_1})}^T,$

其中A，B分别表示J₁，J₂的子空间。

矩阵P＝[p₁p₂…p_d]通过求解下面的特征分解问题解决：

(A+B)p＝λp                   (10)

这里{p_r}，r＝1，2，…，d表示对应d个最大的特征值的特征向量，λ表示特征值，p_r表示特征向量。

通过上述运算就可以把运动目标行为的局部特征和运动目标行为的运动特征进行融合处理。

步骤三：由计算机中的行为识别模块对运动目标行为进行识别，此步骤采用原型学习算法与测度学习算法相结合的方法，对待识别行为做出评判。

首先要学习下式所示的这种测度：

$d(x,y)=d_A(x,y)={\left|\right|x-y\left|\right|}_A=\sqrt{{(x-y)}^{T}A(x-y)}---\left(11\right)$

学习准则采用让同一类中的每对数据之间的平方距离和最小，即

同时还需要加一个约束：以确保A不会让数据集收缩到一个单一的点。这样，测度学习问题变成了上述的优化问题，上面式子中(x_i，y_j)∈S，(x_i，y_j)∈D分别表示两个点属于同类集合S和不同类集合D。

下面把学习得到的距离矩阵A作为原型学习中的距离测度来对原始行为模型进行学习。

学习算法流程如下：

1.从模式池中选择模式u_n。

2.找到离u_n最近的正类原型向量m_ki和最近的负类原型向量m_rj。

3.利用下式所示的梯度下降法来迭代更新原型向量：

$m_{\mathrm{ki}}=m_{\mathrm{ki}}-2\mathrm{\η}\left(t\right)\frac{\∂\mathrm{\φ}\left(u_n\right)}{\∂g_{\mathrm{ki}}}(u_n-m_{\mathrm{ki}})---\left(12\right)$

$m_{\mathrm{rj}}=m_{\mathrm{rj}}-2\mathrm{\η}\left(t\right)\frac{\∂\mathrm{\φ}\left(u_n\right)}{\∂g_{\mathrm{rj}}}(u_n-m_{\mathrm{rj}})---\left(13\right)$

上两式中，η(t)表示第t次迭代的学习率，φ(u_n)表示损失函数。

4.重复1-3直至收敛。

经过学习后，原始每一类样本都可以用各自的原型来表达，识别过程则是把待识别行为识别成与其最近邻的原型类所表示的这一类行为。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (3)

1.一种有效的运动目标行为建模与识别方法，其特征在于，包括步骤：

步骤S1：由计算机中的特征提取模块提取运动目标行为的局部特征，再提取运动目标行为的运动特征；

步骤S2：采用子空间学习的方法，由计算机中的特征融合模块对提取的局部特征和运动特征进行融合，并对特征空间进行降维；

步骤S3：采用原型学习算法和测度学习算法相结合，由计算机中的行为识别模块对运动目标行为进行识别，对识别的运动目标行为做出评判；

所述特征提取模块提取运动目标行为的运动特征的步骤包括：

步骤S11：对运动序列图像检测，获得时空兴趣点，将时空兴趣点形成立方体特征，并用协方差描述子对立方体特征进行描述，统计成直方图作为运动目标行为的局部特征；

步骤S12：利用前后帧的差分图像，对运动序列图像形成运动历史图像；对历史图像进行分块，分别统计灰度直方图，形成运动目标行为的运动特征；

所述步骤S11进一步包括以下步骤：

步骤S111，使用空域中的高斯核函数g^sp将运动序列图像f中的每一帧变换到空间，得到

其中，L_sp表示高斯映射，R，R₊均表示空间，所述高斯核函数表示为：

$g^{\mathrm{sp}}(x,y;{\mathrm{\σ}}^2)=\frac{1}{{2\mathrm{\π\σ}}^2}\exp (-(x^2+y^2)/{2\mathrm{\σ}}^2),$

其中，g^sp表示高斯核函数，σ表示方差，x，y分别表示点的横坐标和纵坐标；

步骤S112，对经过高斯平滑的运动序列图像，沿着其时间轴方向，对每一列元素进行选定窗口的一维Gabor滤波：

$I={(f*(-\cos \left(2\mathrm{\πt\ω}\right)e^{{-t}^2/{\mathrm{\τ}}^2}))}^2+{(f*(-\sin \left(2\mathrm{\πt\ω}\right)e^{-t^2/{\mathrm{\τ}}^2}))}^2,$

其中，f为经过高斯平滑的运动序列图像，τ²表示滤波器在时域上的尺度，ω为Gabor窗口大小的1/8；I为某像素点的强度；

步骤S113，计算运动序列图像f中每一点的空间值，然后选定观测窗口的大小对经过一维Gabor滤波的运动序列图像中每个像素点的强度进行极大值滤波，得到时空兴趣点的位置；

步骤S114，在每一个兴趣点位置提取出包含时空窗像素值的立方体，所述立方体的尺寸根据在兴趣点附近有助于脉冲函数取得最大体积这一考虑来确定；

步骤S115，假设s是立方体中的一个像素值，立方体内所有的点形成一个点集S＝{s_i}，这里，i＝1，2，…，N，N表示点的个数；立方体内的每个点s_i表示成一个8维向量l_i＝{x，y，t，f_x，f_y，f_t，v_x，v_y}，其中，x，y，t表示位置和时间信息，f_x，f_y，f_t表示梯度信息，v_x，v_y表示光流分量，这样立方体就表示成8×N矩阵：L＝{l₁，l₂，…，l_N}，l_N表示一个8维的列向量；对矩阵L提取协方差矩阵C来描述原始矩阵，协方差矩阵C表示为：

$C=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(I_i-u){(I_i-u)}^T,$

其中，u表示L中向量的均值，T表示矩阵的转置，I_i表示矩阵C的列向量；

步骤S116，对所有的立方体聚类形成若干个类，每个类表示一个词，统计每个视频中词出现的频率，形成一个直方图，即运动目标行为的局部特征。

2.根据权利要求1所述的方法，其特征在于，所述特征融合模块对局部特征和运动特征进行融合是把局部特征和运动特征表示成一个新的特征矩阵，对这一新矩阵进行子空间学习，形成融合后的特征表达。

3.根据权利要求1所述的方法，其特征在于，所述对运动目标行为进行识别是利用测度学习形成距离矩阵，用原型学习算法结合学习出的距离测度对运动目标行为进行检测。

Images