CN102945375A

CN102945375A - 多约束下的多视角监控视频行为检测和识别方法

Info

Publication number: CN102945375A
Application number: CN2012104702786A
Authority: CN
Inventors: 高赞; 张桦; 刘安安; 徐光平; 薛彦兵; 董晨
Original assignee: Tianjin University of Technology
Current assignee: Tianjin University of Technology
Priority date: 2012-11-20
Filing date: 2012-11-20
Publication date: 2013-02-27

Abstract

本发明公开了一种基于稀疏化、结构化和判别性多约束下的多视角监控视频中行为检测和识别方法，以实现对监控视频的智能分析和管理。具体包含以下步骤：（1）视频预处理；（2）目标检测；（3）目标跟踪；（4）时空特征提取，(5)滑动时间窗及特征归一化（6）多约束下多视角监控视频中行为检测和识别，（7）相邻时间窗结果的融合。本发明的优点是充分分析多视角场景中人体行为特征的内在关联特性，通过稀疏化、结构化和判别性约束的挖掘和相应正则项的制定，实现多视角人体行为识别目标函数的构建，同时，通过坐标下降法实现对人体目标行为的识别。

Description

多约束下的多视角监控视频行为检测和识别方法

技术领域

本发明属于计算机视觉和模式识别技术领域，设计了一种稀疏化、结构化和判别性的多约束下的多视角监控视频中行为检测和识别方法，用于对监控视频中人体目标的行为进行检测和识别，实现对监控视频的智能化管理。

背景技术

基于视觉的人体行为识别是计算机视觉和模式识别领域的一个极具挑战性的研究热点，并因其在智能监控、便捷的人机交互、数字娱乐等领域的潜在应用受到学术界和工业界的密切关注。早期的人体行为识别大多是在可人为控制的特定实验环境下进行，即通过固定或控制光照、视角、距离和被关注对象位置等外因来简化问题，从而提高动作识别的准确率。但是，随着应用的不断推广，在可控环境下的现有研究成果往往无法适应于实际的多样化需求。当前的真实应用系统往往存在严重的遮挡、视角变化和被关注对象位置变化等多种外因带来的影响，常常通过多摄像头监控系统的搭建来采集多视角信息，从而为准确的人体行为识别提供帮助。因此，挖掘人体行为的视觉特性，融合多视角信息，研究多视角下的人体行为识别方法成为当前研究热点。

在计算机视觉和模式识别相关研究领域中，多视角人体行为分析一直是最活跃的研究领域之一。由于三维空间往往较二维图像包含更多的视觉信息，因此早期研究多是通过多视角采集的视差图像进行三维空间的重建，并在三维空间进行人体行为识别。由于三维重建计算复杂度高，并且理想的三维重建本身存在很强的挑战性，因此，近些年通过二维视觉信息的表征和复杂人体行为模型的构建成为该领域主流方法。但是由于目标差异较大，同时，即使相同目标的行为也存在差异，这给人体行为识别带来了很大困难。

发明内容

本发明的目的是克服现有技术的上述不足，提供一种稀疏化、结构化和判别性多约束下的多视角监控视频中行为检测和识别方法，用于对视频监控中目标行为进行检测和识别，以实现对监控视频的智能分析。

本发明提供的稀疏化、结构化和判别性多约束下的多视角监控视频中行为检测和识别方法，用于对多视角视频监控中目标行为进行检测和识别，以实现对监控视频的智能分析，该方法具体包含以下步骤：

第1、视频预处理

针对多视角视频中的所有图像序列，通过中值滤波进行噪声过滤；

第2、目标检测

首先建立目标检测模型，用于检测多视角视频中是否出现目标即人体；

第3、目标跟踪

建立目标跟踪模型，用于跟踪第2步中检测到的人体，同时，对第2步中检测目标进行判断，是否存在新的人体；

第4、时空特征提取

根据图像序列中检测和跟踪结果，提取人体目标上的时空兴趣点特征，并保存对应的结果。

第5、滑动时间窗及特征归一化

根据预先设定的时间窗大小，采用“词袋”方法，对窗口内的所有时空兴趣点特征进行投影，并采用窗口内兴趣点的数目进行归一化，实现对其行为的描述。

第6、多约束下的多视角监控视频中行为识别模型构建和推断，实现目标行为的检测和判断。

第7、根据相邻滑动窗口的检测结果，进行结果融合。

针对多视角中的每个摄像头，重复步骤1-4，直到整个滑动时间窗内的帧都提取了时空兴趣点后，采用步骤5~6，获得对应窗口中的行为判定，继续滑动时间窗，重复步骤1-6，若发现相邻的时间窗的行为一致，则采用步骤7，合并相应时间窗的结果，实现多视角监控视频的行为判断和识别。

本发明的优点和有益效果；

1）通过多视角方法实现对目标进行监控，解决由于遮挡、光照变化以及视角变化等因素带来的影响；2）充分分析多视角场景中人体行为特征的内在关联特性，通过稀疏化、结构化和判别性约束的挖掘和相应正则项的制定，实现多视角人体行为识别目标函数的构建，另外，通过坐标下降法实现对人体目标行为的识别。3）通过多约束的最优化方法，实现多视角信息的无缝融合。

附图说明

图1为本发明的流程图。

图2为多摄像头布局的示意图。

图3为具体过滤前后的图像对比，A为过滤前的图像，B为噪声过滤后的图像。

图4为人体检测模型的构建过程。

图5为不同动作下提取的时空兴趣点示意图。

图6为基于“词袋”方法对时空兴趣点的投影和归一化流程。

图7为待表征样本与基的示意图。

图8为对应图7中待表征样本的重建系数的分布情况，说明模型构建的合理性。

具体实施方式

下面结合附图对本发明作进一步的描述。

实施例1

如图1所示，为本发明的一种稀疏化、结构化和判别性的多约束下的多视角视频监控中行为检测和识别方法的操作流程图，图2为多摄像头布局的示意图，该方法的操作步骤包括：

步骤10视频预处理

针对多视角视频中的所有图像序列，通过中值滤波进行噪声过滤，具体过滤前后的图像对比如图3所示；

步骤20目标检测

建立人体目标检测模型，用于检测视频中是否出现目标，具体模型构建包括以下几个步骤：

（1）数据收集；从INRIA Person Dataset中获取已标注的人体数据（1805个正样本），同时，从实际监控视频中对人体进行标注，收取了3200个正样本，总体正样本数目约为5000个。负样本也从INRIA Person Dataset和实际视频中产生，大约10000个负样本；

（2）提取HOG特征：针对所有的正负样本，提取HOG特征；

（3）模型训练：通过训练数据集，训练支持向量机分类器模型，建立人体检测器；

（4）模型更新：将训练好的分类器应用到实际的监控视频中，为了降低模型的误报率，不断的将误报的样本加入到训练数据集中，并重新训练模型，直到查全率和查准率都达到要求时停止更新。（查全率和查准率均大于95%）。

其中模型构建的基本过程见图4，具体方法参考：N.Dalal,B.Triggs,″Histograms ofOriented Gradients for Human Detection,″2005IEEE International Conference on ComputerVision and Pattern Recognition(CVPR2005),pp.886-893,2005。

步骤30目标跟踪

针对每个摄像头中每个目标，建立目标跟踪模型，用于跟踪步骤20中检测到的人体，同时，对步骤20中检测目标进行判断，是否存在新的人体；具体包括以下步骤：

（1）在第一帧中，采用步骤20算法，检测人体，在此基础上，设定若干初始点，并通过光流跟踪算法跟踪对应点；

（2）在第二帧中，同样，采用步骤20中的人体检测器，检测人体，并将检测的人体与光流跟踪点进行比较，确定最终的人体区域（将跟踪和检测结果融合，进一步提高了人的检测准确率，达到97%）；

（3）重复以上步骤；

（4）直到连续8帧以上没有出现人体，则这次的跟踪停止，当有新的目标出现时，则重新启动跟踪。

具体方法参见Z.Kalal,K.Mikolajczyk,and J.Matas,“Face-TLD:Tracking-Learning-Detection Applied to Faces,”International Conference on ImageProcessing,2010.

步骤40时空特征提取

提取时空兴趣点特征，具体包括以下步骤：

（1）首先通过不同尺度的高斯函数对原始图像进行滤波，并计算相邻尺度的滤波图像的差，然后，对原始图像进行下采样，同样进行高斯滤波，从而构成金字塔图像；

（2）在金字塔图像上，寻找空间极值点，同时，过滤不稳定的极值点；

（3）进一步地，计算每点的光流，判断光流大小，从而决定空间极值点是否为时空兴趣点；

（4）针对所有时空兴趣点，分别计算对应HOG和HOF特征，从而形成最终的特征描述。

图5给出了检测出的时空兴趣点特征，其具体方法参考：Ming-yu Chen and AlexHauptmann,MoSIFT:Recognizing Human Actions in Surveillance Videos，CMU-CS-09-161.

步骤50滑动时间窗及特征归一化

根据预先设定的时间窗大小，采用“词袋”方法，对窗口内的所有时空兴趣点特征进行投影，并采用窗口内兴趣点的数目进行归一化，实现对其行为的描述。其过程如图6所示，具体方法见Jun Yang,Yu-Gang Jiang,Alexander G.Hauptmann etc,Evaluatingbag-of-visual-words representations in scene classification[C],International MultimediaConference,MM'07,2007,197-206.

步骤60多约束下的多视角行为识别模型构建和推断

构建多约束下的多视角视频监控中行为识别模型，同时，基于坐标下降法的多参数模型联合最优推断，实现行为类别的判断，具体包括以下步骤：

1）多约束下多视角行为识别模型构建

针对单视角行为识别算法受视角、遮挡、光照、对象本身位置等因素变化影响明显的问题，通过稀疏化、结构化和判别性约束正则项构建多视角行为识别目标函数，其具体形式为：

{\hat{x}}_{i}^{k} = \arg \min_{x, k, i} \{\begin{matrix} {| | y^{k} - {Dx}^{k} | |}_{2}^{2} + λ_{1} {| | x^{k} | |}_{1} \\ + λ_{2} ({| | y^{k} - D_{i} x_{i}^{k} | |}_{2}^{2} + Σ_{j, j &NotEqual; i}^{M} {| | D_{j} x_{j}^{k} | |}_{2}^{2}) + λ_{3} {| | x^{k} - m_{i} | |}_{2}^{2} \end{matrix}\} - - - (1)

其中，M表示多视角行为识别中行为类别总数，k表示多视角摄像头序号，i表示行为类别的序号；y^k表示关注对象在对应序号为k的摄像头中的特征，D表示词典,并且D=[D₁,D₂,...,D_M]，D_j表示第j类行为对应的基，可记为（p表示第j类行为包含基的个数，并且每类行为包含基的个数可以不同，其中训练样本可以直接作为基）；

表示特征y^k在多视角联合词典的稀疏表示下的重建系数，

表示特征y^k对应第i类行为的重建系数；m_i表示在词典学习中为了使重建系数具有更好的判别性时，对应第i类重建系数的平均值；

表示关注目标在多视角联合词典中完全自动地寻找基进行投影时发现，在摄像头k下通过对应第i类的子词典进行重建时，能够获得最优推断，λ₁，λ₂和λ₃是标量常数，用于控制其对应项的贡献程度。

传统的目标拟合（目标重建）问题通常采用最小二乘和1-范数正则项来获取最优分解系数，然后将重建误差作为分类准则。然而，该方法忽略了基和重建系数的结构化特性及判别性信息，并且当基的类内距离相对较大而类间距离相对较小的时候，基于该方法的目标分解结果并不稳定。因此，针对多视角行为识别问题提出的融合稀疏化、结构化和判别性的凸二次规划目标函数包括如下四个部分：

●保真项

该项的构建是依据最小二乘准则，其作用是计算样本的重建误差。

●稀疏化正则项||x^k||₁：单独利用保真项进行目标重建往往缺少对重建系数稀疏性的约束，因此引入稀疏项来实现对重建系数稀疏性约束。稀疏项构建的依据是1-范数正则项可以代替0-范数来约束重建系数中非零系数的个数。

●结构化正则项

(j≠i,j=1,2，..M)：在限定重建系数稀疏性的同时，通常还希望对同类基赋予较接近的权重，来增强类内的一致性和类间的差异性。利用基潜在的类别特性构建结构化正则项，既希望仅利用目标所属类别的基进行重建时，其重建误差最小（即

最小），又希望利用其它基进行重建的贡献最小（即

(j≠i,j=1,2,..M)最小），所以结构化正则项可以表示为

{{| | y^{k} - D_{i} x_{i}^{k} | |}_{2}^{2} + Σ {| | D_{j} x_{j}^{k} | |}_{2}^{2}}

(j≠i,j=1,2，..M)。

●判别性正则项：通常希望重建系数中对应待重建目标所属类别的基具有非零系数，那么具有非零系数的基的类别即可以被用作分类准则。因此，在稀疏化和结构化约束的基础上，通过判别性正则项的引入显性增强重建系数的判别性，即：通过重建系数与类内样本重建系数均值m_i的距离

来构建正则项，通过该项的最小化来约束具有非零系数的基，使其尽可能属于待重建目标所属类别。

2）基于坐标下降法的多参数模型联合最优推断

在目标函数(1)中，重建系数x、不同视角摄像头序号k和行为类别序号i都是未知的参数，在上述三个变量的联合空间求解最优化是NP难问题。因此，提出基于坐标下降法求解该NP难问题。在每次迭代中固定其中两个变量而优化另一变量，并通过迭代实现模型推断的最优化，具体包含以下两个核心问题：

●在实际的多视角行为识别中，摄像头数目和行为类别数都是有限的，即k和i都有特定的状态空间。因此，可以将一个多变量联合最优问题转化为固定摄像头数目和行为类别数的单变量最优化问题，即：固定摄像头序号k和行为类别i，求解此时样本y的最优重建系数

目标函数(1)将变为如下凸函数形式：

{\hat{x}}_{i}^{k} = \arg \min_{x} \{\begin{matrix} {| | y - Dx | |}_{2}^{2} + λ_{1} {| | x | |}_{1} \\ + λ_{2} ({| | y - D_{i} x_{i} | |}_{2}^{2} + Σ_{j, j &NotEqual; i}^{M} {| | D_{j} x_{j} | |}_{2}^{2}) + λ_{3} {| | x - m_{i} | |}_{2}^{2} \end{matrix}\} - - - (2)

虽然上式中仍然有重建系数x和行为类别序号i两个未知的参数，但是对于某个固定的行为类别i，目标函数的最优化问题，可以采用当前成熟的算法（如内点法等）对其进行求解。（参数含义与式（1）中的含义相同）

●在求得固定摄像头序号k和行为类别i条件下的最优重建系数

的前提下，通过依次遍历行为类别i（固定k和x）和摄像头序号k（固定i和x）计算该重建系数在特定摄像头和行为类别组合下的重建误差。由于多视角中人体行为存在多样性，因此很难自动学习各类行为在各视角下判决的融合方法。为了克服以上困难，本发明将不依赖摄像头设置的先验信息进行判决后融合，提出基于最小重建误差准则的模型推断准则，即通过寻找误差最小的最优重建系数来自动实现对行为类别的判决，即：

{(k, i)}^{*} = \arg \min_{k, i} \{\begin{matrix} {| | y^{k} - D {\hat{x}}^{k} | |}_{2}^{2} + λ_{1} {| | {\hat{x}}^{k} | |}_{1} \\ + λ_{2} ({| | y^{k} - D_{i} {\hat{x}}_{i}^{k} | |}_{2}^{2} + Σ_{j, j &NotEqual; i}^{M} {| | D_{j} {\hat{x}}_{j}^{k} | |}_{2}^{2} + λ_{3} {| | {\hat{x}}^{k} - m_{i} | |}_{2}^{2}) \end{matrix}\} - - - (3)

其中，

中i和k表示被关注目标在多视角行为联合空间中被重建时，摄像头k下通过对应第i类行为的子词典进行重建的最优重建系数，其它参数含义与式（1）中的含义相同。

通过对(2)和(3)式的最优求解，关注目标不仅能够在多视角行为数据联合空间中自动地寻找最优的基，从而有利于解决由于视角变化、遮挡、距离远近和关注目标本身位置变化等因素带来的干扰，并且可以通过最小重建误差准则实现模型最优推断。

其中图7和图8标识了模型在采用或不采用多约束条件下，其重建系数的变化情况，从图8可以看出，当模型采用多约束条件时，其系数具有更好的区分性，能够更好的识别行为类别。

步骤70相邻时间窗的结果融合

根据相邻时间窗的结果，对结果进行融合。如果相邻时间窗的结果相同，则相邻的时间窗进行合并，否则，则保留对应的时间窗和结果，从而实现对行为的检测和判断。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种稀疏化、结构化和判别性多约束下的多视角监控视频中行为检测和识别方法，用于对多视角视频监控中目标行为进行检测和识别，以实现对多视角监控视频的智能分析，其特征在于该方法具体包含以下步骤：

第1、视频预处理

第2、目标检测

第3、目标跟踪

建立目标跟踪模型，用于跟踪第2步中检测到的所有的目标，同时，对第2步中检测目标进行判断，是否出现新的人体；

第4、时空特征提取

根据图像序列中检测和跟踪结果，提取人体目标上的时空兴趣点特征，并保存对应的结果；

第5、滑动时间窗及特征归一化

根据预先设定的时间窗大小，采用“词袋”方法，对窗口内的所有时空兴趣点特征进行投影，并采用窗口内兴趣点的数目进行归一化，实现对其行为的描述；

第6、多约束下的多视角监控视频中行为识别模型构建和推断，实现目标行为的检测和判断；

第7、根据相邻滑动窗口的检测结果，进行结果融合

2.根据权利要求1所述的方法，其特征在于通过多视角方法解决视频监控中由于遮挡、光照、视角变化等因素带来的难题，同时，充分分析多视角场景中人体行为特征的内在关联特性，通过稀疏化、结构化和判别性约束的挖掘和相应正则项的制定，实现多视角人体行为识别目标函数的构建，其次，通过坐标下降法实现对人体目标行为的识别。