CN105069434B

CN105069434B - 一种视频中人体动作行为识别方法

Info

Publication number: CN105069434B
Application number: CN201510492289.8A
Authority: CN
Inventors: 程海粟; 李庆武; 仇春春; 郭晶晶
Original assignee: Changzhou Campus of Hohai University
Current assignee: Changzhou Campus of Hohai University
Priority date: 2015-08-12
Filing date: 2015-08-12
Publication date: 2018-06-05
Anticipated expiration: 2035-08-12
Also published as: CN105069434A

Abstract

本发明公开了一种视频中人体动作行为识别方法，涉及计算机视觉领域。本发明针对目前基于轨迹技术的人体行为识别方法中轨迹提纯和特征表达有效性不足等问题，提出一种基于改进密集轨迹的人体行为识别方法。本发明主要包括两个创新点：一是从生物学角度通过运动显著性分析对密集轨迹进行提纯，使得提纯后的轨迹更加可靠；二是根据运动显著性值分布优化词袋模型，提高特征表达的有效性。本发明的方法在KTH和UCF sports人体动作行为测试数据集上能够取得较高的识别率。

Description

一种视频中人体动作行为识别方法

技术领域

本发明属于计算机视觉领域，尤其是涉及一种视频中人体动作行为识别方法。

背景技术

人体动作行为识别是视频理解的重要研究方向，并已经被广泛地应用到实际中，例如人机交互、异常事件监测和基于内容的视频搜索等。近些年来涌现了大量的人体动作行为识别方法，但由于人体运动的高复杂性、多变性、背景干扰等因素，目前的行为特征大多比较冗余和有效性不足，人体动作行为识别仍是计算机视觉领域的热点与难点问题。既然人体行为具有复杂的多变性，那么基于模板的行为模型需要非常庞大的行为原型模板，在存储和传输方面将花费巨大的代价。

Laptev等人(Laptev I,Lindeberg T.On Space-Time Interest Points[J].International Journal of Computer Vision,2005,64(2-3):107-23)提出了在时空卷中使用检测时空兴趣点的方法提取时空特征，类似于在图像中查找Harris角点，但是对于复杂背景效果不尽理想。等人(M,Laptev I,Schmid C.Actions incontext[C].//Proceedings of IEEE International Conference on Computer Visionand Pattern Recognition,2009:2929-2936)提出了利用行为和场景的上下文关系来提高行为识别的准确率。Chakraborty等人(M,Laptev I,Schmid C.Actions incontext[C].//Proceedings of IEEE International Conference on Computer Visionand Pattern Recognition,2009:2929-2936)提出了一种抑制无用背景兴趣点的方法，突出有价值的兴趣点，获得了识别率的提升。

目前的人体动作行为识别方法中，基于轨迹的技术是最新的研究热点之一。但是有效地使用轨迹技术识别视频中人体动作行为存在两个关键点：轨迹提纯和特征表达有效性，因此需要能够有效对轨迹提纯和特征表达的方法。

发明内容

本发明的目的在于提升视频中人体动作行为的识别率，针对目前基于轨迹技术的人体动作行为识别方法中轨迹提纯和特征表达有效性不足等问题，提出一种基于改进密集轨迹的人体行为识别方法。一是从生物学角度通过运动显著性分析对密集轨迹进行提纯，使得提纯后的轨迹更加可靠；二是根据运动显著性值分布优化词袋模型，提高特征表达的有效性。本发明的方法在KTH和UCF sports人体动作行为测试数据集上能够取得较高的识别率。

本发明技术方案是提供一种视频中人体动作行为识别方法，其特征在于：包括以下步骤：

1)对视频进行运动显著性检测和提取密集轨迹；

2)通过运动显著性分析对密集轨迹进行提纯；

3)根据提纯后的密集轨迹计算行为特征；

4)根据运动显著性值分布优化词袋模型进行精确的视频特征表达。

前述的一种视频中人体动作行为识别方法，其特征在于：在步骤1)中，运动显著性检测是每连续两帧提取一幅运动显著图，每连续15帧提取一段密集轨迹。

前述的一种视频中人体动作行为识别方法，其特征在于：在步骤2)中，所述通过运动显著性分析对密集轨迹进行提纯方法，是从生物学角度依据特征点位置的显著性强度值对轨迹进行提纯。

前述的一种视频中人体动作行为识别方法，其特征在于：在步骤2)中，所述从生物学角度依据特征点位置的显著性强度值对轨迹进行提纯方法，具体原理步骤为：

21)定义未提纯的轨迹为T₁＝{P_(t,i)}，其中P_(t,i)表示第t帧图像中第i个特征点的位置(x,y)；

22)对于运动显著性图中强度小于阈值一λ₁的区域判定为背景或不重要的特征点；

23)对于轨迹上相邻两帧间特征点的显著性强度差值大于阈值二λ₂的定义为跟踪漂移问题；

24)根据步骤22)和23)提纯后的轨迹T₂为：

T₂＝{P_(t,i)|P_(t,i)∈T₁,S_t(P_(t,i))＞＝λ₁,|S_t(P_(t,i))-S_t+1(P_(t+1,i))|＜＝λ₂},其中S_t(P_(t,i))为第t帧图像中第i个特征点位置的显著性值。

前述的一种视频中人体动作行为识别方法，其特征在于：在步骤3)中，所述根据密集轨迹计算行为特征方法，是计算密集轨迹位移向量和轨迹包络里每个时空块内计算的HOG(histograms of oriented gradients)，HOF(histograms of optical flow)及MBH(motion boundary histogram)描述符作为特征。

前述的一种视频中人体动作行为识别方法，其特征在于：在步骤4)中，根据运动显著性值分布优化词袋模型进行精确的视频特征表达方法，是通过运动区域显著性强度分布图计算每个轨迹的权值，并使用权值K-means聚类学习方法以生成更精确的视觉字典。

前述的一种人体动作行为识别方法，其特征在于：在步骤4)中，使用权值K-means聚类学习方法以生成更精确的视觉字典方法，具体步骤为：

41)在所有的训练视频中，设定提取的所有轨迹集合为T＝{T_i}，对应的特征描述符集合为X＝{x_i}，根据运动区域显著性强度分布图计算每个轨迹的权值w_i为：

其中，m为轨迹T_i的特征点编号，L为设定的轨迹长度15，T_i为第i个轨迹，x_i为第i个轨迹的特征向量；

2)使用权值K-means算法来构建最优视觉词典，公式如下：

其中，Z＝{z_j}集合为构建的视觉字典，z_j为视觉词汇，K为设定的字典聚类个数，X表示特征向量集合X＝{x_i}，双竖线表示向量的范数，上标2就表示2范数；

3)对于每个行为视频的特征表达，使用一个k维的向量表示为H＝[h₁,...,h_k]，即该视频描述符根据视觉字典Z＝{z_j}计算出的词频直方图，h_k为视频特征向量中最接近第k个视觉词汇的个数，鉴于视频描述符X＝{x_i}均有对应的权值w_i，在计算词频直方图时使用修改的欧式距离公式：

Distancei_j＝||wixi-z_j||² (14)

并将得到的词频直方图权值化为H′＝[w₁h₁,...,w_kh_k]作为最终的特征表达直方图，这样可以突出运动剧烈的区域，抑制运动细微和背景区域，使得视频表达效果更好。

附图说明

图1为本发明一种视频中人体动作行为识别方法流程示意图；

图2为提纯后的跑步和举重行为的密集轨迹示意图；

图3为时空块内组合特征提取示意图；

图4为优化K-means在KTH数据集上的性能示意图；

图5为优化K-means在UCF sports数据集上的性能示意图。

具体实施方式

下面对本发明的具体实施方式做进一步详细的描述。

如图1所示，本发明首先对视频序列的每一帧进行采集，提取密集轨迹和运动显著图，并根据运动显著图对密集轨迹进行提纯，然后在轨迹经过的时空块内计算组合特征，再根据运动显著值分布优化词袋模型进行精确特征表达，最后进行特征训练和识别。

如图2所示，设定轨迹最长连续帧数为15，提取原始密集轨迹。对于运动显著性图中强度小于阈值一λ₁的区域判定为背景或不重要的特征点，对于轨迹上相邻两帧间特征点的显著性强度差值大于阈值二λ₂的定义为跟踪漂移问题，并都予以剔除。

本发明一种视频中人体动作行为识别方法的实现具体步骤如下：

1)使用OpenCV采集视频序列中的每一帧；

2)运动显著图的提取，其具体步骤如下：

a.使用稀疏编码表示视频中每个b×b×w维时空块x；

b.计算每个时空块x的残差；

c.所有时空块的残差归一化作为运动显著图S_t(x,y)。

3)改进密集轨迹的提取，其具体步骤如下：

a.在视频中，对应每一帧图片，每隔5个像素点采样一个特征点，每个尺度都分别进行采样；

b.设置8个空间尺度，并且每个空间尺度之间的尺度因子按照的比例增加，对于第t帧和第t+1帧图像之间的密集光流场是w_t＝(u_t,v_t)，其中u_t和v_t分别是光流场中的水平分量和垂直分量；

c.对第t帧图像上的特征点P_t＝(x_t,y_t)使用中值滤波器在光流域w_t上做平滑操作，该点平滑后在对应的第t+1帧上的位置定义为：P_t+1＝(x_t+1,y_t+1)＝(x_t,y_t)+(M*w_t)|_(x,y)，其中M是3×3中值滤波内核；表示中值滤波是以(x,y)为中心，M为内核，w_t为光流域；

d.将后续帧中，跟踪到的特征点串联起来就形成了原始轨迹T₁＝{P_(t,i)}，其中P_(t,i)表示第t帧图像中第i个特征点的位置(x,y)；

e.对于运动显著性图中强度小于λ₁的区域定义为背景或不重要的特征点，并且对于轨迹上相邻两帧间特征点的显著性强度差值大于λ₂的定义为跟踪漂移问题。因此，提纯后的轨迹定义：

T₂＝{P_(t,i)|P_(t,i)∈T₁,S_t(P_t,i)＞＝λ₁,|S_t(P_t,i)-S_t+1(P_t+1,i)|＜＝λ₂}

4)组合特征的计算，其具体步骤如下：

a.设定时空卷大小为N×N×L，其中N＝32，L＝15。并将每个时空卷继续划分成大小为n_σ×n_σ×n_τ的时空块，其中n_σ＝2，n_τ＝3。

b.每一个时空块内计算HOG、HOF和MBH特征，并且方向都量化为8bins。最终得到一个326维的描述符，并使用L2范数归一化，其中包含30维的轨迹位移特征，96维的HOG特征，108维HOF特征和192维的MBH特征(如图3，时空块内组合特征提取示意图)。

5)优化词袋模型精确表达特征，其具体步骤如下：

a.在所有的训练视频中，设定提取的所有轨迹集合为T＝{T_i}，对应的特征描述符集合为X＝{x_i}。根据运动区域显著性强度分布图计算每个轨迹的权值：其中，k为轨迹T_i的特征点编号；

b.使用权值K-means算法来构建最优视觉词典，公式为：

其中，Z＝{z_j}为构建的视觉词典。

c.每个行为视频的特征表达，使用一个k维的向量表示H＝[h₁,...,h_k]，即该视频描述符根据视觉字典Z＝{z_j}计算出的词频直方图。鉴于视频描述符X＝{x_i}都有对应的权值w_i，在计算词频直方图时使用修改的欧式距离公式：Distance_ij＝||w_ix_i-z_j||²,并将得到的词频直方图权值化为H′＝[w₁h₁,...,w_kh_k]作为最终的特征表达直方图，这样可以突出运动剧烈的区域，抑制运动细微和背景区域，使得视频表达效果更好(如图4，优化K-means在KTH数据集上的性能示意图；如图5，优化K-means在UCF sports数据集上的性能示意图)。

以上已以较佳实施例公布本发明如上，然其并非用以限制本发明，凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims

1.一种视频中人体动作行为识别方法，其特征在于：包括以下步骤：

1)对视频进行运动显著性检测和提取密集轨迹；

2)通过运动显著性分析对密集轨迹进行提纯；

3)根据提纯后的密集轨迹计算行为特征；

2.根据权利要求1所述的一种视频中人体动作行为识别方法，其特征在于：在步骤1)中，运动显著性检测是每连续两帧提取一幅运动显著图，每连续15帧提取一段密集轨迹。

3.根据权利要求2所述的一种视频中人体动作行为识别方法，其特征在于：在步骤1)中，运动显著图的提取具体步骤如下：

a.使用稀疏编码表示视频中每个b×b×w维时空块x；

b.计算每个时空块x的残差；

c.所有时空块的残差归一化作为运动显著图S_t(x,y)。

4.根据权利要求2所述的一种视频中人体动作行为识别方法，其特征在于：在步骤1)中，改进密集轨迹的提取具体步骤如下：

c.对第t帧图像上的特征点P_t＝(x_t,y_t)使用中值滤波器在光流域w_t上做平滑操作，该点平滑后在对应的第t+1帧上的位置定义为：P_t+1＝(x_t+1,y_t+1)＝(x_t,y_t)+(M*w_t)|_(x,y)，其中M是3×3中值滤波内核；表示中值滤波是以(x,y)为中心，M为内核，w_t为光流域。

5.根据权利要求1所述的一种视频中人体动作行为识别方法，其特征在于：在步骤2)中，所述通过运动显著性分析对密集轨迹进行提纯方法，是从生物学角度依据特征点位置的显著性强度值对轨迹进行提纯。

6.根据权利要求5所述的一种视频中人体动作行为识别方法，其特征在于：在步骤2)中，所述从生物学角度依据特征点位置的显著性强度值对轨迹进行提纯方法，具体原理步骤为：

24)根据步骤22)和23)提纯后的轨迹T₂为：

T₂＝{P_(t,i)|P_(t,i)∈T₁,S_t(P_(t,i))>＝λ₁,|S_t(P_(t,i))-S_t+1(P_(t+1,i))|<＝λ₂},其中S_t(P_(t,i))为第t帧图像中第i个特征点位置的显著性值。

7.根据权利要求1所述的一种视频中人体动作行为识别方法，其特征在于：在步骤3)中，所述根据密集轨迹计算行为特征方法，是计算密集轨迹位移向量和轨迹包络里每个时空块内计算的HOG，HOF及MBH描述符作为特征。

8.根据权利要求1所述的一种视频中人体动作行为识别方法，其特征在于：在步骤4)中，根据运动显著性值分布优化词袋模型进行精确的视频特征表达方法，是通过运动区域显著性强度分布图计算每个轨迹的权值，并使用权值K-means聚类学习方法以生成更精确的视觉字典。

9.根据权利要求8所述的一种视频中人体动作行为识别方法，其特征在于：在步骤4)中，使用权值K-means聚类学习方法以生成更精确的视觉字典方法，具体步骤为：

<mrow> <msub> <mi>w</mi> <mi>i</mi> </msub> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mi>t</mi> </mrow> <mrow> <mi>t</mi> <mo>+</mo> <mi>L</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <mfrac> <mrow> <msub> <mi>s</mi> <mi>n</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>P</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>,</mo> <mi>m</mi> <mo>)</mo> </mrow> </msub> <mo>)</mo> </mrow> </mrow> <mi>L</mi> </mfrac> </mrow>

其中，s_n(P_(n,m))为第n帧图像中第m个特征点位置的显著性值，m为轨迹T_i的特征点编号，L为设定的轨迹长度15，T_i为第i个轨迹，x_i为第i个轨迹的特征向量；

42)使用权值K-means算法来构建最优视觉词典，公式如下：

<mrow> <munder> <mrow> <mi>arg</mi> <mi>min</mi> </mrow> <mi>X</mi> </munder> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>K</mi> </munderover> <munder> <mo>&Sigma;</mo> <mrow> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>&Element;</mo> <mi>X</mi> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msub> <mi>w</mi> <mi>i</mi> </msub> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>z</mi> <mi>j</mi> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> </mrow>

其中，Z＝{z_j}集合为构建的视觉字典，z_j为视觉词汇，K为设定的字典聚类个数，X表示特征向量集合X＝{x_i}，双竖线表示向量的范数；

43)对于每个行为视频的特征表达，使用一个k维的向量表示为H＝[h₁,...,h_k]，即该视频描述符根据视觉字典Z＝{z_j}计算出的词频直方图，h_k为视频特征向量中最接近第k个视觉词汇的个数，鉴于视频描述符X＝{x_i}均有对应的权值w_i，在计算词频直方图时使用修改的欧式距离公式：

Distance_ij＝||w_ix_i-z_j||² (14)

并将得到的词频直方图权值化为H′＝[w₁h₁,...,w_kh_k]作为最终的特征表达直方图。