CN103345623A - 一种基于鲁棒相对属性的行为识别方法 - Google Patents

一种基于鲁棒相对属性的行为识别方法 Download PDF

Info

Publication number
CN103345623A
CN103345623A CN201310290428XA CN201310290428A CN103345623A CN 103345623 A CN103345623 A CN 103345623A CN 201310290428X A CN201310290428X A CN 201310290428XA CN 201310290428 A CN201310290428 A CN 201310290428A CN 103345623 A CN103345623 A CN 103345623A
Authority
CN
China
Prior art keywords
human body
support vector
vector machine
motion
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310290428XA
Other languages
English (en)
Other versions
CN103345623B (zh
Inventor
王春恒
张重
肖柏华
周文
刘爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201310290428.XA priority Critical patent/CN103345623B/zh
Publication of CN103345623A publication Critical patent/CN103345623A/zh
Application granted granted Critical
Publication of CN103345623B publication Critical patent/CN103345623B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于鲁棒相对属性的行为识别方法。该方法包括以下步骤:提取视频样本库中每个动作视频样本的特征向量;设定对应于多种人体行为的多个人体运动属性,以及在每个人体运动属性下,每两个代表人体行为的动作视频,即动作视频对之间的关系;将所述动作视频对之间的关系作为输入,利用排序支持向量机进行训练,得到训练模型;利用梯度下降法求解所述排序支持向量机,得到所述排序支持向量机的参数向量,进而得到最优训练模型;利用得到的最优训练模型对每个待测试的动作视频进行人体行为识别,得到人体行为识别结果。实验证明,本发明方法能够提高人体行为识别的鲁棒性。

Description

一种基于鲁棒相对属性的行为识别方法
技术领域
本发明属于智能视频监控技术领域,具体涉及一种基于鲁棒相对属性的行为识别方法。
背景技术
行为识别在视频监控中扮演着重要的角色,它可以识别出视频中人体的行为动作,为危险行为报警、特定行为识别做出贡献。行为识别中最简单最有效的方法当属基于词包模型(bag-of-words,BOW)的方法,此方法先对视频进行特征提取,然后将所有的特征聚类,然后根据每个视频特征在聚类中心出现的频率进行直方图化。但是此方法的一个缺点是没有考虑到时空特征。Zhang等人利用基于语义的线性编码方式不仅考虑了特征之间的时空关系而且减少了重构误差。Ryoo等人提出一种“特征×特征×关系”直方图去同时获取特征点之间表象的关系。Kovashaka等人利用近邻时空兴趣点设计一种层级直方图来弥补词包模型的不足。
基于词包模型的方法均是直接将底层特征和类别标签相连。然后,丰富的时空信息很难被单一的类别标签表示。所以近期的一些研究工作提出用属性描述动作的相关信息,属性特征可以被视为高层语义特征。Lampert等人提出直接属性预测模型(directattributeprediction,DAP)。刘等人把每个动作属性当成潜变量去预测行为类别。在这些模型中,均把属性当做一个二值变量,表示该属性是否存在于某个动作。但是在现实生活中,二值属性并不能什么准确的描述行为动作。因此,Parikh等人提出相对属性的概念,该方法通过描述属性之间的相对关系来表示行为。
发明内容
本发明的目的是要解决上述现有技术中存在的技术问题,为此,本发明提供一种基于鲁棒相对属性的行为识别方法。
为了实现所述目的,本发明基于鲁棒相对属性的行为识别方法包括以下步骤:
步骤S1,提取视频样本库中每个动作视频样本的特征向量;
步骤S2,设定对应于多种人体行为的多个人体运动属性,以及在每个人体运动属性下,每两个代表人体行为的动作视频,即动作视频对之间的关系;
步骤S3,将所述动作视频对之间的关系作为输入,利用排序支持向量机进行训练,得到训练模型;
步骤S4,利用梯度下降法求解所述排序支持向量机,得到所述排序支持向量机的参数向量,进而得到最优训练模型;
步骤S5,利用所述步骤S4得到的最优训练模型对每个待测试的动作视频进行人体行为识别,得到人体行为识别结果。
本发明的有益效果:通过利用损失函数是Sigmoid和Gaussian函数的排序支持向量机达到行为识别的目的;通过梯度下降法求解损失函数是Sigmoid和Gaussian函数的排序支持向量机,从而提高行为识别的鲁棒性。
附图说明
图1是本发明基于鲁棒相对属性的行为识别方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
图1是本发明基于鲁棒相对属性的行为识别方法流程图,如图1所述,所述方法包括以下步骤:
步骤S1,提取视频样本库中每个动作视频样本的特征向量;
所述步骤S1进一步包括以下步骤:
步骤S11,对所述视频样本库中的每个动作视频样本利用三维角点特征(Harris3D)提取多个时空兴趣点;
步骤S12,在每个提取到的时空兴趣点周围(比如20*20像素点的范围)提取梯度直方图(histogramoforientedgradients,HOG)和光流直方图(histogramofopticalflow,HOF),并将提取得到的这两个特征直接连成一个特征向量;
步骤S13,利用聚类方法将所有得到的特征向量聚集为多个聚类中心(比如2000个);
所述聚类方法可以使用现有技术中常用的k-means聚类方法或其他聚类方法。
步骤S14,利用词包模型(bag-of-words,BOW)将每个动作视频样本表示成一个维数与所述聚类中心的个数相同的直方图,作为相应动作视频样本的特征向量,该直方图的每一维表示该动作视频样本的特征向量在相应聚类中心出现的频率。
步骤S2,设定对应于多种人体行为的多个人体运动属性,以及在每个人体运动属性下,每两个代表人体行为的动作视频,即动作视频对之间的关系;
在本发明一实施例中定义了六种人体行为,分别为:拳击,鼓掌,挥手,慢跑,跑和走,并定义了5种人体运动属性以及它们之间的关系,如表1所示,表1中,左栏表示六种人体行为的5种人体运动属性,右栏表示这5种人体运动属性之间的相对关系,其中,1表示拳击,2表示鼓掌,3表示挥手,4表示慢跑,5表示跑,6表示走,“>”表示人体运动属性的大于(强于)关系,比如对于跑这种人体行为来说,其腿部运动要大于或者说强于慢跑这种人体行为的腿部运动,这样的话,对于人体运动属性“腿的运动”,跑和慢跑这两种人体行为存在关系:5>4,“~”表示人体运动属性的相似关系:
表1
属性 关系
腿的运动 5>4>6>1~2~3
手臂的运动 3>2>1>5>4~6
手臂的张合 2>3>1~4~5~6
手臂形状的笔直情况 2~3>6>1>4~5
过胸的手臂运动 3>1~2>4~5>6
步骤S3,将所述动作视频对之间的关系作为输入,利用排序支持向量机(RankSVM)进行训练,得到训练模型;
所述排序支持向量机采用Sigmoid和Gaussian函数作为损失函数,所述排序支持向量机的目标函数可以写为:
minλ | | w | | 2 + Σ i , j L 1 ( w T ( x i - x j ) , α ) + Σ m , n L 2 ( w T ( x m - x n ) , β ) ,
其中,λ是用来平衡排序支持向量机参数的稀疏度和损失之间的关系的平衡因子;w是待求的排序支持向量机参数向量;xi和xj表示两个人体运动属性为大于关系的样本,即xi>xj;xm和xn表示两个人体运动属性为相似关系的样本,即xm~xn;L1为Sigmoid损失函数,L2为Gaussian损失函数,分别定义如下:
L 1 ( t , α ) = 1 - 1 1 + e - αt ,
这里,t是损失值,α用于控制Sigmoid函数的形状,e是自然对数;
L 2 ( t , β ) = 1 - 1 β 2 π e - t 2 2 β 2 ,
这里,t是损失值,β用于控制Gaussian函数的形状,e是自然对数;
步骤S4,利用梯度下降法求解所述排序支持向量机,得到所述排序支持向量机的参数向量,进而得到最优训练模型;
该步骤中对于所述排序支持向量机的求解具体为对所述目标函数中的w进行求导:
▿ = 2 wλ - Σ i , j αF 1 ( 1 - F 1 ) ( x i - x j ) - Σ i , j 1 β 3 F 2 ( x i - x j ) ,
其中:
F 1 = 1 / { 1 + e - αw T ( x i - x j ) } F 2 = 2 π e [ w T ( x m - x n ) ] 2 / β 2 w T ( x i - x j ) ,
利用梯度下降法对于上述公式进行求解可以得到:
w iter + 1 = w iter - η ▿ iter ,
其中,iter表示迭代的次数,η表示学习率。
步骤S5,利用所述步骤S4得到的最优训练模型对每个待测试的动作视频进行人体行为识别,得到人体行为识别结果。
以网上公开的数据库作为测试对象,比如在KTH数据库上,本发明方法的人体行为识别正确率为93.8%,由此可见本发明方法的有效性。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于鲁棒相对属性的行为识别方法,其特征在于,该方法包括以下步骤:
步骤S1,提取视频样本库中每个动作视频样本的特征向量;
步骤S2,设定对应于多种人体行为的多个人体运动属性,以及在每个人体运动属性下,每两个代表人体行为的动作视频,即动作视频对之间的关系;
步骤S3,将所述动作视频对之间的关系作为输入,利用排序支持向量机进行训练,得到训练模型;
步骤S4,利用梯度下降法求解所述排序支持向量机,得到所述排序支持向量机的参数向量,进而得到最优训练模型;
步骤S5,利用所述步骤S4得到的最优训练模型对每个待测试的动作视频进行人体行为识别,得到人体行为识别结果。
2.根据权利要求1所述的方法,其特征在于,所述步骤S1进一步包括以下步骤:
步骤S11,对所述视频样本库中的每个动作视频样本利用三维角点特征提取多个时空兴趣点;
步骤S12,在每个提取到的时空兴趣点周围提取梯度直方图和光流直方图,并将提取得到的这两个特征直接连成一个特征向量;
步骤S13,利用聚类方法将所有得到的特征向量聚集为多个聚类中心;
步骤S14,利用词包模型将每个动作视频样本表示成一个维数与所述聚类中心的个数相同的直方图,作为相应动作视频样本的特征向量。
3.根据权利要求2所述的方法,其特征在于,所述步骤S14中的直方图的每一维表示在相应聚类中心出现特征向量的个数。
4.根据权利要求1所述的方法,其特征在于,所述步骤S2中,所述多种人体行为包括拳击,鼓掌,挥手,慢跑,跑和走;所述多个人体运动属性包括腿的运动,手臂的运动,手臂的张合,手臂形状的笔直情况和过胸的手臂运动。
5.根据权利要求4所述的方法,其特征在于,在每个人体运动属性下,动作视频对之间的关系包括:
对于所述腿的运动,跑>慢跑>走>拳击~鼓掌~挥手;
对于所述手臂的运动,挥手>鼓掌>拳击>跑>慢跑~走;
对于所述手臂的张合,鼓掌>挥手>拳击~慢跑~跑~走;
对于所述手臂形状的笔直情况,鼓掌~挥手>走>拳击>慢跑~跑;
对于所述过胸的手臂运动,挥手>拳击~鼓掌>慢跑~跑>走;
其中,“>”表示人体运动属性的大于关系,“~”表示人体运动属性的相似关系。
6.根据权利要求1所述的方法,其特征在于,所述排序支持向量机采用Sigmoid和Gaussian函数作为损失函数。
7.根据权利要求1所述的方法,其特征在于,所述排序支持向量机的目标函数可以写为:
minλ | | w | | 2 + Σ i , j L 1 ( w T ( x i - x j ) , α ) + Σ m , n L 2 ( w T ( x m - x n ) , β ) ,
其中,λ是用来平衡排序支持向量机参数的稀疏度和损失之间的关系的平衡因子;w是待求的排序支持向量机参数向量;xi和xj表示两个人体运动属性为大于关系的样本,即xi>xj;xm和xn表示两个人体运动属性为相似关系的样本,即xm~xn;L1为Sigmoid损失函数,L2为Gaussian损失函数:
L 1 ( t , α ) = 1 - 1 1 + e - αt ,
其中,t是损失值,α用于控制Sigmoid函数的形状,e是自然对数;
L 2 ( t , β ) = 1 - 1 β 2 π e - t 2 2 β 2 ,
其中,t是损失值,β用于控制Gaussian函数的形状,e是自然对数。
8.根据权利要求7所述的方法,其特征在于,利用梯度下降法求解所述排序支持向量机包括以下步骤:
首先,对所述目标函数中的w进行求导:
▿ = 2 wλ - Σ i , j αF 1 ( 1 - F 1 ) ( x i - x j ) - Σ i , j 1 β 3 F 2 ( x i - x j ) ,
其中, F 1 = 1 / { 1 + e - αw T ( x i - x j ) } F 2 = 2 π e [ w T ( x m - x n ) ] 2 / β 2 w T ( x i - x j ) ,
然后,利用梯度下降法对于上式进行求解得到:
w iter + 1 = w iter - η ▿ iter ,
其中,iter表示迭代的次数,η表示学习率。
CN201310290428.XA 2013-07-11 2013-07-11 一种基于鲁棒相对属性的行为识别方法 Expired - Fee Related CN103345623B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310290428.XA CN103345623B (zh) 2013-07-11 2013-07-11 一种基于鲁棒相对属性的行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310290428.XA CN103345623B (zh) 2013-07-11 2013-07-11 一种基于鲁棒相对属性的行为识别方法

Publications (2)

Publication Number Publication Date
CN103345623A true CN103345623A (zh) 2013-10-09
CN103345623B CN103345623B (zh) 2016-09-21

Family

ID=49280418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310290428.XA Expired - Fee Related CN103345623B (zh) 2013-07-11 2013-07-11 一种基于鲁棒相对属性的行为识别方法

Country Status (1)

Country Link
CN (1) CN103345623B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036287A (zh) * 2014-05-16 2014-09-10 同济大学 一种基于人类运动显著轨迹的视频分类方法
CN105095884A (zh) * 2015-08-31 2015-11-25 桂林电子科技大学 一种基于随机森林支持向量机的行人识别系统及处理方法
CN108241849A (zh) * 2017-08-28 2018-07-03 北方工业大学 基于视频的人体交互动作识别方法
CN109978013A (zh) * 2019-03-06 2019-07-05 华南理工大学 一种用于人物动作识别的深度聚类方法
CN110232343A (zh) * 2019-06-04 2019-09-13 重庆第二师范学院 基于潜变量模型的儿童个性化行为统计分析系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102810161A (zh) * 2012-06-07 2012-12-05 江苏物联网研究发展中心 一种用于拥挤场景下的多个行人检测方法
CN103186775A (zh) * 2013-03-27 2013-07-03 西安电子科技大学 基于混合描述子的人体运动识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102810161A (zh) * 2012-06-07 2012-12-05 江苏物联网研究发展中心 一种用于拥挤场景下的多个行人检测方法
CN103186775A (zh) * 2013-03-27 2013-07-03 西安电子科技大学 基于混合描述子的人体运动识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
颜志国等: "SVM和小波包变换在动作模式识别中的应用", 《中国医学物理学杂志》 *
高若云等: "基于方向梯度的相关图算法在人体动作识别中的应用", 《电脑知识与技术》 *
黄先锋等: "基于运动与外形特征的人体行为识别", 《计算机工程》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036287A (zh) * 2014-05-16 2014-09-10 同济大学 一种基于人类运动显著轨迹的视频分类方法
CN104036287B (zh) * 2014-05-16 2017-05-24 同济大学 一种基于人类运动显著轨迹的视频分类方法
CN105095884A (zh) * 2015-08-31 2015-11-25 桂林电子科技大学 一种基于随机森林支持向量机的行人识别系统及处理方法
CN105095884B (zh) * 2015-08-31 2018-11-13 桂林电子科技大学 一种基于随机森林支持向量机的行人识别系统及处理方法
CN108241849A (zh) * 2017-08-28 2018-07-03 北方工业大学 基于视频的人体交互动作识别方法
CN108241849B (zh) * 2017-08-28 2021-09-07 北方工业大学 基于视频的人体交互动作识别方法
CN109978013A (zh) * 2019-03-06 2019-07-05 华南理工大学 一种用于人物动作识别的深度聚类方法
CN109978013B (zh) * 2019-03-06 2021-01-19 华南理工大学 一种用于人物动作识别的深度聚类方法
CN110232343A (zh) * 2019-06-04 2019-09-13 重庆第二师范学院 基于潜变量模型的儿童个性化行为统计分析系统及方法
CN110232343B (zh) * 2019-06-04 2021-09-28 重庆第二师范学院 基于潜变量模型的儿童个性化行为统计分析系统及方法

Also Published As

Publication number Publication date
CN103345623B (zh) 2016-09-21

Similar Documents

Publication Publication Date Title
CN103400160A (zh) 一种零训练样本行为识别方法
Anoopkumar et al. A Review on Data Mining techniques and factors used in Educational Data Mining to predict student amelioration
CN109447140A (zh) 一种基于神经网络深度学习的图像识别并推荐认知的方法
CN107766787A (zh) 人脸属性识别方法、装置、终端及存储介质
CN105389583A (zh) 图像分类器的生成方法、图像分类方法和装置
CN103345623A (zh) 一种基于鲁棒相对属性的行为识别方法
CN109461037A (zh) 评论观点聚类方法、装置和终端
CN112149421A (zh) 一种基于bert嵌入的软件编程领域实体识别方法
JP6977901B2 (ja) 学習材推薦方法、学習材推薦装置および学習材推薦プログラム
CN105469282A (zh) 基于文本评论的线上品牌评估方法
CN110298264A (zh) 基于堆叠降噪自编码器的人体日常行为活动识别优化方法
CN103440471B (zh) 基于低秩表示的人体行为识别方法
Sathiyanarayanan et al. Identification of breast cancer using the decision tree algorithm
CN113723312B (zh) 基于视觉transformer的水稻病害识别方法
CN101561868A (zh) 基于高斯特征的人体运动情感识别方法
Zhang et al. Early weed identification based on deep learning: A review
CN105095863A (zh) 基于相似性权值的半监督字典学习的人体行为识别方法
CN109767312A (zh) 一种信用评估模型训练、评估方法与装置
CN103425996A (zh) 一种并行分布式的大规模图像识别方法
CN103226713A (zh) 一种多视角行为识别方法
CN109119069A (zh) 特定人群识别方法、电子装置及计算机可读存储介质
CN113051404B (zh) 一种基于张量分解的知识推理方法、装置、设备
Meena et al. Sentiment analysis on images using convolutional neural networks based Inception-V3 transfer learning approach
CN104182621A (zh) 基于深度信念网络的adhd判别分析方法
CN110175657A (zh) 一种图像多标签标记方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160921