CN107194344A - 自适应骨骼中心的人体行为识别方法 - Google Patents

自适应骨骼中心的人体行为识别方法 Download PDF

Info

Publication number
CN107194344A
CN107194344A CN201710344361.1A CN201710344361A CN107194344A CN 107194344 A CN107194344 A CN 107194344A CN 201710344361 A CN201710344361 A CN 201710344361A CN 107194344 A CN107194344 A CN 107194344A
Authority
CN
China
Prior art keywords
joint angle
value
frames
buttocks
angular speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710344361.1A
Other languages
English (en)
Other versions
CN107194344B (zh
Inventor
刘凯
冉宪宇
陈斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201710344361.1A priority Critical patent/CN107194344B/zh
Publication of CN107194344A publication Critical patent/CN107194344A/zh
Application granted granted Critical
Publication of CN107194344B publication Critical patent/CN107194344B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests

Abstract

本发明公开了一种自适应骨骼中心的人体行为识别方法。主要解决现有技术动作识别精度低的问题。其实现步骤是:1)从骨骼序列数据集中获取三维骨架序列,并对其进行预处理,得到坐标矩阵;2)根据坐标矩阵选择特征参数,自适应选择坐标中心,重新对动作进行归一化,得到动作坐标矩阵;3)通过DTW方法对动作坐标矩阵进行降噪处理,借助FTP方法减少动作坐标矩阵时间错位和噪声问题,再使用SVM进行对动作坐标矩阵进行分类。本发明相比于现有的行为识别方法,有效地提高了识别精度。可应用于监控、视频游戏和人机交互。

Description

自适应骨骼中心的人体行为识别方法
技术领域
本发明属于计算机视觉领域,特别涉及一种人体骨骼行为识别方法,可应用于监控、视频游戏和人机交互。
背景技术
在人体骨骼行为识别过程中,首先需要对数据进行预处理,将数据处理成所需的形式,如矩阵或者向量,然后对处理的数据进行特征提取,随后对于特征进行描述,最后进行建模和分类,达到识别人体行为的效果。
由于遮挡、光线变化、视角变化以及背景干扰,精确地识别人体行为仍存在诸多困难,在应用领域受到了极大的限制。但随着深度传感器变得经济实惠,受众面广,如微软Kinect的出现,它不仅提供彩色图像数据,而且还提供三维深度图像信息,使行为识别研究出现了新机遇。在此基础上很多学者致力于行为识别的研究工作,提出了各种基于人体骨骼的行为识别方法,其中比较有代表性的是以下几种:
第一种是Lv等人2006年在ECCV会议上发表的文章“Recognition andsegmentation of3-d human action using hmm and multi-class adaboost”提出基于多个人体关节点相结合方式的空间局部特征方法。他们发现,仅仅使用姿态向量可能会引起一些相关信息的丢失,削弱模型的判定能力。所以,考虑使用人体不同部位的运动来提取持征。最终,他们构建了一个包含七类子特征的141维的特征向量,而且提出了一种基于动态规划的算法,能够从连续的骨架序列中提取包含一个行为的子序列。文中方法的缺点是只针对简单的动作识别结果较好,对于复杂的动作识别起来不是很理想,而且在归一化动作时使用单一的坐标中心,识别精度低。
第二种是M等人2011年在ICCV会议上发表的文章“Accurate 3d pose estimationfrom a single depth image”提出了一种从单一的深度图估计人体姿态配置的系统,它把姿态检测和姿态细化相结合。主要贡献包括修改点云平滑技术,处理非常嘈杂的输入深度图,点云对齐和姿态搜索算法。文中方法的缺点是在计算上花费的时间较多,通过牺牲时间获得精度,而且在归一化动作时使用单一的坐标中心,识别精度低。
第三种是Yang等人2014年在可视化通信与图像显示杂志上发表的文章“Effective 3D action recognition using EigenJoints”上提出了通过使用朴素贝叶斯最近邻算法,然后基于特征节点进行动作识别的方法,文中方法的缺点是只专注一个人的行动,而不是多人交互的动作,而且在归一化动作时使用单一的坐标中心,识别精度低。
发明内容
本发明的目的在于避免上述已有技术共有的不足,提出一种自适应骨骼中心的人体行为识别方法,通过参数化骨骼关节的运动特征,自主选择坐标中心,提高行为识别精度。
实现本发明的技术思路通过分析人体骨骼,研究人体动作基本特征,根据特征数据,求出动作特征的阈值,判断动作对不同坐标中心的适应值,自主选择坐标中心,形成自适应骨骼中心的行为识别算法,其实现方案包括如下:
1.一种自适应骨骼中心的人体行为识别方法,包括:
(1)读取人体动作两个数据集UTKinect和MSRAction3D中的骨骼动作序列帧,并去掉骨骼动作序列帧中的冗余帧,得到序列帧信息;再以臀部关节点h、颈部关节点n为坐标中心分别进行归一化,得到臀部中心坐标矩阵dh以及颈部中心坐标矩阵dn;
(2)用两个相邻关节点构成一个刚体向量,两个相邻刚体向量构成一个关节角,根据步骤(1)得到两个坐标矩阵dh、dn,分别计算每个关节角的角速度和角加速度;
(3)将根据两个坐标矩阵dh、dn计算出的所有关节角的角速度和角加速度使用选择排序方法分别进行排序,分别得到臀部关节角的角速度序列h1、角加速度序列h2和颈部关节角的角速度序列h3、角加速度序列h4
(4)确定关节角的角速度和角加速度阈值:
将所述序列h1的最小值s和最大值l作为臀部关节角的角速度阈值[s,l],
将所述序列h2的最小值p和最大值q作为臀部关节角的角加速度阈值[p,q],
将所述序列h3的最小值m和最大值n作为颈部关节角的角速度阈值[m,n],
将所述序列h4的最小值u和最大值v作为颈部关节角的角加速度阈值[u,v];
(5)根据每个关节角臀部关节角的角速度的阈值[s,l]与颈部关节角的角速度阈值[m,n],得到臀部关节角的角速度适应值s1和颈部关节角的角速度适应值s2;根据每个关节角的臀部关节角的角加速度阈值[p,q]与颈部关节角的角加速度阈值[u,v],得到臀部关节角角加速度适应值s3和颈部关节角的角速度适应值s4
(6)根据步骤(5)得到的四个适应值s1、s2、s3和s4,依次确定每一个动作的坐标中心重新归一化,得到动作坐标矩阵;
(7)将动作坐标矩阵输入支持向量机SVM中,输出动作的识别结果。
本发明与现有技术对比具有如下特点:
1)本发明在表示人体骨骼数据时特征参数少,只有角速度和角加速度,整个过程相对简单,容易操作;
2)本发明定义了两个坐标中心,根据角速度和角加速度相较于两个坐标中心的适应值自适应选择坐标中心,识别精度更高,应用面更广。
附图说明
图1是本发明的实现流程图;
图2是本发明使用的人体动作的骨骼表示图;
图3是本发明中的人体动作刚体关节角表示图;
具体实施方式
以下结合附图对本发明的技术方案和效果做进一步详细描述:
参照图1,本发明自适应骨骼中心的人体行为识别方法,按如下步骤进行:
步骤一:读取人体动作数据集的骨骼动作序列帧,去掉冗余帧,分别进行归一化,得到臀部中心坐标矩阵dh以及颈部中心坐标矩阵dn:
读取人体动作两个数据集UTKinect和MSRAction3D中的骨骼动作序列帧,并去掉骨骼动作序列帧中的冗余帧,得到序列帧信息;再以臀部关节点h、颈部关节点n为坐标中心分别进行归一化,得到臀部中心坐标矩阵dh以及颈部中心坐标矩阵dn:
(1a)加载人体动作两个数据集UTKinect和MSRAction3D中,读取数据集中的骨骼动作序列帧;
(1b)提取文件中的帧数和关节点坐标信息,删除掉重复的帧以及和此帧对应的关节点坐标,得到序列帧信息;
(1c)再以臀部关节点h、颈部关节点n为坐标中心分别进行归一化,得到臀部中心坐标矩阵dh以及颈部中心坐标矩阵dn;
步骤二:设置人体骨骼特征参数,计算每个关节角的角速度和角加速度:
现有的人体行为识别方法在设置人体特征参数时所用的方法包括:使用点云图的方式作为特征,或者使用人体不同部位的运动的骨骼关节点的方式,或者是使用刚体之间的相对位置关系,或者是同一帧序列下的骨骼序列关节点进行计算,而本发明在定义人体骨骼特征是通过使用多个连续动作帧序列的关系,求出刚体的角速度和角加速度的方法,来定义人体特征参数,具体过程如下:
(2a)计算臀部关节角在第F帧的左刚体向量与右刚体向量和在第F+1帧时的左刚体向量和右刚体向量以及在第F+2帧时的左刚体向量和右刚体向量
如图2所示,人体动作的骨骼包含16个关节点,分别用阿拉伯数字进行标注,其中关节点2是颈部关节点h,关节点8是颈部关节点h,相邻两个关节点构成一个刚体向量,可知由16个关节点可以构成15个刚体向量。
使用现有的如下公式进行计算刚体向量:
其中Li、Lj和Lk分别为在第F帧时的第i个、第j个和第k个关节点,Ni、Nj和Nk分别为在第F+1帧时的第i个、第j个和第k个关节点,Mi、Mj和Mk分别为在第F+2帧时的第i个、第j个和第k个关节点,1≤i≤n,1≤j≤n,1≤k≤n,i≠j≠k,n为不同数据集下的骨骼关节点数目,Li=[xi,yi,zi],Lj=[xj,yj,zj],Lk=[xk,yk,zk],Ni=[θiii],Nj=[θjjj],Nk=[θkkk],Mi=[αiii],Mj=[αjjj],Mk=[αkkk],xi,yi,zi表示关节点Li的坐标,xj,yj,zj表示关节点Lj的坐标,xk,yk,zk表示关节点Lk的坐标,θiii表示关节点Ni的坐标,θjjj表示关节点Nj的坐标,θkkk表示关节点Nk的坐标,αiii表示关节点Mi的坐标,αjjj表示关节点Mj的坐标,αkkk表示关节点Mk的坐标,Li、Lj和Lk在坐标矩阵dh的第F帧中,Ni、Nj和Nk在坐标矩阵dh的第F+1帧中,Mi、Mj和Mk在坐标矩阵dh的第F+2帧中,1≤F≤m,m表示帧总数目,矩阵dh中包含m帧人体动作序列,每一帧中含有一个动作的全部关节点坐标;
(2b)根据(2a)的结果计算臀部关节角在第F帧时的关节角值αFh、在第F+1帧时的关节角值α(F+1)h和在第F+2帧时的关节角值α(F+2)h
如图3所示,由左刚体向量bij和右刚体向量bjk构成的刚体关节角αFh,图3中将刚体关节投影到笛卡尔直角坐标系中,使用现有的数学公式计算关节角:
方法是,具体计算如下:
(2c)根据(2b)的计算结果计算臀部关节角第F帧的关节角变化值ΔαFh和在第F+1帧的关节角变化值Δα(F+1)h
ΔαFh=α(F+1)hFh
Δα(F+1)h=α(F+2)h(F+1)h
(2d)根据(2c)的计算结果计算臀部关节角在第F帧的角速度vFh和在第F+1帧的
角速度v(F+1)h
其中Δt1=t2-t1,Δt1=t3-t2,t1、t2、t3分别表示第F、F+1、F+2帧对应的时刻;
(2e)根据(2d)的计算结果计算臀部关节角在第F帧时的角速度变化值ΔvFh
ΔvFh=v(F+1)h-vFh
(2f)根据(2e)的计算结果计算臀部关节角在第F帧时的角加速度aFh
(2g)计算颈部关节角在第F帧的左刚体向量与右刚体向量和在第F+1帧时的左刚体向量和右刚体向量以及在第F+2帧时的左刚体向量和右刚体向量
使用现有的如下公式进行计算刚体向量:
其中Ci、Cj和Ck分别为在第F帧时的第i个、第j个和第k个关节点,Di、Dj和Dk分别为在第F+1帧时的第i个、第j个和第k个关节点,Qi、Qj和Qk分别为在第F+2帧时的第i个、第j个和第k个关节点,1≤i≤n,1≤j≤n,1≤k≤n,i≠j≠k,n为不同数据集下的骨骼关节点数目,Ci=[ai,bi,ci],Cj=[aj,bj,cj],Ck=[ak,bk,ck],Di=[ei,oi,wi],Dj=[ej,oj,wj],Dk=[ek,ok,wk],Qi=[δiii],Qj=[δjjj],Qk=[δkkk],ai,bi,ci表示关节点Ci的坐标,aj,bj,cj表示关节点Cj的坐标,ak,bk,ck表示关节点Ck的坐标,ei,oi,wi表示关节点Di的坐标,ej,oj,wj表示关节点Dj的坐标,ek,ok,wk表示关节点Dk的坐标,δiii表示关节点Qi的坐标,δjjj表示关节点Qj的坐标,δkkk表示关节点Qk的坐标,Ci、Cj和Ck在坐标矩阵dn的第F帧中,Di、Dj和Dk在坐标矩阵dn的第F+1帧中,Qi、Qj和Qk在坐标矩阵dn的第F+2帧中,1≤F≤m,m表示帧总数目,矩阵dn中包含m帧人体动作序列,每一帧中含有一个动作的全部关节点坐标;
(2h)根据(2g)的结果计算颈部关节角在第F帧的关节角值αFn、在F+1帧时的关节角值α(F+1)n和在F+2帧时的关节角值α(F+2)n
使用现有的数学公式计算关节角,具体计算方法如下:
(2i)根据(2h)的结果计算颈部关节角在第F帧时的角度变化ΔαFn和在第F+1帧时
的角度变化Δα(F+1)n
ΔαFn=α(F+1)nFn
Δα(F+1)n=α(F+2)n(F+1)n
(2j)根据(2i)的结果计算颈部关节角在第F帧时的角速度vFn和在第F+1帧时的
v(F+1)n
其中Δt1=t2-t1,Δt1=t3-t2,t1、t2、t3表示第F、F+1、F+2帧对应的时刻;
(2k)根据(2j)的结果计算颈部关节角在第F帧时角速度的变化值ΔvFn
ΔvFn=v(F+1)n-vFn
(2l)根据(2k)的结果计算颈部关节角在第F帧时的角加速度aFn
步骤三:将所有关节角的角速度和角加速度使用快速选择排序方法分别进行排序,分别得到相应的序列:
现有的排序方法包含冒泡排序、直接插入排序、快速选择排序、希尔排序,本发明使用的快速选择排序方法,具体过程如下:
(3a)将臀部关节角的所有角速度vFh的值,从第一个值开始每个值依次与该值后面的每一个值进行比较,若后一个值小于前一个值,则交换两个值的位置继续比较;若后一个值大于前一个值,则从后一个值开始继续向后比较,依次比较直到最后一个值,将这些臀部关节的角速度vFh值按照小到大的顺序排列,得到臀部关节角的角速度序列h1
(3b)将臀部关节角的所有角加速度aFh的值,从第一个值开始每个值依次与该值后面的每一个值进行比较,若后一个值小于前一个值,则交换两个值的位置继续比较;若后一个值大于前一个值,则从后一个值开始继续向后比较,依次比较直到最后一个值,将这些臀部关节的角加速度aFh值按照小到大的顺序排列,得到臀部关节角的角加速度序列h2
(3c)将颈部关节角的所有角加速度vFn的值,从第一个值开始每个值依次与该值后面的每一个值进行比较,若后一个值小于前一个值,则交换两个值的位置继续比较;若后一个值大于前一个值,则从后一个值开始继续向后比较,依次比较直到最后一个值,将这些颈部关节的角速度vFn值按照小到大的顺序排列,得到颈部关节角的角速度序列h3
(3d)将颈部关节角的所有角加速度aFn的值,从第一个值开始每个值依次与该值后面的每一个值进行比较,若后一个值小于前一个值,则交换两个值的位置继续比较;若后一个值大于前一个值,则从后一个值开始继续向后比较,依次比较直到最后一个值,将这些颈部关节的角加速度aFn值按照小到大的顺序排列,得到颈部关节角的角加速度序列h4
步骤四:确定关节角的角速度和角加速度阈值。
(4a)将所述序列h1的最小值s和最大值l作为臀部关节角的角速度阈值[s,l];
(4b)将所述序列h2的最小值p和最大值q作为臀部关节角的角加速度阈值[p,q];;
(4c)将所述序列h3的最小值m和最大值n作为颈部关节角的角速度阈值[m,n];
(4d)将所述序列h4的最小值u和最大值v作为颈部关节角的角加速度阈值[u,v]。
步骤五:计算臀部关节角的角速度适应值s1和颈部关节角的角速度适应值s2以及计算臀部关节角的角加速度适应值s3和颈部关节角的角加速度适应值s4
(5a)计算臀部关节角的角速度适应值s1和颈部关节角的角速度适应值s2
(5a1)设置帧序列迭代终止条件F=m;
(5a2)设置关节角迭代终止条件ρ=σ;
(5a3)初始化第F帧的第ρ个臀部关节角的角速度适应值为s1=0,第F帧的第ρ个颈部关节角的角速度适应值为s2=0,初始值F=1,ρ=1;
(5a4)将臀部关节角的角速度阈值[s,l]和颈部关节角的角速度阈值[m,n]进行比较,确定臀部关节角的角速度适应值s1和颈部关节角的角速度适应值s2
若满足条件l-s>n-m,则臀部关节角的角速度适应值s1=s1+1;
若满足条件l-s≤n-m,则颈部关节角的角速度适应值s2=s2+1;
(5a5)判断ρ≤σ是否成立,若成立,令ρ=ρ+1,返回(5a4),否则进入(5a6);
(5a6)判断F≤m是否成立,若成立,令F=F+1,返回(5a4),否则终止迭代;
其中,F为帧序列号,1≤F≤m,m表示帧总数目,ρ表示在第F帧的关节角序号,1≤ρ≤σ,σ为关节角数目。
(5b)计算臀部关节角的角加速度适应值s3和颈部关节角的角加速度适应值s4
(5b1)设置帧序列迭代终止条件F=m;
(5b2)设置关节角迭代终止条件ρ=σ;
(5b3)初始化第F帧的第ρ个关节角的颈部关节角的角速度适应值为s3=0,第F帧的第ρ个关节角的颈部关节角的角速度适应值为s4=0,初始值F=1,ρ=1;
(5b4)将臀部关节角的角加速度阈值[p,q]和颈部关节角的角加速度[u,v]进行比较,确定臀部关节角的角加速度适应值s3和颈部关节角的角加速度适应值s4
若满足条件q-p>v-u,则臀部关节角的角加速度适应值s3=s3+1;
若满足条件q-p≤v-u,则颈部关节角的角加速度适应值s4=s4+1;
(5b5)判断ρ≤σ是否成立,若成立,令ρ=ρ+1,返回(5b4),否则进入(5b6);
(5b6)判断F≤m是否成立,若成立,令F=F+1,返回(5b4),否则终止迭代;
其中,F为帧序列号,1≤F≤m,m表示帧总数目,ρ表示在第F帧的关节角序号,1≤ρ≤σ,σ为关节角数目。
步骤六:根据步骤(5)得到的四个适应值s1、s2、s3和s4,依次确定每一个动作的坐标中心重新归一化,得到动作坐标矩阵。
(6a)设置帧序列迭代终止条件F=m;
(6b)将臀部关节角的角速度适应值s1、颈部关节角的角速度适应值s2、臀部关节角的角加速度适应值s3和颈部关节角的角加速度适应值s4进行比较,得到每个动作帧序列归一化的坐标中心:
若满足条件s1+s3>s2+s4,选择臀部关节点h作为该动作帧序列归一化的坐标中心;
若满足条件s1+s3≤s2+s4,选择颈部关节点n作为该动作帧序列归一化的坐标中心;
(6c)判断F≤m是否成立,若成立,令F=F+1,返回(6b),否则终止迭代;
(6d)按照步骤(6b)得到的每个动作帧序列的归一化的坐标中心,重新对所有动作进行归一化,得到动作坐标矩阵。
步骤七:将动作坐标矩阵输入支持向量机SVM中,输出动作的识别结果。
(7a)将动作坐标矩阵使用DTW方法进行处理执行速率的变化。
(7b)为了处理的时间错位和噪声问题,使用傅立叶时间金字塔表示FTP来去除动作坐标矩阵中的高频系数。
(7c)将上述动作坐标矩阵使用SVM进行分类,输出识别精度值。
本发明的效果可以通过以下实验数据进一步说明。
仿真1,在UTKinect-Action数据集上对人体动作帧序列分别用本发明与现有两种方法进行仿真,其中,一种是HO3DJ2方法,该方法对所有动作都是以臀部关节点h为坐标中心进行归一化;另一种是Combined feature with RFs,简称CRF,该方法对所有动作都是以臀部关节点h为坐标中心进行归一化,三种方法的比较结果如表1。
表1UTkinect数据集:三种方法的每一个动作类型的精度对比(单位:%)
从表1可见,在UTKinect-Action数据集上进行仿真,本发明的识别精度平均值为95.18%,高于HO3DJ方法4.99个百分点,高于CRF方法3.48个百分点。
仿真2,在MSRAction3D数据集上对人体动作帧序列分别用本发明与现有4种方法进行仿真,这4种现有方法分别是HO3DJ2方法、Eigenjoints方法、Profile HMM方法和RMRB3D+PGD方法,比较结果如表2。
表2MSRAction3D数据集识别率与其他方法的对比(单位:%)
方法 AS1 AS2 AS3 综合识别率
HOJ3D2 88.0 85.5 63.3 78.9
Eigenjoints 74.5 76.1 96.4 82.3
Profile HMM 84.7 79.2 95.2 86.4
RMRB3D+PGD 86.65 82.9 93.73 87.76
本发明 91.18 78.54 94.94 88.47
表2中AS1、AS2和AS3分别表示MSRAction3D数据集的三个子数据集。
从表2可见,在MSRAction3D数据集上进行仿真,本发明的综合识别率88.47%,优于其他4种现有方法。

Claims (9)

1.一种自适应骨骼中心的人体行为识别方法,包括:
(1)读取人体动作两个数据集UTKinect和MSRAction3D中的骨骼动作序列帧,并去掉骨骼动作序列帧中的冗余帧,得到序列帧信息;再以臀部关节点h、颈部关节点n为坐标中心分别进行归一化,得到臀部中心坐标矩阵dh以及颈部中心坐标矩阵dn;
(2)用两个相邻关节点构成一个刚体向量,两个相邻刚体向量构成一个关节角,根据步骤(1)得到两个坐标矩阵dh、dn,分别计算每个关节角的角速度和角加速度;
(3)将根据两个坐标矩阵dh、dn计算出的所有关节角的角速度和角加速度使用选择排序方法分别进行排序,分别得到臀部关节角的角速度序列h1、角加速度序列h2和颈部关节角的角速度序列h3、角加速度序列h4
(4)确定关节角的角速度和角加速度阈值:
将所述序列h1的最小值s和最大值l作为臀部关节角的角速度阈值[s,l],
将所述序列h2的最小值p和最大值q作为臀部关节角的角加速度阈值[p,q],
将所述序列h3的最小值m和最大值n作为颈部关节角的角速度阈值[m,n],
将所述序列h4的最小值u和最大值v作为颈部关节角的角加速度阈值[u,v];
(5)根据每个关节角臀部关节角的角速度的阈值[s,l]与颈部关节角的角速度阈值[m,n],得到臀部关节角的角速度适应值s1和颈部关节角的角速度适应值s2;根据每个关节角的臀部关节角的角加速度阈值[p,q]与颈部关节角的角加速度阈值[u,v],得到臀部关节角角加速度适应值s3和颈部关节角的角速度适应值s4
(6)根据步骤(5)得到的四个适应值s1、s2、s3和s4,依次确定每一个动作的坐标中心重新归一化,得到动作坐标矩阵;
(7)将动作坐标矩阵输入支持向量机SVM中,输出动作的识别结果。
2.根据权利要求1所述的方法,其特征在于:步骤(2)中计算每个关节角的臀部关节角的角速度vFh和角加速度aFh,按如下步骤进行:
(2a)计算臀部关节角在第F帧的左刚体向量与右刚体向量和在第F+1帧时的左刚体向量和右刚体向量以及在第F+2帧时的左刚体向量和右刚体向量
(2b)计算臀部关节角在第F帧时的关节角值αFh、在第F+1帧时的关节角值α(F+1)h和在第F+2帧时的关节角值α(F+2)h
(2c)计算臀部关节角第F帧的关节角变化值ΔαFh和在第F+1帧的关节角变化值Δα(F+1)h
ΔαFh=α(F+1)hFh
Δα(F+1)h=α(F+2)h(F+1)h
(2d)计算臀部关节角在第F帧的角速度vFh和在第F+1帧的角速度v(F+1)h
其中Δt1=t2-t1,Δt1=t3-t2,t1、t2、t3分别表示第F、F+1、F+2帧对应的时刻;
(2e)计算臀部关节角在第F帧时的角速度变化值ΔvFh
ΔvFh=v(F+1)h-vFh
(2f)计算臀部关节角在第F帧时的角加速度aFh
3.根据权利要求2所述的方法,其中步骤(2a)中计算臀部关节角在第F帧的左刚体向量与右刚体向量和在第F+1帧时的左刚体向量和右刚体向量以及在第F+2帧时的左刚体向量和右刚体向量通过如下公式进行:
其中Li、Lj和Lk分别为在第F帧时的第i个、第j个和第k个关节点,Ni、Nj和Nk分别为在第F+1帧时的第i个、第j个和第k个关节点,Mi、Mj和Mk分别为在第F+2帧时的第i个、第j个和第k个关节点,1≤i≤n,1≤j≤n,1≤k≤n,i≠j≠k,n为不同数据集下的骨骼关节点数目,Li=[xi,yi,zi],Lj=[xj,yj,zj],Lk=[xk,yk,zk],Ni=[θiii],Nj=[θjjj],Nk=[θkkk],Mi=[αiii],Mj=[αjjj],Mk=[αkkk],xi,yi,zi表示关节点Li的坐标,xj,yj,zj表示关节点Lj的坐标,xk,yk,zk表示关节点Lk的坐标,θiii表示关节点Ni的坐标,θjjj表示关节点Nj的坐标,θkkk表示关节点Nk的坐标,αiii表示关节点Mi的坐标,αjjj表示关节点Mj的坐标,αkkk表示关节点Mk的坐标,Li、Lj和Lk在坐标矩阵dh的第F帧中,Ni、Nj和Nk在坐标矩阵dh的第F+1帧中,Mi、Mj和Mk在坐标矩阵dh的第F+2帧中,1≤F≤m,m表示帧总数目,矩阵dh中包含m帧人体动作序列,每一帧中含有一个动作的全部关节点坐标。
4.根据权利要求1所述的方法,其特征在于:步骤(2)中计算每个关节角的颈部关节角的角速度vFn和角加速度aFn
(2g)计算颈部关节角在第F帧的左刚体向量与右刚体向量和在第F+1帧时的左刚体向量和右刚体向量以及在第F+2帧时的左刚体向量和右刚体向量
(2h)计算颈部关节角在第F帧的关节角值αFn、在F+1帧时的关节角值α(F+1)n和在F+2帧时的关节角值α(F+2)n
(2i)计算颈部关节角在第F帧时的角度变化ΔαFn和在第F+1帧时的角度变化Δα(F+1)n
ΔαFn=α(F+1)nFn
Δα(F+1)n=α(F+2)n(F+1)n
(2j)计算颈部关节角在第F帧时的角速度vFn和在第F+1帧时的v(F+1)n
其中Δt1=t2-t1,Δt1=t3-t2,t1、t2、t3表示第F、F+1、F+2帧对应的时刻;
(2k)计算颈部关节角在第F帧时角速度的变化值ΔvFn
ΔvFn=v(F+1)n-vFn
(2l)计算颈部关节角在第F帧时的角加速度aFn
5.根据权利要求3所述的方法,其中步骤(2g)中计算颈部关节角在第F帧的左刚体向量与右刚体向量和在第F+1帧时的左刚体向量和右刚体向量以及在第F+2帧时的左刚体向量和右刚体向量通过如下公式进行:
其中Ci、Cj和Ck分别为在第F帧时的第i个、第j个和第k个关节点,Di、Dj和Dk分别为在第F+1帧时的第i个、第j个和第k个关节点,Qi、Qj和Qk分别为在第F+2帧时的第i个、第j个和第k个关节点,1≤i≤n,1≤j≤n,1≤k≤n,i≠j≠k,n为不同数据集下的骨骼关节点数目,Ci=[ai,bi,ci],Cj=[aj,bj,cj],Ck=[ak,bk,ck],Di=[ei,oi,wi],Dj=[ej,oj,wj],Dk=[ek,ok,wk],Qi=[δiii],Qj=[δjjj],Qk=[δkkk],ai,bi,ci表示关节点Ci的坐标,aj,bj,cj表示关节点Cj的坐标,ak,bk,ck表示关节点Ck的坐标,ei,oi,wi表示关节点Di的坐标,ej,oj,wj表示关节点Dj的坐标,ek,ok,wk表示关节点Dk的坐标,δiii表示关节点Qi的坐标,δjjj表示关节点Qj的坐标,δkkk表示关节点Qk的坐标,Ci、Cj和Ck在坐标矩阵dn的第F帧中,Di、Dj和Dk在坐标矩阵dn的第F+1帧中,Qi、Qj和Qk在坐标矩阵dn的第F+2帧中,1≤F≤m,m表示帧总数目,矩阵dn中包含m帧人体动作序列,每一帧中含有一个动作的全部关节点坐标。
6.根据权利要求1所述的方法,其特征在于:所述步骤(3),按如下步骤进行:
(3a)将臀部关节角的所有角速度vFh的值,从第一个值开始每个值依次与该值后面的每一个值进行比较,若后一个值小于前一个值,则交换两个值的位置继续比较;若后一个值大于前一个值,则从后一个值开始继续向后比较,依次比较直到最后一个值,将这些臀部关节的角速度vFh值按照小到大的顺序排列,得到臀部关节角的角速度序列h1
(3b)将臀部关节角的所有角加速度aFh的值,从第一个值开始每个值依次与该值后面的每一个值进行比较,若后一个值小于前一个值,则交换两个值的位置继续比较;若后一个值大于前一个值,则从后一个值开始继续向后比较,依次比较直到最后一个值,将这些臀部关节的角加速度aFh值按照小到大的顺序排列,得到臀部关节角的角加速度序列h2
(3c)将颈部关节角的所有角加速度vFn的值,从第一个值开始每个值依次与该值后面的每一个值进行比较,若后一个值小于前一个值,则交换两个值的位置继续比较;若后一个值大于前一个值,则从后一个值开始继续向后比较,依次比较直到最后一个值,将这些颈部关节的角速度vFn值按照小到大的顺序排列,得到颈部关节角的角速度序列h3
(3d)将颈部关节角的所有角加速度aFn的值,从第一个值开始每个值依次与该值后面的每一个值进行比较,若后一个值小于前一个值,则交换两个值的位置继续比较;若后一个值大于前一个值,则从后一个值开始继续向后比较,依次比较直到最后一个值,将这些颈部关节的角加速度aFn值按照小到大的顺序排列,得到颈部关节角的角加速度序列h4
7.根据权利要求1所述的方法,其特征在于:步骤(5)中计算臀部关节角的角速度适应值s1和颈部关节角的角速度适应值s2,按如下步骤进行:
(5a)设置帧序列迭代终止条件F=m;
(5b)设置关节角迭代终止条件ρ=σ;
(5c)初始化第F帧的第ρ个臀部关节角的角速度适应值为s1=0,第F帧的第ρ个颈部关节角的角速度适应值为s2=0,初始值F=1,ρ=1;
(5d)将臀部关节角的角速度阈值[s,l]和颈部关节角的角速度阈值[m,n]进行比较,确定臀部关节角的角速度适应值s1和颈部关节角的角速度适应值s2
若满足条件l-s>n-m,则臀部关节角的角速度适应值s1=s1+1;
若满足条件l-s≤n-m,则颈部关节角的角速度适应值s2=s2+1;
(5e)判断ρ≤σ是否成立,若成立,令ρ=ρ+1,返回(5d),否则进入(5f);
(5f)判断F≤m是否成立,若成立,令F=F+1,返回(5d),否则终止迭代;
其中,F为帧序列号,1≤F≤m,m表示帧总数目,ρ表示在第F帧的关节角序号,1≤ρ≤σ,σ为关节角数目。
8.根据权利要求1所述的方法,其特征在于:步骤(5)中计算臀部关节角的角加速度适应值s3和颈部关节角的角加速度适应值s4,按如下步骤进行:
(5g)设置帧序列迭代终止条件F=m;
(5h)设置关节角迭代终止条件ρ=σ;
(5i)初始化第F帧的第ρ个关节角的颈部关节角的角速度适应值为s3=0,第F帧的第ρ个关节角的颈部关节角的角速度适应值为s4=0,初始值F=1,ρ=1;
(5j)将臀部关节角的角加速度阈值[p,q]和颈部关节角的角加速度阈值[u,v]进行比较,确定臀部关节角的角加速度适应值s3和颈部关节角的角加速度适应值s4
若满足条件q-p>v-u,则臀部关节角的角加速度适应值s3=s3+1;
若满足条件q-p≤v-u,则颈部关节角的角加速度适应值s4=s4+1;
(5k)判断ρ≤σ是否成立,若成立,令ρ=ρ+1,返回(5j),否则进入(5l);
(5l)判断F≤m是否成立,若成立,令F=F+1,返回(5j),否则终止迭代;
其中,F为帧序列号,1≤F≤m,m表示帧总数目,ρ表示在第F帧的关节角序号,1≤ρ≤σ,σ为关节角数目。
9.根据权利要求1所述的方法,其特征在于:步骤(6)所述的根据适应值s1、s2、s3和s4,依次确定每一个动作的坐标中心重新归一化,得到动作坐标矩阵,按如下步骤进行:
(6a)设置帧序列迭代终止条件F=m;
(6b)将臀部关节角的角速度适应值s1、颈部关节角的角速度适应值s2、臀部关节角的角加速度适应值s3和颈部关节角的角加速度适应值s4进行比较,得到每个动作帧序列归一化的坐标中心:
若满足条件s1+s3>s2+s4,选择臀部关节点h作为该动作帧序列归一化的坐标中心;
若满足条件s1+s3≤s2+s4,选择颈部关节点n作为该动作帧序列归一化的坐标中心;
(6c)判断F≤m是否成立,若成立,令F=F+1,返回(6b),否则终止迭代;
(6d)按照步骤(6b)得到的每个动作帧序列的归一化的坐标中心,重新对所有动作进行归一化,得到动作坐标矩阵。
CN201710344361.1A 2017-05-16 2017-05-16 自适应骨骼中心的人体行为识别方法 Active CN107194344B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710344361.1A CN107194344B (zh) 2017-05-16 2017-05-16 自适应骨骼中心的人体行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710344361.1A CN107194344B (zh) 2017-05-16 2017-05-16 自适应骨骼中心的人体行为识别方法

Publications (2)

Publication Number Publication Date
CN107194344A true CN107194344A (zh) 2017-09-22
CN107194344B CN107194344B (zh) 2020-06-05

Family

ID=59873706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710344361.1A Active CN107194344B (zh) 2017-05-16 2017-05-16 自适应骨骼中心的人体行为识别方法

Country Status (1)

Country Link
CN (1) CN107194344B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344803A (zh) * 2018-10-29 2019-02-15 广东工业大学 一种姿态特征提取方法及相关装置
CN109670401A (zh) * 2018-11-15 2019-04-23 天津大学 一种基于骨骼运动图的动作识别方法
WO2019233216A1 (zh) * 2018-06-07 2019-12-12 腾讯科技(深圳)有限公司 一种手势动作的识别方法、装置以及设备
CN111639632A (zh) * 2020-07-31 2020-09-08 南京浦和数据有限公司 一种基于支持向量机的地铁驾驶员动作序列识别方法
CN112102358A (zh) * 2020-09-29 2020-12-18 南开大学 一种无侵入动物行为特征观测方法
CN112257639A (zh) * 2020-10-30 2021-01-22 福州大学 基于人体骨架的学生学习行为识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894392A (zh) * 2010-06-28 2010-11-24 北京理工大学 基于骨骼运动数据的运动单元弯曲和扭转角度分析方法
CN103186775A (zh) * 2013-03-27 2013-07-03 西安电子科技大学 基于混合描述子的人体运动识别方法
US20140169623A1 (en) * 2012-12-19 2014-06-19 Microsoft Corporation Action recognition based on depth maps
KR101498498B1 (ko) * 2013-10-16 2015-03-05 홍익대학교 산학협력단 골격 추적을 이용한 자세 교정 방법
CN104573665A (zh) * 2015-01-23 2015-04-29 北京理工大学 一种基于改进维特比算法的连续动作识别方法
CN104866860A (zh) * 2015-03-20 2015-08-26 武汉工程大学 一种室内人体行为识别方法
WO2016035941A1 (ko) * 2014-09-05 2016-03-10 동국대학교 산학협력단 인간 모델의 3차원 공간 데이터를 이용한 포즈 인식 시스템 및 그 방법
CN106022213A (zh) * 2016-05-04 2016-10-12 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN106066996A (zh) * 2016-05-27 2016-11-02 上海理工大学 人体动作的局部特征表示方法及其在行为识别的应用
CN106528586A (zh) * 2016-05-13 2017-03-22 上海理工大学 一种人体行为视频识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894392A (zh) * 2010-06-28 2010-11-24 北京理工大学 基于骨骼运动数据的运动单元弯曲和扭转角度分析方法
US20140169623A1 (en) * 2012-12-19 2014-06-19 Microsoft Corporation Action recognition based on depth maps
CN103186775A (zh) * 2013-03-27 2013-07-03 西安电子科技大学 基于混合描述子的人体运动识别方法
KR101498498B1 (ko) * 2013-10-16 2015-03-05 홍익대학교 산학협력단 골격 추적을 이용한 자세 교정 방법
WO2016035941A1 (ko) * 2014-09-05 2016-03-10 동국대학교 산학협력단 인간 모델의 3차원 공간 데이터를 이용한 포즈 인식 시스템 및 그 방법
CN104573665A (zh) * 2015-01-23 2015-04-29 北京理工大学 一种基于改进维特比算法的连续动作识别方法
CN104866860A (zh) * 2015-03-20 2015-08-26 武汉工程大学 一种室内人体行为识别方法
CN106022213A (zh) * 2016-05-04 2016-10-12 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN106528586A (zh) * 2016-05-13 2017-03-22 上海理工大学 一种人体行为视频识别方法
CN106066996A (zh) * 2016-05-27 2016-11-02 上海理工大学 人体动作的局部特征表示方法及其在行为识别的应用

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
WENWEN DING ET AL: "Human action recognition using spectral embedding to similarity degree between postures", 《2016 VISUAL COMMUNICATIONS AND IMAGE PROCESSING (VCIP)》 *
YIN ZHOU ET AL: "Kernel-based sparse representation for gesture recognition", 《PATTERN RECOGNITION》 *
李瑞峰等: "人体动作行为识别研究综述", 《模式识别与人工智能》 *
苏竑宇等: "基于SVM和HMM二级模型的行为识别方案", 《计算机与现代化》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019233216A1 (zh) * 2018-06-07 2019-12-12 腾讯科技(深圳)有限公司 一种手势动作的识别方法、装置以及设备
US11366528B2 (en) 2018-06-07 2022-06-21 Tencent Technology (Shenzhen) Company Limited Gesture movement recognition method, apparatus, and device
CN109344803A (zh) * 2018-10-29 2019-02-15 广东工业大学 一种姿态特征提取方法及相关装置
CN109670401A (zh) * 2018-11-15 2019-04-23 天津大学 一种基于骨骼运动图的动作识别方法
CN111639632A (zh) * 2020-07-31 2020-09-08 南京浦和数据有限公司 一种基于支持向量机的地铁驾驶员动作序列识别方法
CN112102358A (zh) * 2020-09-29 2020-12-18 南开大学 一种无侵入动物行为特征观测方法
CN112102358B (zh) * 2020-09-29 2023-04-07 南开大学 一种无侵入动物行为特征观测方法
CN112257639A (zh) * 2020-10-30 2021-01-22 福州大学 基于人体骨架的学生学习行为识别方法

Also Published As

Publication number Publication date
CN107194344B (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN107194344A (zh) 自适应骨骼中心的人体行为识别方法
CN109815826B (zh) 人脸属性模型的生成方法及装置
US10417526B2 (en) Object recognition method and device
Lu et al. Feature extraction and fusion using deep convolutional neural networks for face detection
CN110363183B (zh) 基于生成式对抗网络的服务机器人视觉图片隐私保护方法
CN100472556C (zh) 特定被摄体检测装置及方法
CN101763503B (zh) 一种姿态鲁棒的人脸识别方法
CN106778796B (zh) 基于混合式协同训练的人体动作识别方法及系统
Arora et al. AutoFER: PCA and PSO based automatic facial emotion recognition
CN104036255A (zh) 一种人脸表情识别方法
CN105894047A (zh) 一种基于三维数据的人脸分类系统
CN109902565B (zh) 多特征融合的人体行为识别方法
CN111401144A (zh) 一种基于视频监控的手扶电梯乘客行为识别方法
CN106650619A (zh) 一种人体动作识别方法
Anila et al. Simple and fast face detection system based on edges
CN102254180A (zh) 一种基于几何特征的人脸美感分析方法
CN106651978A (zh) 人脸图像预测方法及系统
Seyedarabi et al. Recognition of six basic facial expressions by feature-points tracking using RBF neural network and fuzzy inference system
CN107784284A (zh) 人脸识别方法及系统
CN114492634A (zh) 一种细粒度装备图片分类识别方法及系统
CN112380374B (zh) 一种基于语义扩充的零样本图像分类方法
CN113344220A (zh) 一种联邦学习中基于局部模型梯度的用户筛选方法、系统、设备及存储介质
Lee et al. Local and global feature extraction for face recognition
Selvi et al. Kathakali face expression detection using deep learning techniques
Gona et al. Multimodal biometric reorganization system using deep learning convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant