CN106203503B - 一种基于骨骼序列的动作识别方法 - Google Patents

一种基于骨骼序列的动作识别方法 Download PDF

Info

Publication number
CN106203503B
CN106203503B CN201610538398.3A CN201610538398A CN106203503B CN 106203503 B CN106203503 B CN 106203503B CN 201610538398 A CN201610538398 A CN 201610538398A CN 106203503 B CN106203503 B CN 106203503B
Authority
CN
China
Prior art keywords
bone
sequence
distribution map
temporal information
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610538398.3A
Other languages
English (en)
Other versions
CN106203503A (zh
Inventor
侯永宏
李照洋
董嘉蓉
叶熠琳
邢家明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201610538398.3A priority Critical patent/CN106203503B/zh
Publication of CN106203503A publication Critical patent/CN106203503A/zh
Application granted granted Critical
Publication of CN106203503B publication Critical patent/CN106203503B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2111—Selection of the most significant subset of features by using evolutionary computational techniques, e.g. genetic algorithms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明涉及一种基于骨骼序列的动作识别方法，包括：对于一个骨骼序列，将所有的骨骼均根据三维信息投影到三个笛卡尔正交系的正面、侧面和顶面，生成骨骼分布图；通过颜色的变换在骨骼分布图中加入时间信息；利用卷积神经网络，对基于训练数据集生成的三个投影面上的加入时间信息的骨骼分布图，分别做卷积神将网络的模型训练；对于每一个测试样本，针对三个投影面的加入时间信息的骨骼分布图，根据训练好的三个卷积神经网络模型，计算出三个Scores向量；将三个投影面的Scores向量相加后，取最大值所在的类别作为该视频序列的从属类别。本发明能够准确可靠识别人类动作。

Description

一种基于骨骼序列的动作识别方法
技术领域
此方法涉及多媒体信息处理领域，包括计算机智能、模式识别、机器学习领域。
背景技术
人类的动作检测识别方法，在当今社会具有非常广泛的应用，例如：智能监控、人机交互的体感游戏、视频检索等等。基于RGB-D(彩色和深度)视频序列的人类动作检测识别，在当今计算机视觉领域尤其流行。相比较传统的RGB视频序列，RGB-D视频序列对光照的敏感程度更低，同时还具有更为丰富的三维信息。基于深度信息，许多传统方法在第三维方向上提出了扩展，也有许多新的特征被提取出来。骨骼序列，作为深度信息中提取出来的一种特征，目前被广泛认可。Kinect的SDK中已经能够根据深度序列以及彩色图像序列计算出相当准确的骨骼序列。因此，单纯基于骨骼序列的人类动作识别也具有很有发展的前景。
近年来，卷积神经网络在计算机识别的领域中具有相当出色的表现，尤其在图片的分类方面。然而，如何采用卷积神经网络来处理基于视频的识别问题仍然是一个开放的课题。当前人们采用卷积神经网络进行人类动作检测识别的方法，主要分为两类：采用卷积神经网络直接处理编码后的视频序列、对视频进行处理，转换为图片再采用卷积神经网络进行学习分类。
发明内容
本发明利用从Kinect摄像机输出的人类骨骼序列，提出一种具有良好分类识别能力的基于骨骼序列的动作识别方法。技术方案如下：
一种基于骨骼序列的动作识别方法，包括下列步骤：
1)对于一个骨骼序列，将所有的骨骼均根据三维信息投影到三个笛卡尔正交系的正面、侧面和顶面，生成骨骼分布图；
2)通过颜色的变换在骨骼分布图中加入时间信息，方法如下：
不同骨骼序列中，同一个时间段的骨骼节点，采用同一个颜色来表示；同一个骨骼序列的不同时间段，用不同的颜色来表示；
对不同位置的骨骼采用不同的颜色渐变方式来表示时间信息；
在同一个时刻，当颜色信息已经选取完成后，根据骨骼节点的运动速度，用不同的色度以及饱和度来完成对当前颜色的加权；
3)利用卷积神经网络，对基于训练数据集生成的三个投影面上的加入时间信息的骨骼分布图，分别做卷积神将网络的模型训练；
4)对于每一个测试样本，经过步骤2)的处理后，针对三个投影面的加入时间信息的骨骼分布图，根据训练好的三个卷积神经网络模型，计算出三个Scores向量；将三个投影面的Scores向量相加后，取最大值所在的类别作为该视频序列的从属类别。
附图说明
图1为整个基于骨骼序列的人类动作识别框架
具体实施方式
1)骨骼序列到图片的映射
通过Kinect摄像机捕捉人类动作，在捕获的数据流中进行骨骼跟踪，得到包含多个骨骼节点的三维骨骼序列。假设一个骨骼序列共有n帧，每一帧都有m个骨骼节点被从深度图上抽取出来，用来表示第i帧的第j个骨骼节点的三维位置信息。整个视频序列中所有的骨骼均可以根据三维信息投影到三个笛卡尔正交系的三个平面上(正面、侧面、顶面)。这样的投影后，每一个骨骼序列都能得到三张黑白的描述该动作骨骼分布的图片。具有丰富的空间信息，然而并不具备时间信息的描述。
为了令骨骼展现更完备的动作信息，本发明通过颜色的变换在骨骼分布图中加入时间信息。
首先，不同序列中，同一个时间段的骨骼节点，采用同一个颜色来表示；同一个骨骼序列的不同时间段，用不同的颜色来表示。由此，不同的骨骼序列都能够在图片上通过颜色的变换，即展现了空间的分布状态，又展现了时间的先后顺序。
其次，由于人体的骨骼整体上是左右对称的，且几乎所有动作中，躯干的骨骼运动幅度都格外少。本专利采用对不同位置的骨骼用不同的颜色渐变方式来表示时间信息。接下来以20个骨骼节点为例，对于属于左侧的骨骼序列K1(左肩、左肘、左腕、左手、左胯、左膝、左脚踝、左脚)，采用由蓝至红的颜色变换；对于属于右侧的骨骼序列K2(右肩、右肘、右腕、右手、右胯、右膝、右脚踝、右脚)，采用由红至蓝，与左侧完全相反的颜色变换；而针对属于躯干部分的骨骼序列K3(头、颈、躯干、中央胯骨)，采用由浅灰至灰色的色彩变换。
最后，考虑到骨骼具有不同的速度，对于人类的运动，往往运动幅度大的部位，即关节点运动速度快的部位，具有更为有价值的能够表征动作的信息，因此，在同一个时刻，当颜色信息已经选取完成后，我们根据骨骼节点的运动速度，用不同的色度以及饱和度来完成对当前颜色的加权。
以上工作均在给定骨骼序列根据以下公式，在HSV彩色空间表示出对骨骼节点的颜色选取。
其中H(j，i)，S(j，i)，V(j，i)分别代表HSV彩色空间中的色度、饱和度、明度的取值，表示第j个骨骼节点在第i帧的速度，max{v}表示整个骨骼序列中骨骼节点的最大值，hmin，hmax，Smin，Smax，bmin，bmax分别代表HSV空间中色度、饱和度、明度的取值范围边界值，在本发明中，均采用HSV彩色空间的色度、饱和度及明度的最大取值范围。
2)利用深度学习进行图片分类，从而完成人类的动作检测识别任务。
在这里，我们采用当今公用的深度学习框架Caffe，在Linux系统下，通过NvidiaGTX TITAN X显卡进行卷积神经网络训练的加速，采用该工具箱中AlexNet的网络结构对经过颜色变换的彩色骨骼分布图片进行训练。
采用数据集中的训练数据集，在求得三方向骨骼分布图后，分别进行三个卷积神经网络的参数训练
对于每一个测试数据集中的视频序列，针对三个投影面的骨骼分布图，根据训练好的三个卷积神经网络模型，计算出三个Scores向量。该向量为图片从属对应类别的归一化概率，向量长度为训练类模型时的类别总数。将三个方向的Scores向量相加后，取最大值所在的类别作为该视频序列的从属类别。
下面为本发明在MSRC-12、G3D、UTD-MHAD等数据集上的实验结果说明：
在Matlab-2013b平台上进行算法的仿真实现，计算出了训练数据集以及测试数据集的三方向骨骼轨迹图片。我们采用当今公用的深度学习框架Caffe，在Linux系统下，通过Nvidia GTX TITAN X显卡进行卷积神经网络训练的加速。最后的Scores综合部分依然在Matlab-2013b平台上完成。
本方法在国际公认的人类动作识别数据集中进行测试，数据集中训练集以及测试集的分配方式采用Cross Subject分配方式。测试结果如下：在包含12类动作的MSRC-12数据集上，获得了94.27％的识别准确率；在包含20类动作的G3D数据集上，获得了95.45％的识别准确率；在包含27类动作的UTD-MHAD数据集上，获得了86.97％的识别精度。该实验结果对比与国际领先的基于骨骼序列的人类动作检测识别算法，均取得了高于其余算法的分类准确度。

Claims (1)

1.一种基于骨骼序列的动作识别方法，包括下列步骤：
1)对于一个骨骼序列，将所有的骨骼均根据三维信息投影到三个笛卡尔正交系的正面、侧面和顶面，生成骨骼分布图；
2)通过颜色的变换在骨骼分布图中加入时间信息，方法如下：
不同骨骼序列中，同一个时间段的骨骼节点，采用同一个颜色来表示；同一个骨骼序列的不同时间段，用不同的颜色来表示；
对不同位置的骨骼采用不同的颜色渐变方式来表示时间信息；
在同一个时刻，当颜色信息已经选取完成后，根据骨骼节点的运动速度，用不同的色度以及饱和度来完成对当前颜色的加权；
3)利用卷积神经网络，对基于训练数据集生成的三个投影面上的加入时间信息的骨骼分布图，分别做卷积神将网络的模型训练；
4)对于每一个测试样本，经过步骤2)的处理后，针对三个投影面的加入时间信息的骨骼分布图，根据训练好的三个卷积神经网络模型，计算出三个Scores向量；将三个投影面的Scores向量相加后，取最大值所在的类别作为该骨骼序列的从属类别。
CN201610538398.3A 2016-07-08 2016-07-08 一种基于骨骼序列的动作识别方法 Expired - Fee Related CN106203503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610538398.3A CN106203503B (zh) 2016-07-08 2016-07-08 一种基于骨骼序列的动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610538398.3A CN106203503B (zh) 2016-07-08 2016-07-08 一种基于骨骼序列的动作识别方法

Publications (2)

Publication Number Publication Date
CN106203503A CN106203503A (zh) 2016-12-07
CN106203503B true CN106203503B (zh) 2019-04-05

Family

ID=57474018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610538398.3A Expired - Fee Related CN106203503B (zh) 2016-07-08 2016-07-08 一种基于骨骼序列的动作识别方法

Country Status (1)

Country Link
CN (1) CN106203503B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066979A (zh) * 2017-04-18 2017-08-18 重庆邮电大学 一种基于深度信息和多维度卷积神经网络的人体动作识别方法
CN107506370A (zh) * 2017-07-07 2017-12-22 大圣科技股份有限公司 多媒体数据深度挖掘方法、存储介质及电子设备
CN107392131A (zh) * 2017-07-14 2017-11-24 天津大学 一种基于人体骨骼节点距离的动作识别方法
CN108229355B (zh) * 2017-12-22 2021-03-23 北京市商汤科技开发有限公司 行为识别方法和装置、电子设备、计算机存储介质
CN108257139B (zh) * 2018-02-26 2020-09-08 中国科学院大学 基于深度学习的rgb-d三维物体检测方法
CN110222551B (zh) * 2018-03-02 2021-07-09 杭州海康威视数字技术股份有限公司 识别动作类别的方法、装置、电子设备及存储介质
CN109192267A (zh) * 2018-08-09 2019-01-11 深圳狗尾草智能科技有限公司 运动陪伴虚拟机器人
CN109407709B (zh) * 2018-09-25 2022-01-18 国网天津市电力公司 一种基于Kinect骨骼跟踪算法的会议摄像自动追踪系统
CN109670401B (zh) * 2018-11-15 2022-09-20 天津大学 一种基于骨骼运动图的动作识别方法
CN109800659B (zh) * 2018-12-26 2021-05-25 中国科学院自动化研究所南京人工智能芯片创新研究院 一种动作识别方法及装置
CN109685037B (zh) * 2019-01-08 2021-03-05 北京汉王智远科技有限公司 一种实时动作识别方法、装置及电子设备
CN110348395B (zh) * 2019-07-12 2023-01-20 电子科技大学 一种基于时空关系的骨架行为识别方法
CN110533752B (zh) * 2019-07-23 2023-04-07 深圳大学 一种人体动作编辑模型的生成方法、存储介质及电子设备
CN110728183B (zh) * 2019-09-09 2023-09-22 天津大学 一种基于注意力机制的神经网络的人体动作识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345984B2 (en) * 2010-01-28 2013-01-01 Nec Laboratories America, Inc. 3D convolutional neural networks for automatic human action recognition
CN103489000A (zh) * 2013-09-18 2014-01-01 柳州市博源环科科技有限公司 一种人体动作识别训练系统的实现方法
CN104615983A (zh) * 2015-01-28 2015-05-13 中国科学院自动化研究所 基于递归神经网络和人体骨架运动序列的行为识别方法
CN104850846A (zh) * 2015-06-02 2015-08-19 深圳大学 一种基于深度神经网络的人体行为识别方法及识别系统
CN105069413A (zh) * 2015-07-27 2015-11-18 电子科技大学 一种基于深度卷积神经网络的人体姿势识别方法
CN105740773A (zh) * 2016-01-25 2016-07-06 重庆理工大学 基于深度学习和多尺度信息的行为识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345984B2 (en) * 2010-01-28 2013-01-01 Nec Laboratories America, Inc. 3D convolutional neural networks for automatic human action recognition
CN103489000A (zh) * 2013-09-18 2014-01-01 柳州市博源环科科技有限公司 一种人体动作识别训练系统的实现方法
CN104615983A (zh) * 2015-01-28 2015-05-13 中国科学院自动化研究所 基于递归神经网络和人体骨架运动序列的行为识别方法
CN104850846A (zh) * 2015-06-02 2015-08-19 深圳大学 一种基于深度神经网络的人体行为识别方法及识别系统
CN105069413A (zh) * 2015-07-27 2015-11-18 电子科技大学 一种基于深度卷积神经网络的人体姿势识别方法
CN105740773A (zh) * 2016-01-25 2016-07-06 重庆理工大学 基于深度学习和多尺度信息的行为识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Histogram of oriented displacements(HOD):describing trajectories of human joints for action recogniton;MA Gowayyed;《International Joint Conference on Artificial Intelligence》;20131231;全文
基于BP神经网络的Kinect手势识别方法;马岩;《软件导刊》;20160517;第15卷(第3期);全文

Also Published As

Publication number Publication date
CN106203503A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
CN106203503B (zh) 一种基于骨骼序列的动作识别方法
Kamal et al. A hybrid feature extraction approach for human detection, tracking and activity recognition using depth sensors
Uddin et al. Human activity recognition using body joint‐angle features and hidden Markov model
Johnson et al. Learning effective human pose estimation from inaccurate annotation
CN108256421A (zh) 一种动态手势序列实时识别方法、系统及装置
CN103186775B (zh) 基于混合描述子的人体运动识别方法
CN110472604B (zh) 一种基于视频的行人与人群行为识别方法
CN104463191A (zh) 一种基于注意机制的机器人视觉处理方法
Medioni et al. Identifying noncooperative subjects at a distance using face images and inferred three-dimensional face models
Arif et al. Automated body parts estimation and detection using salient maps and Gaussian matrix model
CN107392131A (zh) 一种基于人体骨骼节点距离的动作识别方法
CN108898063A (zh) 一种基于全卷积神经网络的人体姿态识别装置及方法
CN105536205A (zh) 一种基于单目视频人体动作感知的上肢训练系统
CN103440510A (zh) 一种面部图像中特征点的定位方法
CN106599785A (zh) 人体3d特征身份信息库的建立方法及设备
CN109670401B (zh) 一种基于骨骼运动图的动作识别方法
CN110263605A (zh) 基于二维人体姿态估计的行人服饰颜色识别方法及装置
CN110084192A (zh) 基于目标检测的快速动态手势识别系统及方法
CN106909890A (zh) 一种基于部位聚类特征的人体行为识别方法
CN105069745A (zh) 基于普通图像传感器及增强现实技术的带表情变脸系统及方法
CN112966736B (zh) 一种基于多视角匹配与局部特征融合的车辆再识别方法
CN109325408A (zh) 一种手势判断方法及存储介质
CN109657634A (zh) 一种基于深度卷积神经网络的3d手势识别方法及系统
CN107154051A (zh) 背景剪除方法及装置
CN110032932A (zh) 一种基于视频处理和决策树设定阈值的人体姿态识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190405

Termination date: 20210708