CN106203503A - 一种基于骨骼序列的动作识别方法 - Google Patents
一种基于骨骼序列的动作识别方法 Download PDFInfo
- Publication number
- CN106203503A CN106203503A CN201610538398.3A CN201610538398A CN106203503A CN 106203503 A CN106203503 A CN 106203503A CN 201610538398 A CN201610538398 A CN 201610538398A CN 106203503 A CN106203503 A CN 106203503A
- Authority
- CN
- China
- Prior art keywords
- skeleton
- scattergram
- sequence
- information
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2111—Selection of the most significant subset of features by using evolutionary computational techniques, e.g. genetic algorithms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Physiology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于骨骼序列的动作识别方法,包括:对于一个骨骼序列,将所有的骨骼均根据三维信息投影到三个笛卡尔正交系的正面、侧面和顶面,生成骨骼分布图;通过颜色的变换在骨骼分布图中加入时间信息;利用卷积神经网络,对基于训练数据集生成的三个投影面上的加入时间信息的骨骼分布图,分别做卷积神将网络的模型训练;对于每一个测试样本,针对三个投影面的加入时间信息的骨骼分布图,根据训练好的三个卷积神经网络模型,计算出三个Scores向量;将三个投影面的Scores向量相加后,取最大值所在的类别作为该视频序列的从属类别。本发明能够准确可靠识别人类动作。
Description
技术领域
此方法涉及多媒体信息处理领域,包括计算机智能、模式识别、机器学习领域。
背景技术
人类的动作检测识别方法,在当今社会具有非常广泛的应用,例如:智能监控、人机交互的体感游戏、视频检索等等。基于RGB-D(彩色和深度)视频序列的人类动作检测识别,在当今计算机视觉领域尤其流行。相比较传统的RGB视频序列,RGB-D视频序列对光照的敏感程度更低,同时还具有更为丰富的三维信息。基于深度信息,许多传统方法在第三维方向上提出了扩展,也有许多新的特征被提取出来。骨骼序列,作为深度信息中提取出来的一种特征,目前被广泛认可。Kinect的SDK中已经能够根据深度序列以及彩色图像序列计算出相当准确的骨骼序列。因此,单纯基于骨骼序列的人类动作识别也具有很有发展的前景。
近年来,卷积神经网络在计算机识别的领域中具有相当出色的表现,尤其在图片的分类方面。然而,如何采用卷积神经网络来处理基于视频的识别问题仍然是一个开放的课题。当前人们采用卷积神经网络进行人类动作检测识别的方法,主要分为两类:采用卷积神经网络直接处理编码后的视频序列、对视频进行处理,转换为图片再采用卷积神经网络进行学习分类。
发明内容
本发明利用从Kinect摄像机输出的人类骨骼序列,提出一种具有良好分类识别能力的基于骨骼序列的动作识别方法。技术方案如下:
一种基于骨骼序列的动作识别方法,包括下列步骤:
1)对于一个骨骼序列,将所有的骨骼均根据三维信息投影到三个笛卡尔正交系的正面、侧面和顶面,生成骨骼分布图;
2)通过颜色的变换在骨骼分布图中加入时间信息,方法如下:
不同骨骼序列中,同一个时间段的骨骼节点,采用同一个颜色来表示;同一个骨骼序列的不同时间段,用不同的颜色来表示;
对不同位置的骨骼采用不同的颜色渐变方式来表示时间信息;
在同一个时刻,当颜色信息已经选取完成后,根据骨骼节点的运动速度,用不同的色度以及饱和度来完成对当前颜色的加权;
3)利用卷积神经网络,对基于训练数据集生成的三个投影面上的加入时间信息的骨骼分布图,分别做卷积神将网络的模型训练;
4)对于每一个测试样本,经过步骤2)的处理后,针对三个投影面的加入时间信息的骨骼分布图,根据训练好的三个卷积神经网络模型,计算出三个Scores向量;将三个投影面的Scores向量相加后,取最大值所在的类别作为该视频序列的从属类别。
附图说明
图1为整个基于骨骼序列的人类动作识别框架
具体实施方式
1)骨骼序列到图片的映射
通过Kinect摄像机捕捉人类动作,在捕获的数据流中进行骨骼跟踪,得到包含多个骨骼节点的三维骨骼序列。假设一个骨骼序列共有n帧,每一帧都有m个骨骼节点被从深度图上抽取出来,用来表示第i帧的第j个骨骼节点的三维位置信息。整个视频序列中所有的骨骼均可以根据三维信息投影到三个笛卡尔正交系的三个平面上(正面、侧面、顶面)。这样的投影后,每一个骨骼序列都能得到三张黑白的描述该动作骨骼分布的图片。具有丰富的空间信息,然而并不具备时间信息的描述。
为了令骨骼展现更完备的动作信息,本发明通过颜色的变换在骨骼分布图中加入时间信息。
首先,不同序列中,同一个时间段的骨骼节点,采用同一个颜色来表示;同一个骨骼序列的不同时间段,用不同的颜色来表示。由此,不同的骨骼序列都能够在图片上通过颜色的变换,即展现了空间的分布状态,又展现了时间的先后顺序。
其次,由于人体的骨骼整体上是左右对称的,且几乎所有动作中,躯干的骨骼运动幅度都格外少。本专利采用对不同位置的骨骼用不同的颜色渐变方式来表示时间信息。接下来以20个骨骼节点为例,对于属于左侧的骨骼序列K1(左肩、左肘、左腕、左手、左胯、左膝、左脚踝、左脚),采用由蓝至红的颜色变换;对于属于右侧的骨骼序列K2(右肩、右肘、右腕、右手、右胯、右膝、右脚踝、右脚),采用由红至蓝,与左侧完全相反的颜色变换;而针对属于躯干部分的骨骼序列K3(头、颈、躯干、中央胯骨),采用由浅灰至灰色的色彩变换。
最后,考虑到骨骼具有不同的速度,对于人类的运动,往往运动幅度大的部位,即关节点运动速度快的部位,具有更为有价值的能够表征动作的信息,因此,在同一个时刻,当颜色信息已经选取完成后,我们根据骨骼节点的运动速度,用不同的色度以及饱和度来完成对当前颜色的加权。
以上工作均在给定骨骼序列根据以下公式,在HSV彩色空间表示出对骨骼节点的颜色选取。
其中H(j,i),S(j,i),V(j,i)分别代表HSV彩色空间中的色度、饱和度、明度的取值,表示第j个骨骼节点在第i帧的速度,max{v}表示整个骨骼序列中骨骼节点的最大值,hmin,hmax,Smin,Smax,bmin,bmax分别代表HSV空间中色度、饱和度、明度的取值范围边界值,在本发明中,均采用HSV彩色空间的色度、饱和度及明度的最大取值范围。
2)利用深度学习进行图片分类,从而完成人类的动作检测识别任务。
在这里,我们采用当今公用的深度学习框架Caffe,在Linux系统下,通过NvidiaGTX TITAN X显卡进行卷积神经网络训练的加速,采用该工具箱中AlexNet的网络结构对经过颜色变换的彩色骨骼分布图片进行训练。
采用数据集中的训练数据集,在求得三方向骨骼分布图后,分别进行三个卷积神经网络的参数训练
对于每一个测试数据集中的视频序列,针对三个投影面的骨骼分布图,根据训练好的三个卷积神经网络模型,计算出三个Scores向量。该向量为图片从属对应类别的归一化概率,向量长度为训练类模型时的类别总数。将三个方向的Scores向量相加后,取最大值所在的类别作为该视频序列的从属类别。
下面为本发明在MSRC-12、G3D、UTD-MHAD等数据集上的实验结果说明:
在Matlab-2013b平台上进行算法的仿真实现,计算出了训练数据集以及测试数据集的三方向骨骼轨迹图片。我们采用当今公用的深度学习框架Caffe,在Linux系统下,通过Nvidia GTX TITAN X显卡进行卷积神经网络训练的加速。最后的Scores综合部分依然在Matlab-2013b平台上完成。
本方法在国际公认的人类动作识别数据集中进行测试,数据集中训练集以及测试集的分配方式采用Cross Subject分配方式。测试结果如下:在包含12类动作的MSRC-12数据集上,获得了94.27%的识别准确率;在包含20类动作的G3D数据集上,获得了95.45%的识别准确率;在包含27类动作的UTD-MHAD数据集上,获得了86.97%的识别精度。该实验结果对比与国际领先的基于骨骼序列的人类动作检测识别算法,均取得了高于其余算法的分类准确度。
Claims (1)
1.一种基于骨骼序列的动作识别方法,包括下列步骤:
1)对于一个骨骼序列,将所有的骨骼均根据三维信息投影到三个笛卡尔正交系的正面、侧面和顶面,生成骨骼分布图;
2)通过颜色的变换在骨骼分布图中加入时间信息,方法如下:
不同骨骼序列中,同一个时间段的骨骼节点,采用同一个颜色来表示;同一个骨骼序列的不同时间段,用不同的颜色来表示;
对不同位置的骨骼采用不同的颜色渐变方式来表示时间信息;
在同一个时刻,当颜色信息已经选取完成后,根据骨骼节点的运动速度,用不同的色度以及饱和度来完成对当前颜色的加权;
3)利用卷积神经网络,对基于训练数据集生成的三个投影面上的加入时间信息的骨骼分布图,分别做卷积神将网络的模型训练;
4)对于每一个测试样本,经过步骤2)的处理后,针对三个投影面的加入时间信息的骨骼分布图,根据训练好的三个卷积神经网络模型,计算出三个Scores向量;将三个投影面的Scores向量相加后,取最大值所在的类别作为该视频序列的从属类别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610538398.3A CN106203503B (zh) | 2016-07-08 | 2016-07-08 | 一种基于骨骼序列的动作识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610538398.3A CN106203503B (zh) | 2016-07-08 | 2016-07-08 | 一种基于骨骼序列的动作识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106203503A true CN106203503A (zh) | 2016-12-07 |
CN106203503B CN106203503B (zh) | 2019-04-05 |
Family
ID=57474018
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610538398.3A Expired - Fee Related CN106203503B (zh) | 2016-07-08 | 2016-07-08 | 一种基于骨骼序列的动作识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106203503B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107066979A (zh) * | 2017-04-18 | 2017-08-18 | 重庆邮电大学 | 一种基于深度信息和多维度卷积神经网络的人体动作识别方法 |
CN107392131A (zh) * | 2017-07-14 | 2017-11-24 | 天津大学 | 一种基于人体骨骼节点距离的动作识别方法 |
CN107506370A (zh) * | 2017-07-07 | 2017-12-22 | 大圣科技股份有限公司 | 多媒体数据深度挖掘方法、存储介质及电子设备 |
CN108229355A (zh) * | 2017-12-22 | 2018-06-29 | 北京市商汤科技开发有限公司 | 行为识别方法和装置、电子设备、计算机存储介质、程序 |
CN108257139A (zh) * | 2018-02-26 | 2018-07-06 | 中国科学院大学 | 基于深度学习的rgb-d三维物体检测方法 |
CN109192267A (zh) * | 2018-08-09 | 2019-01-11 | 深圳狗尾草智能科技有限公司 | 运动陪伴虚拟机器人 |
CN109407709A (zh) * | 2018-09-25 | 2019-03-01 | 国网天津市电力公司 | 一种基于Kinect骨骼跟踪算法的会议摄像自动追踪系统 |
CN109670401A (zh) * | 2018-11-15 | 2019-04-23 | 天津大学 | 一种基于骨骼运动图的动作识别方法 |
CN109685037A (zh) * | 2019-01-08 | 2019-04-26 | 北京汉王智远科技有限公司 | 一种实时动作识别方法、装置及电子设备 |
CN109800659A (zh) * | 2018-12-26 | 2019-05-24 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 一种动作识别方法及装置 |
CN110222551A (zh) * | 2018-03-02 | 2019-09-10 | 杭州海康威视数字技术股份有限公司 | 识别动作类别的方法、装置、电子设备及存储介质 |
CN110348395A (zh) * | 2019-07-12 | 2019-10-18 | 电子科技大学 | 一种基于时空关系的骨架行为识别方法 |
CN110533752A (zh) * | 2019-07-23 | 2019-12-03 | 深圳大学 | 一种人体动作编辑模型的生成方法、存储介质及电子设备 |
CN110728183A (zh) * | 2019-09-09 | 2020-01-24 | 天津大学 | 一种基于注意力机制的神经网络的人体动作识别方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8345984B2 (en) * | 2010-01-28 | 2013-01-01 | Nec Laboratories America, Inc. | 3D convolutional neural networks for automatic human action recognition |
CN103489000A (zh) * | 2013-09-18 | 2014-01-01 | 柳州市博源环科科技有限公司 | 一种人体动作识别训练系统的实现方法 |
CN104615983A (zh) * | 2015-01-28 | 2015-05-13 | 中国科学院自动化研究所 | 基于递归神经网络和人体骨架运动序列的行为识别方法 |
CN104850846A (zh) * | 2015-06-02 | 2015-08-19 | 深圳大学 | 一种基于深度神经网络的人体行为识别方法及识别系统 |
CN105069413A (zh) * | 2015-07-27 | 2015-11-18 | 电子科技大学 | 一种基于深度卷积神经网络的人体姿势识别方法 |
CN105740773A (zh) * | 2016-01-25 | 2016-07-06 | 重庆理工大学 | 基于深度学习和多尺度信息的行为识别方法 |
-
2016
- 2016-07-08 CN CN201610538398.3A patent/CN106203503B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8345984B2 (en) * | 2010-01-28 | 2013-01-01 | Nec Laboratories America, Inc. | 3D convolutional neural networks for automatic human action recognition |
CN103489000A (zh) * | 2013-09-18 | 2014-01-01 | 柳州市博源环科科技有限公司 | 一种人体动作识别训练系统的实现方法 |
CN104615983A (zh) * | 2015-01-28 | 2015-05-13 | 中国科学院自动化研究所 | 基于递归神经网络和人体骨架运动序列的行为识别方法 |
CN104850846A (zh) * | 2015-06-02 | 2015-08-19 | 深圳大学 | 一种基于深度神经网络的人体行为识别方法及识别系统 |
CN105069413A (zh) * | 2015-07-27 | 2015-11-18 | 电子科技大学 | 一种基于深度卷积神经网络的人体姿势识别方法 |
CN105740773A (zh) * | 2016-01-25 | 2016-07-06 | 重庆理工大学 | 基于深度学习和多尺度信息的行为识别方法 |
Non-Patent Citations (2)
Title |
---|
MA GOWAYYED: "Histogram of oriented displacements(HOD):describing trajectories of human joints for action recogniton", 《INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE》 * |
马岩: "基于BP神经网络的Kinect手势识别方法", 《软件导刊》 * |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107066979A (zh) * | 2017-04-18 | 2017-08-18 | 重庆邮电大学 | 一种基于深度信息和多维度卷积神经网络的人体动作识别方法 |
CN107506370A (zh) * | 2017-07-07 | 2017-12-22 | 大圣科技股份有限公司 | 多媒体数据深度挖掘方法、存储介质及电子设备 |
CN107392131A (zh) * | 2017-07-14 | 2017-11-24 | 天津大学 | 一种基于人体骨骼节点距离的动作识别方法 |
CN108229355A (zh) * | 2017-12-22 | 2018-06-29 | 北京市商汤科技开发有限公司 | 行为识别方法和装置、电子设备、计算机存储介质、程序 |
CN108229355B (zh) * | 2017-12-22 | 2021-03-23 | 北京市商汤科技开发有限公司 | 行为识别方法和装置、电子设备、计算机存储介质 |
CN108257139A (zh) * | 2018-02-26 | 2018-07-06 | 中国科学院大学 | 基于深度学习的rgb-d三维物体检测方法 |
CN108257139B (zh) * | 2018-02-26 | 2020-09-08 | 中国科学院大学 | 基于深度学习的rgb-d三维物体检测方法 |
CN110222551A (zh) * | 2018-03-02 | 2019-09-10 | 杭州海康威视数字技术股份有限公司 | 识别动作类别的方法、装置、电子设备及存储介质 |
CN110222551B (zh) * | 2018-03-02 | 2021-07-09 | 杭州海康威视数字技术股份有限公司 | 识别动作类别的方法、装置、电子设备及存储介质 |
CN109192267A (zh) * | 2018-08-09 | 2019-01-11 | 深圳狗尾草智能科技有限公司 | 运动陪伴虚拟机器人 |
CN109407709A (zh) * | 2018-09-25 | 2019-03-01 | 国网天津市电力公司 | 一种基于Kinect骨骼跟踪算法的会议摄像自动追踪系统 |
CN109407709B (zh) * | 2018-09-25 | 2022-01-18 | 国网天津市电力公司 | 一种基于Kinect骨骼跟踪算法的会议摄像自动追踪系统 |
CN109670401A (zh) * | 2018-11-15 | 2019-04-23 | 天津大学 | 一种基于骨骼运动图的动作识别方法 |
CN109800659A (zh) * | 2018-12-26 | 2019-05-24 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 一种动作识别方法及装置 |
CN109800659B (zh) * | 2018-12-26 | 2021-05-25 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 一种动作识别方法及装置 |
CN109685037A (zh) * | 2019-01-08 | 2019-04-26 | 北京汉王智远科技有限公司 | 一种实时动作识别方法、装置及电子设备 |
CN110348395A (zh) * | 2019-07-12 | 2019-10-18 | 电子科技大学 | 一种基于时空关系的骨架行为识别方法 |
CN110533752A (zh) * | 2019-07-23 | 2019-12-03 | 深圳大学 | 一种人体动作编辑模型的生成方法、存储介质及电子设备 |
CN110728183A (zh) * | 2019-09-09 | 2020-01-24 | 天津大学 | 一种基于注意力机制的神经网络的人体动作识别方法 |
CN110728183B (zh) * | 2019-09-09 | 2023-09-22 | 天津大学 | 一种基于注意力机制的神经网络的人体动作识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106203503B (zh) | 2019-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106203503A (zh) | 一种基于骨骼序列的动作识别方法 | |
Wang et al. | Human action recognition by learning spatio-temporal features with deep neural networks | |
Bhattacharya et al. | Step: Spatial temporal graph convolutional networks for emotion perception from gaits | |
CN110472604B (zh) | 一种基于视频的行人与人群行为识别方法 | |
Johnson et al. | Learning effective human pose estimation from inaccurate annotation | |
CN109190578B (zh) | 基于时域卷积网络与循环神经网络融合的手语视频翻译方法 | |
CN107392131A (zh) | 一种基于人体骨骼节点距离的动作识别方法 | |
CN112287891B (zh) | 基于表情行为特征提取的通过视频评估学习专注力的方法 | |
CN107301376B (zh) | 一种基于深度学习多层刺激的行人检测方法 | |
CN116012950B (zh) | 一种基于多重心时空注意图卷积网络的骨架动作识别方法 | |
CN105469050B (zh) | 基于局部时空特征描述与金字塔词汇树的视频行为识别方法 | |
CN109670401B (zh) | 一种基于骨骼运动图的动作识别方法 | |
CN106228109A (zh) | 一种基于骨骼运动轨迹的动作识别方法 | |
CN109657634A (zh) | 一种基于深度卷积神经网络的3d手势识别方法及系统 | |
CN105069745A (zh) | 基于普通图像传感器及增强现实技术的带表情变脸系统及方法 | |
CN112257639A (zh) | 基于人体骨架的学生学习行为识别方法 | |
CN111401116A (zh) | 基于增强卷积和空时lstm网络的双模态情感识别方法 | |
CN110443179A (zh) | 离岗检测方法、装置以及存储介质 | |
CN110503014A (zh) | 基于多尺度掩码感知回馈卷积神经网络的人数统计方法 | |
CN113378799A (zh) | 基于目标检测和姿态检测框架的行为识别方法及系统 | |
CN103218829A (zh) | 一种适应于动态背景的前景提取方法 | |
CN103020631B (zh) | 基于星型模型的人体运动识别方法 | |
CN111539364A (zh) | 基于特征融合和多分类器投票的多体感人体行为识别算法 | |
Theodoridis et al. | Action classification of 3d human models using dynamic anns for mobile robot surveillance | |
Du | The computer vision simulation of athlete’s wrong actions recognition model based on artificial intelligence |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190405 Termination date: 20210708 |
|
CF01 | Termination of patent right due to non-payment of annual fee |