CN106156714A - 基于骨骼关节特征和表面特征融合的人体行为识别方法 - Google Patents
基于骨骼关节特征和表面特征融合的人体行为识别方法 Download PDFInfo
- Publication number
- CN106156714A CN106156714A CN201510196674.8A CN201510196674A CN106156714A CN 106156714 A CN106156714 A CN 106156714A CN 201510196674 A CN201510196674 A CN 201510196674A CN 106156714 A CN106156714 A CN 106156714A
- Authority
- CN
- China
- Prior art keywords
- joint
- feature
- depth
- global
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种人体行为识别方法,具体为一种新的结合骨骼局部的关节特征和全局的表面特征的融合框架进行行为识别的方法。首先,收集整个序列的关节特征和表面特征,并且分别地对上述收集到的特征进行训练支持向量机(SVM)模型;然后对待检测某一行为的每一种特征(关节或者表面)都进行标签类的匹配;最后,将上述匹配后的两种特征进行融合,通过融合框架计算特征概率来进行人体行为识别。本发明不但能够提供人体每个行为的独特性信息,同时,由于该方法融合了人们的局部深度信息和全局深度信息,因此,能够识别具有挑战性的人体行为。
Description
技术领域
本发明涉及行为识别技术领域,尤其涉及一种基于骨骼关节特征和表面特征的融合框架进行人体行为识别的方法。
背景技术
行为识别距今有很长的研究历史,有调查显示,骨骼和表面的特征与2D形状的表示密切相关。关键的问题包括组内变化,例如人们姿势变化、畸变、自遮挡等和组外的噪声,例如不同行为可能在实践中有相似的外观。早期的行为识别方法主要处理色彩视频。在这些方法中,不变的关键点经常被作为局部特征来捕获目标的行为。然而,这些通过色彩视频提供的信息在实际中通常不足以精确的来识别人类的行为。
基于骨骼的表示能够在2D图形中很好的学习,因为准确的3D结构(3D骨骼)能够通过高性价比的深度感应器获得,它使得更多的关注落在人类行为识别上,如利用隐式的马尔可夫链来反应3D关节的转移概率,使用条件随机域来构建3D关节位置模型。基于轮廓的表示也具有良好的影响,在早期的研究中,基于关键点的策略也经常被利用,并且基于运动轨迹的方法也被提出。更多的,整体性的方法最近越来越流行。最近几年,高性价比深度相机,例如kinect RGB-D传感器,已经引起了人们的关注。这样的相机能够提供场景中的3D深度信息。因此,行为的识别能从深度信息中获益。
在基于深度的行为识别中,比较容易获得强大的3D骨骼关节的位置,因此基于骨骼的3D关节特征被用于捕获人类不变的特点。因为基于骨骼的特征能够利用目标的粗糙结构信息,能自然地定位由人类行为引起的非刚性畸变。另外,通过Kinect传感器捕捉的浓密的3D点云能提供准确的人们的信息。因此,几何外观与表面结合作为人类的3D轮廓,可以对行为识别提供足够的有效信息。
发明内容
本发明的目的在于针对上述技术存在的缺陷,提出了一种新的结合骨骼局部关节特征和全局表面特征的融合框架进行行为识别的方法,首先,收集整个序列的关节特征和表面特征,并且分别地训练支持向量机(SVM)模型;然后,把上述特征融合到基于新的后验分解的融合框架中进行人体行为识别。本发明不但能够提供人体每个行为的独特性信息,同时,由于该方法融合了人们的局部深度特征和全局深度信息,因此,能够识别具有挑战性的人体行为。
本发明是通过如下技术方案实现的:一种基于骨骼关节特征和表面特征融合的人体行为识别方法,其特征在于,包括以下步骤:
步骤1:获取局部深度关节特征:采用人体骨骼关节特征来构建人类活动的局部变化模型;
步骤1.1:获取深度视频序列:采用Kinect传感器获得带有深度信息的视频序列;
步骤1.2:捕捉骨骼并计算关节之间的距离:采用骨骼跟踪器检测所述深度视频序列中每一帧的关节数量并计算关节之间的距离,这些距离信息构成多维向量1;
步骤1.3:获取关节周围的点云数量:从所述深度视频序列的每一帧中获得3D点云,定位每个关节在点云中的位置,围绕关节获得方形区域,然后把方形区域划分为小的区域,计算每个小区域中存在的点云数量,构成新的向量2;
步骤1.4:量化关节局部特征:将所述深度视频序列每一帧的向量1和向量2进行组合,这些组合共同表示出人体行为的局部特征;
步骤2:获取全局深度表面特征:采用4D空间的法向量分布来构建人类活动的全局变化模型;
步骤2.1:获取表面地图:由Kinect获取带有深度信息的视频序列,每一个视频都有T帧图片序列,每一张图片都是带有深度信息的3D点云图像;
步骤2.2:计算全局表面特征:在每一帧的3D点云图像的基础上增加时间轴构成4D空间,之后将4D空间分成不同的区域,在每个区域中都计算相应的法向量,用4D空间的法向量分布来表明人体运动的全局特性;
步骤2.3:量化全局表面特征:通过对4D空间中的每个法向量和每个封闭型4D图形上的点进行内积计算后,量化相应区域的数据,构成全局表面特征直方图;
步骤3:训练与融合:为整个序列收集上述局部深度关节特征和全局深度表面特征,并分别对收集到的上述局部深度关节特征和全局深度表面特征进行训练SVM模型,得到相应局部深度关节特征和全局深度表面特征所对应标签的后验概率,然后基于条件概率的最大化将上述两种特征融合成为一套统一框架。
本发明具有如下有益效果:本发明主要采用一种统一的框架融合了骨骼局部关节特征和全局深度表面特征,并将每一个单独的特征分解为子对象,对每一个子对象进行训练支持向量机模型,代替原始的特征向量,为每个子对象选择最有区分度的特征;本发明不需要依赖任何特殊描述,能够提供人体每个行为的独特性信息,同时,由于该方法融合了人们的局部深度信息和全局深度信息,因此,能够识别具有挑战性的人体行为。
附图说明
图1为本发明所述的人体行为识别方法流程图
具体实施方式
下面结合附图对本发明做进一步的说明。
一种基于骨骼关节特征和表面特征融合的人体行为识别方法,其特征在于,包括以下步骤:
步骤1:获取局部深度关节特征:采用人体骨骼关节特征来构建人类活动的局部变化模型;
步骤1.1:获取深度视频序列:采用Kinect传感器获得带有深度信息的视频序列;
步骤1.2:捕捉骨骼并计算关节之间的距离:对于带有T帧的视频序列Vi,使用骨骼跟踪器跟踪每一帧的每一关节,并建立3D全局坐标系和带有深度信息的基于屏幕的坐标系;
为了统一关节在不同图像中所处的位置,对坐标数据采取归一标准化处理:
假设关节数量为Q(通常关节数量为20),则每个关节都有三个坐标q=(xq,t,yq,t,zq,t),然后用如下公式计算每对关节之间的距离,fj(q,g)代表关节(q,g)对之间的距离:
fj(q,g)=|xq,t-xg,t|+|yq,t-yg,t|+|zq,t-zg,t|
因此,对任何两个不同的关节分别求出之间的距离并可以构成Q-1维向量P(t,i)。
步骤1.3:获取关节周围的点云数量:由于计算关节之间距离信息的不足,并且识别运动引起的事物的相互作用产生的效果可以更准确的判断人体行为,应测量关节周围的点云数量;从所述深度视频序列的每一帧中获取3D点云后,在点云图上定位关节在点云中的位置,定义关节为q,围绕q划分出立方体区域,像素为Nw×Nh×Nd;立方体区域进一步划分为w×h×d个小区域,每个小区域含有x×y×z像素,其中之后计算出每个小区域中的点云数量;在此帧定位的关节周围,所有小区域包含的点云数量构成w×h×d维向量O(t,i)。
步骤1.4:量化关节局部特征:对上述两种向量P(t,i)和O(t,i)进行组合即构成关节的局部特征,局部特征表示为:L(t,i)=(P(t,i),O(t,i));最终把所有帧的所有关节局部特征向量整合在一起即构成了一个行为采样量化后的局部特征集,局部特征集表示为:(L(t,i)|i∈[1,n],t∈[1,m],i∈Z,t∈z]。
步骤2:获取全局深度表面特征:采用4D空间的法向量分布来构建人类活动的全局变化模型;
步骤2.1:获取表面地图:由Kinect获取带有深度信息的视频序列,每一个视频都有T帧图片序列,每一张图片都是带有深度信息的3D点云图像;
步骤2.2:计算全局表面特征:首先在每一帧的3D点云图像的基础上增加时间轴构成4D空间,之后将每一帧的4D空间分成W×h×t个时空区域,在每个区域中计算相应的法向量构成集合N,N={nj},对于4D空间来说,行为的全局信息即为法向量的分布,用4D空间的法向量分布来表明人体运动的全局特性。
步骤2.3:量化全局表面特征:通过对4D空间中的每个法向量和每个封闭型4D图形上的点进行内积计算后,量化相应区域的数据,构成全局表面特征直方图;对每个4D空间空间使用带有120个顶点的四维体进行量化,点集为P={pi};之后计算每个法向量和点的内积,因此,4D法向量的初步的统一分布的公式为:这代表了每个时空空间法向量在4D区域的投影。
原始的全局表面特征是Ho=(Pr(pi|N)|pi∈p)。为了获得最终的全局特征来训练和练习,需要对每个时空区域获得的数据进行串联。
步骤3:训练与融合:在步骤1和步骤2中获取了行为的局部深度关节特征和全局深度表面特征,之后对它们进行分别训练;用fi,j表示第i个视频的第i个特征,本实施方式中的j为2,行为识别的目标是推断视频集的标签即li∈{1,2,…,L},为了方便讨论,每个视频都只描述一种行为,因此,人体行为识别是求得最大的后验概率,即l*=argmaxp(l|Vi);因为每个特征对标签来说是相互独立的,因此可展开如式:p(li|fi,j)指的是fi,j特征的标签后验概率;使用SVM模型来训练p(li|fi,j),例如:
p(l=c|fi,j)ccexp(s(fi,j)),其中,s(fi,j)由下式获取:
训练完上述两种类型后,进行相乘融合成一个统一框架来进行人体行为识别。
前述实施例和优点仅是示例性的,并不应被理解为限制本公开。本发明可容易地应用于其它类型的设备。此外,本公开的示例性实施例的描述是解释性的,并不限制权利要求的范围,许多的替换、修改和变化对于本领域技术人员来说是明显的。
Claims (1)
1.一种基于骨骼关节特征和表面特征融合的人体行为识别方法,包括以下步骤:
步骤1:获取局部深度关节特征:采用人体骨骼关节特征来构建人类活动的局部变化模型;
步骤1.1:获取深度视频序列:采用Kinect传感器获得带有深度信息的视频序列;
步骤1.2:捕捉骨骼并计算关节之间的距离:采用骨骼跟踪器检测所述深度视频序列中每一帧的关节数量并计算关节之间的距离,这些距离信息构成多维向量1;
步骤1.3:获取关节周围的点云数量:从所述深度视频序列的每一帧中获得3D点云,定位每个关节在点云中的位置,然后围绕关节获得方形区域,最后把方形区域划分为小的区域,计算每个小区域中存在的点云数量,构成新的向量2;
步骤1.4:量化关节局部特征:将所述深度视频序列中的每一帧的向量1和向量2进行组合,这些组合共同表示出人体行为的局部特征;
步骤2:获取全局深度表面特征:采用4D空间的法向量分布来构建人类活动的全局变化模型;
步骤2.1:获取表面地图:由Kinect获取带有深度信息的视频序列,每一个视频都有T帧图片序列,每一张图片都是带有深度信息的3D点云图像;
步骤2.2:计算全局表面特征:在每一帧的3D点云图像的基础上增加时间轴构成4D空间,之后将4D空间分成不同的区域,在每个区域中都计算相应的法向量,用4D空间的法向量分布来表明人体运动的全局特性;
步骤2.3:量化全局表面特征:通过对4D空间中的每个法向量和每个封闭型4D图形上的点进行内积计算后,量化相应区域的数据,构成全局表面特征直方图;
步骤3:训练与融合:为整个序列收集上述局部深度关节特征和全局深度表面特征,并分别对收集到的上述局部深度关节特征和全局深度表面特征进行训练SVM模型,得到相应局部深度关节特征和全局深度表面特征所对应标签的后验概率,然后基于条件概率的最大化将上述两种特征融合成为一套统一框架。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510196674.8A CN106156714A (zh) | 2015-04-24 | 2015-04-24 | 基于骨骼关节特征和表面特征融合的人体行为识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510196674.8A CN106156714A (zh) | 2015-04-24 | 2015-04-24 | 基于骨骼关节特征和表面特征融合的人体行为识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106156714A true CN106156714A (zh) | 2016-11-23 |
Family
ID=57346495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510196674.8A Pending CN106156714A (zh) | 2015-04-24 | 2015-04-24 | 基于骨骼关节特征和表面特征融合的人体行为识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106156714A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107301656A (zh) * | 2017-06-21 | 2017-10-27 | 王红军 | 一种基于纤维丛理论的物体运动的视觉感知方法 |
CN107392131A (zh) * | 2017-07-14 | 2017-11-24 | 天津大学 | 一种基于人体骨骼节点距离的动作识别方法 |
CN107767419A (zh) * | 2017-11-07 | 2018-03-06 | 广州深域信息科技有限公司 | 一种人体骨骼关键点检测方法及装置 |
CN108875586A (zh) * | 2018-05-24 | 2018-11-23 | 常州大学 | 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法 |
CN109086659A (zh) * | 2018-06-13 | 2018-12-25 | 深圳市感动智能科技有限公司 | 一种基于多模道特征融合的人体行为识别方法和装置 |
CN110263720A (zh) * | 2019-06-21 | 2019-09-20 | 中国民航大学 | 基于深度图像和骨骼信息的动作识别方法 |
CN110378213A (zh) * | 2019-06-11 | 2019-10-25 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 行为识别方法、装置、计算机设备和存储介质 |
CN111681274A (zh) * | 2020-08-11 | 2020-09-18 | 成都艾尔帕思科技有限公司 | 基于深度相机点云数据的3d人体骨骼识别和提取方法 |
CN114783066A (zh) * | 2022-06-14 | 2022-07-22 | 深圳市第二人民医院(深圳市转化医学研究院) | 基于动作捕捉无序点云的关节标签智能识别系统、方法 |
CN114973422A (zh) * | 2022-07-19 | 2022-08-30 | 南京应用数学中心 | 一种基于三维人体建模点云特征编码的步态识别方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100278391A1 (en) * | 2006-10-12 | 2010-11-04 | Yung-Tai Hsu | Apparatus for behavior analysis and method thereof |
CN103810496A (zh) * | 2014-01-09 | 2014-05-21 | 江南大学 | 基于图像深度信息的3d高斯空间人体行为识别方法 |
CN103995747A (zh) * | 2014-05-12 | 2014-08-20 | 上海大学 | 基于移动机器人平台的分布式行人检测系统和方法 |
CN104038738A (zh) * | 2014-06-04 | 2014-09-10 | 东北大学 | 一种提取人体关节点坐标的智能监控系统及方法 |
CN104361321A (zh) * | 2014-11-13 | 2015-02-18 | 侯振杰 | 一种判断老年人摔倒行为及身体平衡能力的方法 |
US20150092978A1 (en) * | 2013-09-27 | 2015-04-02 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for recognition of abnormal behavior |
-
2015
- 2015-04-24 CN CN201510196674.8A patent/CN106156714A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100278391A1 (en) * | 2006-10-12 | 2010-11-04 | Yung-Tai Hsu | Apparatus for behavior analysis and method thereof |
US20150092978A1 (en) * | 2013-09-27 | 2015-04-02 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for recognition of abnormal behavior |
CN103810496A (zh) * | 2014-01-09 | 2014-05-21 | 江南大学 | 基于图像深度信息的3d高斯空间人体行为识别方法 |
CN103995747A (zh) * | 2014-05-12 | 2014-08-20 | 上海大学 | 基于移动机器人平台的分布式行人检测系统和方法 |
CN104038738A (zh) * | 2014-06-04 | 2014-09-10 | 东北大学 | 一种提取人体关节点坐标的智能监控系统及方法 |
CN104361321A (zh) * | 2014-11-13 | 2015-02-18 | 侯振杰 | 一种判断老年人摔倒行为及身体平衡能力的方法 |
Non-Patent Citations (2)
Title |
---|
LI, QINGYANG等: "Integrating Joint and Surface for Human Action Recognition in Indoor Environments", 《2014 INTERNATIONAL CONFERENCE ON SECURITY, PATTERN ANALYSIS, AND CYBERNETICS》 * |
OREIFEJ, O等: "HON4D: Histogram of Oriented 4D Normals for Activity Recognition from Depth Sequences", 《2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107301656A (zh) * | 2017-06-21 | 2017-10-27 | 王红军 | 一种基于纤维丛理论的物体运动的视觉感知方法 |
CN107392131A (zh) * | 2017-07-14 | 2017-11-24 | 天津大学 | 一种基于人体骨骼节点距离的动作识别方法 |
CN107767419A (zh) * | 2017-11-07 | 2018-03-06 | 广州深域信息科技有限公司 | 一种人体骨骼关键点检测方法及装置 |
CN108875586A (zh) * | 2018-05-24 | 2018-11-23 | 常州大学 | 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法 |
CN108875586B (zh) * | 2018-05-24 | 2020-10-27 | 常州大学 | 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法 |
CN109086659A (zh) * | 2018-06-13 | 2018-12-25 | 深圳市感动智能科技有限公司 | 一种基于多模道特征融合的人体行为识别方法和装置 |
CN110378213A (zh) * | 2019-06-11 | 2019-10-25 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 行为识别方法、装置、计算机设备和存储介质 |
CN110263720A (zh) * | 2019-06-21 | 2019-09-20 | 中国民航大学 | 基于深度图像和骨骼信息的动作识别方法 |
CN111681274A (zh) * | 2020-08-11 | 2020-09-18 | 成都艾尔帕思科技有限公司 | 基于深度相机点云数据的3d人体骨骼识别和提取方法 |
CN114783066A (zh) * | 2022-06-14 | 2022-07-22 | 深圳市第二人民医院(深圳市转化医学研究院) | 基于动作捕捉无序点云的关节标签智能识别系统、方法 |
CN114783066B (zh) * | 2022-06-14 | 2022-08-26 | 深圳市第二人民医院(深圳市转化医学研究院) | 基于动作捕捉无序点云的关节标签智能识别系统、方法 |
CN114973422A (zh) * | 2022-07-19 | 2022-08-30 | 南京应用数学中心 | 一种基于三维人体建模点云特征编码的步态识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106156714A (zh) | 基于骨骼关节特征和表面特征融合的人体行为识别方法 | |
CN108596974B (zh) | 动态场景机器人定位建图系统及方法 | |
CN111539273B (zh) | 一种交通视频背景建模方法及系统 | |
Mitrokhin et al. | EV-IMO: Motion segmentation dataset and learning pipeline for event cameras | |
US11830222B2 (en) | Bi-level optimization-based infrared and visible light fusion method | |
Tedaldi et al. | Feature detection and tracking with the dynamic and active-pixel vision sensor (DAVIS) | |
CN103425967B (zh) | 一种基于行人检测和跟踪的人流监控方法 | |
CN108388882B (zh) | 基于全局-局部rgb-d多模态的手势识别方法 | |
Rodríguez-Canosa et al. | A real-time method to detect and track moving objects (DATMO) from unmanned aerial vehicles (UAVs) using a single camera | |
CN110827193B (zh) | 基于多通道特征的全景视频显著性检测方法 | |
CA2913432A1 (en) | System and method for identifying, analyzing, and reporting on players in a game from video | |
US8712096B2 (en) | Method and apparatus for detecting and tracking vehicles | |
US20150243031A1 (en) | Method and device for determining at least one object feature of an object comprised in an image | |
CN106384106A (zh) | 一种基于三维扫描的反欺诈人脸识别系统 | |
CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
CN104794737B (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
Mehrizi et al. | Toward marker-free 3D pose estimation in lifting: A deep multi-view solution | |
CN109934848A (zh) | 一种基于深度学习的运动物体精准定位的方法 | |
CN109758756B (zh) | 基于3d相机的体操视频分析方法及系统 | |
CN101520902A (zh) | 低成本动作捕捉与演示系统及方法 | |
CN102831382A (zh) | 人脸跟踪设备和方法 | |
WO2018075053A1 (en) | Object pose based on matching 2.5d depth information to 3d information | |
CN105930795A (zh) | 一种基于人体骨骼关节点间空间向量的行走状态识别方法 | |
CN111160291B (zh) | 基于深度信息与cnn的人眼检测方法 | |
CN103729620B (zh) | 一种基于多视角贝叶斯网络的多视角行人检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20161123 |
|
WD01 | Invention patent application deemed withdrawn after publication |