CN104038738A - 一种提取人体关节点坐标的智能监控系统及方法 - Google Patents

一种提取人体关节点坐标的智能监控系统及方法 Download PDF

Info

Publication number
CN104038738A
CN104038738A CN201410245308.2A CN201410245308A CN104038738A CN 104038738 A CN104038738 A CN 104038738A CN 201410245308 A CN201410245308 A CN 201410245308A CN 104038738 A CN104038738 A CN 104038738A
Authority
CN
China
Prior art keywords
action
bone
motion characteristic
characteristic data
joint point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410245308.2A
Other languages
English (en)
Other versions
CN104038738B (zh
Inventor
王真伊
董傲霜
陈瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201410245308.2A priority Critical patent/CN104038738B/zh
Publication of CN104038738A publication Critical patent/CN104038738A/zh
Application granted granted Critical
Publication of CN104038738B publication Critical patent/CN104038738B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种提取人体关节点坐标的智能监控系统,包括三台体感器、计算机和报警器,三台体感器的输出端分别与计算机的输入端连接,计算机的输出端与报警器的输入端连接。本发明涉及的提取人体关节点坐标的智能监控方法,建立基于核主成分分析的二维隐马尔科夫模型,利用三台体感器对监控区域内人体动作进行实时监控,对完整的骨骼关节点坐标的动作特征数据进行降维处理,获得其动作特征数据主成分,利用建立的二维隐马尔科夫模型对监控的人体动作的动作特征数据主成分进行动作识别,若识别的动作为设定的异常动作,则进行报警。本发明具有对动作识别准确率高、动作识别的种类多、对异常行为的识别率高、适用广泛等优势。

Description

一种提取人体关节点坐标的智能监控系统及方法
技术领域
本发明属于智能监控领域,具体涉及一种提取人体关节点坐标的智能监控系统及方法。
背景技术
智能监控是用计算机视觉的方法,在不需要人为干预的情况下,通过对摄像机拍录的图像序列进行自动分析,实现对动态场景中目标的定位、识别和跟踪,并在此基础上分析和判断目标的行为,从而做到既能完成日常管理又能在异常情况发生的时候及时做出反应。
传统的智能视频监控是通过图形图像处理技术获取监控视频中运动对象的位置、运行序列进行异常行为的检测,由于视频中图像只具有颜色和亮度信息,对运动对象的检测速度较慢,并且识别的准确率不高。由于快速准确的运动分割是个相当重要又是比较困难的一个问题,而动态环境中捕捉的图像受环境的变化影响较大,进而增加了智能监控的难度。现有的智能视频监控设备对于场景中仍然只能检测到非常简单的动作,对于行为的检测极为有限。当监控区域中有异常行为发生时,不能作出有效的反馈,从而为智能监控的进一步应用带来了困难。
将体感器应用于智能监控具有重要价值。微软公司开发的Kinect体感器设备不仅能提供彩色图像数据,而且提供深度数据和骨骼数据,为解决智能监控存在的问题提供了另外一条途径。但是当人与人存在遮挡关系以及单台体感器不能捕获完整人体的骨骼三维坐标时,动作的正确识别率较低。
将3台体感器同时布置于监控区域可以有效解决上述问题,通过使3台体感器同时对某个区域进行监控,提高动作识别的准确率,减少动作识别时间以满足监控实时性的需要。并且,当开启无人监控模式时,实现在无人状态时,对于一些特定的异常动作进行检测,从而减少人力、物力的投入。
发明内容
针对现有技术存在的不足,本发明提供一种提取人体关节点坐标的智能监控系统及方法。
本发明的技术方案是:
一种提取人体关节点坐标的智能监控系统包括三台体感器、计算机和报警器。
所述的三台体感器分别安装在监控环境内的三个方向上,且三个体感器位于同一水平面上,三台体感器均用于采集人体骨骼关节点处的坐标,并将采集到的坐标信息传输至计算机。
所述的计算机用于对体感器采集的人体骨骼关节点坐标中的完整骨骼关节点坐标数据进行降维处理,并根据降维处理后的数据进行动作识别,得到动作识别结果,并判断结果是否为异常动作,若为异常动作则向报警器发出报警指令。
所述的报警器用于根据计算机发出的报警指令进行报警。
所述的三台体感器的输出端分别与计算机的输入端连接,计算机的输出端与报警器的输入端连接。
所述的体感器为红外体感器。
一种提取人体关节点坐标的智能监控系统智能监控方法,包括以下步骤:
步骤1:建立基于核主成分分析的二维隐马尔科夫模型:将体感器采集的不同动作的完整骨骼关节点坐标的动作特征数据进行降维处理,获得动作特征数据主成分,将不同动作的动作特征数据主成分作为二维隐马尔科夫模型的输入,不同动作作为二维隐马尔科夫模型的输出,得到二维隐马尔科夫模型的状态转移概率矩阵、发生的条件概率矩阵,进而确定该二维隐马尔科夫模型。
步骤1.1:通过三台体感器采集人体不同动作的骨骼关节点坐标,判断三台体感器所获取的每一帧图像骨骼关节点坐标是否为零,若某台体感器获取的某一帧骨骼关节点坐标全不为零,则该帧图像中骨骼关节点坐标数据为完整的骨骼坐标数据,则执行步骤1.2,若三台体感器均为不完整骨骼坐标数据,则当前图像视为无效帧,进行下一帧图像的捕获。
步骤1.2:将完整的骨骼坐标数据中的每个骨骼关节点相对于臀部中央的相对坐标、骨骼关节之间夹角的余弦值和骨骼关节点运动的速度作为动作特征数据,将固定时间间隔的动作特征数据作为动作特征序列组。
步骤1.3:对动作特征数据序列组进行划分,取划分的每部分动作特征序列的平均值作为动作样本,各动作样本形成动作样本集,使用核主成分分析法对动作样本集进行降维处理,提取出动作特征数据主成分。
步骤1.4:使用二维隐马尔科夫模型对动作特征数据主成分进行训练,设定初始概率分布,输入不同动作的动作特征数据主成分,得到二维隐马尔科夫模型的状态转移概率矩阵、发生的条件概率矩阵,进而确定该二维隐马尔科夫模型。
步骤2:利用三台体感器对监控区域内人体动作进行实时监控,对完整的骨骼关节点坐标的动作特征数据进行降维处理,获得该未知动作的动作特征数据主成分。
步骤2.1:利用三台体感器采集监控区域内人体动作的骨骼关节点坐标,判断三台体感器所获取的每一帧图像骨骼关节点坐标是否为零,若某台体感器获取的某一帧骨骼关节点坐标全不为零,则该帧图像中骨骼关节点坐标数据为完整的骨骼坐标数据,则执行步骤2.2,若三台体感器均为不完整骨骼坐标数据,则当前图像视为无效帧,进行下一帧图像的捕获。
步骤2.2:将完整的骨骼坐标数据中的每个骨骼关节点相对于臀部中央的相对坐标、骨骼关节之间夹角的余弦值和骨骼关节点运动的速度作为动作特征数据,将固定时间间隔的动作特征数据作为动作特征序列组。
步骤2.3:对未知的动作特征序列组进行划分,取划分后的每部分动作特征序列的平均值作为动作样本,各动作样本形成动作样本集,使用核主成分分析法对动作样本集进行降维处理,提取出动作特征数据主成分。
步骤3:利用建立的二维隐马尔科夫模型对监控的人体动作的动作特征数据主成分进行动作识别:将未知动作的动作特征数据主成分作为输入,利用二维隐马尔科夫模型得到各动作发生的概率,将发生概率最大的动作作为动作识别结果。
步骤4:若识别的动作为设定的异常动作,则进行报警,否则返回步骤2。
本发明的有益效果是,使用改进的核主成分分析数据降维方法减少了后续的运算量,从而减少了动作识别的时间。使用二维隐马尔科夫模型不但考虑了动作的时序信息,而且考虑了人体骨架模型中相邻关节点的空间信息。使用3台体感器同时进行监控,对未知动作进行识别可以有效解决遮挡问题以及单台体感器数据捕获不全使得识别准确率较低的问题,提高了动作识别的准确率。与目前已有的智能视频监控相比,具有动作识别的种类较多,对于异常行为的识别率较高,并且可以根据使用场所的不同,而加以适应性改动,具有更广泛的适用性。
附图说明
图1是本发明具体实施方式中的智能监控系统的结构框图;
图2是本发明具体实施方式中的三台体感器在监控区域的分布图;
图3是本发明具体实施方式中的智能监控方法流程图;
图4是本发明具体实施方式中的利用核主成分分析法进行降维处理的流程图;
图5是本发明具体实施方式中的使用二维隐马尔科夫模型对动作特征数据主成分进行训练、诊断的流程图。
具体实施方式
下面结合附图对本发明具体实施方式加以详细的说明。
如图1所示,本发明具体实施方式的智能监控系统,包括三台体感器、计算机和报警器,第一体感器的输出端、第二体感器的输出端、第三体感器的输出端分别与计算机的输入端连接,计算机的输出端与报警器的输入端连接。
如图2所示,三台体感器分别安装在监控环境内的三个方向上,且三个体感器位于同一水平面上,三台体感器均用于采集人体骨骼关节点处的坐标,并将采集到的坐标信息传输至计算机。三台体感器均为红外传感器,采用Kinect技术,通过红外线感应提取跟踪目标的骨骼关节点坐标,得到人体三维坐标。
计算机用于对体感器采集的人体骨骼关节点坐标中的完整骨骼关节点坐标数据进行降维处理,并根据降维处理后的数据进行动作识别,得到动作识别结果,并判断结果是否为异常动作,若为异常动作则向报警器发出报警指令。在本实施方式中,采用intel Xeon4核的CPU,8G内存,500G硬盘,300W电源,Windows7操作系统,采用C#语言开发及基于.NET等开发。
报警器用于根据计算机发出的报警指令进行报警,型号为LTE-1181K小型声光报警器。
如图3所示,一种提取人体关节点坐标的智能监控系统的智能监控方法,包括以下步骤:
步骤1:建立基于核主成分分析的二维隐马尔科夫模型:将体感器采集的不同动作的完整骨骼关节点坐标的动作特征数据进行降维处理,获得动作特征数据主成分,将不同动作的动作特征数据主成分作为二维隐马尔科夫模型的输入,不同动作作为二维隐马尔科夫模型的输出,得到二维隐马尔科夫模型的状态转移概率矩阵、发生的条件概率矩阵,进而确定该二维隐马尔科夫模型。
步骤1.1:通过三台体感器采集人体不同动作的骨骼关节点坐标,判断三台体感器所获取的每一帧图像骨骼关节点坐标是否为零,若某台体感器获取的某一帧骨骼关节点坐标全不为零,则该帧图像中骨骼关节点坐标数据为完整的骨骼坐标数据,则执行步骤1.2,若三台体感器均为不完整骨骼坐标数据,则当前图像视为无效帧,进行下一帧图像的捕获。
三台体感器在监控区域均匀分布使得其覆盖范围最大化,有效解决单台体感器捕获视角有限、当捕获数据不完整的情况下造成动作识别准确率不高的问题。本实施方式中设置体感器采集的帧率30f/s,从每一秒采集的数据中提取第5、10、15、20、25帧,骨骼关节点坐标采集的时间间隔为10秒,提取10秒内的20个人体骨骼关节坐标,包括左踝关节、右踝关节、左肘关节、右肘关节、左脚、右脚、左手、右手、头部、臀部中央、左臀部、右臀部、左膝盖、右膝盖、双肩中央、左肩、右肩、脊柱中段、左腕关节、右腕关节。本实施方式设定的动作包括行走、站立、踢腿、蹲下、跌倒五种动作。
步骤1.2:将完整的骨骼坐标数据中的每个骨骼关节点相对于臀部中央的相对坐标、骨骼关节之间夹角的余弦值和骨骼关节点运动的速度作为动作特征数据,将固定时间间隔的动作特征数据作为动作特征序列组。
每个骨骼关节点相对于臀部中央的相对坐标是通过原骨骼关节点坐标减去臀部中央坐标获得;骨骼关节之间夹角的余弦值通过获得,a,b分别为某个骨骼关节点处的两个骨骼向量;骨骼关节点运动的速度可以通过相邻帧各个对应骨骼关节点坐标的差值除以相邻帧之间的时间间隔来进行估算。
设定的固定时间间隔为10秒的动作特征数据作为一个动作特征序列保存:其中一个动作特征序列组的表示如下:
X 1 x 1 → ( 0.1951,0.0878,0.9720 , · · · , - 0.34 , · · · , 0.5723 ) x 2 → ( 0.2383,0.0869,0.9114 , · · · , 0.53 , · · · , 0.6751 ) · · · x l → ( 0.2319,0.0858,0.9162 , · · · , 0.45 , · · · , 0.3539 ) - - - ( 1 )
其中,xk∈Rp(k=1,2,…l)为l行向量,即固定时间间隔采集的帧数,l=50(每一秒提取的是5帧,共10秒,因此为50),Rp为p维空间,p=141(包括每个骨骼关节点相对于臀部中央的相对坐标20*3个,骨骼关节之间夹角的余弦值21个,骨骼关节点运动的速度20*3个,共计141个)。
本实施方式共选用200组动作特征序列组,XA=(X1,X2,…X200)(A=1,2,…200)。
步骤1.3:对动作特征数据序列组进行划分,取划分的每部分动作特征序列的平均值作为动作样本,各动作样本形成动作样本集,使用核主成分分析法对动作样本集进行降维处理,提取出动作特征数据主成分,如图4所示:
步骤1.3.1:对动作特征数据序列组进行划分,取划分的每部分动作特征序列的平均值作为动作样本,各动作样本形成动作样本集,本实施方式将动作特征数据序列组平均划分为10组,如果不足的,剩余为单独一组,将l=50行平均分成10组,每一组包括5个动作特征数据序列,设 z i = x 5 i + 1 + x 5 i + 2 + x 5 i + 3 + x 5 i + 4 + x 5 i + 5 5 , zi∈Rp,则 Z 1 = z 1 z 2 · · · z 10 , 依次操作,获得新的动作特征序列为ZA=(Z1,Z2,…Z200)(A=1,2,…200),将ZA作为动作样本集,使用核主成分分析进行数据降维处理:存在一个映射φ可以把此动作样本变为那么可以得到核矩阵K为
提取出某一时刻的动作特征数据主成分计算公式:
y = [ 1 λ 1 Σ j = 1 10 α j 1 k ( z j , z ) , 1 λ 2 Σ j = 1 10 α j 2 k ( z j , z ) , · · · , 1 λ v Σ j = 1 10 α j v k ( z j , z ) ] - - - ( 3 )
其中,λi(i=1,2,…h)为K的一个特征值,h是核函数映射的空间的维度,为K第i个特征向量的第j维坐标,选取K的对应v个最大特征值对应的v个特征向量。则对于原始样本提取的将是一个v维的向量,初始化v=2,k(zj,z)=zj·z,zj·z为zj,z之间的内积。
步骤1.3.2:计算当前累积贡献率u,累积贡献率计算公式如下:
u = Σ i = 1 v λ i Σ i = 1 h λ i - - - ( 4 )
步骤1.3.3:判断当前的累积贡献率是否达到预先设定的百分比,本实施方式设定的百分比为80%,如果u>80%,则数据降维处理阶段结束,获得动作特征数据主成分。否则增加维数继续步骤1.3.1至步骤1.3.2,直至累计贡献率达到80%。
本实施方式选择v=v+2,最终得到v=16时,u>80%,停止计算。则将原始的p维向量xk变为v维向量yk,获得的动作特征数据主成分Y1=(y1,y2,…y10),其中y∈Rv,为10×16维矩阵,依次操作,获得200组动作特征数据主成分YA=(Y1,Y2,?Y200)(A=1,2,…200)。
步骤1.4:使用二维隐马尔科夫模型对动作特征数据主成分进行训练,设定初始概率分布,输入不同动作的动作特征数据主成分,得到二维隐马尔科夫模型的状态转移概率矩阵、发生的条件概率矩阵,进而确定该二维隐马尔科夫模型。如图5所示:
设二维隐马尔科夫模型观察状态数为3,二维隐马尔科夫模型的状态数为5。
设置初始概率分布为:5维的初始概率 c = c 1 ( 1,0,0,0,0 ) c 2 ( 0,1,0,0,0 ) · · · c 5 ( 0,0,0,0,1 ) , 定义为在时刻0时的状态的概率,其中c1+c2+c3+c4+c5=1。c1、c2、c3、c4、c5分别对应行走、站立、踢腿、蹲下、跌倒的初始概率分布。
分别将行走、站立、踢腿、蹲下、跌倒对应的初始概率c和动作特征数据主成分,输入二维隐马尔科夫模型,对二维隐马尔科夫模型进行训练。
训练得到的状态转移概率矩阵:
A = a 11 a 12 · · · · · · a 1 j · · · a i 1 a i 2 · · · · · · · a ij - - - ( 5 )
其中,aij表示状态i转移到状态j的概率。状态i和状态j分别是指第i,j类动作,(1≤i,j≤状态数)。例如如果状态1表示行走动作状态,状态2表示站立动作状态,则a12表示行走动作状态转移到站立动作状态的概率。
本实施方式得到的状态转移概率矩阵A为:
A = a 11 a 12 a 13 a 14 a 15 · · · a 51 a 52 a 53 a 54 a 55 = 0.1093,0.2091,0.1395,0.3216,0.2205 · · · 0.1793,0.3367,0.0162,0.0337,0.4341 - - - ( 6 )
训练得到的观察状态下的概率矩阵:
B = b 11 b 12 · · · · · · b 1 k · · · b i 1 b i 2 · · · · · · · b ik - - - ( 7 )
这个矩阵的每一个元素bik为在观察状态k的条件下,动作i的发生概率(1≤i≤状态数,1≤k≤观察状态数)。
本实施方式得到的观察状态下的条件概率矩阵B为:
B = b 11 b 12 b 13 · · · b 51 b 52 b 53 = 0.3219 0.4390 0.2391 · · · 0.4267 0.1761 0.3972 - - - ( 8 )
步骤2:利用三台体感器对监控区域内人体动作进行实时监控,对完整的骨骼关节点坐标的动作特征数据进行降维处理,获得该未知动作的动作特征数据主成分。
步骤2.1:利用三台体感器采集监控区域内人体动作的骨骼关节点坐标,判断三台体感器所获取的每一帧图像骨骼关节点坐标是否为零,若某台体感器获取的某一帧骨骼关节点坐标全不为零,则该帧图像中骨骼关节点坐标数据为完整的骨骼坐标数据,则执行步骤2.2,若三台体感器均为不完整骨骼坐标数据,则当前图像视为无效帧,进行下一帧图像的捕获。
获取未知动作的20个人体骨骼关节坐标,包括左踝关节、右踝关节、左肘关节、右肘关节、左脚、右脚、左手、右手、头部、臀部中央、左臀部、右臀部、左膝盖、右膝盖、双肩中央、左肩、右肩、脊柱中段、左腕关节、右腕关节坐标。
步骤2.2:将完整的骨骼坐标数据中的每个骨骼关节点相对于臀部中央的相对坐标、骨骼关节之间夹角的余弦值和骨骼关节点运动的速度作为动作特征数据,将固定时间间隔的动作特征数据作为动作特征序列组。
按照步骤1.2方法计算出该未知动作的动作特征序列组:
X 0 = 0.0997 , 0.1183,0 . 9260 , · · · , 0.7824, · · · , - 0.3457,0.8969,0.0846 · · · 0 . 1865,0.3092,0.3251 , · · · , 0.6273 , · · · , 0.2694 , - 0.7901,0.1057 - - - ( 9 )
其中,X0为50×141的矩阵。
步骤2.3:对未知的动作特征序列组进行划分,取划分后的每部分动作特征序列的平均值作为动作样本,各动作样本形成动作样本集,使用核主成分分析法对动作样本集进行降维处理,提取出动作特征数据主成分。
根据步骤1.3方法获得该动作的动作样本为:
Z 0 = 0.0118 , 0 . 2891 , 0.3781 , · · · , 0.4932 , · · · , 0 . 1532 , 0.2763,0.3651 · · · 0 . 1452,0.3675,0.2853 , · · · , 0.5791 , · · · , 0.5673 , - 0.3853,0.1754 - - - ( 10 )
其中,Z0为10×141维的矩阵。
获得该动作的动作特征数据主成分为:
Y 0 = 0.1927 , - 0 . 3994 , - 0 . 8761 , · · · , - 0.9762 , 0.1944 , - 0.2234,0.3171 · · · - 0 . 1892,0.4987 , - 0.3976 , · · · , 0.6437 , 0 . 6043 , - 0.4827,0.1226 - - - ( 11 )
其中,Y0为10×16的矩阵。
步骤3:利用建立的二维隐马尔科夫模型对监控的人体动作的动作特征数据主成分进行动作识别:将未知动作的动作特征数据主成分作为输入,利用二维隐马尔科夫模型得到各动作发生的概率,将发生概率最大的动作作为动作识别结果。
将步骤2中获得动作特征数据主成分序列Y0、训练得到的矩阵概率A、观察状态下的条件概率矩阵B,输入二维隐马尔科夫模型,得到:
该动作在二维隐马尔科夫模型中是跌倒发生的概率最高,所以输出为跌倒状态。
步骤4:若识别的动作为设定的异常动作,则进行报警,否则返回步骤2。
本实施方式中已设定跌倒为异常动作,本次输出为跌倒,则进行报警。

Claims (6)

1.一种提取人体骨骼关节点坐标的智能监控系统,其特征在于:包括三台体感器、计算机和报警器;
所述的三台体感器分别安装在监控环境内的三个方向上,且三个体感器位于同一水平面上,三台体感器均用于采集人体骨骼关节点处的坐标,并将采集到的坐标信息传输至计算机;
所述的计算机用于对体感器采集的人体骨骼关节点坐标中的完整骨骼关节点坐标数据进行降维处理,并根据降维处理后的数据进行动作识别,得到动作识别结果,并判断结果是否为异常动作,若为异常动作则向报警器发出报警指令;
所述的报警器用于根据计算机发出的报警指令进行报警。
2.根据权利要求1所述的提取人体骨骼关节点坐标的智能监控系统,其特征在于:所述的三台体感器的输出端分别与计算机的输入端连接,计算机的输出端与报警器的输入端连接。
3.根据权利要求1所述的提取人体骨骼关节点坐标的智能监控系统,其特征在于,所述的体感器为红外体感器。
4.采用权利要求1所述的提取人体骨骼关节点坐标的智能监控系统进行智能监控的方法,其特征在于,包括以下步骤:
步骤1:建立基于核主成分分析的二维隐马尔科夫模型:将体感器采集的不同动作的完整骨骼关节点坐标的动作特征数据进行降维处理,获得动作特征数据主成分,将不同动作的动作特征数据主成分作为二维隐马尔科夫模型的输入,不同动作作为二维隐马尔科夫模型的输出,得到二维隐马尔科夫模型的状态转移概率矩阵、发生的条件概率矩阵,进而确定该二维隐马尔科夫模型;
步骤2:利用三台体感器对监控区域内人体动作进行实时监控,对完整的骨骼关节点坐标的动作特征数据进行降维处理,获得该未知动作的动作特征数据主成分;
步骤3:利用建立的二维隐马尔科夫模型对监控的人体动作的动作特征数据主成分进行动作识别:将未知动作的动作特征数据主成分作为输入,利用二维隐马尔科夫模型得到各动作发生的概率,将发生概率最大的动作作为动作识别结果;
步骤4:若识别的动作为设定的异常动作,则进行报警,否则返回步骤2。
5.根据权利要求4所述的提取人体骨骼关节点坐标的智能监控方法,其特征在于:所述的步骤1按以下步骤执行:
步骤1.1:通过三台体感器采集人体不同动作的骨骼关节点坐标,判断三台体感器所获取的每一帧图像骨骼关节点坐标是否为零,若某台体感器获取的某一帧骨骼关节点坐标全不为零,则该帧图像中骨骼关节点坐标数据为完整的骨骼坐标数据,则执行步骤1.2,若三台体感器均为不完整骨骼坐标数据,则当前图像视为无效帧,进行下一帧图像的捕获;
步骤1.2:将完整的骨骼坐标数据中的每个骨骼关节点相对于臀部中央的相对坐标、骨骼关节之间夹角的余弦值和骨骼关节点运动的速度作为动作特征数据,将固定时间间隔的动作特征数据作为动作特征序列组;
步骤1.3:对动作特征数据序列组进行划分,取划分的每部分动作特征序列的平均值作为动作样本,各动作样本形成动作样本集,使用核主成分分析法对动作样本集进行降维处理,提取出动作特征数据主成分;
步骤1.4:使用二维隐马尔科夫模型对动作特征数据主成分进行训练,设定初始概率分布,输入不同动作的动作特征数据主成分,得到二维隐马尔科夫模型的状态转移概率矩阵、发生的条件概率矩阵,进而确定该二维隐马尔科夫模型。
6.根据权利要求4所述的提取人体骨骼关节点坐标的智能监控方法,其特征在于:所述的步骤2按以下步骤执行:
步骤2.1:利用三台体感器采集监控区域内人体动作的骨骼关节点坐标,判断三台体感器所获取的每一帧图像骨骼关节点坐标是否为零,若某台体感器获取的某一帧骨骼关节点坐标全不为零,则该帧图像中骨骼关节点坐标数据为完整的骨骼坐标数据,则执行步骤2.2,若三台体感器均为不完整骨骼坐标数据,则当前图像视为无效帧,进行下一帧图像的捕获;
步骤2.2:将完整的骨骼坐标数据中的每个骨骼关节点相对于臀部中央的相对坐标、骨骼关节之间夹角的余弦值和骨骼关节点运动的速度作为动作特征数据,将固定时间间隔的动作特征数据作为动作特征序列组;
步骤2.3:对未知的动作特征序列组进行划分,取划分后的每部分动作特征序列的平均值作为动作样本,各动作样本形成动作样本集,使用核主成分分析法对动作样本集进行降维处理,提取出动作特征数据主成分。
CN201410245308.2A 2014-06-04 2014-06-04 一种提取人体关节点坐标的智能监控系统及方法 Expired - Fee Related CN104038738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410245308.2A CN104038738B (zh) 2014-06-04 2014-06-04 一种提取人体关节点坐标的智能监控系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410245308.2A CN104038738B (zh) 2014-06-04 2014-06-04 一种提取人体关节点坐标的智能监控系统及方法

Publications (2)

Publication Number Publication Date
CN104038738A true CN104038738A (zh) 2014-09-10
CN104038738B CN104038738B (zh) 2017-02-15

Family

ID=51469311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410245308.2A Expired - Fee Related CN104038738B (zh) 2014-06-04 2014-06-04 一种提取人体关节点坐标的智能监控系统及方法

Country Status (1)

Country Link
CN (1) CN104038738B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298353A (zh) * 2014-10-08 2015-01-21 宁波熵联信息技术有限公司 一种基于逆运动学的车辆监控防盗方法及系统
CN105913559A (zh) * 2016-04-06 2016-08-31 南京华捷艾米软件科技有限公司 一种基于体感技术的银行atm机智能监控方法
CN106022213A (zh) * 2016-05-04 2016-10-12 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN106056035A (zh) * 2016-04-06 2016-10-26 南京华捷艾米软件科技有限公司 一种基于体感技术的幼儿园智能监控方法
CN106156714A (zh) * 2015-04-24 2016-11-23 北京雷动云合智能技术有限公司 基于骨骼关节特征和表面特征融合的人体行为识别方法
WO2017063530A1 (zh) * 2015-10-15 2017-04-20 阿里巴巴集团控股有限公司 动作信息识别方法和系统
CN107016711A (zh) * 2017-02-27 2017-08-04 合肥安达创展科技股份有限公司 一种人体智能检测跟踪物理模拟系统
CN107506706A (zh) * 2017-08-14 2017-12-22 南京邮电大学 一种基于三维摄像头的人体跌倒检测方法
CN107832708A (zh) * 2017-11-09 2018-03-23 云丁网络技术(北京)有限公司 一种人体动作识别方法及装置
CN105242779B (zh) * 2015-09-23 2018-09-04 歌尔股份有限公司 一种识别用户动作的方法和移动智能终端
CN108500992A (zh) * 2018-04-09 2018-09-07 中山火炬高新企业孵化器有限公司 一种多功能的移动安防机器人
US10339371B2 (en) 2015-09-23 2019-07-02 Goertek Inc. Method for recognizing a human motion, method for recognizing a user action and smart terminal
CN109993063A (zh) * 2019-03-05 2019-07-09 福建天晴数码有限公司 一种识别待救援人员的方法及终端
CN110490171A (zh) * 2019-08-26 2019-11-22 睿云联(厦门)网络通讯技术有限公司 一种危险姿态识别方法、装置、计算机设备及存储介质
JP2020091829A (ja) * 2018-11-27 2020-06-11 株式会社アジラ 不審体・異常体検出装置
CN111553229A (zh) * 2020-04-21 2020-08-18 清华大学 基于三维骨骼与lstm的工人动作识别方法及装置
CN111695523A (zh) * 2020-06-15 2020-09-22 浙江理工大学 基于骨骼时空及动态信息的双流卷积神经网络动作识别方法
CN111860312A (zh) * 2020-07-20 2020-10-30 上海汽车集团股份有限公司 一种驾乘环境调节方法和装置
CN112861696A (zh) * 2021-02-01 2021-05-28 电子科技大学中山学院 一种异常行为识别方法、装置、电子设备及存储介质
CN113408455A (zh) * 2021-06-29 2021-09-17 山东大学 一种基于多流信息增强图卷积网络的动作识别方法、系统及存储介质
WO2021248815A1 (zh) * 2020-06-13 2021-12-16 德派(嘉兴)医疗器械有限公司 一种高精度的儿童坐姿检测与矫正方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012158479A2 (en) * 2011-05-13 2012-11-22 Knexus Research Corporation System and method for virtual object placement
CN102824176A (zh) * 2012-09-24 2012-12-19 南通大学 一种基于Kinect传感器的上肢关节活动度测量方法
CN103106604A (zh) * 2013-01-23 2013-05-15 东华大学 基于体感技术的3d虚拟试衣方法
CN103366565A (zh) * 2013-06-21 2013-10-23 浙江理工大学 一种基于Kinect的行人闯红灯检测方法及其系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012158479A2 (en) * 2011-05-13 2012-11-22 Knexus Research Corporation System and method for virtual object placement
CN102824176A (zh) * 2012-09-24 2012-12-19 南通大学 一种基于Kinect传感器的上肢关节活动度测量方法
CN103106604A (zh) * 2013-01-23 2013-05-15 东华大学 基于体感技术的3d虚拟试衣方法
CN103366565A (zh) * 2013-06-21 2013-10-23 浙江理工大学 一种基于Kinect的行人闯红灯检测方法及其系统

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298353A (zh) * 2014-10-08 2015-01-21 宁波熵联信息技术有限公司 一种基于逆运动学的车辆监控防盗方法及系统
CN106156714A (zh) * 2015-04-24 2016-11-23 北京雷动云合智能技术有限公司 基于骨骼关节特征和表面特征融合的人体行为识别方法
US10339371B2 (en) 2015-09-23 2019-07-02 Goertek Inc. Method for recognizing a human motion, method for recognizing a user action and smart terminal
CN105242779B (zh) * 2015-09-23 2018-09-04 歌尔股份有限公司 一种识别用户动作的方法和移动智能终端
WO2017063530A1 (zh) * 2015-10-15 2017-04-20 阿里巴巴集团控股有限公司 动作信息识别方法和系统
CN106599762A (zh) * 2015-10-15 2017-04-26 阿里巴巴集团控股有限公司 动作信息识别方法和系统
CN105913559B (zh) * 2016-04-06 2019-03-05 南京华捷艾米软件科技有限公司 一种基于体感技术的银行atm机智能监控方法
CN105913559A (zh) * 2016-04-06 2016-08-31 南京华捷艾米软件科技有限公司 一种基于体感技术的银行atm机智能监控方法
CN106056035A (zh) * 2016-04-06 2016-10-26 南京华捷艾米软件科技有限公司 一种基于体感技术的幼儿园智能监控方法
CN106022213A (zh) * 2016-05-04 2016-10-12 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN106022213B (zh) * 2016-05-04 2019-06-07 北方工业大学 一种基于三维骨骼信息的人体动作识别方法
CN107016711A (zh) * 2017-02-27 2017-08-04 合肥安达创展科技股份有限公司 一种人体智能检测跟踪物理模拟系统
CN107506706A (zh) * 2017-08-14 2017-12-22 南京邮电大学 一种基于三维摄像头的人体跌倒检测方法
CN107832708A (zh) * 2017-11-09 2018-03-23 云丁网络技术(北京)有限公司 一种人体动作识别方法及装置
CN108500992A (zh) * 2018-04-09 2018-09-07 中山火炬高新企业孵化器有限公司 一种多功能的移动安防机器人
JP2020091829A (ja) * 2018-11-27 2020-06-11 株式会社アジラ 不審体・異常体検出装置
EP3889898A4 (en) * 2018-11-27 2022-08-31 Asilla, Inc. SUSPICIOUS AND ABNORMAL OBJECT DETECTOR
US11238597B2 (en) 2018-11-27 2022-02-01 Asilla, Inc. Suspicious or abnormal subject detecting device
CN109993063A (zh) * 2019-03-05 2019-07-09 福建天晴数码有限公司 一种识别待救援人员的方法及终端
CN110490171A (zh) * 2019-08-26 2019-11-22 睿云联(厦门)网络通讯技术有限公司 一种危险姿态识别方法、装置、计算机设备及存储介质
CN111553229A (zh) * 2020-04-21 2020-08-18 清华大学 基于三维骨骼与lstm的工人动作识别方法及装置
CN111553229B (zh) * 2020-04-21 2021-04-16 清华大学 基于三维骨骼与lstm的工人动作识别方法及装置
WO2021248815A1 (zh) * 2020-06-13 2021-12-16 德派(嘉兴)医疗器械有限公司 一种高精度的儿童坐姿检测与矫正方法及装置
CN111695523A (zh) * 2020-06-15 2020-09-22 浙江理工大学 基于骨骼时空及动态信息的双流卷积神经网络动作识别方法
CN111695523B (zh) * 2020-06-15 2023-09-26 浙江理工大学 基于骨骼时空及动态信息的双流卷积神经网络动作识别方法
CN111860312A (zh) * 2020-07-20 2020-10-30 上海汽车集团股份有限公司 一种驾乘环境调节方法和装置
CN112861696A (zh) * 2021-02-01 2021-05-28 电子科技大学中山学院 一种异常行为识别方法、装置、电子设备及存储介质
CN112861696B (zh) * 2021-02-01 2023-08-18 电子科技大学中山学院 一种异常行为识别方法、装置、电子设备及存储介质
CN113408455A (zh) * 2021-06-29 2021-09-17 山东大学 一种基于多流信息增强图卷积网络的动作识别方法、系统及存储介质

Also Published As

Publication number Publication date
CN104038738B (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
CN104038738A (zh) 一种提取人体关节点坐标的智能监控系统及方法
Zeng et al. Silhouette-based gait recognition via deterministic learning
Liao et al. Slip and fall event detection using Bayesian Belief Network
US20140333775A1 (en) System And Method For Object And Event Identification Using Multiple Cameras
Chen et al. Fall detection system based on real-time pose estimation and SVM
Arivazhagan et al. Human action recognition from RGB-D data using complete local binary pattern
Nishi et al. Generation of human depth images with body part labels for complex human pose recognition
CN102982341A (zh) 一种可跨摄像机的自适应人群密度估计方法
CN103955699A (zh) 一种基于监控视频的实时摔倒事件检测方法
KR102413893B1 (ko) 스켈레톤 벡터 기반 비대면 비접촉 낙상탐지 시스템 및 방법
CN110490080A (zh) 一种基于图像的人体跌倒判别方法
CN104063677A (zh) 用于估计人体姿态的设备和方法
CN105912991A (zh) 基于3d点云与关键骨骼节点的行为识别
Ma et al. Human motion gesture recognition based on computer vision
CN104269025A (zh) 面向户外摔倒监测的穿戴式单节点特征及位置选取方法
Zhou et al. A study on attention-based LSTM for abnormal behavior recognition with variable pooling
Batool et al. Telemonitoring of daily activities based on multi-sensors data fusion
Zhao et al. Abnormal behavior detection based on dynamic pedestrian centroid model: Case study on u-turn and fall-down
Tsai et al. Predicting canine posture with smart camera networks powered by the artificial intelligence of things
Soni et al. Grassmann manifold based framework for automated fall detection from a camera
Song et al. Behavior Recognition of the Elderly in Indoor Environment Based on Feature Fusion of Wi-Fi Perception and Videos
Zhao et al. An alphapose-based pedestrian fall detection algorithm
Thuc et al. An effective video-based model for fall monitoring of the elderly
Liu et al. Adaptive recognition method for VR image of Wushu decomposition based on feature extraction
Khan et al. Video analytic for fall detection from shape features and motion gradients

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170215

Termination date: 20210604

CF01 Termination of patent right due to non-payment of annual fee