CN107943276A - 基于大数据平台的人体行为检测和预警 - Google Patents

基于大数据平台的人体行为检测和预警 Download PDF

Info

Publication number
CN107943276A
CN107943276A CN201710928642.1A CN201710928642A CN107943276A CN 107943276 A CN107943276 A CN 107943276A CN 201710928642 A CN201710928642 A CN 201710928642A CN 107943276 A CN107943276 A CN 107943276A
Authority
CN
China
Prior art keywords
human body
behavior
error
human
artis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710928642.1A
Other languages
English (en)
Inventor
左超
武继刚
孟敏
王勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201710928642.1A priority Critical patent/CN107943276A/zh
Publication of CN107943276A publication Critical patent/CN107943276A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种基于大数据平台的人体行为检测和预警方法，包括以下步骤：(1)提取行为表示特征量，通过Xtion Pro Live提供多种数据特征量，包括图像、场景深度，人体关节数据；(2)BP神经网络训练，通过信息正向传播，比较误差反向传播，沿着误差性能函数梯度的反方向修正权值；(3)人体行为的检测，研究人体全身骨架，通过实时监控人体做出的相关行为，通过相关的算法学习运用，从而实时判断人体相关异常行为并做出警报。

Description

基于大数据平台的人体行为检测和预警
技术领域
本发明涉及行为检测领域，具体涉及一种基于大数据平台的人体行为检测和预警方法。
背景技术
体感作为一个新兴的研究领域，基于体感设备人体行为识别研究受到了越来越多研究者的关注。通过对传感器釆集的数据进行加工、处理和分析，进而使得计算机系统能够理解个体动作、群体之间以及个体与环境之间的交互是人体动作识别研究的目的。由于环境复杂多变，人体形态差异以及运动习惯的不同，如何有效准确的理解人体行为历来都是一个研究热点与难点。
人体行为识别研究具有重要的理论研究价值，其涉及计算机视觉、传感器技术、模式识别和人工智能等多个学科。对人体行为进行研究不仅拓宽了学科间的研究方向，而且随着研究的深入势必会带动众多相关学科的发展。近年来国内外众多高校和研究机构都对人体行为识别技术进行了深入的研究，如卡耐基梅隆大学，麻省理工学院，英国雷丁大学，微软亚洲研究院，清华大学中科院自动化研究所等均对人体动作识别方法有着专门研究。从年起关于人体动作识别与行为识别的文章就开始急剧增加，国内外的权威学术会议和期刊如、等均将人体行为识别研究作为主体内容之一。人体行为识别研究同样具有广阔的应用前景，在安防监控、人机交互、智能机器人开发及运动分析等众多领域都可以使用人体行为识别技术：安防监控领域，目前视频监控系统在城市治安、消防以及交通调度方面发挥了重要作用，将人体动作识别、行为理解研究成果用于智能监控则可以对突发情况进行自动预警。美国于年推动项目用于研究战场和民用场景中的视频理解技术年欧盟程序委员会设立项目研究人的行为模式和人机交互，国内外众多厂商也已面向市场推出了具有行为识别的监控产品。智能监护领域，目前我国已经进入老龄化社会，社会压力的增大使得年轻子女无暇照顾老人，家庭环境中的智能监护系统则可以检测到老人的异常行为并及时发出警报。高级人机交互，未来的智能设备应该具备感知外界环境的能力，通过分析人的面部表情和肢体语言来理解人的意图或者行为是智能设备开发的一个重要方向之一。
发明内容
本发明的目的在于提出一种新的人体行为检测方式，提供一种基于大数据环境下的行为监测平台。本发明在大数据平台的环境下，提供了一种全新的人体行为识别方法.
本发明所要研究的问题定位在小范围空间内的人体异常行为识别和预警，具体包括跌倒和打架行为等。主要工作集中在人体姿态特征参数的提取，运用神经网络模型学习和动态动作的识别和分析三个方面。
一种基于大数据平台的人体行为检测和预警方法，包括以下步骤:
(1)提取行为表示特征量，通过Xtion Pro Live提供多种数据特征量，包括图像、场景深度，人体关节数据；
(2)BP神经网络训练，通过信息正向传播，比较误差反向传播，沿着误差性能函数梯度的反方向修正权值；
(3)人体行为的检测，研究人体全身骨架，通过实时监控人体做出的相关行为，通过相关的算法学习运用，从而实时判断人体相关异常行为并做出警报。
具体的，所述步骤(1)中，人体关节数据包括求解人体关节点之间角度的方法如下：首先，选取要计算关节角度所涉及的关节点；然后，采用Xtion Pro Live获取的关节点的三维坐标值，构造关节结构向量；最后利用余弦定理求出关节点连线之间的角度大小；同时可以根据OpenNI接口函数获取相对距离，通过获取关节点的角度和相对距离初步对人体行为作出判断。
具体的，所述步骤(2)BP神经网络训练包括以下步骤：
1)初始系数设定和输入样本；
2)计算各层节点输出；
3)计算输出层误差；
4)判断误差是否达到要求；
5)如果是则结束学习过程，如果否，继续计算隐含层误差，求误差梯度，调整系数，返回步骤2)。
具体的，人体相关异常行为包括跌倒和打架行为。
本发明相对于现有技术具有如下的优点及效果：
本发明能够应用在大数据环境中，尤其是在大数据背景下人体行为的识别，提高了算法的识别精度，提高了算法的泛化能力。
附图说明
图1是关节点相对距离系数结构向量示意图；
图2是人工神经网络数学模型；
图3是阶跃函数曲线图；
图4是S型函数曲线图；
图5是BP神经网路拓扑结构图
图6是BP神经网络算法流程图；
图7是实验系统总体框架；
图8是人体全身骨架和异常行为识别图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
本发明基于大数据平台下，利用Xtion Pro Live设备，openni结合c++编程语言实现。
总体实现步骤如下：
(1)提取行为表示特征量，如何提取行为表示特征量是人体行为识别研究的关键，行为表示特征量的选择直接影响到人体行为识别算法的有效性。Xtion Pro Live可以提供图像、场景深度等多种数据特征量，尤其是可以采集人体关节数据。
(2)BP神经网络训练，BP神经网络是一种多层前馈型人工神经网络，主要用于函数逼近、模式分类、数据压缩和模型预测等领域，是迄今为止在工程领域应用最为广泛的一类神经网络模型。
(3)人体行为的检测，研究人体全身骨架，通过实时监控人体做出的相关行为，比如摔倒等通过相关的算法学习运用，从而实时判断人体相关异常行为并做出警报。
具体实现步骤如下:
(1)提取行为表示特征量:如图1所示目前OpenNI一共定义了24个关节点(XnSkeletonJoint)，不过目前只有15个节点可以通过xn::SkeletonCapability的成员函数EnumerrateActiveJoints()取得关节列表。OpenNI定义的24个关节点如下:
求解人体关节点之间角度的方法如下：首先，选取要计算关节角度所涉及的关节点；然后，采用Xtion Pro Live获取的关节点的三维坐标值，构造关节结构向量；最后利用余弦定理求出关节点连线之间的角度大小。同时可以根据OpenNI接口函数获取相对距离，通过获取关节点的角度和相对距离初步对人体行为作出判断。
(2)BP神经网络训练:围绕人工神经元模型、BP神经网络数学模型和BP神经网络学习算法。
人工神经元模型:
如图2所示为其基本的数学模型。对于每个神经元i，有输入向量X＝(X1,X2,…,Xn)和权值Wi＝(w1i,w2i,..wmi)其中Wki(1≤k≤n)表示与第个输入相对应的权值系数，可知输出Yi为：
f(.)为神经元活化函数，常使用阶跃函数和逻辑S型函数。
阶跃函数:泛化为
逻辑S型函数：
其中逻辑Sigmiod函数又称之为S型函数，是BP神经网络中最常用的活化函数，具有全局可导的优点，且在0点附近具有近似线性的性质，变量a决定曲线的型坡度，图3和图4分别为两种函数的曲线形状，图屮S型函数a＝1。
BP神经网络数学模型:
一般来说使用一个具有三层结构的神经网络就能够实现任意复杂类型的映射，三层神经网络包括输入层、隐含层和输出层，图5为其拓扑结构。
针对上述模型容易得知BP三层神经网络的数学模型，假设输入样本为X＝(X1,X2,…,Xn),隐含层输出结果为Y＝(y1,y2,…,ym)，输出层的输出结果为O＝(O1,O2,..,Oq)，期望输出T＝(t1,t2,…,tq)，输入层与隐含层之间的权值矩阵为V＝(v1,v2,…,vm)，其屮vj为隐含层中神经元j所对应的权值向量，有vj＝(v1,v2,..,vn)，阈值为θj,W＝(w1,w2,…,wi)表示隐含层同输出层之间的权值矩阵，其中wi为输出层中第L个神经元对所对应的权值向量wj＝(w1,w2,…,wm),θ1为该神经元L的阈值，对输出层有:
其中
对于隐含层有:
其中
隐含层和输出层的活化函数常取S型函数，a＝1时f’(x)＝f(x)[1-f(x)]。
BP神经网络学习算法:
BP神经网络常使用误差反向传播算法进行网络训练，也称之为BP算法。其核心思想就是信息正向传播，比较误差反向传播，沿着误差性能函数梯度的反方向修正权值，学习过程如图6所示：
1)初始系数设定和输入样本；
2)计算各层节点输出；
3)计算输出层误差；
4)判断误差是否达到要求；
5)如果是则结束学习过程，如果否，继续计算隐含层误差，求误差梯度，调整系数，返回步骤2)。
(3)人体行为的检测:本文研究中使用的人体行为识别实验系统的硬件环境为：PC机一台，CPU为Core i3，主频2.3GHz，内存8G，体感设备Xtion Pro Live一台。软件幵发环境为：操作系统window 8.1；VS2010软件开发平台；C++幵发语言的MFC平台；开发框架OpenNI；中间件NITE；开源库OpenCV 3.0和OpenGL。实验系统采用模块化设计，总体功能界面如图7所示。通过研究人体全身骨架，通过实时监控人体做出的相关行为，比如摔倒等通过相关的算法学习运用，从而实时判断人体相关异常行为并做出警报,具体的效果如图8。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种基于大数据平台的人体行为检测和预警方法，其特征在于，包括以下步骤：
(1)提取行为表示特征量，通过Xtion Pro Live提供多种数据特征量，包括图像、场景深度，人体关节数据；
(2)BP神经网络训练，通过信息正向传播，比较误差反向传播，沿着误差性能函数梯度的反方向修正权值；
(3)人体行为的检测，研究人体全身骨架，通过实时监控人体做出的相关行为，通过相关的算法学习运用，从而实时判断人体相关异常行为并做出警报。
2.根据权利要求1所述的方法，其特征在于，所述步骤(1)中，人体关节数据包括求解人体关节点之间角度的方法如下：首先，选取要计算关节角度所涉及的关节点；然后，采用Xtion Pro Live获取的关节点的三维坐标值，构造关节结构向量；最后利用余弦定理求出关节点连线之间的角度大小；同时可以根据OpenNI接口函数获取相对距离，通过获取关节点的角度和相对距离初步对人体行为作出判断。
3.根据权利要求1所述的方法，其特征在于，所述步骤(2)BP神经网络训练包括以下步骤：
1)初始系数设定和输入样本；
2)计算各层节点输出；
3)计算输出层误差；
4)判断误差是否达到要求；
5)如果是则结束学习过程，如果否，继续计算隐含层误差，求误差梯度，调整系数，返回步骤2)。
4.根据权利要求1所述的方法，其特征在于，人体相关异常行为包括跌倒和打架行为。
CN201710928642.1A 2017-10-09 2017-10-09 基于大数据平台的人体行为检测和预警 Pending CN107943276A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710928642.1A CN107943276A (zh) 2017-10-09 2017-10-09 基于大数据平台的人体行为检测和预警

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710928642.1A CN107943276A (zh) 2017-10-09 2017-10-09 基于大数据平台的人体行为检测和预警

Publications (1)

Publication Number Publication Date
CN107943276A true CN107943276A (zh) 2018-04-20

Family

ID=61936046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710928642.1A Pending CN107943276A (zh) 2017-10-09 2017-10-09 基于大数据平台的人体行为检测和预警

Country Status (1)

Country Link
CN (1) CN107943276A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846365A (zh) * 2018-06-24 2018-11-20 深圳市中悦科技有限公司 视频中打架行为的检测方法、装置、存储介质及处理器
CN109117893A (zh) * 2018-08-28 2019-01-01 华中师范大学 一种基于人体姿态的动作识别方法及装置
CN109299646A (zh) * 2018-07-24 2019-02-01 北京旷视科技有限公司 人群异常事件检测方法、装置、系统和存储介质
CN109409587A (zh) * 2018-10-09 2019-03-01 南京航空航天大学 一种基于天气数据挖掘的机场进离场交通流量预测方法
CN110532966A (zh) * 2019-08-30 2019-12-03 深兰科技（上海）有限公司 一种基于分类模型进行跌倒识别的方法及设备
CN111428540A (zh) * 2019-01-10 2020-07-17 北京京东尚科信息技术有限公司 输出信息的方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120162065A1 (en) * 2010-06-29 2012-06-28 Microsoft Corporation Skeletal joint recognition and tracking system
CN104133813A (zh) * 2014-08-11 2014-11-05 南通大学 一种基于Kinect的海军旗语训练方法
CN104850846A (zh) * 2015-06-02 2015-08-19 深圳大学 一种基于深度神经网络的人体行为识别方法及识别系统
CN104899561A (zh) * 2015-05-27 2015-09-09 华南理工大学 一种并行化的人体行为识别方法
CN105912985A (zh) * 2016-04-01 2016-08-31 上海理工大学 基于能量函数的人体骨架关节点的行为动作表示方法
CN105975932A (zh) * 2016-05-04 2016-09-28 广东工业大学 基于时间序列shapelet的步态识别分类方法
CN107145878A (zh) * 2017-06-01 2017-09-08 重庆邮电大学 基于深度学习的老人异常行为检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120162065A1 (en) * 2010-06-29 2012-06-28 Microsoft Corporation Skeletal joint recognition and tracking system
CN104133813A (zh) * 2014-08-11 2014-11-05 南通大学 一种基于Kinect的海军旗语训练方法
CN104899561A (zh) * 2015-05-27 2015-09-09 华南理工大学 一种并行化的人体行为识别方法
CN104850846A (zh) * 2015-06-02 2015-08-19 深圳大学 一种基于深度神经网络的人体行为识别方法及识别系统
CN105912985A (zh) * 2016-04-01 2016-08-31 上海理工大学 基于能量函数的人体骨架关节点的行为动作表示方法
CN105975932A (zh) * 2016-05-04 2016-09-28 广东工业大学 基于时间序列shapelet的步态识别分类方法
CN107145878A (zh) * 2017-06-01 2017-09-08 重庆邮电大学 基于深度学习的老人异常行为检测方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846365A (zh) * 2018-06-24 2018-11-20 深圳市中悦科技有限公司 视频中打架行为的检测方法、装置、存储介质及处理器
CN108846365B (zh) * 2018-06-24 2022-04-22 深圳市中悦科技有限公司 视频中打架行为的检测方法、装置、存储介质及处理器
CN109299646A (zh) * 2018-07-24 2019-02-01 北京旷视科技有限公司 人群异常事件检测方法、装置、系统和存储介质
CN109299646B (zh) * 2018-07-24 2021-06-25 北京旷视科技有限公司 人群异常事件检测方法、装置、系统和存储介质
CN109117893A (zh) * 2018-08-28 2019-01-01 华中师范大学 一种基于人体姿态的动作识别方法及装置
CN109409587A (zh) * 2018-10-09 2019-03-01 南京航空航天大学 一种基于天气数据挖掘的机场进离场交通流量预测方法
CN111428540A (zh) * 2019-01-10 2020-07-17 北京京东尚科信息技术有限公司 输出信息的方法和装置
CN110532966A (zh) * 2019-08-30 2019-12-03 深兰科技（上海）有限公司 一种基于分类模型进行跌倒识别的方法及设备

Similar Documents

Publication Publication Date Title
CN107943276A (zh) 基于大数据平台的人体行为检测和预警
Serpush et al. Wearable sensor-based human activity recognition in the smart healthcare system
Alvarez-Alvarez et al. Human gait modeling using a genetic fuzzy finite state machine
CN108154075A (zh) 经由单次学习的群体分析法
Liang Situation understanding based on heterogeneous sensor networks and human-inspired favor weak fuzzy logic system
CN107092894A (zh) 一种基于lstm模型的运动行为识别方法
Obo et al. Localization of human in informationally structured space based on sensor networks
Giraldo et al. Dynamics of metabolism and decision making during alcohol consumption: Modeling and analysis
CN109726662A (zh) 基于卷积和循环组合神经网络的多类别人体姿态识别方法
CN107657277A (zh) 一种基于大数据的人体异常行为检测与判定方法及系统
US20220125359A1 (en) Systems and methods for automated monitoring of human behavior
Tan et al. Online activity recognition and daily habit modeling for solitary elderly through indoor position-based stigmergy
Jain et al. Ambient intelligence-based multimodal human action recognition for autonomous systems
Zhang et al. Emotion recognition from body movements with as-lstm
Zhu et al. Human activity recognition via motion and vision data fusion
Redondo Comfortability detection for adaptive human-robot interactions
Niranjani et al. System application control based on Hand gesture using Deep learning
Zhao et al. Classifying in-place gestures with end-to-end point cloud learning
Phyo et al. Skeleton motion history based human action recognition using deep learning
Xu et al. Inception-LSTM human motion recognition with channel attention mechanism
Rodić et al. Embodiment of human personality with EI-Robots by mapping behaviour traits from live-model
Fernando et al. Computer vision based privacy protected fall detection and behavior monitoring system for the care of the elderly
Bouchard et al. Extracting generalizable spatial features from smart phones datasets
CN106779085B (zh) 一种基于人件服务的态势认知计算架构
Luo et al. Forming the concept of direction developmentally

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180420