CN111046749B - 一种基于深度数据的人体跌倒行为检测方法 - Google Patents
一种基于深度数据的人体跌倒行为检测方法 Download PDFInfo
- Publication number
- CN111046749B CN111046749B CN201911166222.XA CN201911166222A CN111046749B CN 111046749 B CN111046749 B CN 111046749B CN 201911166222 A CN201911166222 A CN 201911166222A CN 111046749 B CN111046749 B CN 111046749B
- Authority
- CN
- China
- Prior art keywords
- entropy
- human body
- information
- skeleton
- key points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Abstract
一种基于深度数据的人体跌倒行为检测方法,包括以下步骤;1)数据的采集:利用Kinect摄像头获取人体关节点的三维坐标信息;2)提取代表人体特征的骨架关节关键点信息:头、双肩、双膝、双脚踝、髋关节的三维坐标;3)计算骨架关键点相对位置熵值,判断是否超过阈值;4)计算人体中心点速度值,判断是否超过阈值;5)如果步骤(3)(4)都超过阈值,则认为跌倒发生,报警。本发明利用Kinect获取深度图像,提取关节点信息,通过计算关节点相对位置熵和速度变化,判断人体是否发生跌倒行为,具有快速、识别率高的特点。
Description
技术领域
本发明涉及数字图像处理技术领域,特别涉及一种基于深度数据的人体跌倒行为检测方法。
背景技术
目前跌倒检测技术主要有三类:基于穿戴式设备检测基于音频或无线电等周围环境信号的检测和基于视频图像检测。但佩戴传感器会对运动有阻碍性,行动不便,不适用于工人工作;在金属元素较多的环境里,一些金属会对信号造成干扰,所以基于无线信号的跌倒检测不适用于此类环境;基于视频图像检测可分为彩色视频图像检测和深度视频图像检测。但是彩色图像容易被周围环境(粉尘、光照等)污染,钢厂噪声因素繁多,因此普通彩色图像并不适用于钢厂等高危环境人体行为检测。
深度图像可以不受外界环境条件影响,准确地实现目标定位。但之前检测方法中被测人员的自身特点(性别、高矮、胖瘦)等因素会对最终的结果造成影响,从而产生误判。
针对钢厂高危作业现场安全隐患极高,易发生伤亡事故,若不能及时发现处理,将会造成巨大的人财损失,因此针对高危作业人员的异常行为检测具有一定的实际意义。
发明内容
为了解决以上技术问题,本发明的目的在于一种基于深度数据的人体跌倒行为检测方法,利用Kinect获取深度图像,提取关节点信息,通过计算关节点相对位置熵和速度变化,判断人体是否发生跌倒行为,具有快速、识别率高的特点。
为了实现上述目的,本发明采用的技术方案是:
一种基于深度数据的人体跌倒行为检测方法,包括以下步骤;
1)数据的采集:利用安装在钢柱上的Kinect摄像头获取人体关节点的三维坐标信息;
2)提取代表人体特征的骨架关节关键点信息:头、双肩、双膝、双脚踝、髋关节的三维坐标;
3)计算骨架关键点相对位置熵值,判断是否超过阈值;
4)计算人体中心点速度值,判断是否超过阈值;
5)如果步骤(3)(4)都超过阈值,则认为跌倒发生,报警。
所述的步骤1)开发平台的配置:在VS2015、openCV3.5和Kinect for Windows平台上进行环境配置和编程计算,调用Kinect SDK库里函数骨架追踪函数SkeletonStream进行目标人体定位。
所述的步骤2)选取代表人体运动行为的关键点:按步骤1所用骨架追踪函数SkeletonStream获取到骨架数据,那么每一帧数据都是一个骨骼对象集合,每一个关节有一个唯一标示符如头(head)、肩(shoulder)、肘(dlbow)等信息和3D向量数据,然后选取三组关键点:第一组:头、双肩、双膝、中心点;第二组:双肘、双脚踝、中心点;第三组:双膝、双脚踝、中心点。
所述的步骤3),按步骤2所提取的三组骨架数据关键点,以步骤1摄像头采集的正常行走第一帧作为标准帧,计算人从正常行走到跌倒时关键点的熵值变化,人在静止到正常行走时关节点的相对位置熵几乎稳定不变,在跌倒发生时,关键点相对位置熵急速增加然后保持不变,相对熵值计算方法过程如下:
1a)信息熵常被用来作为一个系统的信息含量的量化指标,从而可以进一步用来作为系统方程优化的目标或者参数选择的判据,即可以认为是某一信息出现的概率,本专利所用到的骨架信息熵,反应的是人体运动程度,运动程度越大则信息熵越大,反之运动程度越小熵越小;
信息熵的定义为:某个概率系统中有n个事件(X1,X2,X3.....Xn),第i个事件发生的概率为:pi(i=1,2,3,4....n),如果知道事件已经发生,则该事件所含的信息量称为自信息,定义为:
I(ai)代表两种含义:(1)当事件ai发生以前,代表事件ai所发生的不确定性;
(2)当事件ai发生以后表示事件ai所含的信息量,而自信息的数学期望为平均自信息量:
把H(x)称为信息熵,人体骨架信息熵实质是所选取的骨架关节关键点在每一帧出现的非等概率,即(2)式中的p(ai)在骨架熵值计算时表示每帧图片中关键点偏移标准帧对应位置关键点的概率。
2a)以步骤1所获取的第一帧作为标准帧和步骤2所提取的骨架关键点信息;设标准帧(初始状态)关键点的坐标为(X1,Y1,Z1),中心点坐标为(X0,Y0,Z0),当前位置关键点坐标为(Xi,Yi,Zi),中心点(Xj,Yj,Zj),可以得到两点的欧式距离:
初始关键点到几何中心距离:
当前关键点到几何中心距离:
偏移量:l0=|l2-l1|
(6)
式中:l、l1、l2为位移,m;
3a)在实际计算过程中,如果l=0,l0=0则证明所监测人员身体关键点没有发生偏移,正常行为;l>0,l0>0或,l=0,l0>0都证l>0,l0=0明关键点较正常行为发生了偏移,将其发生偏移的关键点概率代入(2)式,即可求得骨架信息熵。
所述的步骤4)针对高危现场工作性质,不排除有下蹲、弯腰等类似跌倒的动作,这时单靠熵值变化来判断异常行为准确率不高,因此引入速度变量作为第二个判定条件,跌倒行为发生时各个关节点的速度变化非常快,选取人体中心点的速度变化值作为第二个判定条件,中心点的计算方法如下所示:
1a)Kinect的更新速度为1秒30帧,摄像头打开后拍摄的第一帧人体中心点f0坐标为(x0,x0,x0),此时的时间为t0,第f0+30时坐标为(x1,x1,x1),对应的时间是t1,两帧所选图像的中心点变化位移由空间欧式距离决定:
式中:v为下降的速度,m/s;d为下降位移,m;t为下降时间,s。
2a)当t=t1-t0;v>vc(临界值),则证明被测人员发生了跌倒行为;
将计算的熵值与速度值与其对应的阈值比较,二者都超过阈值则认为跌到行为发生;
人在发生跌倒时速度和熵值的阈值分别应取:1.3m/s和8.6。
本发明的有益效果:
本发明提出骨架关节点相对位置熵和速度结合的判断方式,获取人体骨架信息,计算正常行走到跌倒状态骨架关节点相对位置熵和速度的阈值,判断跌倒行为发生。该方法不考虑被测人员自身特点,能更准确有效的进行跌倒行为检测。
利用步骤1和步骤2获取目标人体的骨架信息,可以有效地避免作业现场光线、粉尘等环境因素对目标提取的干扰,从而提高识别的准确率。步骤3和步骤4提出计算人体关键点信息,不考虑工人自身特点(高矮、胖瘦、性别)等影响,更加准确地对跌倒行为进行检测。
附图说明
图1 Kinect采集的人体站立时骨架关节点图像。
图2三组骨架的熵值变化折线图。
图3人体中心点速度变化折线图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
一种基于深度数据的人体跌倒行为检测方法,包括以下步骤;
1)数据的采集:利用Kinect摄像头获取人体关节点的三维坐标信息;
2)提取代表人体特征的骨架关节关键点信息:头、双肩、双膝、双脚踝、髋关节的三维坐标;
3)计算骨架关键点相对位置熵值,判断是否超过阈值;
4)计算人体中心点速度值,判断是否超过阈值;
5)如果步骤(3)(4)都超过阈值,则认为跌倒发生,报警。
所述的步骤1)开发平台的配置:在VS2015、openCV3.5和Kinect for Windows平台上进行环境配置和编程计算,调用Kinect SDK库里函数骨架追踪函数SkeletonStream进行目标人体定位。
如图1所示:所述的步骤2)选取代表人体运动行为的关键点:按步骤1所用骨架追踪函数SkeletonStream获取到骨架数据,那么每一帧数据都是一个骨骼对象集合,每一个关节有一个唯一标示符如头(head)、肩(shoulder)、肘(dlbow)等信息和3D向量数据,然后选取三组关键点:第一组:头、双肩、双膝、中心点;第二组:双肘、双脚踝、中心点;第三组:双膝、双脚踝、中心点。
如图2图3所示:所述的步骤3),按步骤2所提取的三组骨架数据关键点,以步骤1摄像头采集的正常行走第一帧作为标准帧,计算人从正常行走到跌倒时关键点的熵值变化,人在静止到正常行走时关节点的相对位置熵几乎稳定不变,在跌倒发生时,关键点相对位置熵急速增加然后保持不变,相对熵值计算方法过程如下:
1a)信息熵常被用来作为一个系统的信息含量的量化指标,从而可以进一步用来作为系统方程优化的目标或者参数选择的判据,即可以认为是某一信息出现的概率,本专利所用到的骨架信息熵,反应的是人体运动程度,运动程度越大则信息熵越大,反之运动程度越小熵越小;
信息熵的定义为:某个概率系统中有n个事件(X1,X2,X3.....Xn),第i个事件发生的概率为:pi(i=1,2,3,4....n),如果知道事件已经发生,则该事件所含的信息量称为自信息,定义为:
I(ai)代表两种含义:(1)当事件ai发生以前,代表事件ai所发生的不确定性;
(2)当事件ai发生以后表示事件ai所含的信息量,而自信息的数学期望为平均自信息量:
把H(x)称为信息熵,人体骨架信息熵实质是所选取的骨架关节关键点在每一帧出现的非等概率,即(2)式中的p(ai)在骨架熵值计算时表示每帧图片中关键点偏移标准帧对应位置关键点的概率。
2a)以步骤1所获取的第一帧作为标准帧和步骤2所提取的骨架关键点信息;设标准帧(初始状态)关键点的坐标为(X1,Y1,Z1),中心点坐标为(X0,Y0,Z0),当前位置关键点坐标为(Xi,Yi,Zi),中心点(Xj,Yj,Zj),可以得到两点的欧式距离:
初始关键点到几何中心距离:
当前关键点到几何中心距离:
偏移量:l0=|l2-l1|
(6)
式中:l、l1、l2为位移,m;
3a)在实际计算过程中,如果l=0,l0=0则证明所监测人员身体关键点没有发生偏移,正常行为;l>0,l0>0或,l=0,l0>0都证l>0,l0=0明关键点较正常行为发生了偏移,将其发生偏移的关键点概率代入(2)式,即可求得骨架信息熵。
所述的步骤4)针对高危现场工作性质,不排除有下蹲、弯腰等类似跌倒的动作,这时单靠熵值变化来判断异常行为准确率不高,因此引入速度变量作为第二个判定条件,跌倒行为发生时各个关节点的速度变化非常快,选取人体中心点的速度变化值作为第二个判定条件,中心点的计算方法如下所示:
1a)Kinect的更新速度为1秒30帧,摄像头打开后拍摄的第一帧人体中心点f0坐标为(x0,x0,x0),此时的时间为t0,第f0+30时坐标为(x1,x1,x1),对应的时间是t1,两帧所选图像的中心点变化位移由空间欧式距离决定:
式中:v为下降的速度,m/s;d为下降位移,m;t为下降时间,s。
2a)当t=t1-t0;v>vc(临界值),则证明被测人员发生了跌倒行为;
将计算的熵值与速度值与其对应的阈值比较,二者都超过阈值则认为跌到行为发生;
人在发生跌倒时速度和熵值的阈值分别应取:1.3m/s和8.6。
表1三组骨架不同场景的识别率。
Claims (5)
1.一种基于深度数据的人体跌倒行为检测方法,其特征在于,包括以下步骤;
1)数据的采集:利用安装在钢柱上的Kinect摄像头获取人体关节点的三维坐标信息;
2)提取代表人体特征的骨架关节关键点信息:头、双肩、双膝、双脚踝、髋关节的三维坐标;
3)计算骨架关键点相对位置熵值,判断是否超过阈值;
4)计算人体中心点速度值,判断是否超过阈值;
5)如果步骤(3)(4)都超过阈值,则认为跌倒发生,报警;
所述的步骤3),按步骤2所提取的三组骨架数据关键点,以步骤1摄像头采集的正常行走第一帧作为标准帧,计算人从正常行走到跌倒时关键点的熵值变化,人在静止到正常行走时关节点的相对位置熵几乎稳定不变,在跌倒发生时,关键点相对位置熵急速增加然后保持不变,相对熵值计算方法过程如下:
1a)信息熵常被用来作为一个系统的信息含量的量化指标,从而可以进一步用来作为系统方程优化的目标或者参数选择的判据,即可以认为是某一信息出现的概率,本申请所用到的骨架信息熵,反应的是人体运动程度,运动程度越大则信息熵越大,反之运动程度越小熵越小;
信息熵的定义为:某个概率系统中有n个事件(X1,X2,X3.....Xn),第i个事件发生的概率为:pi(i=1,2,3,4....n),如果知道事件已经发生,则该事件所含的信息量称为自信息,定义为:
I(ai)代表两种含义:(1)当事件ai发生以前,代表事件ai所发生的
(2)当事件ai发生以后表示事件ai所含的信息量,而自信息不确定性;的数学期望为平均自信息量:
把H(x)称为信息熵,人体骨架信息熵实质是所选取的骨架关节关键点在每一帧出现的非等概率,即(2)式中的p(ai)在骨架熵值计算时表示每帧图片中关键点偏移标准帧对应位置关键点的概率;
2a)以步骤1所获取的第一帧作为标准帧和步骤2所提取的骨架关键点信息;设标准帧关键点的坐标为(X1,Y1,Z1),中心点坐标为(X0,Y0,Z0),当前位置关键点坐标为(Xi,Yi,Zi),中心点(Xj,Yj,Zj),可以得到两点的欧式距离:
初始关键点到几何中心距离:
当前关键点到几何中心距离:
偏移量:l0=|l2-l1| (6)
式中:l、l1、l2为位移,m;
3a)在实际计算过程中,如果l=0,l0=0则证明所监测人员身体关键点没有发生偏移,正常行为;l>0,l0>0或,l=0,l0>0都证l>0,l0=0明关键点较正常行为发生了偏移,将其发生偏移的关键点概率代入(2)式,即可求得骨架信息熵。
2.根据权利要求1所述的一种基于深度数据的人体跌倒行为检测方法,其特征在于,所述的步骤1)开发平台的配置:在VS2015、openCV3.5和Kinect for Windows平台上进行环境配置和编程计算,调用Kinect SDK库里函数骨架追踪函数SkeletonStream进行目标人体定位。
3.根据权利要求1所述的一种基于深度数据的人体跌倒行为检测方法,其特征在于,所述的步骤2)选取代表人体运动行为的关键点:按步骤1所用骨架追踪函数SkeletonStream获取到骨架数据,那么每一帧数据都是一个骨骼对象集合,每一个关节有一个唯一标示符,头、肩、肘信息和3D向量数据,然后选取三组关键点:第一组:头、双肩、双膝、中心点;第二组:双肘、双脚踝、中心点;第三组:双膝、双脚踝、中心点。
4.根据权利要求1所述的一种基于深度数据的人体跌倒行为检测方法,其特征在于,所述的步骤4)针对高危现场工作性质,不排除有下蹲、弯腰等类似跌倒的动作,这时单靠熵值变化来判断异常行为准确率不高,因此引入速度变量作为第二个判定条件,跌倒行为发生时各个关节点的速度变化非常快,选取人体中心点的速度变化值作为第二个判定条件,中心点的计算方法如下所示:
1a)Kinect的更新速度为1秒30帧,摄像头打开后拍摄的第一帧人体中心点f0坐标为(x0,x0,x0),此时的时间为t0,第f0+30时坐标为(x1,x1,x1),对应的时间是t1,两帧所选图像的中心点变化位移由空间欧式距离决定:
式中:v为下降的速度,m/s;d为下降位移,m;t为下降时间,s;
2a)当t=t1-t0;v>vc,则证明被测人员发生了跌倒行为。
5.根据权利要求1所述的一种基于深度数据的人体跌倒行为检测方法,其特征在于,将步骤3)和步骤4)计算的熵值与速度值与其对应的阈值比较,二者都超过阈值则认为跌到行为发生;人在发生跌倒时速度和熵值的阈值分别应取:1.3m/s和8.6。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911166222.XA CN111046749B (zh) | 2019-11-25 | 2019-11-25 | 一种基于深度数据的人体跌倒行为检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911166222.XA CN111046749B (zh) | 2019-11-25 | 2019-11-25 | 一种基于深度数据的人体跌倒行为检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111046749A CN111046749A (zh) | 2020-04-21 |
CN111046749B true CN111046749B (zh) | 2023-05-23 |
Family
ID=70233371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911166222.XA Active CN111046749B (zh) | 2019-11-25 | 2019-11-25 | 一种基于深度数据的人体跌倒行为检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111046749B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111767812B (zh) * | 2020-06-18 | 2023-04-21 | 浙江大华技术股份有限公司 | 跌倒检测方法、跌倒检测装置及存储装置 |
CN111881898B (zh) * | 2020-09-27 | 2021-02-26 | 西南交通大学 | 基于单目rgb图像的人体姿态检测方法 |
CN112287868B (zh) * | 2020-11-10 | 2021-07-13 | 上海依图网络科技有限公司 | 一种人体动作识别方法及装置 |
CN112466444B (zh) * | 2020-11-11 | 2023-10-20 | 湖南德雅曼达科技有限公司 | 一种防护用品综合管理系统 |
CN112906509A (zh) * | 2021-01-28 | 2021-06-04 | 浙江省隧道工程集团有限公司 | 一种输水隧洞挖掘机作业状态的识别方法及系统 |
CN113408390A (zh) * | 2021-06-11 | 2021-09-17 | 广东工业大学 | 一种人体行为实时识别方法、系统、装置及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6334925B2 (ja) * | 2013-01-18 | 2018-05-30 | キヤノンメディカルシステムズ株式会社 | 動作情報処理装置及び方法 |
CN106650687B (zh) * | 2016-12-30 | 2020-05-19 | 山东大学 | 一种基于深度信息和骨骼信息的姿势矫正方法 |
CN109919132B (zh) * | 2019-03-22 | 2021-04-23 | 广东省智能制造研究所 | 一种基于骨架检测的行人跌倒识别方法 |
-
2019
- 2019-11-25 CN CN201911166222.XA patent/CN111046749B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111046749A (zh) | 2020-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111046749B (zh) | 一种基于深度数据的人体跌倒行为检测方法 | |
US8848979B2 (en) | Tracked object determination device, tracked object determination method and tracked object determination program | |
JP5001260B2 (ja) | オブジェクト追跡方法及びオブジェクト追跡装置 | |
WO2006028106A1 (ja) | 異常動作検出装置および異常動作検出方法 | |
KR101868903B1 (ko) | 손 추적 장치 및 방법 | |
CN111079722B (zh) | 一种吊装过程人员安全监测方法及系统 | |
US11450148B2 (en) | Movement monitoring system | |
KR20140110484A (ko) | 영상정보를 이용한 위험 행동 검지방법 | |
JP2021067469A (ja) | 距離推定装置および方法 | |
KR100887942B1 (ko) | 실시간 이상현상 감지 시스템 및 그 제어방법 | |
CN113506416A (zh) | 一种基于智能视觉分析的工程异常预警方法及系统 | |
KR20210041464A (ko) | 실시간 동작추적을 통한 인공지능 기반의 낙상 예방 장치 및 방법 | |
CN112597903B (zh) | 基于步幅测量的电力人员安全状态智能识别方法及介质 | |
Yu et al. | Fall detection in the elderly by head tracking | |
JP6884819B2 (ja) | 安全管理装置、安全管理方法及び安全管理プログラム | |
Bansal et al. | Elderly people fall detection system using skeleton tracking and recognition | |
CN114373142A (zh) | 基于深度学习的行人跌倒检测方法 | |
CN111435535B (zh) | 一种关节点信息的获取方法及装置 | |
Leightley et al. | Sensing behaviour using the Kinect: Identifying characteristic features of instability and poor performance during challenging balancing tasks | |
CN112084899A (zh) | 一种基于深度学习的跌倒事件检测方法和系统 | |
CN115909503B (zh) | 一种基于人体关键点的跌倒检测方法和系统 | |
CN113749650A (zh) | 一种运动信息获取方法和装置 | |
CN111144166A (zh) | 一种异常人群信息库建立方法、系统及存储介质 | |
CN117789406A (zh) | 一种基于人工智能的隧道安全管理方法 | |
Chen et al. | Hybrid visual information analysis for on-site occupational hazards identification: a case study on stairway safety |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |