CN104598896A - 基于Kinect骨架追踪的人体摔倒自动检测方法 - Google Patents

Abstract

本发明提出一种基于Kinect骨架追踪的人体摔倒自动检测方法。本检测方法通过Kinect对人体进行骨架追踪，获取人体头、左肩、右肩、左髋、右髋和两髋中心（定义为人体质心点）6个骨架关节点的空间坐标，计算人体质心点的运动速度和人体质心点与地表平面的距离，对非摔倒事件进行排除，对人体质心点静止状态计时，形成6个判别条件，判定人体摔倒事件是否发生，摔倒事件一旦发生，通过手机短信报警。本检测方法误判率低，无需穿戴传感设备、不依赖可见光，并可实现对人体的24小时连续实时检测。

Description

基于Kinect骨架追踪的人体摔倒自动检测方法

技术领域

本发明涉及一种基于Kinect骨架追踪的人体摔倒自动检测方法。

背景技术

人体摔倒自动检测方法是指利用外部设备自动监控检测人体检测环境下的日常活动，以检测人体意外摔倒事件的技术。目前，根据检测摔倒事件的技术原理，人体摔倒自动检测技术主要分为三种：①基于穿戴式传感器：采用三轴加速度计和三轴陀螺仪采集人体各种状态下躯干的加速度值与角速度值，利用阈值法检测摔倒事件。但基于穿戴式传感器的摔倒检测设备穿戴舒适性欠佳，对人体正常运动具有阻碍性，且误报率和漏报率较高；②基于视频技术：通过摄像机的连续监控，借助图像处理技术，实时分析目标图像信息，检测人体摔倒事件的发生。视频技术对人体的日常生活干扰较小，可以对摔倒事件进行远程验证等。但是，安装校准摄像机镜头需要消耗大量时间；普通CCD摄像机不能在夜间以及弱光照条件下工作，无法进行连续实时检测；且易泄露使用者隐私；③基于声频信号技术：通过检测人体摔倒时刻的声音大小及频率高低检测人体摔倒事件的发生，此类系统对检测环境的声学背景要求高，安装复杂，资金投入大，精度不高。在现有的文献资料中已经出现过基于上述技术的人体摔倒自动检测系统，但其在实际生活中的适用性和检测成功率均不高。

骨架追踪技术本质上是将在空间内运动的人体简化为以20个主要人体骨架关节点相连接的人体骨架模型，通过对人体骨架模型的连续实时追踪和对20个主要人体骨架关节点在空间内三维坐标的定位，来感知和获取人体在空间内的实时运动状态。本发明提出的摔倒检测技术的核心是对使用者进行骨架追踪处理，以Kinect装置获取人体骨架中的20个关节点，Kinect装置的VGA摄像头提供关节点的                                                和坐标值，红外摄像头提供关节点的向深度坐标值，20个关节点的空间位置可通过空间三维坐标进行定义。本摔倒事件自动检测系统主要选用这20个关节点中的6个用于算法判别，分别为头、左肩、右肩、左髋、右髋和两髋中心，供本摔倒检测算法调用，通过实时计算这6个骨架关节点的相对位置、运动速度和停留时间，判断人体摔倒的发生，以提供人体摔倒事件检测的新方法。

发明内容

本发明提出了一种基于Kinect骨架追踪的人体摔倒自动检测方法，目的是为了克服上述三种自动检测技术的不足，提供一种无需穿戴、不依赖可见光、检测结果准确、价格低廉的人体摔倒自动检测方法。

本发明通过以下的技术方案实现的：

一种基于Kinect骨架追踪的人体摔倒自动检测方法，具体步骤如下：

A、准备一台安装有KinectDeveloperToolkit-v1.8.0和KinectSDK-v1.8的计算机，KinectSDK-v1.8是Kinect的驱动程序，用于Kinect与计算机相连，进行数据交互，KinectDeveloperToolkit-v1.8.0开发包中包含了Kinect中各传感器的接口以及应用程序编程接口API；

B、将Kinect安装于检测环境内较高位置处，距离地面高度2.5m至4m，并保证Kinect视野内无障碍物遮挡，Kinect的下俯视角可调节；

C、通过计算机开启基于Kinect骨架追踪的摔倒自动检测系统，用户可以在规定的检测环境内部自由地进行日常活动；

D、在计算机主机的驱动下，Kinect驱动其自带的VGA摄像头和红外摄像头，通过摄像头覆盖整个检测环境，对整个检测环境内部的物体进行扫描，借助人体体型匹配算法对检测环境内部的类人物体进行持续照射和追踪，并对类人物体尝试匹配人体骨架模型，当20个骨架关节点被追踪到或推测出，系统确认类人物体为人体，则人体骨架模型数据流形成；

E、Kinect在获取检测环境内人体骨架模型数据流后，通过其内部的解码芯片对获取的人体骨架模型数据流进行解码运算，获取检测环境下人体20个主要关节点在空间内的三维坐标值；

F、在计算机上，通过Kinect For Windows SDK中的Skeleton Basics数据接口，可在计算机屏幕上显示Kinect实时获取的检测环境内的人体骨架模型；

G、Kinect将获取的检测环境内的人体骨架关节点三维坐标值通过应用程序编程接口API传递至已编写完成的应用程序，计算人体质心点的运动速度和人体质心点与地表平面的距离，对非摔倒事件进行排除，对人体质心点静止状态计时，形成6个判别条件，判别人体摔倒事件是否发生，如果发生，通过手机短信报警。

本发明的进一步改进在于：步骤G中的具体检测过程如下：

  （1）、计算人体质心点运动速度，形成判定条件一和判定条件二：

在检测环境内部，人体质心点的运动速度可反映为在场景坐标系内、、三个方向上速度的和向量，其中方向垂直并指向地面；取20个骨架关节点中的两髋中心关节点作为人体质心点，摔倒情况分为快速摔倒和缓慢摔倒：快速摔倒过程中，人体质心点在方向上的速度在中权重较大，在摔倒事件检测过程中，人体质心点在方向上的速度（临界值）时，可认为此事件满足摔倒事件的判定条件一；缓慢摔倒造成人体质心点方向上的速度不一定每次都能达到快速摔倒事件中的临界值，因此，引入人体质心点在场景坐标系方向与方向上的速度，并以和方向上的速度向量和作为评定参数，当（临界值）时，则可认为此事件满足摔倒事件的判定条件二：

判定条件一：，即检测过程中，当人体质心点方向上的运动速度超过判别临界值时，，满足条件一的要求；

判定条件二：，即检测过程中，人体质心点和方向上的运动速度向量和超过判别临界值时，，满足条件二的要求；

（2）、计算人体质心点与地表平面的距离，形成判定条件三：

在引入人体质心点运动速度判定条件的同时，将人体质心点与地表平面的距离作为判定条件三，将第帧人体质心点与地表平面的距离定义为，当（临界值）时，摔倒事件条件触发；将人体腰厚尺寸的、臀宽尺寸的，作为临界值取值大小的依据：

判定条件三：，即检测过程中，当人体质心点第帧的位置与地表平面的距离小于等于判别临界值时，，满足条件三的要求；

（3）、排除非摔倒事件，形成判定条件四和判定条件五：

设人体弯腰、下蹲为第一场景，即场景,1，并设、、、、分别为左肩关节点、右肩关节点、头关节点、左髋关节点、右髋关节点至地表平面的距离，为过左肩关节点和右肩关节点的向量；根据人体尺寸，当且成立，且与平面的夹角小于等于时，检测系统认为此时人体不属于摔倒事件；

判定条件四： ，即检测过程中，当人体不处于第一场景状态时，，满足条件四的要求；

设人体快速坐地为第二场景，即场景2，设、、、分别为左肩关节点、右肩关节点、左髋关节点、右髋关节点至地表平面的距离；根据人体尺寸，当且成立，检测系统认为此时人体不属于摔倒事件；

判定条件五： ，即检测过程中，当人体不处于第二场景时，，满足条件五的要求；

   （4）、对人体质心点静止状态计时，形成判定条件六：

人体质心点在测试场景内第帧的坐标为，第帧的坐标为,当时，为设定值，人体质心点停留时间进行计时，当时，人体摔倒事件判定条件六成立；若在计时期间，且S时，，则归0，重新开始计时；

判定条件六：，当，时，，满足条件六的要求；

综上，当时，本基于骨架追踪的自动检测方法判定人体摔倒事件发生。

本发明与现有技术相比具有如下优点：

   （1）、与基于视频的摔倒自动检测技术相比，基于Kinect骨架追踪的摔倒自动检测技术利用骨架关节点z方向上的深度坐标值，可以降低对x、y方向数据的依赖，将骨架关节点在x、y、z三个方向上的运动速度作为评判参数，有效降低误判率。借助其他骨架关节点的空间位置和相对位置等参数，可判断人体具体处于何种姿态，以辨别坐下、蹲下和捡拾物品等非摔倒易误判动作，进一步降低该检测方法的误判率。Kinect骨架追踪用点、线连接的构图方式来模拟人体骨架，检测期间可以有效保护使用者的隐私；

   （2）、与基于穿戴式传感器的摔倒自动检测技术相比，Kinect运行期间不受可见光影响，无需穿戴，适用性和舒适性好，可以实现对人体的24小时连续实时检测，提高了检测的效率，有效降低了人体夜晚摔倒不易发现的危险性；

   （3）、Kinect的价格低廉，较易在社会中推广，实现人体摔倒事件的自动实时检测，构建人体意外摔倒检测报警系统，为摔倒人群尤其是老年人提供及时的安全救助，降低意外死亡风险。

附图说明

    图1为场景坐标系和Kinect坐标系；

    图2为图1中沿方向的投影；

    图3为第一场景；

    图4为第二场景；

    图5为本发明摔倒检测算法流程图。

具体实施方式

为了加深对本发明的理解，下面将结合实施例和附图对本发明作进一步详述，该实施例仅用于解释本发明，并不构成对本发明保护范围的限定。

本发明提出一种基于Kinect骨架追踪的人体摔倒自动检测方法，该方法运用骨架追踪技术对使用者进行摔倒检测，无需使用者穿戴任何传感类设备，可在无光照条件下进行24小时连续实时检测，检测过程中对人体骨架模型的连续实时追踪和对20个主要人体骨架关节点在空间内三维坐标的定位，来感知和获取人体在空间内的实时运动状态。本发明提出的摔倒检测技术的核心是对使用者进行骨架追踪处理，以Kinect装置获取人体骨架中的20个关节点，Kinect装置的VGA摄像头提供关节点的和坐标值，红外摄像头提供关节点的向深度坐标值，利用骨架关节点的三维坐标值，可对人体质心点运动速度进行获取，对人体质心点空间位置进行计算，对非摔倒事件进行排除，对人体质心点停留时间进行检测，通过这四个环节的评判，来判定人体摔倒是否发生，以提供人体摔倒事件检测的新方法。

具体步骤如下：

A、在装有Windows 7 的64位操作系统的计算机上安装KinectDeveloperToolkit-v1.8.0和KinectSDK-v1.8，KinectSDK-v1.8是Kinect传感器的驱动程序，用于Kinect传感器与计算机相连，进行数据交互。KinectDeveloperToolkit-v1.8.0开发包中包含了Kinect装置中各传感器的接口以及应用程序编程接口API；

B、如图1，将Kinect安装于检测环境内较高位置A处，距离地面高度d=2.6m，并保证Kinect传感器视野内无障碍物遮挡，同时调节Kinect传感器下俯视角，以减小Kinect传感器正下方的盲区；

C、通过计算机开启基于Kinect骨架追踪的摔倒自动检测系统，用户可以在规定的检测环境内部自由地进行日常活动，如做家务、捡拾物品和健身锻炼等；

D、在计算机主机的驱动下，Kinect传感器驱动其自带的VGA摄像头和红外摄像头，通过摄像头覆盖整个检测环境，对整个检测环境内部的物体进行扫描，借助人体体型匹配算法对检测环境内部的类人物体进行持续照射和追踪，并对类人物体尝试匹配人体骨架模型，当20个骨架关节点被追踪到或推测出，系统确认类人物体为人体，则人体骨架模型数据流形成；

E、Kinect传感器在获取检测环境内人体骨架模型数据流后，通过其内部的解码芯片对获取的人体骨架模型数据流进行解码运算，获取检测环境下人体20个主要关节点在空间内的三维坐标值；

F、在计算机上，通过Kinect For Windows SDK中的Skeleton Basics数据接口，可在计算机屏幕上显示Kinect实时获取的检测环境内的人体骨架模型；

G、Kinect传感器将获取的检测环境内的人体骨架关节点三维坐标值通过应用程序编程接口API传递至已编写完成的应用程序，计算人体质心点的运动速度和人体质心点与地表平面的距离，对非摔倒事件进行排除，对人体质心点静止状态计时，形成6个判别条件，判别人体摔倒事件是否发生，如果发生，通过手机短信报警。

具体检测过程如下：

（1）、计算人体质心点运动速度，形成判定条件一和判定条件二

在检测环境下，人体会进行各种日常活动，如下蹲、坐下、躺下等，同时人体摔倒时刻的动作也是不一样的。因此检测环境下，人体正常活动与人体意外摔倒的最大区别就是一段序列帧内进行某动作时导致的人体质心点运动速度的不同。在检测环境内部，如图1人体质心点的运动速度可反映为在场景坐标系内、、三个方向上速度的和向量，其中方向垂直并指向地面。本发明选取20个骨架关节点中的两髋中心关节点作为人体质心点，并经实验可知，人体在实际生活中，会出现快速摔倒和缓慢摔倒两种情况，因此本发明就这两种情况分别进行检测。

快速摔倒主要发生在人体突然失去意识（如昏倒等），并且身边没有任何支撑物(如椅子，拐杖等)的情况下。如图1和图2，快速摔倒事件过程中，人体质心点在方向上的速度在中权重较大，在摔倒事件检测过程中，人体质心点在方向上的速度：

当人体质心点在方向上的速度（临界值）时，可认为此事件满足摔倒事件的判定条件一；

缓慢摔倒主要表现为从椅子上倾倒、腿部肌力不足时的跌倒等，往往伴有抓扶等动作，造成人体质心点方向上的速度不一定每次都能达到快速摔倒事件中的临界值，因此，本方法引入人体质心点在场景坐标系方向与方向上的速度，并以和方向上的速度向量和作为评定参数。角为与之间的夹角，与平行（图1）：

当（临界值）时，则可认为此事件满足摔倒事件的判定条件二：

判定条件一：，即检测过程中，当人体质心点方向上的运动速度超过判别临界值时，，满足条件一的要求；

判定条件二：，即检测过程中，人体质心点和方向上的运动速度超过判别临界值时，，满足条件二的要求；

（2）、计算人体质心点与地表平面的距离，形成判定条件三

检测环境下，人体的某些极端日常活动往往会造成人体质心点运动速度峰值超过检测临界值，如快速坐上沙发等，因此仅仅采用上述的判定条件一、二进行摔倒事件判定，会造成较高的摔倒事件误判率。本发明在引入人体质心点运动速度判定条件的同时，将人体质心点与地表平面的距离作为判定条件三，以降低该检测方法的误判率。

如图2所示，在坐标系中，为地表平面的法向量，由于，所以可得与轴的夹角，与轴夹角，与轴夹角为。则地表平面方程为：

其中：

      

      

      

所以平面方程为：

则第帧人体质心点与地表平面的距离为：

当（临界值）时，摔倒事件条件三触发。由于摔倒事件发生后，人体体位主要以仰卧位、俯卧位和侧卧位为主，因此根据人体尺寸统计，本方法将人体腰厚尺寸的、臀宽尺寸的，作为临界值取值大小的依据。根据人体尺寸第95百分位的男性腰厚尺寸、女性腰厚尺寸分别为329mm 、301mm，男性臀宽尺寸、女性臀宽尺寸分别为371mm 、379mm，因此，将触发临界值规定为女性臀宽尺寸的，即为190mm，作为触发临界值使用，即：

判定条件三：，即检测过程中，当人体质心点第帧的位置与地表平面的距离小于等于判别临界值时，，满足条件三的要求；

（3）、排除非摔倒事件，形成判定条件四和判定条件五

如前述，检测环境中，当时，系统摔倒事件检测条件触发。但在实际生活中，仍会有人体正常活动行为满足上述条件，造成系统误报。因此，本系统选取生活中较易造成系统误报的活动行为，利用头、左肩、右肩、左髋、右髋骨架关节点间的相对位置信息，识别这些活动行为发生时，人体的姿势特征，以排除这些活动行为造成的系统误报。

第一场景（场景1）：快速弯腰、下蹲捡拾物品、系鞋带等。

如图3所示，、、、、分别为左肩关节点、右肩关节点、头关节点、左髋关节点、右髋关节点至平面的距离，为过左肩关节点和右肩关节点的向量。根据人体尺寸，第5百分位男性坐姿眼高、女性坐姿眼高分别为722mm 、627mm，男性坐姿肩高、女性坐姿肩高分别为558mm、489mm，男性坐姿大腿厚、女性坐姿大腿厚分别为102mm 、103mm。因此，场景1状态下：

    

当且成立，且与平面的夹角小于等于时（以防人体捡拾东西时，身体失去平衡，发生摔倒），检测系统认为此时人体处于场景1中的状态，不属于摔倒事件。

判定条件四： ，即日常活动过程中，当人体不处于场景1状态时，，满足条件四的要求；

第二场景（场景2）：人体快速坐地

如图4所示，、、、分别为左肩关节点、右肩关节点、左髋关节点、右髋关节点至平面的距离。根据人体尺寸，第5百分位的男性坐姿肩高为、女性坐姿肩高分别为558mm、489mm，第95百分位的男性坐姿大腿厚、女性坐姿大腿厚分别为147mm、144mm。因此，场景2状态下：

             

当且成立，检测系统认为此时人体处于场景2中的状态，不属于摔倒事件。

判定条件五： ，即检测过程中，当人体不处于场景2状态时，，满足条件五的要求；

（4）、对人体质心点静止状态计时，形成判定条件六

人体质心点在测试场景内第帧的坐标为，第帧的坐标为,当时，为设定值，人体质心点停留时间进行计时，当时，人体摔倒事件判定条件六成立。若在计时期间，且S时，，则归0，重新开始计时。

判定条件六：，当，时，，满足条件六的要求；

综上，当时，如图5，本基于骨架追踪的自动检测方法判定人体摔倒事件发生。

本发明利用Kinect传感器的骨架追踪技术，将Kinect坐标系中人体骨架关节点—两髋中心，作为人体的质心点，并将人体质心点转换到场景坐标系中，通过获取两髋中心点在场景坐标系中运动速度，来得到人体质心点在坐标系内、、三个方向上速度分量，用于摔倒事件判定；本发明通过对两髋中心点的连续实时追踪，获取人体质心点在场景坐标系中的三维坐标值，通过计算人体质心点与地表平面的距离，来预测人体在检测环境中的大致姿态；本发明选取人体头、左肩、右肩、左髋、右髋5个骨架关节点，通过实时计算这5个骨架关节点的空间位置和相对位置等参数，判断人体处于何种姿态，辨别坐下、蹲下和捡拾物品等非摔倒易误判动作，降低该检测方法的误判率。

Claims (2)

1.一种基于Kinect骨架追踪的人体摔倒自动检测方法，其特征在于：具体步骤如下：

A、准备一台安装有KinectDeveloperToolkit-v1.8.0和KinectSDK-v1.8的计算机，KinectSDK-v1.8是Kinect的驱动程序，用于Kinect与计算机相连，进行数据交互，KinectDeveloperToolkit-v1.8.0开发包中包含了Kinect中各传感器的接口以及应用程序编程接口API；

B、将Kinect安装于检测环境内较高位置处，距离地面高度2.5m至4m，并保证Kinect视野内无障碍物遮挡，Kinect的下俯视角可调节；

C、通过计算机开启基于Kinect骨架追踪的摔倒自动检测系统，用户可以在规定的检测环境内部自由地进行日常活动；

D、在计算机主机的驱动下，Kinect驱动其自带的VGA摄像头和红外摄像头，通过摄像头覆盖整个检测环境，对整个检测环境内部的物体进行扫描，借助人体体型匹配算法对检测环境内部的类人物体进行持续照射和追踪，并对类人物体尝试匹配人体骨架模型，当20个骨架关节点被追踪到或推测出，系统确认类人物体为人体，则人体骨架模型数据流形成；

E、Kinect在获取检测环境内人体骨架模型数据流后，通过其内部的解码芯片对获取的人体骨架模型数据流进行解码运算，获取检测环境下人体20个主要关节点在空间内的三维坐标值；

F、在计算机上，通过Kinect For Windows SDK中的Skeleton Basics数据接口，可在计算机屏幕上显示Kinect实时获取的检测环境内的人体骨架模型；

G、Kinect将获取的检测环境内的人体骨架关节点三维坐标值通过应用程序编程接口API传递至已编写完成的应用程序，计算人体质心点的运动速度和人体质心点与地表平面的距离，对非摔倒事件进行排除，对人体质心点静止状态计时，形成6个判别条件，判别人体摔倒事件是否发生，如果发生，通过手机短信报警。

2.根据权利要求1所述基于Kinect骨架追踪的人体摔倒自动检测方法，其特征在于：步骤G中的具体检测过程如下：

  （1）、计算人体质心点运动速度，形成判定条件一和判定条件二：

在检测环境内部，人体质心点的运动速度可反映为在场景坐标系                                                内、、三个方向上速度的和向量，其中方向垂直并指向地面；取20个骨架关节点中的两髋中心关节点作为人体质心点，摔倒情况分为快速摔倒和缓慢摔倒：快速摔倒过程中，人体质心点在方向上的速度在中权重较大，在摔倒事件检测过程中，人体质心点在方向上的速度（临界值）时，可认为此事件满足摔倒事件的判定条件一；缓慢摔倒造成人体质心点方向上的速度不一定每次都能达到快速摔倒事件中的临界值，因此，引入人体质心点在场景坐标系方向与方向上的速度，并以和方向上的速度向量和作为评定参数，当（临界值）时，则可认为此事件满足摔倒事件的判定条件二：

判定条件一：，即检测过程中，当人体质心点方向上的运动速度超过判别临界值时，，满足条件一的要求；

判定条件二：，即检测过程中，人体质心点和方向上的运动速度向量和超过判别临界值时，，满足条件二的要求；

（2）、计算人体质心点与地表平面的距离，形成判定条件三：

在引入人体质心点运动速度判定条件的同时，将人体质心点与地表平面的距离作为判定条件三，将第帧人体质心点与地表平面的距离定义为，当（临界值）时，摔倒事件条件触发；将人体腰厚尺寸的、臀宽尺寸的，作为临界值取值大小的依据：

判定条件三：，即检测过程中，当人体质心点第帧的位置与地表平面的距离小于等于判别临界值时，，满足条件三的要求；

（3）、排除非摔倒事件，形成判定条件四和判定条件五：

设人体弯腰、下蹲为第一场景，即场景1，并设、、、、分别为左肩关节点、右肩关节点、头关节点、左髋关节点、右髋关节点至地表平面的距离，为过左肩关节点和右肩关节点的向量；根据人体尺寸，当且成立，且与平面的夹角小于等于时，检测系统认为此时人体不属于摔倒事件；

判定条件四： ，即检测过程中，当人体不处于第一场景状态时，，满足条件四的要求；

设人体快速坐地为第二场景，即场景2，设、、、分别为左肩关节点、右肩关节点、左髋关节点、右髋关节点至地表平面的距离；根据人体尺寸，当且成立，检测系统认为此时人体不属于摔倒事件；

判定条件五： ，即检测过程中，当人体不处于第二场景时，，满足条件五的要求；

   （4）、对人体质心点静止状态计时，形成判定条件六：

人体质心点在测试场景内第帧的坐标为，第帧的坐标为,当时，为设定值，人体质心点停留时间进行计时，当时，人体摔倒事件判定条件六成立；若在计时期间，且S时，，则归0，重新开始计时；

判定条件六：，当，时，，满足条件六的要求；

综上，当时，本基于骨架追踪的自动检测方法判定人体摔倒事件发生。