CN107506706A - 一种基于三维摄像头的人体跌倒检测方法 - Google Patents

Abstract

本发明公开了一种基于三维摄像头的人体跌倒检测的方法，该方法包括训练数据采集，对不同身高，不同年龄的多个实验对象采集多组跌倒与非跌倒动作片段进行采集；数据预处理；动作特征提取，提取每种动作的骨骼节点分布特征，高度特征以及惯性特征，构成行为特征向量；分类器训练获取运动模型，将训练集的行为特征向量输入隐马尔可夫模型分类器，获得参数最优模型；最后对每个测试样例连续帧内的数据进行上述的特征提取，投入之前模型进行测试，判别。本发明用机器学习方法实现了人体跌倒行为检测，具有较高的识别率。该方法属于计算机视觉以及机器学习领域，能够有效地识别出室内跌倒行为发生情况，及时发出报警，节省了看护工作人员劳动力。

Description

一种基于三维摄像头的人体跌倒检测方法

技术领域

本发明涉及人机交互领域中人体行为识别研究，采用机器学习方法提出一种基于三维摄像头的人体跌倒检测方法。

背景技术

近年来在医疗监护、智能交通、安保监控等领域上对人体行为分析得到广泛关注，人体跌倒检测作为行为分析的一个分支，在当前人口老龄化，患者得不到充分的安全监护情况下显得尤为重要。有数据表明，跌倒是老年人主要的致伤原因，而利用先进的图像处理技术，传感器技术可以对老年人、病人的跌倒状况进行自动检测，及时告警。避免了跌倒后伤势加重、诱发病情，错过救助良机；同时降低了看护成本，节省人工劳动力。

人体跌倒检测研究大体分为两类，一类是基于计算机图像处理技术，另一类是基于传感器技术。传统的跌倒检测方法是通过给实验对象佩戴有加速度传感器的设备，来实时采集数据，作出行为判断。如专利CN105989694A的一种基于三轴加速度传感器的人体跌倒检测方法，该方法通过判断Y轴加速度峰值是否达到阈值，如达到再对该加速度值进行特征分析，与跌倒行为特征进行匹配，从而判断用户跌倒事件。以及专利CN105342626A的穿戴式设备及应用于穿戴式设备的跌倒检测方法，通过穿戴式设备三个轴向的实时加速度，计算符合跌倒条件的极值点波形，然后通过计算该极值点波形的方差特征对跌倒事件进行检测。以及专利CN105125220A的一种跌倒检测方法，首先获取三轴加速度传感器值，并计算合加速度；判断合加速度是否大于加速度阈值，若大于则计算检测结果，根据跌倒检测模型和检测结果进行跌倒判断。这类方式主要是通过跌倒过程中的三轴加速度信息进行判断，因为要佩戴设备，影响到人的舒适度。传统二维摄像头不需要监测者携带任何设备，但传统二维摄像头对人体姿势和室内环境比较复杂的情况难以处理。如专利CN106503643A的人体跌倒检测方法，通过二维摄像头获取彩色图像，最小面积外接矩计算得出矩形宽高比、人体质心高度比等特征，再通过广义三角模糊函数构造人体特征，与跌倒动作特征进行匹配，得到检测结果。以及专利CN105718886A的一种活动人员安全异常的跌倒检测方法，先根据当前人体行为动作图像获取每个像素的时间序列模型，再对属于相同目标的像素进行归类，采用纵横比来进行跌倒推断。但这类方法从人体行为轮廓获取特征，没有对人体惯性特征进行分析，可以对跌倒发生过后的状态作出判断，对于人体躺下与坐下这些类跌倒动作不能区分。而三维摄像头相比传统摄像头提供了深度图像数据，为人体跌倒行为检测提供了新的途径。

目前，基于三维摄像头的人体骨骼数据的跌倒检测方法较少，如专利CN105719429A的一种基于Kinect的跌倒检测及报警系统及其操作方法，该发明的主要工作是通过对人体骨骼数据的采集，获取骨骼节点的三维坐标，计算出人体重心在空间中的位置及速度，通过判断人体重力作用线是否超出支撑面范围以及重心在竖直方向和水平方向的移动速度大小，实现对跌倒的检测。专利CN104794463A的基于Kinect实现室内人体跌倒检测的系统与方法，包括三个跌倒检测模块，用以基于人体倾斜角度和轮廓变化趋势进行跌倒检测判断，用以基于人体运动叠加图分析进行跌倒检测判断，以及用以基于传感器坐标系下人体运动方向和加速度进行跌倒检测判断，根据以上三个模块进行综合判断，输出结果。这类方法利用了三维摄像头捕获的骨骼节点特征，人体轮廓特征以及人体惯性特征，但由于特征选取简单，且在跌倒动作发生过程中，人体骨骼节点容易发生混淆与遮挡，三维摄像头捕获的节点位置与实际位置不符从而造成误判，出现识别率不高的情况。

发明内容

针对以上问题，本发明为监测室内看护对象跌倒情况提供了一种基于三维摄像头的人体跌倒检测方法。通过新的特征提取方法以及分类算法更为准确地检测出跌倒事件。

为了解决以上问题，本发明采取了如下技术方案：一种基于三维摄像头捕获的骨骼数据跌倒判断方法，该方法包括如下步骤：

步骤1：人体跌倒与日常生活动作的采集；

建立跌倒检测数据集，将人体常见的跌倒动作，前向、后向以及侧向跌倒动作，日常生活的类跌倒动作，捡东西、坐下、躺下以及行走动作统一采集，通过三维摄像头捕获动作发生连续帧内骨骼节点信息。

步骤2：建立跌倒检测训练集；

采集大量人体跌倒与类跌倒动作数据，为数据分类加标签。

步骤3：提取动作特征；

提取人体骨骼节点的K-means(K均值)特征；由于跌倒动作过程节点变化较大，肢体动作类型较多，而且在跌倒过程中三维摄像头获取的骨骼节点位置容易发生混淆，用每个骨骼节点与某个点群中心的欧式距离信息替代每个骨骼节点的位置信息能够较好体现出动作的复杂情况。与往常用骨骼重心作中心点方法不同，本方法采用K-means聚类方法取两个中心点，即经过多次迭代，在点群成员转移重组的过程中，不断移动两个点群中心位置，最终用每个节点到最近点群中心的欧式距离作为跌倒检测特征。K-means属于无监督学习算法，可降低特征维度。由于得到距离信息而非位置信息，在分析动作过程中能够很好地体现骨骼节点聚散情况。

除了人体骨骼节点的聚类特征，本方法还采用人体骨骼节点距离地面高度特征；由于跌倒动作的特殊性，动作发生过程中必有一段时间内骨骼节点与地面距离快速减小，在此过程中，臀部节点距离地面高度处于20cm以下。由于一般的三维摄像头没有提供节点距离地面高度的接口，所以本方法中通过获取地平面法向量以及地面上一点位置，来进一步计算臀部节点距离地面高度。

该方法如下：由于默认训练集每组人体动作初始状态为直立，将人体臀部节点与脊部节点进行矢量连接，得出其三维单位向量作为地平面法向量，取动作序列第一帧两脚节点中心位置F(x₀,y₀,z₀)作为地面上一点，则可得点Hip(x_h,y_h,z_h)距离地面高度为：

根据前面所述跌倒动作的特殊性，人体的惯性特征也是跌倒检测的一项重要指标。在跌倒动作发生的几秒内，骨骼节点加速度普遍大于非跌倒动作过程，部分加速度可达到3g以上。相比传统加速度传感器采集的腰部节点加速度值，本发明应用三维摄像头采集到的骨骼节点在连续帧内空间位置变化来推导出每一时刻的加速度标量。由于三维摄像头捕捉骨骼数据存在不稳定状况以及跌倒动作的复杂性，推导出的腰部节点加速度误差比较大，所以本方法中采用三维摄像头捕捉的头部节点推导的加速度标量作为特征。

步骤4：将上一步对训练数据集提取的特征输入HMM(隐马尔可夫模型)进行训练；

本方法经过测试设定HMM最适隐态数为某个参数a，即状态转移矩阵A＝{a_ij}，a_ij＝P(q_t+1＝S_j|q_t＝S_i)1≤i,j≥a；经过多次迭代计算，对上一步提取的训练集特征进行训练，由EM算法(最大期望算法)建立跌倒动作与非跌倒动作的隐马尔科夫模型，训练数据集数量越大越全面，建立的模型越准确。

有益效果：

1、本发明是基于三维摄像头的人体跌倒行为检测，设备成本低，相比传统的基于传感器的跌倒行为检测，避免了穿戴式传感器给监护对象日常生活带来的不舒适体验，且方法移植性好，不存在用于特异性问题。

2、本发明采用的K-means特征提取方法，用骨骼节点的聚散信息替代位置信息，可以避免三维摄像头捕获人体骨骼数据时可能存在的骨骼重叠，从而造成误判。

3、本发明采用机器学习方法，相比传统的阈值判别方法，可以解决不同用户之间存在的差异性问题，通过大量数据集的训练模型，满足不同用户需求。

附图说明

图1为训练数据集部分可视化还原图。

图2为本发明的人体跌倒检测方法流程图。

图3为三维摄像头捕获的人体骨骼节点以及K＝3时的K-means获得的点群中心示意图。

具体实施方法

下面结合说明书附图对本发明创造作进一步详细的说明。

在看护人员起居室靠墙距地面1.5米位置摆放三维摄像头(如微软的Kinect)，保证对象正常活动范围在距离摄像头0.5米之外，调整摄像头俯仰角，保证视野开阔。

准备工作完成后，按照图2所述流程开始实施：

步骤1：建立训练集；

用多个不同身体特征的人作为实验对象(年龄在22至39岁间，身高在1.62至1.97m)，分别在距离摄像头2.5米左右的位置，完成如下动作：以抓取地面物体，坐下，行走以及躺下为代表的非跌倒动作和以前后向跌倒，侧向跌倒为代表的跌倒动作，每个动作进行多次，控制在4到6秒的时间内完成，利用Kinect SDK提供的接口对采集的每段动作进行骨骼提取。

步骤2：骨骼数据预处理；

将上一步采集到的多个实验对象在一段时间内的人体动作骨骼数据进行预处理，对动作过程中遮挡混淆的骨骼节点作位置预测，并按照动作对应的类型加上标签，以连续帧内的骨骼空间节点的形式分类保存下来。

步骤3：人体动作特征提取；

对保存下来的骨骼节点数据进行特征提取，包括如图3所示的骨骼数据的K-means特征，臀部节点距离地面高度特征，以及头部节点的加速度特征，分类保存在对应的TXT文本文件中。

步骤4：HMM分类器训练；

对训练集中所提取的人体动作特征进行训练，选用HMM训练器，每帧特征维度1×27，EM参数设置隐态序列长度为9，混合数为20，最大迭代次数为10，分别训练获得标签为1，2的跌倒动作与非跌倒两组动作模型。

步骤5：测试数据采集与处理；

同步骤1，用多人作实验对象，在三维摄像头前做日常生活动作以及跌倒动作，以5秒一组连续帧(150帧)的形式记录当前动作发生情况，通过步骤2，步骤3，将测试数据的人体骨骼节点投入步骤4获得的隐马尔科夫模型，进行测试分类，获取每组数据的预测标签。

步骤6：计算识别准确率；

对上一步测试数据的预测标签与实际标签作异或运算，输出为0识别正确，输出为1识别错误，统计并计算识别率。

性能测试结果：

为了评价本发明的实际性能，本发明采用国外的电子通信系统团队的二代跌倒检测数据集作为实验训练数据集，其中包含11个对象，年龄在22至39岁间，身高在1.62至1.97m，非跌倒动作包括捡东西、躺下、坐下和行走，跌倒动作包括前向、侧向、后向和跌坐各四类，每个动作测试三次。采用TST数据集的每个动作的两次测试数据做训练数据，剩余一次做测试数据，由于最大期望算法构建的运动模型具有多组解，实验中用各个模型对测试数据进行测试，记录10次测试的识别准确度均值作为最终结果。实验模型中最终测得跌倒检测识别准确率为96.6％，其中灵敏度为93.2％，特异性为100％，可以得出本发明的方法确实具有较高的识别率。

以上所述仅为本发明的优选实施例而已，并不限制于本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种基于三维摄像头的人体跌倒检测方法，其特征在于，所述方法包括如下步骤：

步骤1：人体跌倒与日常生活动作的采集；建立跌倒检测的数据集，将人体常见的跌倒动作，前向、后向以及侧向跌倒动作，日常生活的非跌倒动作，捡东西、坐下、躺下以及行走动作统一采集，通过三维摄像头捕获动作发生连续帧内骨骼节点信息，并以三维空间节点坐标形式存储下来；

步骤2：建立跌倒检测训练集；采集大量人体跌倒与类跌倒动作数据，为数据分类加标签；

步骤3：提取动作特征；对训练集中的跌倒动作与类跌倒动作过程中的骨骼节点坐标信息提取人体骨骼聚类特征，计算连续帧内臀部节点距离地面高度变化以及头部节点的加速度信息，将以上几种特征提取出来作为每帧内的一组特征向量；

步骤4：将上一步对训练数据集提取的特征输入隐马尔可夫模型进行训练；由最大期望算法经过多次迭代计算，建立最优隐马尔可夫模型；

步骤5：用三维摄像头采集的人体跌倒动作与非跌倒动作样例重复步骤2、步骤3操作，将处理过后的数据投入步骤4获得的隐马尔可夫模型进行测试，得到预测标签，若与实际标签一致，则判断正确，反之判断错误。

2.根据权利要求1所述的一种基于三维摄像头的人体跌倒检测方法，其特征在于：所述步骤2中训练集中的人体的非跌倒动作采集多种类型，数据量大且区分度高，包括行走，捡东西这类区分度大的动作以及坐下，躺下这些类跌倒动作，保证数据集的全面性；且跌倒动作标签为1，非跌倒动作标签为2。

3.根据权利要求2所述的一种基于三维摄像头的人体跌倒检测方法，其特征在于：三维摄像头采集的训练集要求每个动作的初始帧内，人体呈直立状态，两脚不重叠，开始记录。

4.根据权利要求1所述的一种基于三维摄像头的人体跌倒检测方法，其特征在于:所述步骤3中对数据集中人体骨骼节点坐标使用K-means人体骨骼聚类方法，其中K均值，将人体骨骼坐标特征换算为空间距离特征，在每帧内迭代计算多个骨骼节点的点群中心，最终确定两个中心点的位置，计算每个骨骼节点到距离最近的那个点群中心的欧式距离作为特征。

5.根据权利要求1所述的一种基于三维摄像头的人体跌倒检测方法，其特征在于:所述步骤3中对于计算臀部节点距离地面特征，获取人体初始帧内人体脊椎向量作为地平面法向量，取人体两脚节点中心位置作为参考节点，该位置视为地面上一点，通过点到平面距离公式获得地平面方程参数。

6.根据权利要求1所述的一种基于三维摄像头的人体跌倒检测方法，其特征在于:所述步骤3中对于三维摄像头获取速度标量规定时间容限，用由多个连续帧前后的空间节点距离差值替代，进而获取骨骼节点加速度数据，设定另一种时间容限值，用多个连续帧前后的速度标量差值替代。

7.根据权利要求1所述的一种基于三维摄像头的人体跌倒检测方法，其特征在于:所述步骤4中将固定维度的特征输入隐马尔可夫模型训练器，同时设定最大期望参数设置隐态序列长度，混合数，最大迭代次数，分别训练获得标签为1，2的跌倒动作与非跌倒动作模型。

8.根据权利要求1所述的一种基于三维摄像头的人体跌倒检测方法，其特征在于:所述步骤5中通过三维摄像头将人体日常生活动作捕捉，设置分段时间长度，记录每段的连续帧内人体骨骼节点信息，结合之前建立的隐马尔可夫模型进行测试，得到预期标签，与动作的实际标签作异或运算，得到动作类型判断结果。

9.根据权利要求1或5所述的一种基于三维摄像头的人体跌倒检测方法，其特征在于:步骤3所述计算臀部节点距离地面高度的方法如下：

由于默认训练集每组人体动作初始状态为直立，将人体臀部节点与脊部节点进行矢量连接，得出其三维单位向量作为地平面法向量，取动作序列第一帧两脚节点中心位置F(x₀,y₀,z₀)作为地面上一点，则可得点Hip(x_h,y_h,z_h)距离地面高度为：

10.根据权利要求1所述的一种基于三维摄像头的人体跌倒检测方法，其特征在于:所述步骤4：

本方法经过测试设定HMM最适隐态数为某个参数a，即状态转移矩阵A＝{a_ij}，a_ij＝P(q_t+1＝S_j|q_t＝S_i)1≤i,j≥a；经过多次迭代计算，对上一步提取的训练集特征进行训练，由EM算法“最大期望算法”建立跌倒动作与非跌倒动作的隐马尔科夫模型，训练数据集数量越大越全面，建立的模型越准确。