CN109726672B - 一种基于人体骨架序列和卷积神经网络的摔倒检测方法 - Google Patents

Abstract

一种基于人体骨架序列和卷积神经网络的摔倒检测方法，它属于人体摔倒检测技术领域。本发明解决了传统的人体摔倒检测方法仅利用不连续的单时间点传感信息来检测，容易带来摔倒的误判的问题。本发明采集了一部分人体摔倒骨架序列和类摔倒骨架序列，并且将MSRDaily Activity3D数据集融合到采集的数据集中，同时为了弥补数据集的空白，本发明利用两种数据增强的方法对数据集进行扩增，以避免过拟合的问题；扩增后的数据集用来训练和测试本发明建立的卷积神经网络，实验结果显示，在测试集上的识别准确率为93.75％，灵敏度为93.9％，所以，本发明的方法克服了传统方法容易带来摔倒的误判的问题。本发明可以应用于人体摔倒检测技术领域。

Description

一种基于人体骨架序列和卷积神经网络的摔倒检测方法

技术领域

本发明属于人体摔倒检测技术领域，具体涉及一种人体摔倒检测方法。

背景技术

随着社会的发展，全球的老龄人口在不断增加，使老年人的医疗健康成为社会关注的问题之一。美国疾病控制和防疫中心的调查结果表明，摔倒已经成为导致65岁以上老年人意外死亡和伤害的最大诱因。Noury等的研究显示，老年人摔倒后，如能得到及时的救助，可以有效降低80％的死亡风险和26％的住院长期治疗风险。而根据全国老年办统计数据显示，现有大量的老人远离子女独自生活。因此，迫切需要为老年人开发智能监控系统，该系统可以自动并立即检测跌倒事件并通知护理人员或家属。

根据检测摔倒行为所涉及的设备，人体摔倒检测技术主要分为以下两类：

第一、基于穿戴式传感器的摔倒检测方法，主要原理是对人体的姿态进行检测，进而进行摔倒检测。常见的传感器包括加速度传感器、陀螺仪、压力传感器等，不仅可以进行多传感器融合，还可以与心电、脉搏等设备结合进行检测。大多数基于可穿戴传感器的检测方法都采用设定阈值或设定规则来检测摔倒。Sannino等开发了一套检测方法，根据加速度计数据提取IF-THEN规则来判断是否摔倒，通过对竖直方向速度的阈值判断将摔倒与日常行为区分开来。Kwolek等利用加速度计和Kinect数据，设计了模糊检测系统来检测摔倒。但是穿戴式检测设备需要用户长期佩戴，用户体验较差，不方便日常的活动。

第二、基于环境传感器的摔倒检测方法，主要原理是在检测人体目标的活动区域内安装传感器，进而进行摔倒检测，视频，音频和振动传感器是此类别的主要设备。Vaidechi等人利用相机设计实现了一种基于静态人体图像特征的摔倒检测系统，并通过提取人体的长宽比和倾斜角度两个特征进行摔倒判断。人体可以表示为具有铰接关节和刚性骨骼的神经系统，而人体的动作可以表示为骨骼的运动。随着Kinect基于深度数据实时捕获骨架的实现，基于深度数据的人体动作识别主要分为两个步骤，首先利用深度数据识别人体骨架，然后对骨架序列进行摔倒识别。通过估计头部，身体质心或两者的高度，从深度图像中提取的轮廓已被用于估计人体姿势。

人体摔倒检测方法必须能有效识别摔倒过程与其它日常生活运动行为，传统检测方法仅利用不连续的单时间点传感信息，并不具备描述人体运动过程的信息完备性，导致对摔倒的误判率较高。

发明内容

本发明的目的是为解决传统的人体摔倒检测方法仅利用不连续的单时间点传感信息来检测，导致对摔倒的误判率高的问题。

本发明为解决上述技术问题采取的技术方案是：

步骤一、采集M₁个人体摔倒骨架序列和M₂个人体类摔倒骨架序列，并从MSRDailyActivity3D数据集中随机选取M₃个人体骨架序列；

步骤二、对步骤一中全部的M₁+M₂+M₃个人体骨架序列进行数据增强处理，得到数据增强处理后的人体骨架序列；

步骤三、将数据增强处理后的人体骨架序列中的人体关节空间位置信息转换为RGB分量，得到编码后的RGB图像；并将每张编码后的RGB图像的尺寸变换为l×h；l和h分别代表RGB图像的宽度和高度；

步骤四、将步骤三尺寸变换后的RGB图像随机分成训练集图像和测试集图像两部分；

步骤五、建立卷积神经网络，将训练集图像输入建立的卷积神经网络进行训练，当训练集上的损失函数值连续10次不再减小时停止训练；

步骤六、将测试集图像输入步骤五停止训练时的卷积神经网络，若测试集上的准确率不低于准确率阈值，则将步骤五停止训练时的卷积神经网络作为训练好的卷积神经网络；若测试集上的准确率低于准确率阈值，则调整卷积神经网络的参数后继续训练，直至测试集上的准确率不低于准确率阈值时，得到训练好的卷积神经网络；

步骤七、利用训练好的卷积神经网络对人体进行摔倒识别。

本发明的有益效果是：本发明提供了一种基于人体骨架序列和卷积神经网络的摔倒检测方法，本发明采集了一部分人体摔倒骨架序列和类摔倒骨架序列，并且将MSRDailyActivity3D数据集融合到采集的数据集中，同时为了弥补数据集的空白，本发明利用两种数据增强的方法对数据集进行扩增，以避免过拟合的问题；扩增后的数据集用来训练和测试本发明建立的卷积神经网络，实验结果显示，在测试集上的识别准确率为93.75％，灵敏度为93.9％，所以，本发明的方法克服了传统方法对摔倒的误判率高的问题。

在额外做的20组在线检测实验中，实验结果显示召回率为1，准确率为95％，而且本发明的方法不受环境和光照条件的影响，可以广泛用于独居老人的日常监护，具有一定的应用价值。

本发明融合了人体动作的空间和时间特征，对人体摔倒动作的识别起到很好的作用。

附图说明

图1为本发明所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法的卷积神经网络结构图；

图2为本发明采集人体骨架序列时的实验场景图；

图3为本发明采集的一个人体骨架序列的示意图；

其中：f＝10代表第10帧的人体关节图，f＝20代表第20帧的人体关节图，以此类推，f＝110代表第110帧的人体关节图；

图4为Kinect V2和KinectV1两个设备产生的相同关节点的示意图；

其中：1代表脊柱关节，2代表头部关节，3代表右肩关节，4代表右肘关节，5代表右腕关节，6代表右手关节，7代表左肩关节，8代表左肘关节，9代表左腕，10代表左手，11代表右臀，12代表右膝，13代表右脚，14代表右脚踝，15代表左臀，16代表左膝，17代表左脚踝，18代表左脚；

图5为间隔采样的数据增强方法的示意图；

S₁代表第1帧，S_1+d代表第1+d帧，S_1+2d代表第1+2d帧，

代表第1+f_c帧，

代表第1+d+f_c帧，

代表第1+2d+f_c帧；

图6为低帧率的二次采样时，单数帧对应的编码后的RGB图；

图7为低帧率的二次采样时，双数帧对应的编码后的RGB图；

图8为利用卷积神经网络进行训练时，损失函数值与训练次数的关系曲线、以及准确率与训练次数的关系曲线图。

图9为在线测试时，有人摔倒的骨架序列编码后的RGB图像的示意图；

图10为在线测试时，没有人摔倒的骨架序列编码后的RGB图像的示意图；

图11是将数据增强处理后的人体骨架序列中的人体关节空间位置信息编码为RGB图像，再将RGB图像的尺寸变换为60×60大小的图像的示意图。

图11的中间的图代表编码的RGB图像，编码的RGB图像的横向代表时间动态信息，编码的RGB图像的纵向代表空间结构信息；图11的右图代表尺寸变换为60×60大小的RGB图像；

和

分别代表第1帧中的人体关节空间位置信息对应的R值、G值和B值；

和

分别代表第2帧中的人体关节空间位置信息对应的R值、G值和B值。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

具体实施方式一：结合图1说明本实施方式。本实施方式所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法，该方法包括以下步骤：

步骤一、采集M₁个人体摔倒骨架序列和M₂个人体类摔倒骨架序列，并从MSRDailyActivity3D数据集中随机选取M₃个人体骨架序列；

人体类摔倒动作包括坐下和躺下动作，MSRDaily Activity3D数据集中包括饮水、吃东西和读书等非摔倒、且非类摔倒动作。

步骤二、对步骤一中全部的M₁+M₂+M₃个人体骨架序列进行数据增强处理，得到数据增强处理后的人体骨架序列；

步骤三、将数据增强处理后的人体骨架序列中的人体关节空间位置信息转换为RGB分量，得到编码后的RGB图像；并将每张编码后的RGB图像的尺寸变换为l×h；l和h分别代表RGB图像的宽度和高度；

步骤四、将步骤三尺寸变换后的RGB图像随机分成训练集图像和测试集图像两部分；

步骤五、建立卷积神经网络，将训练集图像输入建立的卷积神经网络进行训练，当训练集上的损失函数值连续10次不再减小时停止训练；

步骤六、将测试集图像输入步骤五停止训练时的卷积神经网络，若测试集上的准确率不低于准确率阈值，则将步骤五停止训练时的卷积神经网络作为训练好的卷积神经网络；若测试集上的准确率低于准确率阈值，则调整卷积神经网络的参数后继续训练，直至测试集上的准确率不低于准确率阈值时，得到训练好的卷积神经网络；

步骤七、利用训练好的卷积神经网络对人体进行摔倒识别。

本实施方式提出的一种融合全局时空特征的卷积神经网络，可以更好的提取动作的时空信息。本实施方式中的准确率阈值为不小于90％的数值。

本实施方式中采集M₁个人体摔倒骨架序列和M₂个人体类摔倒骨架序列，每个骨架序列是一种时间延续上的序列，例如：一个摔倒动作的持续时间为t，采集的帧率为FPS，所以在一个摔倒动作中，共可以采集到t×FPS帧人体关节图，全部的t×FPS帧人体关节图被称为一个骨架序列。

具体实施方式二：本实施方式对实施方式一所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法进行进一步的限定，本实施方式中步骤一的具体过程为：

利用微软的Kinect V2采集M₁个人体摔倒骨架序列和M₂个人体类摔倒骨架序列；

Kinect V2采集的每个骨架序列均包含25个关节点的空间位置信息；

从MSRDaily Activity3D数据集中随机选取M₃个人体骨架序列；

MSRDaily Activity3D数据集是利用Kinect V1采集的骨架序列，Kinect V1采集的每个骨架序列均包含20个关节点的空间位置信息；

选取出全部的M₁+M₂+M₃个人体骨架序列共同包含的18个关节点的空间位置信息。

具体实施方式三：本实施方式对实施方式二所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法进行进一步的限定，所述步骤二对步骤一中全部的M₁+M₂+M₃个人体骨架序列进行数据增强处理，得到数据增强处理后的人体骨架序列，其具体过程为：

若每个骨架序列均包含L帧，帧率为FPS 30帧/秒，则每个骨架序列的持续时间t为L/FPS秒；将每个骨架序列编码为RGB图像时，若编码的每个骨架序列的持续时间长度为T，一般来说，T＜t；则每个RGB图像中包含的帧数f_c为T×FPS；

则将每个骨架序列的第1帧至第T×FPS帧作为一个新的骨架序列，将每个骨架序列的第2帧至第T×FPS+1帧作为一个新的骨架序列，以此类推，将每个骨架序列的第L-T×FPS帧至第L帧作为一个新的骨架序列，得到的全部新的骨架序列和原来的M₁+M₂+M₃个人体骨架序列共同组成数据增强处理后的人体骨架序列。

具体实施方式四：本实施方式对实施方式二所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法进行进一步的限定，所述步骤二对步骤一中全部的M₁+M₂+M₃个人体骨架序列进行数据增强处理，得到数据增强处理后的人体骨架序列，其具体过程为：

若采集M₁个人体摔倒骨架序列和M₂个人体类摔倒骨架序列时采用的帧率为F帧/秒，则在时间T内，以F/2的帧率对全部的M₁+M₂+M₃个人体骨架序列进行二次采样，则每个人体骨架序列的单数帧组成一个新的骨架序列，每个人体骨架序列的双数帧组成一个新的骨架序列，得到的全部新的骨架序列和原来的M₁+M₂+M₃个人体骨架序列共同组成数据增强处理后的人体骨架序列。

采用步骤二的数据增强处理的方法，可以使数据集中包含的人体骨架序列的个数增多，降低过拟合对训练效果的影响。

我们将骨架序列编码为RGB图像，唯一的限制条件为每段骨架序列所持续的时间长度是一样的，这样做的原因是如果我们将不同时间长度的骨架序列编码为相同尺寸的图像，会改变人体运动的频率，而这样做会引起误识别。比如说有一段较长的骨架序列，其中人在做的动作为慢慢蹲下，但如果我们将其频率改变后这段骨架序列可能意味着这个人一下子倒在了地上，所以必须限定每段骨架序列所持续的时间长度是一样的。

具体实施方式五：如图11所示，本实施方式对实施方式三或四所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法进行进一步的限定，本实施方式中步骤三的具体过程为：

对于数据增强处理后的每一个人体骨架序列，若人体骨架序列的第f帧中的第n个人体关节的空间位置信息为

其中：

代表第f帧中的第n个人体关节的x轴坐标，

代表第f帧中的第n个人体关节的y轴坐标，

代表第f帧中的第n个人体关节的z轴坐标；所述x轴、y轴和z轴为相机坐标系下的三个坐标轴；

则将第f帧中的人体关节空间位置信息转换成RGB图像的RGB值，所述RGB图像的RGB值的具体形式为：

R^f代表第f帧中的人体关节空间位置信息对应的R值，G^f代表第f帧中的人体关节空间位置信息对应的G值，B^f代表第f帧中的人体关节空间位置信息对应的B值；其中：N＝18；

同理，得到每个人体骨架序列的每帧中的人体关节空间位置信息对应的RGB值；

将排列好的骨架序列通过以下映射关系，得到编码后的RGB图像：

代表第f帧中的第n个人体关节在RGB图像中的像素点的R值，x_min代表第f帧中的所有人体关节的x轴坐标的最小值，floor函数表示向下取整，x_max代表第f帧中的所有人体关节的x轴坐标的最大值；

代表第f帧中的第n个人体关节在RGB图像中的像素点的G值，y_min代表第f帧中的所有人体关节的y轴坐标的最小值，y_max代表第f帧中的所有人体关节的y轴坐标的最大值；

代表第f帧中的第n个人体关节在RGB图像中的像素点的B值，z_min代表第f帧中的所有人体关节的z轴坐标的最小值，z_max代表第f帧中的所有人体关节的z轴坐标的最大值。

由于MSRDaily Activity3D数据集是利用Kinect V1采集的骨架序列，Kinect V1采集的每个骨架序列均包含20个关节点的空间位置信息；Kinect V2采集的每个骨架序列均包含25个关节点的空间位置信息；所以本实施方式中N＝18，18代表Kinect V1采集的骨架序列和Kinect V2采集的骨架序列共同包含的18个关节点；

这种情况下，动作的全局描述非常明显，而且每个关节的空间描述也非常明确。

具体实施方式六：本实施方式对实施方式五所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法进行进一步的限定，本实施方式中的步骤五的具体过程为：

建立卷积神经网络，所述卷积神经网络包括四个卷积层、四个最大池化层和两个全连接层，且在两个全连接层后均添加dropout，设置dropout的值为Q；

将训练集图像输入建立的卷积神经网络，mini-batch大小设置为32，采用Adam梯度下降算法进行训练，当训练集上的损失函数值连续10次不再减小时停止训练。

本实施方式建立的轻量化的卷积神经网络可以便于实时检测。

具体实施方式七：本实施方式对实施方式六所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法进行进一步的限定，本实施方式中的卷积神经网络的第二个全连接层采用的激活函数为sofmax函数，损失函数采用Cross Entry函数：

其中：loss代表损失函数，N₀代表输入样本数，i＝1,2,…,N₀，C代表输出的类别个数，C＝2，j＝1,2，对于，y^(i,j)代表第i个样本的标签，

代表第i个样本经过卷积神经网络后的输出。

具体实施方式八：本实施方式对实施方式七所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法进行进一步的限定，本实施方式中卷积神经网络的四个卷积层和第一个全连接层采用的激活函数均为LeakyReLU，激活函数LeakyReLU的具体形式为：

其中：α是激活函数的系数，α的取值范围是(0,1)，x代表对应层的输入，y代表对应层的输出。

具体实施方式九：本实施方式对实施方式八所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法进行进一步的限定，本实施方式中步骤七的具体过程为：

采集待识别的人体骨架序列，待识别人体骨架序列包含的帧数为E帧，将其中的第1帧至第e帧作为新的骨架序列P₁，将第m+1帧至第m+e帧作为新的骨架序列P₂，将第2m+1帧至第2m+e帧作为新的骨架序列P₃，以此类推，得到一系列新的骨架序列P₁,P₂,P₃,…,P_K；并得到每个骨架序列对应的编码后的RGB图像；

将编码后的RGB图像输入训练好的卷积神经网络，若第k个骨架序列P_k对应的RGB图像的识别结果为摔倒，k＝5,6,…,K，则继续判断第k-4个骨架序列P_k-4、第k-3个骨架序列P_k-3、第k-2个骨架序列P_k-2和第k-1个骨架序列P_k-1的识别结果，若对第k-4个骨架序列P_k-4、第k-3个骨架序列P_k-3、第k-2个骨架序列P_k-2和第k-1个骨架序列P_k-1的识别结果中有至少两个为摔倒，则判定人体有摔倒动作；否则，判定人体没有摔倒动作。

具体实施方式十：本实施方式对实施方式九所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法进行进一步的限定，本实施方式中所述dropout的值Q的取值范围为(0,1)。

实施例

本发明主要对家庭环境下的摔倒行为进行识别，但目前公开的数据集中很少有该类动作。为了验证摔倒检测系统的有效性，我们在家庭环境下进行实验.如图2所示，实验场景为一间学生公寓，面积为10平方米左右，实际可活动面积为5平方米，放置有椅子、书桌和单人床等日常用品。

我们用微软的Kinect V2进行采集，设置采样频率为FPS＝30。摔倒动作：模拟因眩晕摔倒和行走过程中摔倒(包括前向摔倒、侧向摔倒及向后摔倒)，并使用厚海绵垫保护。类摔倒动作：坐下和躺下。10位青年学生作为志愿模特进行以上动作采集，每个人分别对每个动作做10次，每次采集200帧，也就是T≈6.7s，采集的人体骨架序列的示意图如图3所示；

MSRDaily Activity3D数据集中的动作属于家庭环境下的一些日常活动，我们选取一部分数据加入到我们自己采集的数据集中，一方面可以扩充我们的数据集，另一方面由于两个数据集是在不同环境下采集的，可以提升我们数据集的鲁棒性。我们的数据集分布情况如表1所示。

表1

动作类型	具体动作描述	数据个数
			摔倒动作	摔倒	100
类摔倒动作	坐下、躺下	140
			日常动作	drink,eat,read book等	280

但由于MSRDaily Activity3D数据集是用KinectV1采集，每个人体只有20个关节点，而我们用KinectV2采集，有25个关节点。考虑到这个问题，我们经过比较，选取出了两个设备产生的相同关节点共18个，其示意图如图4所示。

在深度学习训练过程中，由于数据的缺乏以及参数的复杂性，过拟合问题对于训练效果有较大的影响，在人体动作识别的过程中，降低过拟合影响的一个有效方法是对动作数据集进行数据增强。本发明主要采取两种数据增强方法。

间隔采样的数据增强方法：若对于一个L帧的骨架序列S，其帧率FPS＝30，其持续时间为t＝L/FPS。我们将骨架序列编码为RGB图像时，设定编码的序列持续时间长度为T＝5s，即持续帧数f_c＝T×FPS＝150,一般来说，T＜t。我们要编码的骨架序列起始帧数为f_s，截止帧数为f_e＝f_s+f_c，只需要满足f_e＜L即可。因此我们可以从第一帧开始采样，若采样间隔为d，则第1帧，第1+d帧、第1+2d帧、…、第1+f_c帧作为一个新的骨架序列，则第1+d帧、第1+2d帧、…、第1+d+f_c帧作为一个新的骨架序列，第1+2d帧、第1+3d帧、…、第1+2d+f_c帧作为一个新的骨架序列，以此类推，直至得到的一个新的骨架序列的最后一帧达到最大帧数L，得到一系列新的骨架序列，再将新的骨架序列编码为RGB图像，并将每张RGB图像的尺寸变换为60×60，间隔采样的数据增强方法的示意图如图5所示。

变换帧率采样的数据增强方法：我们将骨架序列编码为RGB图像，唯一的限制条件为每段骨架序列所持续的时间长度是一样的，这样做的原因是如果我们将不同时间长度的骨架序列编码为相同尺寸的图像，会改变人体运动的频率，而这样做会引起误识别。比如说有一段较长的骨架序列，其中人在做的动作为慢慢蹲下，但如果我们将其频率改变后这段骨架序列可能意味着这个人一下子倒在了地上。

当然我们可以将这段骨架序列以不同的帧率进行二次采样，由于我们在数据采集时设定的帧率为FPS＝30，那么我们可以在固定时间T内进行低帧率的二次采样，比如说我们可以以FPS＝15的帧率采样。这样我们可以将一段相同的骨架序列变换为3段序列。如图6和图7所示，我们将一段“坐下”的骨架序列按照不同帧率采样，生成2张新的图像。

经过数据增强之后，我们最终的数据集分布情况如表2所示。为了避免过拟合，我们尽量使两类动作的训练样本数量一致。训练集中摔倒动作和未摔倒动作各1200张image，测试集中摔倒动作和未摔倒动作各300张image。我们按照被采集的人物来划分训练集与测试集，比如本发明将8个模特采集的数据划分为训练集，而将另外两名模特采集的数据集划分为测试集。这样做可以提升模型的泛化能力，不会因为场景、人物的变换导致模型识别率降低。

表2

由于我们的图像输入尺寸只有60×60，所以我们设计了一个轻量化的网络，参数量一共有98722。采用Adam梯度下降法进行训练，mini-batch大小设置为32。

模型很快就可以收敛，以我们的数据量在一台普通的电脑上1个小时以内可以收敛。如图8所示，最终在训练集上loss＝0.01，准确率为98.13％。而在测试集上的准确率为93.75％，召回率为93.9％。

我们的模型虽然在测试集上可以达到93.75％的准确率，但是在实际应用中的识别效果还不清楚。为此，我们特地采集了20组的人体骨架序列，每个序列2000帧。其中10组序列中有人摔倒，而另外10组中没有人摔倒。我们将10组数据按照相同的方法编码为RGB图像。如图9所示，为有人摔倒的骨架序列编码后的RGB图像，如图10所示，是没有人摔倒的骨架序列编码后的RGB图像。

我们采用投票的方式进行决策，测试算法如表3所示：

表3

我们每间隔m帧进行一次识别，m＝15.如果只通过一次识别的结果来判断是否摔倒，会引起误识别，所以本发明采用一种投票的方式来判断。如果当前识别结果和前4次的识别结果中有3次都是摔倒，那么判定为摔倒。最终通过上述算法对20组骨架序列进行识别，识别结果的混淆矩阵如表4所示，由表4可得Sensitive＝1，Accuracy＝0.95.

表4

	Positive	Negative
			Fall	10	9
No Fall	1	0

当今社会独居老人越来越多，老年人的监护已经成为了一个社会问题。为使独居老人在家摔倒时能够被及时发现，将对老年人的伤害减到最低，本发明提出了一种基于骨架的实时摔倒检测系统，首先我们将动作序列编码为一幅RGB图像，并且保留原始的空间结构信息和时间动态信息。然后我们设计了一个轻量化的卷积神经网络，用来识别编码后的图像。我们采集了一个摔倒数据集，并且将它和MSRDailyActivity3D数据集融合在一起，利用2种数据增强的方法对数据集进行扩充，我们的模型在测试集上的结果显示，模型的召回率为93.9％，准确率为93.75％。最后我们还提出一种在线检测算法，实验结果显示，算法的召回率为1，准确率为95％。

Claims (9)

1.一种基于人体骨架序列和卷积神经网络的摔倒检测方法，其特征在于，该方法包括以下步骤：

步骤一、采集M₁个人体摔倒骨架序列和M₂个人体类摔倒骨架序列，并从MSRDailyActivity3D数据集中随机选取M₃个人体骨架序列；

步骤二、对步骤一中全部的M₁+M₂+M₃个人体骨架序列进行数据增强处理，得到数据增强处理后的人体骨架序列；

步骤三、将数据增强处理后的人体骨架序列中的人体关节空间位置信息转换为RGB分量，得到编码后的RGB图像；并将每张编码后的RGB图像的尺寸变换为l×h；l和h分别代表RGB图像的宽度和高度；

所述将数据增强处理后的人体骨架序列中的人体关节空间位置信息转换为RGB分量，得到编码后的RGB图像，其具体过程为：

对于数据增强处理后的每一个人体骨架序列，若人体骨架序列的第f帧中的第n个人体关节的空间位置信息为

其中：

代表第f帧中的第n个人体关节的x轴坐标，

代表第f帧中的第n个人体关节的y轴坐标，

代表第f帧中的第n个人体关节的z轴坐标；

则将第f帧中的人体关节空间位置信息转换成RGB图像的RGB值，所述RGB图像的RGB值的具体形式为：

R^f代表第f帧中的人体关节空间位置信息对应的R值，G^f代表第f帧中的人体关节空间位置信息对应的G值，B^f代表第f帧中的人体关节空间位置信息对应的B值；其中：N＝18；

同理，得到每个人体骨架序列的每帧中的人体关节空间位置信息对应的RGB值；

将排列好的骨架序列通过以下映射关系，得到编码后的RGB图像：

代表第f帧中的第n个人体关节在RGB图像中的像素点的R值，x_min代表第f帧中的所有人体关节的x轴坐标的最小值，floor函数表示向下取整，x_max代表第f帧中的所有人体关节的x轴坐标的最大值；

代表第f帧中的第n个人体关节在RGB图像中的像素点的G值，y_min代表第f帧中的所有人体关节的y轴坐标的最小值，y_max代表第f帧中的所有人体关节的y轴坐标的最大值；

代表第f帧中的第n个人体关节在RGB图像中的像素点的B值，z_min代表第f帧中的所有人体关节的z轴坐标的最小值，z_max代表第f帧中的所有人体关节的z轴坐标的最大值；

步骤四、将步骤三尺寸变换后的RGB图像随机分成训练集图像和测试集图像两部分；

步骤五、建立卷积神经网络，将训练集图像输入建立的卷积神经网络进行训练，当训练集上的损失函数值连续10次不再减小时停止训练；

步骤六、将测试集图像输入步骤五停止训练时的卷积神经网络，若测试集上的准确率不低于准确率阈值，则将步骤五停止训练时的卷积神经网络作为训练好的卷积神经网络；若测试集上的准确率低于准确率阈值，则调整卷积神经网络的参数后继续训练，直至测试集上的准确率不低于准确率阈值时，得到训练好的卷积神经网络；

步骤七、利用训练好的卷积神经网络对人体进行摔倒识别。

2.根据权利要求1所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法，其特征在于，所述步骤一的具体过程为：

利用微软的Kinect V2采集M₁个人体摔倒骨架序列和M₂个人体类摔倒骨架序列；

从MSRDaily Activity3D数据集中随机选取M₃个人体骨架序列；

选取出全部的M₁+M₂+M₃个人体骨架序列共同包含的18个关节点的空间位置信息。

3.根据权利要求2所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法，其特征在于，所述步骤二对步骤一中全部的M₁+M₂+M₃个人体骨架序列进行数据增强处理，得到数据增强处理后的人体骨架序列，其具体过程为：

若每个骨架序列均包含L帧，帧率为FPS帧/秒，则每个骨架序列的持续时间t为L/FPS秒；将每个骨架序列编码为RGB图像时，若编码的每个骨架序列的持续时间长度为T；则每个RGB图像中包含的帧数f_c为T×FPS；

则将每个骨架序列的第1帧至第T×FPS帧作为一个新的骨架序列，将每个骨架序列的第2帧至第T×FPS+1帧作为一个新的骨架序列，以此类推，将每个骨架序列的第L-T×FPS帧至第L帧作为一个新的骨架序列，得到的全部新的骨架序列和原来的M₁+M₂+M₃个人体骨架序列共同组成数据增强处理后的人体骨架序列。

4.根据权利要求2所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法，其特征在于，所述步骤二对步骤一中全部的M₁+M₂+M₃个人体骨架序列进行数据增强处理，得到数据增强处理后的人体骨架序列，其具体过程为：

若采集M₁个人体摔倒骨架序列和M₂个人体类摔倒骨架序列时采用的帧率为F帧/秒，则在时间T内，以F/2的帧率对全部的M₁+M₂+M₃个人体骨架序列进行二次采样，则每个人体骨架序列的单数帧组成一个新的骨架序列，每个人体骨架序列的双数帧组成一个新的骨架序列，得到的全部新的骨架序列和原来的M₁+M₂+M₃个人体骨架序列共同组成数据增强处理后的人体骨架序列。

5.根据权利要求3或4所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法，其特征在于，所述步骤五的具体过程为：

建立卷积神经网络，所述卷积神经网络包括四个卷积层、四个最大池化层和两个全连接层，且在两个全连接层后均添加dropout，设置dropout的值为Q；

将训练集图像输入建立的卷积神经网络，mini-batch大小设置为32，采用Adam梯度下降算法进行训练，当训练集上的损失函数值连续10次不再减小时停止训练。

6.根据权利要求5所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法，其特征在于，所述卷积神经网络的第二个全连接层采用的激活函数为sofmax函数，损失函数采用Cross Entry函数：

其中：loss代表损失函数，N₀代表输入样本数，i＝1,2,…,N₀，C代表输出的类别个数，C＝2，j＝1,2，y^(i,j)代表第i个样本的标签，

代表第i个样本经过卷积神经网络后的输出。

7.根据权利要求6所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法，其特征在于，所述卷积神经网络的四个卷积层和第一个全连接层采用的激活函数均为LeakyReLU，激活函数LeakyReLU的具体形式为：

其中：α是激活函数的系数，α的取值范围是(0,1)，x代表对应层的输入，y代表对应层的输出。

8.根据权利要求7所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法，其特征在于，所述步骤七的具体过程为：

采集待识别的人体骨架序列，待识别人体骨架序列包含的帧数为E帧，将其中的第1帧至第e帧作为新的骨架序列P₁，将第m+1帧至第m+e帧作为新的骨架序列P₂，将第2m+1帧至第2m+e帧作为新的骨架序列P₃，以此类推，得到一系列新的骨架序列P₁,P₂,P₃,…,P_K；并得到每个骨架序列对应的编码后的RGB图像；

将编码后的RGB图像输入训练好的卷积神经网络，若第k个骨架序列P_k对应的RGB图像的识别结果为摔倒，k＝5,6,…,K，则继续判断第k-4个骨架序列P_k-4、第k-3个骨架序列P_k-3、第k-2个骨架序列P_k-2和第k-1个骨架序列P_k-1的识别结果，若对第k-4个骨架序列P_k-4、第k-3个骨架序列P_k-3、第k-2个骨架序列P_k-2和第k-1个骨架序列P_k-1的识别结果中有至少两个为摔倒，则判定人体有摔倒动作；否则，判定人体没有摔倒动作。

9.根据权利要求8所述的一种基于人体骨架序列和卷积神经网络的摔倒检测方法，其特征在于，所述dropout的值Q的取值范围为(0,1)。

Images