CN110298276A

CN110298276A - 基于卷积神经网络的跌倒检测方法

Info

Publication number: CN110298276A
Application number: CN201910529955.9A
Authority: CN
Inventors: 何坚; 祖天奇; 余立; 张子浩
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2019-06-19
Filing date: 2019-06-19
Publication date: 2019-10-01

Abstract

基于卷积神经网络的跌倒检测方法属于电子信息领域，本发明将通过MEMS采集的3轴加速度、角速度数据转为RGB像素，并引入滑动窗口构造能同时反映老年人活动过程中3轴加速度、角速度变化特征的像素图；参考LeNet 5架构设计了基于CNN的跌倒监测算法FD‑CNN，将像素图进行归类，实现跌倒检测算法。通过构建FD‑CNN，可以克服MEMS陀螺仪存在信号漂移误差、3轴加速度计在运动状态下产生电压波动等干扰，准确实现跌倒检测。FD‑CNN网络模型系统的准确率达到了98.62％，敏感度和特异性分别达到98.65％和99.80％。其中，系统对跌倒检测的敏感度和特异性均到达了100％。

Description

基于卷积神经网络的跌倒检测方法

技术领域

本发明属于电子信息领域，是一种基于卷积神经网络，可应用于跌倒检测的技术。

背景技术

已有跌倒检测技术根据其所采用传感器技术的不同，可总体上划分为以下三类：可穿戴感知技术(Wearable Sensors)、情景感知技术(Ambient Sensors)和视觉感知技术(Vision-based Sensors)。虽然情景感知技术和视觉感知技术具有准确率高、动作捕捉直观等特点，但传感器部署及检测算法复杂，且监控范围有限，甚至容易暴露用户隐私。随着MEMS(microelectromechanical systems)技术的发展，研究人员将惯性传感器集成到小型可穿戴设备中实现跌倒检测。基于MEMS的跌倒检测方法具有部署成本低、受环境影响小、对用户的隐私干扰较少等优点，成为跌倒检测技术研究的热点。但MEMS陀螺仪存在信号漂移误差、3轴加速度计在运动状态下会产生电压波动，这些因素会影响跌倒检测算法精度和有效性。

本发明基于MEMS采集的人体活动数据，参考LeNet 5架构设计了基于卷积神经网络(Convolutional Neural Networks，CNN)的跌倒监测算法FD-CNN。

发明内容

本发明基于通过MEMS采集的人体活动数据和卷积神经网络，设计了跌倒检测算法FD-CNN。本发明涉及如下2点：

(1)本发明将通过MEMS采集的3轴加速度、角速度数据转为RGB像素，并引入滑动窗口构造能同时反映老年人活动过程中3轴加速度、角速度变化特征的像素图。

(2)参考LeNet 5架构设计了基于CNN的跌倒监测算法FD-CNN，将像素图进行归类，实现跌倒检测算法。

本发明核心算法

(1)建立人体活动模型

人体在运动过程中，加速度和角速度会实时变化。前人研究表明人体的上躯干(即腰部以上、脖颈以下部分)是采集加速度数据并识别跌倒与其他日常动作的最佳部位。本发明从穿戴设备舒适性以及系统可靠性出发，将运动感知模块放置在定制背心的腰部，进而建立基于笛卡尔坐标系的人体活动模型。图1所示为基于笛卡尔坐标系的人体活动模型，其中a_x、a_y、a_z分别代表人体活动沿x轴、y轴和z轴的加速度；ω_x、ω_y、ω_z为分别代表人体躯干绕x轴、y轴和z轴的角速度。

(2)活动数据可视化处理

由于人体跌倒的时间通常小于2秒钟，因此在服务器端设计了2秒钟的滑动窗口以缓存活动感知MEMS传来的3轴加速度、角速度数据。并对这些数据进行量程规范化，将规范化的数据转化为对应像素数据，并分析日常活动与跌倒的差异。

由于MEMS感知模块的采样频率为100Hz，其中的3轴加速度、角速度值通常采用2字节表示，因此本专利设计了大小为2400字节的滑动窗口用来缓存MEMS感知模块采集的2秒钟的3轴加速度、角速度数据。若将3轴(X、Y、Z轴)的加速度、角速度值分别对应于3通道图像中R、G、B通道的数值，这就可以将每份3轴加速度、角速度数据转换成一个RGB像素点，那么滑动窗口中的缓存3轴加速度、角速度数据就可以看成为尺寸为20*20*3的图像。

由于图像数据的量程范围为0～255的整型数据，而加速度计和陀螺仪的数据量程不尽相同，为此本发明采用公式(1)对加速度计和陀螺仪传感器数据的量程进行规范化，将两者传感器数据规范到0～255范围内。

公式1中，range为加速度计或陀螺仪传感器的量程，value为实测数值。计算结果result后为浮点型，为了表示方便本文通过四舍五入将result转化为整型数据。

(3)设计了基于卷积神经网络的跌倒监测架构FD-CNN

FD-CNN架构如图2所示，其输入为20ⅹ20像素的3通道RGB图像，共有6个网络层(不包含输入层)。其中，网络的卷积层标注为C_x，下采样层标准为S_x，全连接层标注为F_x，x为网络的层号。在进入网络的C1层前，系统按照公式2对数据进行规范化，即将图像数据取值范围为0～255归一化为-1～1。

C1为卷积层。在卷积前，系统对输入层数据进行了边缘扩充，扩充后的图像大小为22×22像素，扩充边缘的像素值为0。边缘扩充在卷积时可避免输入层边缘数据特征丢失。卷积核大小是5×5×3，每个特征图内只使用一个共同卷积核。每个卷积核有5×5×3个连接参数以及1个偏置共76个参数。卷积核每次滑动一个像素，因此卷积层形成的每个特征图大小是18×18。卷积过后，系统通过relu函数进行网络层激活。C1层共有32个卷积核，所以该层输出为32张大小为18×18的特征图。

S2为最大池化层。在池化前，系统对C1层输出的数据进行了边缘扩充(扩充边缘的像素值为0)，扩充后的图像大小为20×20像素。系统采用2×2的卷积核以步长为2进行最大池化下采样得到32张10×10的特征图。

C3为卷积层。在卷积前，参考C1层也对S2的输出进行了边缘扩充，扩充后的图像大小为12×12像素。卷积核大小是5×5×32，卷积核每次滑动一个像素，卷积后形成的每个特征图大小是8×8。卷积过后，系统通过relu函数进行网络层激活。C3层共有64个卷积核，所以该层输出为64张大小为8×8的特征图。

S4为最大池化层。参考C1层也对C3的输出进行了边缘扩充，扩充后的图像大小为10×10像素。系统采用2×2的核以步长为2进行最大池化下采样得到64张5×5的特征图。

F5为全连接层，其含有512个神经单元。为了防止网络过拟合，在训练时加入了dropout。这一层神经元在全连接后使用relu函数进行网络激活。

最后一层是全连接网络输出层。该层有8个神经单元。在计算网络结果时，将最后一层的输出加到softmax中，得到每个类的预测概率，其中概率最大项为网络的预测结果。

发明效果

通过构建FD-CNN，可以克服MEMS陀螺仪存在信号漂移误差、3轴加速度计在运动状态下产生电压波动等干扰，准确实现跌倒检测。FD-CNN网络模型系统的准确率达到了98.62％，敏感度和特异性分别达到98.65％和99.80％。其中，系统对跌倒检测的敏感度和特异性均到达了100％，表明系统对跌倒的识别有很好的效果。

本专利的核心技术包括：

(1)创新性的活动数据可视化处理技术：将MEMS采集的3轴加速度、角速度数据转为RGB像素，并引入滑动窗口，构造能同时反映老年人活动过程中3轴加速度、角速度变化特征的像素位图；

(2)同时引入数据归一化技术，将3轴加速度、角速度数据转化为取值为[-1,1]的实数值，为构造高效跌倒监测卷积网络提供数据基础；

(3)构造了面向跌倒检测的卷积网络(FD-CNN)：参考LeNet 5架构设计了FD-CNN，实现跌倒的快速准确监测。

附图说明

图1是基于笛卡尔坐标系的人体活动模型

图2是FD-CNN架构。

图3是网络架构。

具体实施方式

(1)参考人体活动模型，本发明采用的人体活动数据所用的感知模块尺寸为30mm×30mm×9mm。主要由CC2530微控制器、集成3轴加速度和陀螺仪的MEMS活动传感器、ZigBee射频和电源管理模块等组成。其中，ZigBee模块的传输速率为115200baud，传输最大距离为100m。MEMS活动传感器3轴陀螺仪、加速度计。陀螺仪测量范围最大可达到±2000°/sec，加速度计测量范围最大可达±16g。运动感知模块的采样频率为100Hz。

(2)参考人体活动模型，对SisFall和MobiFall公开的数据集进行坐标转换，并对坐标转换后的数据进行量程规范和可视化表示，将3轴加速度、角速度数据转化为像素位图。

其次，从MobiFall数据集中提取了走路、跳跃、慢跑、上楼、下楼数据各1000组，跌倒数据500组；从SisFall数据集中提取坐下和起立数据各1000组，跌倒数据500组；课题组将向前/后向跌倒、左/右侧跌倒统一归类为跌倒。本发明通过20名被试实验获得了7类日常活动和跌倒各200组数据构成数据集。本发明随机选取公开数据集和实验数据集中各90％的数据作为训练样本，其余作为测试样本。其中，每类日常活动和跌倒各有1080组训练样本，共计8640组训练样本；每类活动含120组测试样本，共计960组测试数据。

(4)本发明采用8640组训练样本对FD-CNN网络进行了训练。并按照9:1比例将训练样本划分为训练集和验证集。训练中batch size设值为64。使用Adam算法进行网络的优化，其中学习率为0.001。此外，在网络最后全连接层后加上了softmax层以计算输出结果的概率。最后，和真实值y做一次交叉熵，求其平均值，得出loss(见公式4)。并依据loss值进一步训练。网络训练迭代8个epoch时候，验证集准确率维持在99.7％左右，后续训练准确率维持稳定不再上升，所以本发明训练停止在8个epoch。

(5)跌倒检测算法的输入为人体活动感知数据，输出为跌倒判定结果。

Claims

1.基于卷积神经网络的跌倒检测方法，其特征在于：

(1)建立人体活动模型

人体在运动过程中，加速度和角速度会实时变化；将运动感知模块放置在定制背心的腰部，进而建立基于笛卡尔坐标系的人体活动模型，其中a_x、a_y、a_z分别代表人体活动沿x轴、y轴和z轴的加速度；为分别代表人体躯干绕x轴、y轴和z轴的角速度；

(2)活动数据可视化处理

由于人体跌倒的时间通常小于2秒钟，因此在服务器端设计了2秒钟的滑动窗口以缓存活动感知MEMS传来的3轴加速度、角速度数据；

由于MEMS感知模块的采样频率为100Hz，其中的3轴加速度、角速度值通常采用2字节表示，因此设计了大小为2400字节的滑动窗口用来缓存MEMS感知模块采集的2秒钟的3轴加速度、角速度数据；若将3轴(X、Y、Z轴)的加速度、角速度值分别对应于3通道图像中R、G、B通道的数值，这就将每份3轴加速度、角速度数据转换成一个RGB像素点，那么滑动窗口中的缓存3轴加速度、角速度数据看成为尺寸为20*20*3的图像；

由于图像数据的量程范围为0～255的整型数据，而加速度计和陀螺仪的数据量程不尽相同，为此采用公式(1)对加速度计和陀螺仪传感器数据的量程进行规范化，将两者传感器数据规范到0～255范围内；

其中，range为加速度计或陀螺仪传感器的量程，value为实测数值；计算结果result后为浮点型，为了表示方便通过四舍五入将result转化为整型数据；

(3)设计了基于卷积神经网络的跌倒监测架构FD-CNN

FD-CNN架构其输入为20ⅹ20像素的3通道RGB图像，不包含输入层共有6个网络层；其中，网络的卷积层标注为C_x，下采样层标准为S_x，全连接层标注为F_x，x为网络的层号；在进入网络的C1层前，系统按照公式(2)对数据进行规范化，即将图像数据取值范围为0～255归一化为-1～1；

C1为卷积层；在卷积前，系统对输入层数据进行了边缘扩充，扩充后的图像大小为22×22像素，扩充边缘的像素值为0；边缘扩充在卷积时可避免输入层边缘数据特征丢失；卷积核大小是5×5×3，每个特征图内只使用一个共同卷积核；每个卷积核有5×5×3个连接参数以及1个偏置共76个参数；卷积核每次滑动一个像素，因此卷积层形成的每个特征图大小是18×18；卷积过后，系统通过relu函数进行网络层激活；C1层共有32个卷积核，所以该层输出为32张大小为18×18的特征图；

S2为最大池化层；在池化前，系统对C1层输出的数据进行了边缘扩充，扩充边缘的像素值为0，扩充后的图像大小为20×20像素；系统采用2×2的卷积核以步长为2进行最大池化下采样得到32张10×10的特征图；

C3为卷积层；在卷积前，参考C1层也对S2的输出进行了边缘扩充，扩充后的图像大小为12×12像素；卷积核大小是5×5×32，卷积核每次滑动一个像素，卷积后形成的每个特征图大小是8×8；卷积过后，系统通过relu函数进行网络层激活；C3层共有64个卷积核，所以该层输出为64张大小为8×8的特征图；

S4为最大池化层；参考C1层也对C3的输出进行了边缘扩充，扩充后的图像大小为10×10像素；系统采用2×2的核以步长为2进行最大池化下采样得到64张5×5的特征图；

F5为全连接层，其含有512个神经单元；为了防止网络过拟合，在训练时加入了dropout；这一层神经元在全连接后使用relu函数进行网络激活；

最后一层是全连接网络输出层；该层有8个神经单元；在计算网络结果时，将最后一层的输出加到softmax中，得到每个类的预测概率，其中概率最大项为网络的预测结果。