CN106846729A - 一种基于卷积神经网络的跌倒检测方法和系统 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的跌倒检测方法和系统，本发明通过采集三轴加速度、身体的倾斜角度和运动方向，并进行数据去噪；对数据进行分割，给每一轴数据进行标记与预编码排序，进而进行离散傅里叶变换；基于变换后的数据，构建卷积神经网络，并进行卷积神经网络训练，得到行为的网络模型；对卷积神经网络模型进行模式匹配，判断用户是否发生跌倒适合用于家庭健康安全监控，能够通过卷积神经网络识别复杂的行为，并对老人的跌倒做出精准地判断与实时地报警。

Description

一种基于卷积神经网络的跌倒检测方法和系统

技术领域

本发明涉及一种基于卷积神经网络的跌倒检测方法和系统。

背景技术

近年来，社会生活朝着数字化、网络化、智能化发展，人们已经开始关注智能化的家庭健康安全监测与防护。其中，跌倒检测技术作为家庭监护系统中必不可少的一部分，准确而有效的跌倒检测方法对安全监护有重要的意义，它不但能有效地预防老人跌倒及减少跌倒后产生的一系列影响(如瘫痪，死亡等)，还能减少医疗资源的占用，对整个家庭和社会有着深远的意义。

目前跌倒检测系统主要有基于视频监控、基于声频监控、基于穿戴式传感器监控，其中视频监控的成本比较大，并且涉及个人隐私；而声频监控中的环境受噪声干扰影响比较多，不利于检测；而随着手机，手环等智能设备的发展，基于可穿戴设备的跌倒检测技术的研究变成热门。基于可穿戴设备的跌倒检测方法主要分为两大类，一种是基于阈值的检测方法，通过设置单个或者多个阈值来检测跌倒行为；另一种是基于机器学习的模式判别的检测方法，通过提取数据特征，训练分类器，进行数据分类的步骤来检测跌倒。很多研究者也结合两类方法，先使用阈值进行粗判别然后再使用机器学习进行精判别的方法进行跌倒检测。由于生活中老年人的行为复杂且多样，提取的特征往往无法完全代替行为，这给阈值检测和特征提取带来了困难，从而导致训练出来的模型无法精确地判别一些复杂的行为。

随着人工智能的发展，深度学习的方法逐渐被应用于各个领域，深度学习的方法，不需要经过特征提取，通过逐层的网络直接挖掘数据的特征从而进行识别，其中卷积神经网络作为深度学习中典型的方法，靠权值共享和层间联系优势被应用于图像、语音、文本等方面，它可以分析大量的数据，通过层层网络挖掘出所有特征，这些特征可以更好地代表复杂的行为，从而进行跌倒判别。上述的各种检测方法，各有利弊，如基于阈值的检测方法简单复杂度低，但是精确度不高；基于机器学习的检测方法复杂度高，能较好地识别，无法描述一些复杂的行为。因此针对上述检测方法中的不足，需要一种既能精确而有效地检测用户跌倒方法，又能识别复杂的行为并且有很好的鲁棒性的检测方法和系统。

发明内容

本发明为了解决上述问题，提出了一种基于卷积神经网络的跌倒检测方法和系统，本发明适合用于家庭健康安全监控，能够通过卷积神经网络识别复杂的行为，并对老人的跌倒做出精准地判断与实时地报警。

为了实现上述目的，本发明采用如下技术方案：

一种基于卷积神经网络的跌倒检测方法，包括以下步骤；

(1)采集三轴加速度、身体的倾斜角度和运动方向，并进行数据去噪；

(2)对数据进行分割，给每一轴数据进行标记与预编码排序，进而进行离散傅里叶变换；

(3)基于变换后的数据，构建卷积神经网络，并进行卷积神经网络训练，得到行为的网络模型，对行为的网络模型进行模式匹配；

(4)根据匹配结果判断用户是否发生跌倒。

所述步骤(1)中，利用三轴加速度计检测用户在x,y,z三个方向上的加速度值，利用三轴陀螺仪检测用户身体的倾斜角度和三轴磁力计检测用户的运动方向，并对采集的数据进行参数初始化，分别设定滑动窗口长度、重叠率。

所述步骤(2)中，使用滑动窗口对数据进行分割，对采集的三个三轴数据的每一轴数据贴上标签，形成九轴数据。

所述步骤(2)中，排列组合每一轴数据，排列的编码方法为首先是原始序列号，然后每隔一个进行排序，接着每隔二个进行排序，依次类推，直到排序至原始序列的队尾，编码结束，最后根据序列号转换成九轴的数据。

所述步骤(3)中，卷积神经网络通过卷积层-下采样层-卷积层-下采样层-全连接层的网络架构来训练。

所述步骤(3)中，利用预编码的数据先通过第一卷积层，让输入数据矩阵与五个可学习的卷积核进行卷积，通过第一下采样层，进行特征值的下采样，通过第二卷积层，输入数据的矩阵与卷积核进行卷积，通过第二下采样层，进行更新的特征值的下采样，进行全连接层计算，计算输入向量和权重向量的点积，全部展开连接成一列矩阵，相当于得到每个行为模型参数的矩阵。

所述步骤(4)中，根据得到的行为模型参数在判断层进行判别分析，判别函数为：

其中，c是类标签，x采样特征，y是可变标签，w是权重向量，K是类别数目。

根据判别函数，得到标签，如果是跌倒的标签，则判断得出用户跌倒，进行报警；如果不是跌倒的标签，则判断得出用户没有发生跌倒，返回步骤1)。

一种基于卷积神经网络的跌倒检测系统，包括传感器单元、主控单元、无线传输单元和报警单元，其中：

所述传感器单元，检测用户在x、y、z三个方向上的加速度值、身体的倾斜角度和检测用户的运动方向；

所述主控单元，被配置为对数据进行分割，给每一轴数据进行标记与预编码排序，进而进行离散傅里叶变换；基于变换后的数据，构建卷积神经网络，并进行卷积神经网络训练，得到行为的网络模型；对卷积神经网络模型进行模式匹配，判断用户是否发生跌倒，当判别出是跌倒行为的时候，触发报警单元，并让无线传输单元向远端设备发送报警消息；

所述报警单元，接收报警消息，进行报警。

所述报警单元通过通信网络连接远程控制终端，发送跌倒报警信号。

所述传感器单元包括三轴加速度计、三轴的陀螺仪和三轴的磁力计。

当然，本发明中报警单元可以说声光报警或其他报警方式，检测装置也可替换为其他设备，如利用手机自带的陀螺仪、加速度计等，这些替换均为本领域技术人员容易想到的，不需要付出创造性劳动。

本发明的有益效果为：

1.本发明通过加速度计，陀螺仪，磁力计三种传感器对用户进行实时地监测，使用三种传感器数据进行跌倒检测，提高检测精度。

2.本发明采用对数据先进行预处理和预编码的方法，使数据之间的联系更强，能让卷积神经网络挖掘的有效信息更多，保持了特征之间的结构相关性。

3.本发明采用卷积神经网络的方法进行数据分析处理，能更好地识别复杂行为，提高跌倒检测的精确度。

4.本发明具有良好的鲁棒性，佩戴传感器的硬件要求小，跌倒检测的判别精度高等优点。

附图说明

图1为本发明的跌倒检测系统示意图；

图2为整个跌倒检测的流程图；

图3为跌倒检测算法中预处理和预编码的流程图；

图4为卷积神经网络的流程图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

如图1所示，图为跌倒检测系统的示意图，整个系统有两部分组成，A：跌倒检测设备，B：远端设备，A和B之间通过无线传输单元通信。

在A装置中，包括主控单元，传感器单元，无线传输单元和报警单元。传感器单元，包括一个三轴加速度计，一个三轴的陀螺仪，一个三轴的磁力计。

三轴加速度计用于检测用户在XYZ三个方向上的加速度大小，三轴陀螺仪用于检测用户在XYZ三个方向上的倾斜角度；三轴磁力计用于检测用户的运动方向。

主控单元分别连接传感器单元，无线传输单元，报警单元。主控单元处理和分析传感器单元收集到的加速度计，陀螺仪，磁力计传的数据，对用户的行为作出判断，检测是否跌倒，如果检测到用户发生跌倒，向报警单元发出报警命令，并通过无线传输单元将报警信息告知监护人手机。

无线传输单元用于接收主控单元的报警命令，当检测到用户跌倒时，会收到主控单元的报警命令并向监护人手机发送报警消息。

报警单元连接主控单元，用于发出报警信号，当用户跌倒了，主控单元判断并得到报警消息，触发报警单元，发出报警(鸣笛声，用于提醒周围的人)并触发无线传输单元向监护人手机发出报警信息。

在上述跌倒检测的系统上，本发明还提供了一种基于卷积神经网络的跌倒检测方法。

如图2所示，图为整个跌倒检测技术的流程图，包括如下步骤：

步骤(1)：利用传感器装置测量用户的日常行为数据；

步骤(2)：对日常行为数据进行数据预处理，去除噪声，并对预处理后的数据进行预编码；

步骤(3)：利用预编码数据，构建卷积神经网络，进行卷积神经网络训练，得到用户基于卷积神经网络的行为模型，并进行匹配；

步骤(4)：根据匹配结果进行判断，若判断出用户没有跌倒，返回到步骤1，若判断出用户跌倒，执行步骤5；

步骤(5)：用户发生跌倒，进行跌倒报警，并触动无线传输单元，向远端设备发送报警消息；

所述的步骤(2)中，对日常行为数据进行预处理和预编码还包括以下步骤：

如图3所示，跌倒检测方法中预处理和预编码的方法具体为：

1)输入数据矩阵，把三轴加速度计、三轴陀螺仪和三轴磁力计的数据作为输入矩阵A＝{a₁,a₂,a_i,...,a_n}(n＝9,a_i为某一轴的数据)，并进行参数初始化，分别设定滑动窗口长度，重叠率；

2)对输入的数据进行滤波(滤波器是n＝3的中值滤波)，去除干扰的噪声；

3)使用滑动窗口对数据进行分割处理，窗口的大小为256，(采样频率为100hz,相当于2.56s)，重叠率为50％；

4)给A＝{a₁，a₂，a_i，...，a_n}中的每一轴数据贴上标签，总共是九轴数据，分别为1,2,3,…9；

5)排列组合每一轴数据，排列的编码规则：首先是原始序列号，然后每隔一个进行排序，接着每隔二个进行排序，依次类推，直到排序至原始序列的队尾，编码结束，最后根据序列号转换成九轴的数据A'＝{a₁,a₂,a₃,a₄,a₅,a₆,a₇,a₈,a₉,a₁,a₃,...}；

6)对重新组合的新的数据A'进行离散傅里叶变换，然后输出数据；

其中，离散傅里叶变换为：

其中N为采样点，x(u)为离散的序列，u为离散频率变量；

所述的步骤(3)中，使用了基于卷积神经网络(卷积层-下采样层-卷积层-下采样层-全连接层-判断层)的跌倒检测算法。

如图4所示，卷积神经网络的跌倒方法还包括以下步骤：

1)输入经过预处理和预编码的数据；

2)在第一卷积层C1，原始的输入数据x_i和五个可学习的卷积核进行卷积，卷积核大小为5*5，是由偏置b_j和权重k_ij构成，再通过一个激活函数其中得到输出的特征map x_j，

其中，M_j为输入的maps集合，为第一卷积层的偏置，初始偏置为0，k_ij为第一卷积层的权重，初始权重为0；

3)然后通过第一下采样层S1，采样层的一个像素(神经元节点)对应上一层(第一卷积层C1)的输出特征map中的一块像素(即采样窗口的大小2*2)，第j层中的一个map的每一个节点只与l+1层中的相应map的一个节点连接，有N个输入map就有N个输出map，所以，下采样层S1的输出map为：

其中，down(.)表示一个下采样函数，f为激活函数β_j为乘性偏置，为加性偏置，down(.)函数：进行max值的下采样，即每个邻域的四个像素求和变为一个像素，然后通过w_x+1加权，再加上偏置b_x+1，然后通过一个激活函数f，产生一个缩小四倍的特征map；

4)通过第二卷积层C2，与步骤2)的操作相同，只是输入变成第一下采样层S1中输出特征map,它与10个大小为5*5的卷积核进行卷积，此时的权重w_ij和偏置b_j为

其中，m为输入特征map的个数，x_j为输入特征map上的第j个神经元的输出，δ_j为残差项；

5)再通过第二下采样层S2，进行下采样，和步骤3下采样层的计算方式相同；

6)进行全连接层计算，将x_i顺序展开成向量，并有序的连接成一个长向量，作为判断层的输入；

7)判断层进行判别分析，判别函数为

其中，c是类标签，x采样特征，y是可变标签，w是权重向量，K是类别数目。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于卷积神经网络的跌倒检测方法，其特征是：包括以下步骤；

(1)采集三轴加速度、身体的倾斜角度和运动方向，并进行数据去噪；

(2)对数据进行分割，给每一轴数据进行标记与预编码排序，进而进行离散傅里叶变换；

(3)基于变换后的数据，构建卷积神经网络，并进行卷积神经网络训练，得到行为的网络模型，对行为的网络模型进行模式匹配；

(4)根据匹配结果判断用户是否发生跌倒。

2.如权利要求1所述的一种基于卷积神经网络的跌倒检测方法，其特征是：所述步骤(1)中，利用三轴加速度计检测用户在x,y,z三个方向上的加速度值，利用三轴陀螺仪检测用户身体的倾斜角度和三轴磁力计检测用户的运动方向，并对采集的数据进行参数初始化，分别设定滑动窗口长度、重叠率。

3.如权利要求1所述的一种基于卷积神经网络的跌倒检测方法，其特征是：所述步骤(2)中，使用滑动窗口对数据进行分割，对采集的三个三轴数据的每一轴数据贴上标签，形成九轴数据。

4.如权利要求3所述的一种基于卷积神经网络的跌倒检测方法，其特征是：所述步骤(2)中，排列组合每一轴数据，排列的编码方法为首先是原始序列号，然后每隔一个进行排序，接着每隔二个进行排序，依次类推，直到排序至原始序列的队尾，编码结束，最后根据序列号转换成九轴的数据。

5.如权利要求1所述的一种基于卷积神经网络的跌倒检测方法，其特征是：所述步骤(3)中，卷积神经网络通过卷积层-下采样层-卷积层-下采样层-全连接层的网络架构来训练。

6.如权利要求1所述的一种基于卷积神经网络的跌倒检测方法，其特征是：所述步骤(3)中，利用预编码的数据先通过第一卷积层，让输入数据矩阵与五个可学习的卷积核进行卷积，通过第一下采样层，进行特征值的下采样，通过第二卷积层，输入数据的矩阵与卷积核进行卷积，通过第二下采样层，进行更新的特征值的下采样，进行全连接层计算，计算输入向量和权重向量的点积，全部展开连接成一列矩阵，相当于得到每个行为模型参数的矩阵。

7.如权利要求1所述的一种基于卷积神经网络的跌倒检测方法，其特征是：所述步骤(4)中，根据得到的行为模型参数在判断层进行判别分析，判别函数为：

$f\left(x\right)=\arg {\max }_{c}p(y=c|x)=\arg {\max }_c\frac{e^{x^T{w}_j}}{{\mathrm{\Σ}}_{l=1}^{KT}{e}^{x^T}}$

其中，c是类标签，x采样特征，y是可变标签，w是权重向量，K是类别数目。

根据判别函数，得到标签，如果是跌倒的标签，则判断得出用户跌倒，进行报警；如果不是跌倒的标签，则判断得出用户没有发生跌倒，返回步骤1)。

8.一种基于卷积神经网络的跌倒检测系统，其特征是：包括传感器单元、主控单元、无线传输单元和报警单元，其中：

所述传感器单元，检测用户在x、y、z三个方向上的加速度值、身体的倾斜角度和检测用户的运动方向；

所述主控单元，被配置为对数据进行分割，给每一轴数据进行标记与预编码排序，进而进行离散傅里叶变换；基于变换后的数据，构建卷积神经网络，并进行卷积神经网络训练，得到行为的网络模型；对卷积神经网络模型进行模式匹配，判断用户是否发生跌倒，当判别出是跌倒行为的时候，触发报警单元，并让无线传输单元向远端设备发送报警消息；

所述报警单元，接收报警消息，进行报警。

9.如权利要求8所述的一种基于卷积神经网络的跌倒检测系统，其特征是：所述报警单元通过通信网络连接远程控制终端，发送跌倒报警信号。

10.如权利要求8所述的一种基于卷积神经网络的跌倒检测系统，其特征是：所述传感器单元包括三轴加速度计、三轴的陀螺仪和三轴的磁力计。