CN108564005A - 一种基于卷积神经网络的人体跌倒辨识方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的人体跌倒辨识方法，该方法涉及雷达探测、人机交互和图像识别领域，特别是涉及到使用卷积神经网络对雷达探测到的人体跌倒多普勒时频图识别方法。通过端点检测可以不用限制人体运动的持续时间；通过自适应选择阈值可以在较大的范围内走动、跌倒；同时使用卷积神经网络模型对信号时频图进行识别，改进后的网络在复杂环境中能以较高的识别率识别走动、跌倒动作。

Description

一种基于卷积神经网络的人体跌倒辨识方法

技术领域

本发明涉及雷达探测、人机交互和图像识别领域，特别是涉及到使用卷积神经网络对雷达探测到的人体跌倒多普勒时频图识别方法。

背景技术

中国已经步入老龄化社会，老年人群受到越来越多的关注，经调查发现跌倒是老年人意外伤亡的第一要素，所造成的伤害相对较大，严重的情况下甚至可能会导致死亡。因此，及时、准确的判断对老人意外跌倒行为具有重要的研究意义。目前对跌倒行为的研究通常分为三种：基于可穿戴设备的跌倒检测方法、基于视频监控的跌倒检测方法和基于外周传感器的检测方法。基于视觉的方法使用广泛，但会受到图像的清晰度、光线强弱等因素的影响，观察范围有限且不利于对细微动作和近似行为(具有类似姿态特征的不同人体行为)的识别，基于可穿戴设备的识别在一定程度上不便使用，因此选用雷达技术作为识别人体跌倒成为了一个研究方向。

国内外提出了许多识别人体跌倒的方法，谷歌针对智能移动设备，开发了基于雷达的人体运动状态识别，但是该系统使用英伟达定制芯片，定位精度要求高。国内浙江大学使用一发三收的雷达系统，解算人体运动轨迹并进行识别；清华大学基于雷达的微多普勒时频图使用支持向量机进行步态识别，但是该系统作用距离有限，运动时间固定且需重复多次，同时使用支持向量机对微多普勒时频图的特征识别，对于一些复杂的跌倒行为识别率不高。而基于卷积神经网络的跌倒辨识方法可以应对更加复杂的环境，因此可以进一步提高跌倒识别率。因此研究基于卷积神经网络的人体跌倒具有极大的适用性和价值。

发明内容

本发明提供一种适用于采用雷达微多普勒信息进行人体跌倒辨识的方法，本发明通过端点检测提取出跌倒信号，使用卷积神经网络模型时频图特征矩阵进行识别，解决现有技术中探测范围小、运动环境单一、检测目标动作单一的问题。

本发明技术方案如下：一种基于卷积神经网络的人体跌倒识别方法，该方法包括：

步骤1：端点检测提取有效跌倒信号区域；

预先采集时长为H无人体运动的噪声环境雷达时域信号，然后进行傅里叶变换得到频域信号，最后统计在P频段内的信号能量大小记为E1，P频段为根据实际情况确定的低频段；之后系统一直以时长H为时间窗统计能量大小，当某个时间窗的能量大于设定的阈值Q时认为是跌倒开始时刻，即起点T1，某时间窗后能量持续小于设定的阈值Q则判定为跌倒结束时刻，即终点T2，最后从T1到T2内提取出跌倒信号，阈值Q根据实际情况确定；

进一步的，所述步骤1中H的取值范围为10～30ms；P频段为0～200Hz；当某个时间窗的能量大于1.2倍的E1时认为是跌倒开始时刻T1，若某时间窗后能量小于1.2倍的E1，并且持续时间大于2s，则判定为跌倒结束时刻T2，最后从T1到T2内提取出跌倒信号；

在信号实时获取过程中，端点更新规则为：

端点更新规则，若是检测到端点，包括只有起点、只有终点、既有起点又有终点三种情况，判断是否为首次检测到的起点，若是，则把之前所有端点信息保存；若不是，说明最近一次已经检测到了起点，则更新终点信息，不更新起点信息；根据当前最近一次起点到终点的信息截取该段信号，若最近一次起点到终点的时间长度大于设定的最长截取时间长度，则分段截取，

进一步的,设定最长截取时间长度为2秒。

步骤2：短时傅里叶变换；

将步骤1得到的跌倒信号通过短时傅里叶变换得到复频率，之后对复频率取绝对值，最后得到频率随时间分布的时频图；短时傅里叶变换如下：

其中x(m)表示跌倒信号，w(n-m)表示窗函数序列；n代表离散时间，w是角频率；由短时傅里叶变换得到的时频矩阵是一个M×N的二维矩阵，M体现了信号的频率信息，N表示信号的时间周期，每一个元素的值是信号幅度的大小；

步骤3：构建卷积神经网络模型；

卷积神经网络包括依次级联的三部分：第一部分是由卷积层、池化层；第二部分与第一部分完全相同；第三部分为三个全连接层和softmax层；

进一步的，所述卷积神经网络具体为：

该卷积神经网络输入为大小208x208的3通道图像，输出为2个类别的概率分布值；其中所述第一部分中卷积层的卷积核为3*3，步长为1，输出通道数为16,输入图像通过第一层卷积之后，得到多张特征谱图；池化层的池化核大小为3*3，步长为2，作用是对特征谱图采样得到压缩的特征谱图；所述第二部分卷积层继续对输出的特征图谱提取特征，卷积核为3*3，步长为1，输出通道数为32；池化层继续压缩卷积层输出的特征图，池化核为3*3，步长为2；所述第三部分中第一全连接层的特征输出维度为1024，第二全连接层的输出维度为128，第三全连接层的输出维度为2；最后通过softmax层得到2分类信息；

步骤4：采用步骤1和步骤2的方法获得训练样本，采用训练样本对卷积神经网络进行训练；

步骤5：采用训练好的卷积神经网络对待检测样本进行检测。

所述步骤3中第一、第二部分主要是提取图像特征；第三部分是由3个全连接层组成的，经过几轮卷积层和池化层的处理之后，可以认为图像中的信息已经被抽象成了信息含量更高的特征，这是一个自动提取特征的过程，全连接层的作用就是将这些高度抽象的特征进行组合，获得用来实现分类的特征；softmax层主要就是用来实现分类问题，通过该层，最后可以得到当前样本属于不同类别的概率分布情况；在分类时，分类结果就是概率最高的类别。

从新训练一个卷积神经网络需要数以万计的图像，对于跌倒信号采集将是巨大困难。迁移学习的思想是将一个问题上训练好的模型通过简单调整使其适用于一个新的问题。根据已有的认识，对于一个新的图像识别任务，可以用Inception-v3模型的瓶颈层提取图像特征，而识别只需从新训练其全连接层。为此本发明的卷积神经网络由Inception-v3的瓶颈层和本文训练的全连接层组成。全连接层训练本文的卷积神经网络训练采集了10个人数据，每人对跌倒、走动动作都采集250次，最终每种动作获得了2500张时频图。在采集数据过程中，人正对雷达位于1.2m到2.5m之间，人都处于自然情况下走动，跌倒，数据采集过程全自动。

在Tensorflow平台上，使用总共采集到的10000张图像对Inception-v3模型的全连接层做训练。训练中使用batch方法训练这样可以使收敛更加平稳，首先设置batch大小为100，学习为0.01。之后载入由谷歌开源提供的Inception-v3模型的瓶颈层参数，然后对伪彩色的时频图做归一化处理。之后使用瓶颈层对时频图做特征提取计算，最终将图像映射成一个长为1024的特征向量，并将该向量保存。然后用这10000组特征向量作为全连接层的输入，最后通过随机梯度下降法训练全连接层，在经过2000次左右训练后模型的准确率稳定在96％左右，网络模型训练结果为了验证最后训练的全连接层的有效性，从新采集了新的10个人跌倒，走动样本，其中每人每种动作做20次。训练后的卷积网络模型对该2种动作的平均识别率达到94％。这表明在实际具有噪声干扰和不同人做跌倒动作的时频图上，基于卷积神经网络的识别算法具有很好的鲁棒性和识别率。

本发明的有益效果是：

本发明提出了一种基于卷积神经网络模型的人体跌倒识别方法。通过端点检测可以不用限制人体运动的持续时间；通过自适应选择阈值可以在较大的范围内走动、跌倒；同时使用卷积神经网络模型对信号时频图进行识别，改进后的网络在复杂环境中能以较高的识别率识别走动、跌倒动作。

附图说明

图1为基于卷积神经网络模型的人体跌倒识别方法流程图。

图2为室内人体走动示意图。

图3为‘走动’动作的时频图。

图4为‘前向跌倒’动作的时频图。

图5为‘后向跌倒’动作的时频图。

图6为‘跌倒后站立’动作的时频图。

图7为‘走动、跌倒、站立’过程的时频图。

具体实施方式

下面结合附图介绍本发明体实施方式。

本发明的流程图如图1所示，其实现的具体步骤为：

步骤1：端点检测提取有效信号区域

在无动作的噪声环境中，系统预先采集每20ms时间段内雷达时域噪声信号，然后进行傅里叶变换得到频域信号，最后统计在0～200Hz内的信号能量大小E_n，采集500次后统计求平均得到E1。之后系统一直以20ms为时间窗统计能量大小，并将1.2倍的E1作为判断是跌倒信号的阈值E2＝1.2*E1,当某个时间窗的能量大于E2时认为是跌倒开始时刻T1，若某时间窗后能量小于E2，并且小于的持续时间大于2s，则判定为一个跌倒动作结束时刻T2，最后从T1到T2内提取出跌倒信号x(n)。

步骤2：端点更新规则

若是检测到端点，包括只有起点、只有终点和有起点和终点三种情况，都需要判断是否为首次检测到起点，若是，则把所有的端点信息都保存，否则说明前面已经检测到了起点，此时不需要更新起点信息，只需要更新终点信息即可。

由于实时性的要求，对每次回波的数据量有所控制。每检测到1秒的数据量为n，此处n值取1024；在已经检测到端点的情况下都需要判断是否满足两个动作的时间间隔在2秒以上，判断的方法是：当前累积的信号长度与当前终点位置的差值是否大于2×n个数据点的长度，若小于，则处理下一组数据；若大于，则根据起点和终点信息把信号截取出来，进行STFT，获取信号的时频图。

在实验过程中发现，有不少的弱噪声信号也满足端点检测的条件，为了进一步去除弱干扰信号，根据人体运动信号都具有较高的波峰，而弱噪声波峰很低的特点，设计两个波峰阈值(不同方向动作的波峰方向不同)，上波峰阈值和下波峰阈值都是0.05，通过简单计算时频图中线附近的统计信息，以f₁,f₂分别表示时频图第m行和第n行中大于0.01的所有值的均值(时频图行数固定为256)，取m,n分别为90，160时，满足：

f₁＞0.05 or f₂＞0.05

才将其判断为真正的运动信号，然后将时频矩阵转换为人体运动的光谱图，进行识别输出。

步骤3：短时傅里叶变换

将步骤1中时域跌倒信号x(n)作短时傅里叶变换得到具有复频率的x(m,ω)，之后对复频率取绝对值得到X(m,ω)＝abs(x(m,ω))，其中m代表短时傅里叶的滑窗位置，ω为频率。最后根据X(m,ω)可以得到频率随时间分布的时频图，本发明中的5种跌倒时频图如图3、图4、图5、图6和图7所示。

步骤4：构建卷积神经网络模型

如附图2所示，实验中将毫米波雷达放置在3米高的三脚架上。本文中毫米波雷达使用具有正交特性的I,Q两路信号的CW多普勒雷达可以改善测量的准确性。雷达采用一发一收的体制，载频是24GHZ。硬件系统参数如下表所示：

雷达运动目标在雷达有效范围内随机走动、跌倒。其中跌倒过程有四个方向，分为前后左右。附图中仅给出跌倒前向、后向两个方向，走动信号给了一个方向，因为雷达的俯仰角宽度不大，左右走动的能量较小。所有方向均是以雷达视角为准。

在雷达照射区域下一块面积大小为1*4m²的区域做走动、跌倒动作。由于只需判定是否存在跌倒动作，因此总的认为只有两种动作，即跌倒和走动。将每一个动作时频分析图归一化到208x208的大小。选取数据集进行卷积神经网络模型训练，得到训练集和测试集中的每一类行为的数目统计如下表所示：

	走动	跌倒
			训练集	1070	1002
测试集	191	50

得到测试集结果如附图6所示。实时测试数据统计如下表所示：

	走动	跌倒
			数据采集次数	50	50
正确次数	45	47
			正确率	90％	94％

由上表看出，实时测试的数据中人体跌倒的识别率达到94％，所做测试环境在室内较为复杂。多径效应较明显，通过信号预处理后跌倒识别率达到94％说明了在复杂环境中的适用性。

由以上数据可以看出，本发明提供的适用于在室内放置外周传感器对人体跌倒信号的监测。由于卷积神经网络的学习性质使得该发明在在复杂环境中也能有良好的识别效果，由此验证了本发明的有效性和适用性。

Claims (4)

1.一种基于卷积神经网络的人体跌倒识别方法，该方法包括：

步骤1：端点检测提取有效跌倒信号区域；

预先采集时长为H无人体运动的噪声环境雷达时域信号，然后进行傅里叶变换得到频域信号，最后统计在P频段内的信号能量大小记为E1，P频段为根据实际情况确定的低频段；之后系统一直以时长H为时间窗统计能量大小，当某个时间窗的能量大于设定的阈值Q时认为是跌倒开始时刻，即起点T1，某时间窗后能量持续小于设定的阈值Q则判定为跌倒结束时刻，即终点T2，最后从T1到T2内提取出跌倒信号，阈值Q根据实际情况确定；

在信号实时获取过程中，端点更新规则为：

端点更新规则，若是检测到端点，包括只有起点、只有终点、既有起点又有终点三种情况，判断是否为首次检测到的起点，若是，则把之前所有端点信息保存；若不是，说明最近一次已经检测到了起点，则更新终点信息，不更新起点信息；根据当前最近一次起点到终点的信息截取该段信号，若最近一次起点到终点的时间长度大于设定的最长截取时间长度，则分段截取，

步骤2：短时傅里叶变换；

将步骤1得到的跌倒信号通过短时傅里叶变换得到复频率，之后对复频率取绝对值，最后得到频率随时间分布的时频图；短时傅里叶变换如下：

其中x(m)表示跌倒信号，w(n-m)表示窗函数序列；n代表离散时间，w是角频率；由短时傅里叶变换得到的时频矩阵是一个M×N的二维矩阵，M体现了信号的频率信息，N表示信号的时间周期，每一个元素的值是信号幅度的大小；

步骤3：构建卷积神经网络模型；

卷积神经网络包括依次级联的三部分：第一部分是由卷积层、池化层；第二部分与第一部分完全相同；第三部分为三个全连接层和softmax层；

步骤4：采用步骤1和步骤2的方法获得训练样本，采用训练样本对卷积神经网络进行训练；

步骤5：采用训练好的卷积神经网络对待检测样本进行检测。

2.如权利要求1所述的一种基于卷积神经网络的人体跌倒识别方法，其特征在于所述步骤1中H的取值范围为10～30ms；P频段为0～200Hz；当某个时间窗的能量大于1.2倍的E1时认为是跌倒开始时刻T1，若某时间窗后能量小于1.2倍的E1，并且持续时间大于2s，则判定为跌倒结束时刻T2，最后从T1到T2内提取出跌倒信号。

3.如权利要求1所述的一种基于卷积神经网络的人体跌倒识别方法，其特征在于所述卷积神经网络具体为：

该卷积神经网络输入为大小208x208的3通道图像，输出为2个类别的概率分布值；其中所述第一部分中卷积层的卷积核为3*3，步长为1，输出通道数为16,输入图像通过第一层卷积之后，得到多张特征谱图；池化层的池化核大小为3*3，步长为2，作用是对特征谱图采样得到压缩的特征谱图；所述第二部分卷积层继续对输出的特征图谱提取特征，卷积核为3*3，步长为1，输出通道数为32；池化层继续压缩卷积层输出的特征图，池化核为3*3，步长为2；所述第三部分中第一全连接层的特征输出维度为1024，第二全连接层的输出维度为128，第三全连接层的输出维度为2；最后通过softmax层得到2分类信息。

4.如权利要求2所述的一种基于卷积神经网络的人体跌倒识别方法，其特征在于所述步骤1中设定最长截取时间长度为2秒。