CN114495267A - 基于多维数据融合的老人跌倒风险评估方法 - Google Patents

Abstract

本发明公开了一种基于多维数据融合的老人跌倒风险评估方法，包括如下步骤：构建DNN模型老人跌倒风险评估所需要的数据集；将步态特征、姿态特征以及自关联系数分别输入到不同的门控制单元GRU模型中并通过注意力的计算，实现多维数据特征融合；使用DNN模型对GRU模型提取并拼接的特征进行分类，输出老人跌倒风险的概率。本发明所述方法受环境影响小，精度较高，因此能够提高风险评估的准确性。

Description

基于多维数据融合的老人跌倒风险评估方法

技术领域

本发明涉及图像处理方法技术领域，尤其涉及一种基于多维数据融合的老人跌倒风险评估方法。

背景技术

随着世界老龄化现象逐渐加重，跌倒越来越受到重视。目前跌倒检测、跌倒风险评估以及跌倒预防已成为研究的重点。跌倒检测是通过智能设备检测到老人出现了跌倒的行为活动，从而进行相应的报警等措施，但跌倒的事件已经发生，对老人的身体、心理、经济已经造成了伤害。因此如何对老年人身体状态进行评估，预测跌倒风险变得尤为重要。通过对老人的身体、行走数据等进行相对应的量化评估，预测老人当前的跌倒风险，从而针对该风险的严重程度为老人制定后续相应有效的预防、康复等措施减少老人跌倒事件的发生，为后续跌倒预防的研究做铺垫，是应对老年人跌倒最为有效的手段。因此跌倒风险评估成为目前研究的重要课题。

目前跌倒风险评估中主要存在的问题有：(1)单一设备数据在真实环境中进行跌倒风险评估精度不高。目前针对跌倒风险评估的研究中主要基于步态与姿态分析等方式进行，而大型的高精度测量系统只能在大型实验室中使用；随着智能设备的发展，摄像机、可穿戴设备等可以更加方便的测量老人行走过程的特征。为了对数据进行更准确的采集，目前的研究通过引入更多设备来达到高精度的采集，但主要是同类设备数量的增加例如多视角的摄像机、各部位的可穿戴设备等，没有考虑对多种设备数据进行融合分析。(2)缺少对于真实环境下老人跌倒风险评估的研究。尽管智能设备逐渐便捷化，但目前这些设备的使用仍主要停留在实验室研究中。而实验室中采集的数据受限于环境与人工干预等因素与日常生活中的数据存在一定的偏差，不能完全真实地反映老人在日常生活中的行为特征，在真实环境中泛化能力较差。

通过分析可将目前跌倒风险评估中存在的问题概括为：由于在真实环境中会受到如遮挡等外界诸多因素的干扰，单一设备采集数据存在较大的误差；数量众多的智能设备在真实环境中会对老人的生活造成侵犯，缺少对老年人日常行为低侵入的多维数据融合的感知分析算法。

发明内容

本发明所要解决的技术问题是如何提供一种受环境影响小，精度较高的基于多维数据融合的老人跌倒风险评估方法。

为解决上述技术问题，本发明所采取的技术方案是：一种基于多维数据融合的老人跌倒风险评估方法，其特征在于包括如下步骤：

构建DNN模型老人跌倒风险评估所需要的数据集；

将步态特征、姿态特征以及自关联系数分别输入到不同的门控制单元GRU 模型中并通过注意力的计算，实现多维数据特征融合；

使用DNN模型对GRU模型提取并拼接的特征进行分类，输出老人跌倒风险的概率。

采用上述技术方案所产生的有益效果在于：所述方法使提出了使用GRU 模型与注意力机制对这些特征进行融合，解决了数据不同维度、不同频率难以融合的问题；接着使用融合后的特征通过DNN模型实现了老人跌倒风险的评估，最后通过实验与隐马尔可夫等模型进行了对比分析，得出使用GRU模型并引入注意力机制后在多维数据融合的跌倒风险评估中的效果更好。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1是本发明实施例所述方法的流程图；

图2是本发明实施例所述方法中GRU模型网络结构图

图3是本发明实施例所述方法中DNN模型网络结构图

图4是本发明实施例中步态分析流程图；

图5是本发明实施例中环境地图绘制流程图；

图6是本发明实施例中随机森林决策示意图；

图7是本发明实施例中卡尔曼滤波跟踪结果图；

图8是本发明实施例中行走速度评估实验图；

图9是本发明实施例中姿态分析流程图；

图10是本发明实施例中构建数据集流程图；

图11是本发明实施例中OpenPose网络结构图；

图12是本发明实施例中CNN模型网络结构图；

图13是本发明实施例中GRU模型网络结构图；

图14是本发明实施例中老人居家的深度图像；

图15是本发明实施例中姿态检测结果图；

图16是本发明实施例中3D骨骼姿势图；

图17是本发明实施例中自适应视角旋转后3D骨骼姿势图；

图18是本发明实施例中行走自关联分析实验环境图；

图19是本发明实施例中平稳行走加速度Y轴数据波形图；

图20是本发明实施例中存在其他行为的加速度Y轴数据波形图；

图21是本发明实施例中行走自关联分析流程图；

图22是本发明实施例中平稳行走的加速度Y轴数据波形图

图23是本发明实施例中存在其他行为的加速度Y轴数据波形图

图24是本发明实施例中MGAD模型训练过程图

图25a是本发明实施例中4种模型的准确率比较图

图25b是本发明实施例中4种模型的精确率比较图

图25c是本发明实施例中4种模型的召回率比较图；

图25d是本发明实施例中4种模型的F值比较图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

如图1所示，本发明实施例公开了一种基于多维数据融合的老人跌倒风险评估方法，包括如下步骤：

构建DNN模型老人跌倒风险评估所需要的数据集；

将步态特征、姿态特征以及自关联系数分别输入到不同的门控制单元GRU 模型中并通过注意力的计算，实现多维数据特征融合；

使用DNN模型对GRU模型提取并拼接的特征进行分类，输出老人跌倒风险的概率。

构建数据集：

原始数据首先通过步态分析模型提取步态特征后，并以时间区间对数据进行分割，得到老人行走的各时间段；然后姿态分析与摆臂均衡性检测根据时间段进行分割对应的数据并处理提取特征；得到每个行走时间段的3组数据后对其进行标注，通过专业人士以及老人的患病史，本申请将邀请受试的老人分为身体健康无跌倒史与患有或曾经患有如帕金森、脑血栓等疾病两组，将两组数据分别进行标注为0与1，该数据集将用于下述跌倒风险评估模型。

将数据集分割为训练集、验证集与测试集，具体说明如表1所示：

表1数据集说明

多维数据特征融合：

将步态特征、姿态特征以及自关联系数分别输入到不同的GRU模型中，并通过注意力的计算。具体的网络结构如图2所示。

Step1：数据预处理。读入步态特征、姿态特征和自关联系数3组数据，分别对其进行归一化处理，计算公式如式(1-1)所示。接着将数据集进行切割处理分为训练集、验证集和测试集。

式中x_min,x_max分别为变量x所在维度的最大值和最小值。

Step2：构建GRU模型与注意力机制。3组数据分别输入3个不同的GRU 网络，每个GRU模型由两层双向GRU(BiGRU)组成，其输入层大小分别为6， 24，2，输出层大小为50。

Step3：注意力计算。将3个GRU网络的每个时间点输出进行计算，计算公式如式(1-2)、(1-3)、(1-4)所示：

u＝v·tanh(W·h) (1-2)

att＝softmax(u) (1-3)

out＝∑(att·h) (1-4)

式中h为GRU网络每个时间点的输出；W,v为注意力层的参数；att为计算得到的注意力的概率分布；out为注意力层的输出结果。将3组数据输出的最后一层进行拼接操作，作为后续DNN网络的输入向量。

基于DNN模型的跌倒风险评估：

使用DNN模型对GRU模型提取并拼接的特征进行分类，输出跌倒风险的概率，具体网络结构如图3所示，其中通过引入Batch Normalization(BN)层对每一个全连接层的数据进行概率分布的重新归一化，提升训练速度与收敛速度。

Step1：构建DNN模型，由3层隐藏层和1层输出层组成。隐藏层由全连接层组成，其输入分别为150，128，64，之后为BN层对数据进行批量归一化处理，接着激活函数均使用Relu()函数，输出层为全连接层输入大小为32，输出为2。

Step2：训练网络。通过上述小节构建的训练集进行训练，损失函数使用交叉熵损失函数，优化函数选用Adam函数，迭代训练次数为50次，保存在验证集中结果最好的模型。

Step3：使用训练好的模型进行风险评估。将3组数据输入到训练好的模型中，将模型的输出进行softmax()函数变换，输出当前输入对应的跌倒风险的概率，实现对跌倒风险的评估。

下面结合具体方法对上述步骤进行详细说明

基于步态分析的行走稳定性分析模型：

对于采集到的激光雷达数据首先对其建立环境地图，利用环境地图提取动点，之后对这些动点进行聚类，提取点集合特征用于随机森林脚步识别模型，最后对检测到的脚步进行跟踪，获取行走的步态特征，整体流程如图4所示。

环境地图绘制：

环境地图描述当前周围静止不动的物体，对于每一帧新到来的点云数据能够将其中运动的点云分离出来。由于是居家环境，不同时间点的环境地图可能不一样，因此环境地图需要根据时间进行更新。使用帧差分法来绘制环境地图，当判断地图中不存在运动的物体时对地图进行更新。具体的算法流程如图5所示。

Step 1：初始化环境地图，读入夜间无人数据构建初始环境地图；

Step 2：读取后续n帧点云数据，通过帧差分法计算两帧之间对应角度的距离差的均值，判断当前环境是否存在运动的物体，若无运动物体则执行Step 3，若存在运动物体则重复Step2。

Step 3：判断当前卡尔曼滤波算法中的行人跟踪轨道是否存在，若轨道存在说明当前环境中存在老人长时间静止不动的情形，重复Step2，若轨道不存在则当前环境均为环境点，从而计算n帧数据均值更新环境地图。

基于聚类的点云特征提取：

通过将新扫描到的数据与环境地图进行对比，得到运动物体的点云数据。原始数据无法描述运动物体的特征，对分散杂乱的点进行聚类处理是进行后续处理的必要手段。本部分使用DBSCAN聚类算法来对这些点云数据进行聚类并提取可以描述对应物体的特征。距离计算公式如式(2-1)所示：

式中P_k为新的雷达扫描周期内第k个新的扫描点的位置，k＝1,2,...,N₁；C_ij为第i个点集合中第j个扫描点，i＝1,2,...,N₂；j＝1,2,...,N₃。

Step 1：读入动点集合P，遍历P中的未标记的点将其标记并添加到新的聚类集合C中，使用公式(2-1)计算其他未标记的点与P的距离，将距离小于ε的点计数，如果超过MinPts则将这些点加入集合N，如果小于MinPts不处理。

Step 2：遍历集合N中的点，计算得到其ε邻域内的其他点，大于MinPts将其加入N，重复该步骤直到集合N为空。

Step 3：对未标记的点重复上述Step1与Step2的操作，直到每个点不发生改变。

在聚类得到点集合后，需要对其进行目标识别，结合脚步点云的形状，设计如下点云特征：

定义2.1:点集合的大小P_n。点集合内点的个数n。

定义2.2:最大长度F_l。将一个点簇最大长度近似为脚长,计算公式如式(2-2) 所示：

F_l＝|p_f-p_b| (2-2)

式中p_f,p_b为点集合P中在移动方向上具有最大距离的两个点。

定义2.3:脚弧度F_c。计算点集合P边缘的每个点弧度并取均值近似为脚弧度，计算公式如式(2-3)所示：

式中p_i,p_i-1为点集合P边缘相邻的两个点；P_c为点集合P的质心；n为点集合P边缘点的个数。

定义2.4:脚弧长度F_a。两个相邻点之间的欧氏距离之和计算为脚弧长度，计算公式如式(2-4)所示：

式中p_i,p_i-1为点集合P边缘相邻的两个点；n为点集合P边缘点的个数。

定义2.5:脚落地面积S_area。估算点集合的面积，计算公式如式(2-5)所示：

式中i,j为点集合P中具有最大距离两个点的坐标x值；y为点集合P中点的坐标y值。

基于随机森林的脚步识别：

脚步识别主要是从运动的物体中区分出脚步，由于日常生活中非脚步的物体种类众多，无法对其所有进行训练，而随机森林在处理分类任务中特征选择具有随机性，抗干扰的能力较强，更适合于脚步识别。因此本申请使用随机森林模型来进行脚步的识别，将上述提取的点集合特征作为输入，具体的算法模型如图6所示：

随机森林由多个决策树构成，使用基尼指数作为特征选择的准则，表示随机选中的样本被分错的概率，基尼指数越小分类也准确，以此为标准进行分类，最后通过多个决策树进行投票决定出最优的分类。基尼指数的计算公式如式 (2-6)所示：

式中K为类别数；p_k为样本点属于第k类的概率。

最后通过随机森林将点集合分类之后，得到脚步的点云集合完成脚步识别。

基于卡尔曼滤波的脚步跟踪：

卡尔曼滤波算法常用于目标跟踪领域，并且可以从受到误差影响的测量值中估算最优的状态，本申请选用的激光雷达存在一定的测量误差，且存在遮挡现象，而卡尔曼滤波算法可以通过其预测值在一定程度上处理遮挡问题。因此本申请通过使用卡尔曼滤波器对脚步进行跟踪，并恢复在跟踪过程中由于遮挡而丢失的脚步，实现对老人的脚步跟踪与步态特征的提取。

卡尔曼滤波算法的状态预测方程如公式(2-7)和(2-8)所示：

X_k＝A_kX_k-1+B_ku_k+w_k (2-7)

z_k＝H_kX_k+v_k (2-8)

式中X_k＝(x_ky_kx′_ky′_k)为第k帧的质心状态向量，x_k,y_k为位置分量，x′_k,y′_k为速度分量；z_k＝(x_ky_k)为第k帧的系统测量值；A_k为状态转移矩阵；B_k为控制输入矩阵，将运动测量值映射到状态向量上；u_k为第k帧的系统控制向量，包含加速度信息；w_k为系统噪声，其协方差为Q；H_k为转换矩阵，将状态向量映射到测量向量的空间中；v_k为观测噪声，其协方差为R。

一般情况下，在室内相邻帧之间的行走可以近似为匀速直线运动，因此可以得到如公式(2-9)、(2-10)、(2-11)、(2-12)所示关系：

x_k＝x_k-1+x′_k-1×Δt (2-9)

y_k＝y_k-1+y′_k-1×Δt (2-10)

x′_k＝x′_k-1 (2-11)

y′_k＝y′_k-1 (2-12)

式中Δt为时间间隔；k表示当前为k时刻。

将其转换为矩阵表示如公式(2-13)和(2-14)所示：

(x_k y_k)^T＝(1 1 0 0)×(x_k y_k x′_k y′_k)^T+v_k (2-14)

通过公式(2-13)与公式(2-7)可以得出状态转移矩阵

同时B_k为零矩阵；通过公式(2-14)与公式(2-8)可以得出H＝(1 1 0 0)。

由于测量和预测均有误差，因此需要计算当前预测过程中存在的误差P，其计算公式如式(2-15)所示：

P(k|k-1)＝A·P(k-1|k-1)·A^T+Q (2-15)

式中P(k|k-1)为从X(k-1|k-1)预测X(k|k-1)的协方差；P(k-1|k-1)为k-1时刻的协方差。

结合公式(2-7)得到的当前时刻系统的预测状态和观测状态Z(k)计算出此时的最优估计，计算公式如式(2-16)所示：

X(k|K)＝X(k|K-1)+Kg(k)(Z(k)-H·X(k|K-1)) (2-16)

式中Kg(k)为k时刻的卡尔曼增益，其计算公式如(2-17)所示：

得到k时刻的最优估计值后，最后需要对当前时刻的协方差P(k|k)进行更新，计算公式如式(2-18)所示：

P(k|k)＝(I-Kg(k)·H)·P(k|k-1) (2-18)

式中I为单位矩阵。

卡尔曼滤波算法的具体流程如下所示：

Step 1：计算当前时刻k的预测值c_k；

Step 2：判断当前时刻k的观测值是否存在，若存在则更新卡尔曼滤波，并将计算的最优估计加入跟踪脚步walkset集合中，重复Step1；若不存在则进行 Step3；

Step3：将观测值c_k作为最优估计判断接下来n个时刻中是否存在观测值，若均不存在则停止当前卡尔曼滤波跟踪，表示行走结束；若存在则使用观测值与预测值进行卡尔曼滤波器的更新，并将之前保留的预测脚步加入到walkset集合中，重复Step1。

至此得到老人的行走轨迹结合步态分析中常用的指标，老人的步态特征设计如表2所示，其中包括老人行走过程中的左右脚的步长、左右脚的瞬时速度以及落地面积。

表2步态特征说明

实验结果与分析

激光雷达点云数据通过卡尔曼滤波跟踪的动态结果如图7所示，图中黑色点为点云数据，蓝色圆点为脚步的中心点，黑色线条表示为步长length，卡尔曼滤波器为两只脚分配两条独立的脚步跟踪轨道，根据对应的跟踪轨道计算这只脚的行走速度与行走步长。

在临床试验中，习惯性步态速度(HGS)是可靠且有用的指标，HGS的测量容易进行，不需要医生或临床设备。因此为了验证该结果的准确性，本申请邀请了15位老年人参与了评估实验，在HGS测量中距离是影响步态速度测量准确性的指标，根据文献了解，超过4米的HGS在临床实验中具有可靠性。

在实验中，要求参与者以正常速度走5.5米的路径并重复测试5次，如图8 所示，将2D激光雷达放置于道旁的地面上，当参与者行走时采集数据。同时使用秒表对行走进行计时，以计算真实的行走速度。

由于步态分析中估计了每一步的行走速度，因此采用绝对误差范围、平均绝对误差和误差方差来评估系统，如表3示。所有类别内平均绝对误差为 0.06m/s，最高误差为0.11m/s，行走速度越慢，估计越准确，大多数老人的行走在生活中较慢，低于0.60m/s，相对于行走速度来说平均误差0.06m/s属于较小，因此可以证明步态分析的准确性。

表3行走速度评估的平均绝对误差和误差方差

上述步骤说明了基于步态分析的行走稳定性分析模型的具体算法实现，最后通过实验结果验证了假设的正确性，并通过行走速度评估实验验证了步态分析模型的准确性，步态分析确定的行走区间将用于后续姿态分析与摆臂均衡性分析的数据定位，提取的步态特征将在后续多维数据融合风险评估模型中与其他特征互补融合使用。

基于姿态分析的行走平衡性检测模型：

本部分将对基于姿态分析的行走平衡性检测模型进行分析说明，首先对于采集到的图像数据进行姿态检测提取相应的骨骼姿势，然后对这些骨骼姿势进行视角的调整，使其数据更标准化，最后设计并计算描述身体平衡性的姿态特征，整体流程如图9所示。

基于迁移学习的姿态检测模型：

姿态检测用于提取深度图像中的骨骼信息，本部分将通过对OpenPose模型进行迁移学习训练用于深度图像的姿态检测模型。首先构建深度图像的数据集，其次通过该数据集进行模型的训练。

(1)构建数据集

实验初期深度图像与对齐的RGB图像同时通过深度摄像机采集，通过预先训练好的OpenPose模型对RGB图像进行骨骼姿势提取，将提取的骨骼姿势与相对应的深度图像组成姿势数据集，用于训练适用于深度图像的卷积神经网络(CNN)，其构建过程如图10所示。

(2)迁移学习

本申请通过微调的方式对OpenPose模型进行基于参数的迁移学习，使用预训练好的网络参数来初始化，其网络结构如图11所示。

网络的前半部分是特征提取层，通过多层的卷积与池化操作对输入的图像进行特征提取，由于深度图像与彩色图像近似，因此在该部分通过使用 OpenPose预训练好的参数进行初始化；网络的后半部分分为两个子网络，分别进行卷积与池化操作来得到关节点的位置信息与关节点之间关联信息，同时每个阶段的输入都通过前一个阶段的结果和原始图像特征融合得到，用以产生更精确的预测结果。网络的训练过程如下：

Step 1：深度图像预处理。深度图像格式为16位单通道图像，首先将深度图像从unit_16转为unit_8数据格式，之后对单通道数据使用OpenCV库中 applyColorMap函数转为3通道的伪彩色图片。

Step2：构建网络结构与迁移学习。模型通过多层卷积神经网络(CNN)以及池化层对图像数据进行特征提取，使用预训练好的特征提取层的参数对其进行初始化；

Step3：训练模型。使用上述构建的数据集进行模型的训练，得到关节点位置信息以及关节点之间的关联关系；

Step4：连接骨骼。通过上述关节点间的关联关系将骨骼进行连接，输出最终的骨骼信息。

基于自适应视角转换的骨骼姿势旋转：

通过借鉴图像领域中的矫正算法，将3D骨骼姿势填充为伪图像利用卷积神经网络(CNN)在空间领域中进行旋转参数的学习；同时将多帧骨骼数据使用门控循环单元(GRU)在时间领域中学习参数，最终将两个模型的输出进行融合得到旋转之后的骨骼姿势。

CNN模型的网络结构如图12所示，其具体流程如下：

Step1：数据预处理。姿态检测中得到的骨骼姿势包含25个点，每个点由一个3维坐标组成，分别为其在图像中的位置与深度。考虑到同一行为的持续时间与深度摄像机的图像采集频率，将每张图像拼接的帧数设定为30帧，即取同一行为的30帧骨骼姿势数据将其堆叠为大小30*25*3的矩阵，若不足30帧则以0填充。

Step2：构建网络。由2层卷积层、1层池化层与1层全连接层组成。卷积层对输入的伪图像数据进行卷积操作，每层卷积层后包含一层Batch Normalization(BN)层进行归一化，激活函数为Relu()函数，最后一层为全连接层输出3维的旋转参数，使用该旋转参数对原始输入数据进行旋转变换，得到旋转后的骨骼姿势，旋转计算公式如式(3-1)所示。

p′_i＝R_z,γR_y,βR_x,αp_i (3-1)

式中p_i为第i个骨骼关节点的坐标p_i＝(x_i,y_i,z_i)；p′_i为第i个骨骼关节点的转换后的坐标；R_z,γ,R_y,β,R_x,α为转换矩阵，其计算公式如式(3-2)、(3-3)、(3-4)所示。

式中α,β,γ分别为绕x,y,z轴旋转的角度。

Step3：训练网络。通过计算旋转后的骨骼姿势数据与正视角度的姿势数据均方误差作为网络的损失，优化函数选用Adam函数，训练迭代次数为50次，保存在验证集中结果最好的模型。

GRU模型的网络结构如图13所示，其具体流程如下：

Step1：数据预处理。将旋转后的每一帧的骨骼数据转换为1*75的向量。取30帧作为时间序列的长度，不足30帧以0填充，得到大小为30*75的矩阵作为网络的输入。

Step2：构建网络。由2层GRU与1层全连接层组成，GRU的隐藏层特征维度设置为100，GRU层得到每个时间点输出，通过全连接层最终输出遮挡还原后的骨骼姿势。

Step3：训练网络。训练过程与CNN模型的训练一致。

姿态检测得到的骨骼姿势通过CNN模型得到旋转参数并进行空间维度的旋转，之后使用GRU模型将旋转后的姿势通过上下文关系进行遮挡还原，得到最终的视角转换与遮挡还原的骨骼姿势。

行走姿态特征：

得到视角较为合适的骨骼姿势后，本部分对老人在行走过程中的姿态特征设计如下所示：

定义3.1：躯干角a_trunk。定义为躯干与水平面之间的角度，计算公式如式 (3-5)所示：

式中

为水平面的法线变量

p_neck为脖子的3D坐标；p_mid.hip为中臀的3D坐标。

定义3.2：前屈角a_bend。定义为身体前屈的角度，计算公式如式(3-6)所示：

式中p_nose为鼻子的3D坐标。

定义3.3：臀部角a_α.hip。定义为脖子、左右臀与左右膝盖的角度，计算公式如式(3-7)所示：

式中p_α.hip为左右臀部的3D坐标，α∈{left,right}；p_α.knee为左右膝盖的3D坐标。

定义3.4：肩部角a_α.shoulder。定义为脖子、左右肩部与左右手肘的角度，计算公式如式(3-8)所示：

式中p_α.shoulder为左右肩部的3D坐标；p_α.elbow为左右手肘的3D坐标。

定义3.5：膝盖角a_α.knee。定义为左右臀部、左右膝盖与左右脚踝的角度，计算公式如式(3-9)所示：

式中p_α.ankle为左右脚踝的3D坐标。

定义3.6：肩宽d_shoulder。定义为左右两肩的距离，用来表示个人体态的差异，计算公式如式(3-10)所示：

d_shoulder＝|p_{left.shoulder}-p_{right.shoulder}| (3-10)

式中p_{left.shoulder}为左肩的3D坐标；p_right.elbow为右肩的3D坐标。

实验结果与分析：

基于迁移学习的姿态检测模型的实验结果如图14、图15所示，图14为采集的居家老人的深度图像，图15为姿态检测后的结果图。

骨骼姿势自适应视角转换模型使用上述姿势检测的结果进行视角的转换，首先将其转换为3D坐标，结果如图16所示，其中左臂由于被遮挡导致检测丢失；经过视角转换模型后结果如图17所示，对于被遮挡丢失的关节点进行了预测还原。

本部分分析了采用迁移学习的原因，并详细说明了迁移学习的过程与实现；之后将骨骼姿势进行视角的转换，使数据更标准化；最后将转换后的姿势数据进行对应的特征提取与前面得出的步态特征以互补的形式在后续多维数据融合风险预测模型中使用。

摆臂均衡性检测的问题描述与分析

惯性传感器由于其设备简单、成本较低等因素常见于跌倒检测、步态分析等领域，尤其是可穿戴式传感器通过选定位置穿戴能够直接捕捉人体各部位在每一瞬间的信息，其数据主要由加速度与陀螺仪组成，并且不会受到遮挡的影响。

惯性传感器通常采集频率较高，对突发行为的敏感性高，因此可以捕捉在正常的规律性行为中发生的异常，但由于日常生活中与实验室环境不同，老人琐碎的行为动作存在大量的干扰噪声，将会导致较多的冗余数据与错误数据，需要结合更多的设备共同分析。

针对上述问题描述，本部分将采用对老人生活侵入性较低的智能腕表进行数据的采集，并且其不会受到遮挡的影响，在一定程度上弥补了激光雷达与深度镜头的缺陷。因此本章将针对传感器数据进行行走区间的定位并对行走过程中摆臂均衡性进行检测，提取描述老人摆臂均衡的特征。

问题分析

(1)硬件设备与数据采集方法

本文选用的智能腕表为Huawei Watch2，如图18所示，可采集加速度与陀螺仪数据，佩戴于老人的手臂上，三维加速度轴和陀螺仪频率设置为50Hz。为了保证手表电池的使用时长将手表数据上传进行了限制，当其处于充电情况下并且连接网络时进行数据上传，无法进行上传时数据可在本地保存14天。

(2)摆臂均衡性检测

老人跌倒多数发生于行走过程中，而行走需要身体各个部位的协调配合，在行走中手臂通常会随着脚步的移动而摆动，步态分析针对与行走直接关联的脚步信息，姿势检测集中于身体整体平衡性信息，对上肢的描述较少，佩戴于手臂的腕表可以填充这一空白。在正常的行走活动中，传感器数据一般保持一定的规律性，但遇到其他的行为动作便会打破这种规律性，其中可能包含一些引发跌倒的行为，需要捕捉这些不均衡的行为，因此本文提出自关联系数的概念，用来描述传感器数据的表示的摆臂均衡性。

基于上述问题描述与分析，下面将对基于行走自关联分析的摆臂均衡性检测算法进行研究与分析。

加速度和陀螺仪的原始数据所能描述的信息无法直接解读，通过对原始数据进行分析，发现正常规律性的行为其数据表现存在一定的规律性，当过程中出现异于当前的行为出现时，其数据会产生波动。而这些异常行为可能是在行走过程中表现出来的引发跌倒的因素。因此需要对原始的数据进行分析，提取其行走时手臂表现出的均衡性与关联性，从而描述当前行为是否出现异常。

如图19所示为实验环境下测得的一段时间内平稳行走的数据，以加速度Y 轴数据为例，从图中可以得出平稳行走时其波峰或波谷具有一定的相似性与均衡性。异常行为的出现会使得这一均衡性被打破，如图20所示，图中存在一些不规律的波峰或波谷。因此本文提出一个自关联系数的概念，该系数可以描述当前波峰对应的行为与之前一段时间内的数据之间的关联性，从而捕捉这一段时间内出现的摆臂不均衡的特征。

基于行走自关联分析的摆臂均衡性检测模型

自关联系数计算当前波峰与前一时间段内数据之间的相似性，用该数据表示老人行走过程中手臂摆动的均衡性，若相似度低，说明此时手臂动作出现异常，反之属于正常行为，其计算的具体流程图如下图21所示：

Step1：读入数据，加速度与陀螺仪数据均为三轴数据，计算其SMV(SignalMagnitude Vector)，SMV的计算公式如式(4-1)所示：

式中a_x,a_y,a_z为加速度或陀螺仪x,y,z三轴的数据。

Step 2：通过Peakutils峰值检测程序找到波峰的位置；

Step3：从当前波峰索引时刻向前搜索[tmin,tmax]区间，计算当前波峰i的自关联系数R(i)，计算公式如式(4-2)、(4-3)所示：

式中R(i,τ)表示当前波峰索引i在τ时间内的自关联系数；tmin,tmax为计算自关联系数区间的范围；a(i-k)为i-k时刻的SMV的值；μ(τ,i)为从τ时刻到i时刻的SMV均值；δ(τ,i)为从τ时刻到i时刻的SMV标准差。

实验结果与分析

智能腕表采集的加速度数据与陀螺仪数据通过自关联分析得到行走时间区间内的自关联系数，以加速度数据为例，正常平稳行走的结果如图22所示，图中每个波峰顶端的值为该波峰对应的自关联系数，可以得出平稳行走过程中自关联系数数值较高，说明其前后行为相似度较高。

存在异常行为的加速度的自关联系数结果如图23所示，与图22相比自关联系数明显较低，说明其行为存在较大的波动以及不确定性。

本部分从可穿戴式传感器的优缺点开始分析，阐述了高侵入性设备的缺点与步态分析、姿态分析中存在的缺点，引入了较低侵入性、不受遮挡的智能腕表采集加速度和陀螺仪数据，根据对原始数据的分析，提出并计算了自关联系数来表征老人在行走过程中手臂摆动的均衡性，反映老人手臂动作是否异常，由于该特征不会受到环境遮挡的影响，将与步态特征、姿态特征互补融合用于后续分析。

所述风险评估方法的实验结果与分析

实验评价指标：

本申请将跌倒风险评估抽象为分类问题，使用常见的分类评价指标进行实验结果的评估，包括：准确率accuracy、精确率precision、召回率recall与F值 F1-score。计算公式如(5-5)、(5-6)、(5-7)、(5-8)所示。

式中TP为预测正确的正样本数量；FP为预测错误的正样本数量；TN为预测正确的负样本数量；FN为预测错误的负样本数量。

实验结果:

MultipleGRU结合Attention与DNN(MGAD)模型的训练过程如图24所示，图中蓝色实线线条为训练过程中的网络损失，橙色虚线线条为训练过程中在验证集中的准确率。

此外，本申请同时构建了不含Attention机制的MultipleGRU-DNN(MGD) 模型、对数据进行下采样直接融合通过单GRU-Attention-DNN(GAD)模型与隐马尔可夫模型(HMM)，并在测试集中进行了对比。对比结果如图25a-图25d所示。

从图中可以得出本文构建的MGAD模型在准确率、召回率、F值均高于其他模型，对数据直接进行下采样融合的GAD模型的表现也较好，另外HMM 与无Attention网络的MGD模型的表现较差。通过对实验结果进行分析可以得出在针对长时间的序列处理中，Attention机制可以捕获其中更为重要的信息，而无Attention机制或传统的机器学习算法则无法较好的处理超长时间序列数据。

实验结果证明本文构建的MGAD模型可以较好的针对多维不同频率的时间特征进行跌倒风险的评估。

本申请分析了步态特征、姿态特征、摆臂均衡性特征的优缺点，提出了使用冗余互补的方式对特征进行融合，之后分析了常见的数据融合算法，根据上述特征的特点提出了使用GRU模型与注意力机制对这些特征进行融合，解决了数据不同维度、不同频率难以融合的问题；接着使用融合后的特征通过DNN 模型实现了老人跌倒风险的评估，最后通过实验与隐马尔可夫等模型进行了对比分析，得出使用GRU模型并引入注意力机制后在多维数据融合的跌倒风险评估中的效果更好。

Claims (7)

1.一种基于多维数据融合的老人跌倒风险评估方法，其特征在于包括如下步骤：

构建DNN模型老人跌倒风险评估所需要的数据集；

将步态特征、姿态特征以及自关联系数分别输入到不同的门控制单元GRU模型中并通过注意力的计算，实现多维数据特征融合；

使用DNN模型对GRU模型提取并拼接的特征进行分类，输出老人跌倒风险的概率。

2.如权利要求1所述的基于多维数据融合的老人跌倒风险评估方法，其特征在于构建DNN模型老人跌倒风险评估所需要的数据集的方法如下：

原始数据首先通过步态分析模型提取步态特征后，并以时间区间对数据进行分割，得到老人行走的各时间段；然后姿态分析与摆臂均衡性检测根据时间段进行分割对应的数据并处理提取特征；得到每个行走时间段的步态特征、姿态特征和自关联系数3组数据后对其进行标注。

3.如权利要求1所述的基于多维数据融合的老人跌倒风险评估方法，其特征在于所述多维数据特征融合的方法如下：

数据预处理：读入步态特征、姿态特征和自关联系数3组数据，分别对其进行归一化处理，计算公式如式(1-1)所示，接着将数据集进行切割处理分为训练集、验证集和测试集；

式中x_min,x_max分别为变量x所在维度的最大值和最小值；

构建GRU模型与注意力机制：将3组数据分别输入3个不同的GRU网络，每个GRU模型包括两层双向BiGRU，其输入层大小分别为6，24，2，输出层大小为50；

注意力计算：将3个GRU网络的每个时间点输出进行计算，计算公式如式(1-2)、(1-3)、(1-4)所示：

u＝v·tanh(W·h) (1-2)

att＝softmax(u) (1-3)

out＝∑(att·h) (1-4)

式中：h为GRU网络每个时间点的输出；

W,v为注意力层的参数；

att为计算得到的注意力的概率分布；

out为注意力层的输出结果。

将3组数据输出的最后一层进行拼接操作，作为后续DNN网络的输入向量。

4.如权利要求1所述的基于多维数据融合的老人跌倒风险评估方法，其特征在于所述使用DNN模型对GRU模型提取并拼接的特征进行分类，输出老人跌倒风险的概率的方法如下：

构建DNN模型：包括3层隐藏层和1层输出层；隐藏层包括全连接层，其输入分别为150，128，64，之后为BN层对数据进行批量归一化处理，接着激活函数均使用Relu()函数，输出层为全连接层输入大小为32，输出为2；

训练网络：通过构建的训练集进行训练，损失函数使用交叉熵损失函数，优化函数选用Adam函数，迭代训练次数为50次，保存在验证集中结果最好的模型。

使用训练好的模型进行风险评估：将3组数据输入到训练好的模型中，将模型的输出进行softmax()函数变换，输出当前输入对应的跌倒风险的概率，实现对跌倒风险的评估。

5.如权利要求1所述的基于多维数据融合的老人跌倒风险评估方法，其特征在于所述步态特征的方法包括如下步骤：

环境地图绘制：

Step1：初始化环境地图，读入夜间无人数据，构建初始环境地图；

Step2：读取后续n帧点云数据，通过帧差分法计算两帧之间对应角度的距离差的均值，判断当前环境是否存在运动的物体，若无运动物体则执行Step3，若存在运动物体则重复Step2；

Step3：判断当前卡尔曼滤波算法中的行人跟踪轨道是否存在，若轨道存在说明当前环境中存在老人长时间静止不动的情形，重复Step2，若轨道不存在则当前环境均为环境点，从而计算n帧数据均值更新环境地图；

基于聚类的点云特征提取：

通过将新扫描到的数据与环境地图进行对比，得到运动物体的点云数据；使用DBSCAN聚类算法来对这些点云数据进行聚类并提取可以描述对应物体的特征，距离计算公式如式(2-1)所示：

式中P_k为新的雷达扫描周期内第k个新的扫描点的位置，k＝1,2,...,N₁；C_ij为第i个点集合中第j个扫描点，i＝1,2,...,N₂；j＝1,2,...,N₃；具体包括如下步骤：

Step1：读入动点集合P，遍历P中的未标记的点将其标记并添加到新的聚类集合C中，使用公式(2-1)计算其他未标记的点与P的距离，将距离小于ε的点计数，如果超过MinPts则将这些点加入集合N，如果小于MinPts不处理；

Step2：遍历集合N中的点，计算得到其ε邻域内的其他点，大于MinPts将其加入N，重复该步骤直到集合N为空；

Step3：对未标记的点重复上述Step1与Step2的操作，直到每个点不发生改变；

在聚类得到点集合后，需要对其进行目标识别，结合脚步点云的形状，设计如下点云特征：

定义2.1:点集合的大小P_n，点集合内点的个数n；

定义2.2:最大长度F_l，将一个点簇最大长度近似为脚长,计算公式如式(2-2)所示：

F_l＝|p_f-p_b| (2-2)

式中p_f,p_b——为点集合P中在移动方向上具有最大距离的两个点；

定义2.3:脚弧度F_c，计算点集合P边缘的每个点弧度并取均值近似为脚弧度，计算公式如式(2-3)所示：

式中p_i,p_i-1为点集合P边缘相邻的两个点；P_c为点集合P的质心；n为点集合P边缘点的个数；

定义2.4:脚弧长度F_a，两个相邻点之间的欧氏距离之和计算为脚弧长度，计算公式如式(2-4)所示：

式中p_i,p_i-1为点集合P边缘相邻的两个点；n为点集合P边缘点的个数；

定义2.5:脚落地面积S_area，估算点集合的面积，计算公式如式(2-5)所示：

式中i,j为点集合P中具有最大距离两个点的坐标x值；y为点集合P中点的坐标y值；

基于随机森林的脚步识别：

脚步识别主要是从运动的物体中区分出脚步，使用随机森林模型来进行脚步的识别，将上述提取的点集合特征作为输入，随机森林由多个决策树构成，使用基尼指数作为特征选择的准则，表示随机选中的样本被分错的概率，基尼指数越小分类也准确，以此为标准进行分类，最后通过多个决策树进行投票决定出最优的分类，基尼指数的计算公式如式(2-6)所示：

式中K为类别数；p_k为样本点属于第k类的概率；

最后通过随机森林将点集合分类之后，得到脚步的点云集合完成脚步识别；

基于卡尔曼滤波的脚步跟踪：

通过使用卡尔曼滤波器对脚步进行跟踪，并恢复在跟踪过程中由于遮挡而丢失的脚步，实现对老人的脚步跟踪与步态特征的提取；

卡尔曼滤波算法的状态预测方程如公式(2-7)和(2-8)所示：

X_k＝A_kX_k-1+B_ku_k+w_k (2-7)

z_k＝H_kX_k+v_k (2-8)

式中X_k＝(x_k y_k x′_k y′_k)为第k帧的质心状态向量，x_k,y_k为位置分量，x′_k,y′_k为速度分量；z_k＝(x_k y_k)为第k帧的系统测量值；A_k为状态转移矩阵；B_k为控制输入矩阵，将运动测量值映射到状态向量上；u_k为第k帧的系统控制向量，包含加速度信息；w_k为系统噪声，其协方差为Q；H_k为转换矩阵，将状态向量映射到测量向量的空间中；v_k为观测噪声，其协方差为R；

一般情况下，在室内相邻帧之间的行走可以近似为匀速直线运动，因此可以得到如公式(2-9)、(2-10)、(2-11)、(2-12)所示关系：

x_k＝x_k-1+x′_k-1×Δt (2-9)

y_k＝y_k-1+y′_k-1×Δt (2-10)

x′_k＝x′_k-1 (2-11)

y′_k＝y′_k-1 (2-12)

式中Δt为时间间隔；k表示当前为k时刻；

将其转换为矩阵表示如公式(2-13)和(2-14)所示：

(x_k y_k)^T＝(1 1 0 0)×(x_k y_k x′_k y′_k)^T+v_k (2-14)

通过公式(2-13)与公式(2-7)可以得出状态转移矩阵

同时B_k为零矩阵；通过公式(2-14)与公式(2-8)可以得出H＝(1 1 0 0)；

由于测量和预测均有误差，因此需要计算当前预测过程中存在的误差P，其计算公式如式(2-15)所示：

P(k|k-1)＝A·P(k-1|k-1)·A^T+Q (2-15)

式中P(k|k-1)为从X(k-1|k-1)预测X(k|k-1)的协方差P(k-1|k-1)为k-1时刻的协方差；

结合公式(2-7)得到的当前时刻系统的预测状态和观测状态Z(k)计算出此时的最优估计，计算公式如式(2-16)所示：

X(k|K)＝X(k|K-1)+Kg(k)(Z(k)-H·X(k|K-1)) (2-16)

式中Kg(k)为k时刻的卡尔曼增益，其计算公式如(21)所示：

得到k时刻的最优估计值后，最后需要对当前时刻的协方差P(k|k)进行更新，计算公式如式(2-18)所示：

P(k|k)＝(I-Kg(k)·H)·P(k|k-1) (2-18)

式中I为单位矩阵；

卡尔曼滤波算法的具体流程如下所示：

Step1：计算当前时刻k的预测值c_k；

Step2：判断当前时刻k的观测值是否存在，若存在则更新卡尔曼滤波，并将计算的最优估计加入跟踪脚步walkset集合中，重复Step1；若不存在则进行Step3；

Step3：将观测值c_k作为最优估计判断接下来n个时刻中是否存在观测值，若均不存在则停止当前卡尔曼滤波跟踪，表示行走结束；若存在则使用观测值与预测值进行卡尔曼滤波器的更新，并将之前保留的预测脚步加入到walkset集合中，重复Step1；

至此得到老人的行走轨迹结合步态分析中常用的指标，其中包括老人行走过程中的左右脚的步长、左右脚的瞬时速度以及落地面积。

6.如权利要求1所述的基于多维数据融合的老人跌倒风险评估方法，其特征在于提取姿态特征的方法如下：

基于迁移学习的姿态检测模型：

姿态检测用于提取深度图像中的骨骼信息，通过对OpenPose模型进行迁移学习训练用于深度图像的姿态检测模型；首先构建深度图像的数据集，其次通过该数据集进行模型的训练；

(1)构建数据集

实验初期深度图像与对齐的RGB图像同时通过深度摄像机采集，通过预先训练好的OpenPose模型对RGB图像进行骨骼姿势提取，将提取的骨骼姿势与相对应的深度图像组成姿势数据集，用于训练适用于深度图像的卷积神经网络CNN；

(2)迁移学习

通过微调的方式对OpenPose模型进行基于参数的迁移学习，使用预训练好的网络参数来初始化，网络的前半部分是特征提取层，通过多层的卷积与池化操作对输入的图像进行特征提取，由于深度图像与彩色图像近似，因此在该部分通过使用OpenPose预训练好的参数进行初始化；网络的后半部分分为两个子网络，分别进行卷积与池化操作来得到关节点的位置信息与关节点之间关联信息，同时每个阶段的输入都通过前一个阶段的结果和原始图像特征融合得到，用以产生更精确的预测结果；网络的训练过程如下：

Step1：深度图像预处理：深度图像格式为16位单通道图像，首先将深度图像从unit_16转为unit_8数据格式，之后对单通道数据使用OpenCV库中applyColorMap函数转为3通道的伪彩色图片；

Step2：构建网络结构与迁移学习：模型通过多层卷积神经网络以及池化层对图像数据进行特征提取，使用预训练好的特征提取层的参数对其进行初始化；

Step3：训练模型：使用上述构建的数据集进行模型的训练，得到关节点位置信息以及关节点之间的关联关系；

Step4：连接骨骼：通过上述关节点间的关联关系将骨骼进行连接，输出最终的骨骼信息；

基于自适应视角转换的骨骼姿势旋转：

通过图像领域中的矫正算法，将3D骨骼姿势填充为伪图像利用卷积神经网络CNN在空间领域中进行旋转参数的学习；同时将多帧骨骼数据使用门控循环单元GRU在时间领域中学习参数，最终将两个模型的输出进行融合得到旋转之后的骨骼姿势；

CNN模型的网络的具体流程如下：

Step1：数据预处理：姿态检测中得到的骨骼姿势包含25个点，每个点由一个3维坐标组成，分别为其在图像中的位置与深度；考虑到同一行为的持续时间与深度摄像机的图像采集频率，将每张图像拼接的帧数设定为30帧，即取同一行为的30帧骨骼姿势数据将其堆叠为大小30*25*3的矩阵，若不足30帧则以0填充；

Step2：构建网络：由2层卷积层、1层池化层与1层全连接层组成。卷积层对输入的伪图像数据进行卷积操作，每层卷积层后包含一层Batch Normalization(BN)层进行归一化，激活函数为Relu()函数，最后一层为全连接层输出3维的旋转参数，使用该旋转参数对原始输入数据进行旋转变换，得到旋转后的骨骼姿势，旋转计算公式如式(3-1)所示；

p′_i＝R_z,γR_y,βR_x,αp_i (3-1)

式中p_i为第i个骨骼关节点的坐标p_i＝(x_i,y_i,z_i)；p′_i为第i个骨骼关节点的转换后的坐标；R_z,γ,R_y,β,R_x,α为转换矩阵，其计算公式如式(3-2)、(3-3)、(3-4)所示；

式中α,β,γ分别为绕x,y,z轴旋转的角度；

Step3：训练网络。通过计算旋转后的骨骼姿势数据与正视角度的姿势数据均方误差作为网络的损失，优化函数选用Adam函数，训练迭代次数为50次，保存在验证集中结果最好的模型；

GRU模型的网络处理流程如下：

Step1：数据预处理：将旋转后的每一帧的骨骼数据转换为1*75的向量；取30帧作为时间序列的长度，不足30帧以0填充，得到大小为30*75的矩阵作为网络的输入；

Step2：构建网络：由2层GRU与1层全连接层组成，GRU的隐藏层特征维度设置为100，GRU层得到每个时间点输出，通过全连接层最终输出遮挡还原后的骨骼姿势；

Step3：训练网络：训练过程与CNN模型的训练一致；

姿态检测得到的骨骼姿势通过CNN模型得到旋转参数并进行空间维度的旋转，之后使用GRU模型将旋转后的姿势通过上下文关系进行遮挡还原，得到最终的视角转换与遮挡还原的骨骼姿势。

行走姿态特征：

得到视角较为合适的骨骼姿势后，对老人在行走过程中的姿态特征设计如下所示：

定义3.1：躯干角a_trunk；定义为躯干与水平面之间的角度，计算公式如式(3-5)所示：

式中

为水平面的法线变量

p_neck为脖子的3D坐标；p_mid.hip为中臀的3D坐标；

定义3.2：前屈角a_bend；定义为身体前屈的角度，计算公式如式(3-6)所示：

式中p_nose为鼻子的3D坐标；

定义3.3：臀部角a_α.hip；定义为脖子、左右臀与左右膝盖的角度，计算公式如式(3-7)所示：

式中p_α.hip为左右臀部的3D坐标，α∈{left,right}；p_α.knee为左右膝盖的3D坐标；

定义3.4：肩部角a_α.shoulder；定义为脖子、左右肩部与左右手肘的角度，计算公式如式(3-8)所示：

式中p_α.shoulder为左右肩部的3D坐标；p_α.elbow为左右手肘的3D坐标；

定义3.5：膝盖角a_α.knee；定义为左右臀部、左右膝盖与左右脚踝的角度，计算公式如式(3-9)所示：

式中p_α.ankle为左右脚踝的3D坐标；

定义3.6：肩宽d_shoulder；定义为左右两肩的距离，用来表示个人体态的差异，计算公式如式(3-10)所示：

d_shoulder＝|p_{left.shoulder}-p_{right.shoulder}| (3-10)

式中p_{left.shoulder}为左肩的3D坐标；p_right.elbow为右肩的3D坐标。

7.如权利要求1所述的基于多维数据融合的老人跌倒风险评估方法，其特征在于所述自关联系数用来描述传感器数据表示的摆臂均衡性，计算当前波峰与前一时间段内数据之间的相似性，用该数据表示老人行走过程中手臂摆动的均衡性，若相似度低，说明此时手臂动作出现异常，反之属于正常行为，其具体方法如下：

Step1：读入数据，加速度与陀螺仪数据均为三轴数据，计算其SMV(Signal MagnitudeVector)，SMV的计算公式如式(4-1)所示：

式中a_x,a_y,a_z为加速度或陀螺仪x,y,z三轴的数据；

Step2：通过Peakutils峰值检测程序找到波峰的位置；

Step3：从当前波峰索引时刻向前搜索[tmin,tmax]区间，计算当前波峰i的自关联系数R(i)，计算公式如式(4-2)、(4-3)所示：

式中R(i,τ)表示当前波峰索引i在τ时间内的自关联系数；tmin,tmax为计算自关联系数区间的范围；a(i-k)为i-k时刻的SMV的值；μ(τ,i)为从τ时刻到i时刻的SMV均值；δ(τ,i)为从τ时刻到i时刻的SMV标准差。

Images