CN110674875A - 一种基于深度混合模型的行人运动模式识别方法 - Google Patents

Abstract

本发明提供了一种基于深度混合模型的行人运动模式识别方法。利用智能手机中内置的加速度传感器、陀螺仪和磁力计采集四种手机放置位置、七种日常行人运动模式的数据；采用由卷积神经网络CNN自动提取特征，后经主成分分析法对提取的特征进行降维处理，并将处理后的结果输入至XGBoost学习模式进行识别的混合模型。本发明将CNN作为可以从输入中自动获取特征的可训练特征提取器，利用PCA将高维特征数据降维以减小计算量，将XGBoost作为网络顶层的识别器来输出结果，有效地保证了特征提取和分类的高可靠性。

Description

一种基于深度混合模型的行人运动模式识别方法

技术领域

本发明属于惯导运动模式识别的技术领域，尤其涉及一种基于深度混合模型的行人运动模式识别方法。

背景技术

近年来，随着微机电系统制造技术的不断发展和成熟，低成本、小尺寸、高灵敏度的传感器已经在大量电子设备中应用，如智能手机、个人笔记本电脑等，这使得获取与分析数据变得越来越方便和灵活。同时，由于移动手机的普及，人们对其智能化的程度提出了更高要求。其中，基于手机内置传感器的行人运动模式识别技术在室内定位、健康监测、智慧城市等领域引起了广泛关注。所以如何实现高精度的行人运动模式识别成为了亟待解决的问题。

行人运动模式识别旨在识别多种观察场景下人体的运动行为。常采用的方法可以归纳为两类：基于视觉和基于传感器。基于视觉的识别方法主要依赖于各种高帧率的视频设备，其中，照明条件、图像背景等外部因素对识别精度有很大影响。相比之下，基于传感器的方法方便、易于携带的性质使其在复杂的环境中更加有效且数据的采集不侵犯个人隐私。利用运动传感器可直接测量多种运动模式的数据从而建立识别易混淆的运动模式的数学模型。

智能手机的普及已使其变成了一个无处不在的计算平台。其中，利用智能手机内置的运动传感器高效地识别行人运动模式引起了研究人员的关注。近些年大部分的相关文献聚焦于固定手机放置位置(例如，腰部、上臂等)，这与人们使用手机的习惯相违背(例如，在几分钟的时间内，手机可能被放在背包中，而后放到裤兜里，最后被拿出来用于发送短信)。因此，手机放置位置的多样性是行人运动模式识别困难的重要原因。当前关于运动模式识别的研究通常依赖于有监督机器学习方法，如隐马尔可模型、K近邻、随机森林、支持向量机等。这些算法主要分为三个步骤，即原始数据的预处理、特征提取和特征选择、识别分类。但是这些传统方法有一定的局限性，主要表现在三个方面：1)由于行人运动模式的多样性和复杂性，人工特征提取需要专业的领域知识和丰富的经验。而且可能导致提取出来的一些特征在识别某些运动模式中表现得很好，但在识别其他模式时表现得很差；2)即便是相同的运动模式，不同的手机放置位置将导致运动传感器的波形有很大的不同，这使得高精度识别各种不同的运动模式变得困难；3)加之运动习惯、性别、年龄的差异，不同人群的运动模式差异较大，这加大了划分不同运动模式边界的难度。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于深度混合模型的行人运动模式识别方解决了传统人工提取行人运动特征的弊端，充分挖掘了不同信号中蕴含的丰富特征数据信息，减少了原特征信息损失的问题。

为了达到以上目的，本发明采用的技术方案为：

本方案提供一种基于深度混合模型的行人运动模式识别方法，包括如下步骤：

S1、利用智能手机采集行人运动的原始数据；

S2、利用固定步长滑动窗口分割法对所述原始数据进行预处理；

S3、利用卷积神经网络对经预处理后的数据进行特征提取；

S4、利用主成分分析法PCA对提取的特征进行降维处理；

S5、利用集成学习模型XGBoost对降维后的特征数据进行整合，从而完成对行人运动模式的识别。

进一步地，所述步骤S1的具体方法为：

利用智能手机内置的加速传感器、陀螺仪和磁力计，采集行人运动的原始数据，其中：

所述原始数据包括手握、平端、双肩包和前裤兜4种不同的手机放置位置所获取的数据；

所述行人的运动模式包括上楼、下楼、跑步、走路、站立、骑自行车和甩手7种不同的运动模式。

再进一步地，所述步骤S2的具体方法为：

利用固定步长滑动窗口分割法分别对智能手机内置的加速传感器、陀螺仪和磁力计所获取的原始数据进行预处理，其中：

所述滑动窗口的窗口长度为200，步长为50。

再进一步地，所述步骤S3包括如下步骤：

S301、利用卷积神经网络中卷积层的卷积核对经预处理后的数据进行特征提取；

S302、利用卷积神经网络的池化层统计手机不同放置位置的特征数据，并对提取的特征数据进行筛选；

S303、利用卷积神经网络的全连接层将两次卷积和池化处理后的特征数据进行加权求和及整合处理，得到高阶特征数据，从而完成对预处理后数据特征的提取。

再进一步地，所述步骤S301中特征提取的表达式如下：

其中，

表示卷积层l第i个神经元上第j个特征图的输出，

表示卷积核，b_j表示卷积特征图的偏置，m表示卷积窗口包含的元素个数，a表示当前第a个元素，Relu(·)表示激活函数。

再进一步地，所述步骤S302中对提取的特征数据进行筛选的表达式如下：

其中，

表示经过池化后卷积层l中对应的最大神经元，r表示池化核的尺寸，x_i,j表示池化核中i处和j处的神经元。

再进一步地，所述卷积神经网络包括第一卷积层、与所述第一卷积层连接的第一池化层、与所述第一池化层连接的第二卷积层、与所述第二卷积层连接的第二池化层、与所述第二池化层连接的第一全连接层以及与所述第一全连接层连接的第二全连接层，其中：

所述第一卷积层和第二卷积层的卷积核大小均为15×3，其数量分别为64和32；

所述第一池化层和第二池化层的池化核大小均为2×1；

所述第一全连接层设置有1024个神经元；

所述第二全连接层设置有256个神经元，且其输出特征为256维。

再进一步地，所述步骤S4包括如下步骤：

S401、根据提取的特征数据利用主成分分析方法最大化投影特征数据方差；

S402、根据所述最大化投影特征数据方差计算得到主成分的累计贡献率，从而完成对提取特征的降维处理。

再进一步地，所述步骤S401中最大化投影特征数据方差的表达式如下：

...

其中，w_j是协方差矩阵的特征向量，

表示w_j的转置，a_j和β_j分别表示拉格朗日常数，且j＝1,2,...,n，n表示降维后的特征总数。

再进一步地，所述步骤S402中累计贡献率的表达式如下：

其中，m_n表示主成分的累计贡献率，λ_n表示第n个主成分z_n对应的特征值，k表示新映射的空间的维数。

本发明的有益效果：

(1)本发明利用智能手机中内置的加速度传感器、陀螺仪和磁力计采集4种手机放置位置和7种日常行人运动模式的数据，并采用由卷积神经网络CNN自动提取特征，后经主成分分析方法PCA对提取的特征进行降维，输入集成学习模型XGBoost进行识别的混合模型，本发明将CNN作为可以从输入中自动获取特征的可训练特征提取器，利用主成分分析方法PCA将高维特征数据降维以减小计算量，将集成学习模型XGBoost作为网络顶层的识别器来输出结果，解决了传统人工提取行人运动特征的弊端，充分挖掘了不同信号中蕴含的丰富特征数据信息，有效地保证了特征提取和分类的高可靠性；

(2)本发明基于深度混合模型的行人运动模式识别，不仅可以利用深度卷积神经网络充分挖掘行人运动数据中丰富的特征，同时利用主成分分析方法PCA将高维数据转换到低维，减小计算量，集成学习方法XGBoost整合维数较少的“有效”特征对未知运动模式进行识别，大大地提高了对行人多种运动模式的识别精度；

(3)本发明不需要繁琐的数据预处理和特征提取选择工作，只需将通过滑动窗口分割得到的原始数据输入卷积神经网络CNN中，有效地解决了传统人工提取特征的弊端，充分挖掘了不同信号中蕴含的丰富信息；

(4)本发明方法利用集成学习模型XGBoost代替卷积神经网络CNN中全连接直接输出结果，而是利用集成学习方法将采集到的特征数据进一步学习整合，大大地提高了不同手机放置位置下的行人运动模式的识别精度。

附图说明

图1为本发明的方法流程图。

图2是本发明的系统总体框架图。

图3是本发明的在不同手机放置位置的识别精度图。

图4是本发明在不同运动模式的识别精度图。

图5是本发明的混淆矩阵实验效果图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

实施例

如图1所示，本发明提供了一种基于深度混合模型的行人运动模式识别方法。如图2所示，本发明中的网络由卷积神经网络CNN结合XGBoost的混合模型组成，本发明将卷积神经网络CNN作为可以从输入中自动获取特征的可训练特征提取器，将学习模型XGBoost作为网络顶层的识别器来生成结果，有效地保证了特征提取和分类的高可靠性。本发明基于智能手机内置的加速度传感器、陀螺仪和磁力计，采用深度学习框架卷积神经网络(CNN)挖掘输入信息中丰富、高质量的特征，接着利用主成分分析法(PCA)对所提特征进行降维，最后利用一集成学习模型XGBoost整合数据特征从而识别未知运动模式。本发明在不需要繁琐的数据预处理和特征提取选择的情况下，将通过滑动窗口分割的原始数据放入CNN中，充分挖掘信号中蕴含的信息更加准确地识别不同手机放置位置下的行人运动模式，其具体实现方法如下：

S1、利用智能手机采集行人运动的原始数据，其具体方法为：利用智能手机内置的加速传感器、陀螺仪和磁力计，采集行人运动的原始数据，其中：所述原始数据包括手握、平端、双肩包和前裤兜4种不同的手机放置位置所获取的数据；所述行人的运动模式包括上楼、下楼、跑步、走路、站立、骑自行车和甩手7种不同的运动模式；

S2、利用固定步长滑动窗口分割法对所述原始数据进行预处理。

本实施例中，原始数据的预处理是：为了满足卷积神经网络对输入数据的格式要求，对每个传感器的原始数据采用固定步长滑动窗口分割方法，滑动窗口长为200，步长为50。每个样本为一个三维矩阵，尺寸为：200(窗口长度)×3(三个传感器)×3(X、Y以及Z轴数据)。

S3、利用卷积神经网络对经预处理后的数据进行特征提取，所述卷积神经网络包括第一卷积层、与所述第一卷积层连接的第一池化层、与所述第一池化层连接的第二卷积层、与所述第二卷积层连接的第二池化层、与所述第二池化层连接的第一全连接层以及与所述第一全连接层连接的第二全连接层，其中：

所述第一卷积层和第二卷积层的卷积核大小均为15×3，其数量分别为64和32；所述第一池化层和第二池化层的池化核大小分别为2×1；所述第一全连接层设置有1024个神经元；所述第二全连接层设置有256个神经元，且其输出特征为256维。

本实施例中，卷积神经网络的卷积层利用卷积核对输入数据进行特征提取，两层卷积层所用的卷积核尺寸为15×3，数量分别为64和32；最大池化层统计不同位置的特征，将卷积后有用的信息筛选出来，池化核的尺寸为2×1。全连接层将经过两次卷积和池化处理后的数据特征进行加权求和整合出更加高阶抽象的数据特征，全连接层共两层，分别设置1024、256个神经元输出256维的特征，作为XGBoost的输入，其实现方法如下：

S301、利用卷积神经网络中卷积层的卷积核对经预处理后的数据进行特征提取，其表达式如下：

其中，

表示卷积层l第i个神经元上第j个特征图的输出，

表示卷积核，b_j表示卷积特征图的偏置，m表示卷积窗口包含的元素个数，a表示当前第a个元素，Relu(·)表示激活函数；

S302、利用卷积神经网络的池化层统计手机不同放置位置的特征数据，并对提取的特征数据进行筛选，其表达式如下：

其中，

表示经过池化后卷积层l中对应的最大神经元，r表示池化核的尺寸，x_i,j表示池化核中i处和j处的神经元；

S303、利用卷积神经网络的全连接层将两次卷积和池化处理后的特征数据进行加权求和及整合处理，得到高阶特征数据，输出256维特征数据，从而完成对预处理后数据特征的提取。

S4、利用主成分分析法PCA对提取的特征进行降维处理。

本实施例中，主成分分析是一种常见的数据降维方法。在数据信息损失较小的前提下，将高维数据转换到低维，揭示隐藏在复杂数据背后的简单结构，从而减小计算量。主成分分析法PCA可以被定义为数据在低维线性空间的正交投影，这个线性空间被称为主子空间，使得投影数据的方差被最大化。考虑特征数据x＝(x₁,x₂,...,x_m)^T，是一个D维空间中的变量。主成分分析法PCA将原D维输入空间到新的K(K<D)维输入空间，同时最大化投影数据方差，实现最小信息损失的映射。特征数据x在w_n方向上的投影为：

x的协方差为：Cov(x)＝∑，其中，w_n表示新的K维空间中的基，z表示投影，

表示w_n的转置,Cov(x)表示x的协方差，其实现方法如下：

S401、根据提取的特征数据利用主成分分析方法最大化投影特征数据方差；

1)主成分z₁求解。样本投影到z₁上之后被广泛散步，使得样本之间的差别最明显，即最大化方差。在约束条件‖w₁‖＝1下可将问题转化为：

其中，w₁是协方差矩阵的特征向量，

表示w₁的转置，a₁表示拉格朗日常数，对应的特征值λ₁＝a₁，为了使方差最大，选择具有最大特征值的特征向量，因此，第一个主成分是输入样本协方差阵的具有最大特征值对应的特征向量。

2)主成分z₂求解。依然是最大化方差。在‖w₂‖＝1且与w₁正交的约束条件下可将问题转化为：

其中，w₂是协方差矩阵的特征向量，对应的第二大特征值为λ₂＝a₂，表示w₂的转置，a₂和β₁分别表示拉格朗日常数，第二个主成分是输入样本协方差阵的具有最大特征值对应的特征向量。类似地，其他维度具有递减的特征值的特征向量给出；

S402、根据所述最大化投影特征数据方差计算得到主成分的累计贡献率，从而完成对提取特征的降维处理。

本实施例中，总方差中属于主成分λ_n的比例为

称为主成分z_i的贡献率，其中，λ_n表示第n个主成分z_n对应的特征值,K表示新映射的空间的维数，第一主成分z₁的贡献率最大，表明它解释原始变量x₁,x₂,...,x_m的能力最强，而z₁,z₂,...,z_n的解释能力依次递减。主成分分析的目的就是为了减少变量的个数，因而一般是不会使用所有主成分的，忽略一些带有较小方差的主成分将不会给总方差带来大的影响。前K个主成分的贡献率之和

称为主成分的累计贡献率，它表明解释的能力。本实施例将原256维输入空间降维至150维，即K＝150。

S5、利用集成学习模型XGBoost对降维后的特征数据进行整合，从而完成对行人运动模式的识别。

本实施例中，XGBoost是一种集成学习模型，将许多树模型集成在一起，从而实现多个弱学习器形成一个强学习器。XGBoost所用的树模型是CART树模型，具有速度快、精度高等优点。本发明将XGBoost学习模型添加到CNN的顶层，输出行人运动模式识别效果。XGBoost学习模型的重要参数设置：树的个数n_estimators为300，树的最大深度max_depth为7，最小叶子节点样本权重和min_child_weight为50，每棵随机采样的列数的占比colsample_bytree为0.5，subsample为0.7，收缩参数eta为0.1。

本发明的实验结果如附图3，展示了本发明对于不同的手机放置位置下的行人运动模式的识别精度，可以看出，每种位置识别精度都高于90％。附图4展示了不同的运动模式下的识别效果，可以看出，针对不同的行人运动模式，识别精度差异较大，但识别精度仍然高于91％。附图5的混淆矩阵对七种运动模式的识别效果进行详细的展示，可以看出，不同类别被正确分类的概率，以及被误判为其他运动模式的错误概率，说明了上楼与走路两种易混淆动作的识别精度效果虽然远远小于其他五种运动模式，但仍然保持高水平的识别效果。

Claims (10)

1.一种基于深度混合模型的行人运动模式识别方法，其特征在于，包括如下步骤：

S1、利用智能手机采集行人运动的原始数据；

S2、利用固定步长滑动窗口分割法对所述原始数据进行预处理；

S3、利用卷积神经网络对经预处理后的数据进行特征提取；

S4、利用主成分分析法PCA对提取的特征进行降维处理；

S5、利用集成学习模型XGBoost对降维后的特征数据进行整合，从而完成对行人运动模式的识别。

2.根据权利要求1所述的基于深度混合模型的行人运动模式识别方法，其特征在于，所述步骤S1的具体方法为：

利用智能手机内置的加速传感器、陀螺仪和磁力计，采集行人运动的原始数据，其中：

所述原始数据包括手握、平端、双肩包和前裤兜4种不同的手机放置位置所获取的数据；

所述行人的运动模式包括上楼、下楼、跑步、走路、站立、骑自行车和甩手7种不同的运动模式。

3.根据权利要求1所述的基于深度混合模型的行人运动模式识别方法，其特征在于，所述步骤S2的具体方法为：

利用固定步长滑动窗口分割法分别对智能手机内置的加速传感器、陀螺仪和磁力计所获取的原始数据进行预处理，其中：

所述滑动窗口的窗口长度为200，步长为50。

4.根据权利要求1所述的基于深度混合模型的行人运动模式识别方法，其特征在于，所述步骤S3包括如下步骤：

S301、利用卷积神经网络中卷积层的卷积核对经预处理后的数据进行特征提取；

S302、利用卷积神经网络的池化层统计手机不同放置位置的特征数据，并对提取的特征数据进行筛选；

S303、利用卷积神经网络的全连接层将两次卷积和池化处理后的特征数据进行加权求和及整合处理，得到高阶特征数据，从而完成对预处理后数据特征的提取。

5.根据权利要求4所述的基于深度混合模型的行人运动模式识别方法，其特征在于，所述步骤S301中特征提取的表达式如下：

其中，

表示卷积层l第i个神经元上第j个特征图的输出，

表示卷积核，b_j表示卷积特征图的偏置，m表示卷积窗口包含的元素个数，a表示当前第a个元素，Relu(·)表示激活函数。

6.根据权利要求4所述的基于深度混合模型的行人运动模式识别方法，其特征在于，所述步骤S302中对提取的特征数据进行筛选的表达式如下：

其中，

表示经过池化后卷积层l中对应的最大神经元，r表示池化核的尺寸，x_i,j表示池化核中i处和j处的神经元。

7.根据权利要求4所述的基于深度混合模型的行人运动模式识别方法，其特征在于，所述卷积神经网络包括第一卷积层、与所述第一卷积层连接的第一池化层、与所述第一池化层连接的第二卷积层、与所述第二卷积层连接的第二池化层、与所述第二池化层连接的第一全连接层以及与所述第一全连接层连接的第二全连接层，其中：

所述第一卷积层和第二卷积层的卷积核大小均为15×3，其数量分别为64和32；

所述第一池化层和第二池化层的池化核大小均为2×1；

所述第一全连接层设置有1024个神经元；

所述第二全连接层设置有256个神经元，且其输出特征为256维。

8.根据权利要求1所述的基于深度混合模型的行人运动模式识别方法，其特征在于，所述步骤S4包括如下步骤：

S401、根据提取的特征数据利用主成分分析方法最大化投影特征数据方差；

S402、根据所述最大化投影特征数据方差计算得到主成分的累计贡献率，从而完成对提取特征的降维处理。

9.根据权利要求8所述的基于深度混合模型的行人运动模式识别方法，其特征在于，所述步骤S401中最大化投影特征数据方差的表达式如下：

...

其中，w_j是协方差矩阵的特征向量，

表示w_j的转置，a_j和β_j分别表示拉格朗日常数，且j＝1,2,...,n，n表示降维后的特征总数。

10.根据权利要求8所述的基于深度混合模型的行人运动模式识别方法，其特征在于，所述步骤S402中累计贡献率的表达式如下：

其中，m_n表示主成分的累计贡献率，λ_n表示第n个主成分z_n对应的特征值，k表示新映射的空间的维数。

Images