CN111967362A

CN111967362A - 面向可穿戴设备的超图特征融合和集成学习的人体行为识别方法

Info

Publication number: CN111967362A
Application number: CN202010792637.4A
Authority: CN
Inventors: 叶娅兰; 潘桐杰; 鲁力; 何文文; 杨珂
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2020-08-09
Filing date: 2020-08-09
Publication date: 2020-11-20
Anticipated expiration: 2040-08-09
Also published as: CN111967362B

Abstract

本发明公开了一种面向可穿戴设备的超图特征融合和集成学习的人体行为识别方法。本发明首先对原始加速度数据和陀螺仪数据提取时域和频域特征，然后基于卷积神经网络提取深度特征，再进行标准化处理后降维。利用Saito超图学习对传感器行为特征和个性因素进行融合，并利用稳定变换矩阵实现实时特征融合，同时考虑到传感器信号存在时间差异性，对稳定变换矩阵进行周期更新。最后将所获得的最终规定特征向量输入到集成学习分类器中，对人体行为进行分类，得到人体行为状态。本发明利用Saito超图学习来高效融合传感器数据与个性因素即充分地利用不同类型信息间的互补特性达到更好的融合效果，有效提高行为识别模型的普适性。

Description

面向可穿戴设备的超图特征融合和集成学习的人体行为识别方法

技术领域

本发明属于行为识别技术领域，具体涉及面向可穿戴设备的超图特征融合和集成学习的人体行为识别技术。

背景技术

物联网行业的迅速发展使得各种智能设备(如智能手机、智能手表、无人机、摄像头)在生活中被广泛应用，也促使基于智能设备的人体行为识别(Human ActivityRecognition,HAR)成为重要的研究热点。HAR技术的研究和发展使得人们的生活方便快捷，在老年人跌倒检测、运动员健康检测和医疗救助等领域均有广泛应用。

为了实现人体行为识别，通常是基于智能设备中的传感器采集的人体行为数据。目前国内外主要集中在针对图像、视频数据进行人体行为识别。此方法需要目标者一直处于监控范围内，不允许有障碍物，应用场景较窄。还有部分研究者和实验室基于WiFi信号识别人体行为状态，此方法通过感应人的位置移动变化对无线信号的干扰(如信号强度大小发生变化)，来反应目标的行为状态的变化。然而，此方法需要内部环境相对平稳。可穿戴设备(如智能手机、智能手环)内置的传感器可以很方便地采集人体的各项行为数据，识别人体的行为状态，具有便携性好、功耗低、抗环境干扰等优势。因此，在人体行为识别领域，基于可穿戴设备传感器信号的方法更适用于实际应用场景。

通常，用于智能设备传感器数据的人体行为识别模型主要分为两类。第一类是基于传统机器学习算法进行行为识别，首先基于人类经验和领域知识人工提取浅层特征(如信号的均值和方差等)，其次将提取的特征输入传统的分类器进行训练。但这种手工提取特征的方法对于复杂实际场景中受试者速度不均、动作不规范等问题，传统手工特征可能不具有普适性，导致识别率不高。近几年，为了克服传统机器学习算法的不足，第二类方法即基于深度学习(Deep Learning)技术的方法被许多研究者应用到人体行为识别领域。深度学习可以自动学习到更高层次的特征，省略了人工参与特征提取过程的同时，提高了识别率。然而，深度学习方法依赖于大量的数据量，在数据量不够多时识别准确率可能不会提升。为了克服这个问题，有些研究在深度特征基础上，结合人工浅层特征，通过人工经验和领域知识来缓解深度学习方法对大数据量的依赖，从而提升识别准确率。然而，关于浅层特征与深度特征的融合，目前多数方法采取的是直接拼接的方式。这样会导致融合时忽略不同特征之间的内部关联信息，无法对不同类型特征有效融合，从而影响最终的识别效果。因此，我们基于超图学习充分地利用不同信息(浅层特征，深度特征以及个性因素)间的互补特性来更好的融合，从而提高行为识别准确率。

此外，以上传统的基于传感器信号的人体行为识别研究的重点大多在于提高分类器的分类性能(计算精确度、计算效率)，基于相对集中的人群构建具有一般性的模型，忽略了个体差异性，即不同的用户存在性别、年龄、体重以及性格等个性因素的差异。个体差异性会使得不同的用户采集到的传感器数据反应的行为参数是有差异的，很可能会导致已构建好的通用人体行为识别模型在面对新用户的行为数据时，行为识别准确率下降。因此，为了提升行为识别模型的泛化能力，结合个性因素进行人体行为识别是有必要的。

针对个体差异性导致人体行为识别模型识别准确率降低的问题，目前主要有两种解决方法，第一种是为每个用户构建个性化模型，虽然在提高行为识别准确率方面有了显著的效果，却需要用户的一直参与才能正常进行下去。在实际应用中，这样的做法会造成高成本、低效率的缺点。第二种方法是将用户按照不同的人体特征进行划分，例如，按照年龄进行划分，高年龄段的用户使用一个模型，其他年龄段的用户使用其他的人体行为识别模型，即针对不同的人群设计不同的识别模型。然而，在第二种方法中，多数方法仅仅考虑年龄或者体重等较简单的个性因素，忽略了更加详细的导致个体差异性的性格因素。实际上，人的性格可以用五因素模型描述。人格五因素模型主要包括开放性(openness)、责任感(conscientiousness)、外倾性(extraversion)、宜人性(agreeableness)和精神质性(neuroticism)。事实上，不同性格的人往往具有不同的行为习惯，也是影响模型泛化能力的一种重要的个性因素。因此，寻找一种高效全面的考虑个性人体特征的人体行为识别模型仍具有一定的挑战性。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供将个体因素(年龄、体重以及性格因素)考虑进人体行为识别中，提出使用超图学习算法对传感器生理信号的浅层特征与深度特征，以及个性因素进行融合，然后基于集成学习方法进行行为分类的方法，进而提高行为识别模型的普适性。

本发明的面向可穿戴设备的结合超图和个体差异性的人体行为识别方法，包括以下步骤：

步骤1：基于用户的可穿戴设备采集的传感器数据提取浅层特征和深度特征；将浅层特征和深度特征进行拼接，再进行归一化处理，然后经过降维处理得到第一特征向量，即传感器采集的特征向量；

其中，浅层特征包括时域和频域特征；

深度特征基于卷积神经网络提取得到的特征；

步骤2：基于用户的输入获取用户的个性因素特征，即第二特征向量；

所述个性因素特征包括：年龄、体重和性格；

步骤3：基于Saito超图学习对第一和第二特征向量进行特征融合处理：

将个第一和第二特征向量作为两个模态；

将用户和待需要进行行为识别的数据段的特征视为超图结构的一个多元顶点v_ij(s_i,d_ij)，其中，s_i表示第i个用户，d_ij表示第i个用户的第j段需要进行行为识别的数据段特征，包括第一和第二特征向量；

在每个模态下，根据各个顶点的特征向量的相关性来构造Saito超图的超边：顶点之间的特征向量的相似度或距离；

构造多模态信息融合超图

其中V_m表示顶点集，E_m表示超边集，W_m表示第m个超图的超边权重对角矩阵，模态标识符m＝1,2,...,M，M为采用的模态的总数；

基于Saito超图学习的特征融合，所采用的目标函数为：argmin_FΩ(F)；

其中，Ω(·)表示超图结构的正则项，用于控制超图中所有顶点之间的位置关系和局部顶点之间位置关系的一致性；

Saito超图学习的融合特征向量矩阵F＝{f_i},i＝1,…,n，f_i表示第i个样本的融合特征向量，n表示样本总数；

步骤4：计算变换矩阵A，获取最终特征向量：

定义x表示第一和第二特征向量的拼接的特征向量，A表示变换矩阵；

基于当前选择的各训练样本的特征向量x，得到特征向量矩阵X；

根据

得到特征向量矩阵X的融合特征向量矩阵F_X；

根据公式

计算当前的变换矩阵A；

并将x^TA作为当前识别周期中各训练样本的最终特征向量；

步骤5：训练识别分类器，并基于训练好的行为识别分类器进行用户的行为识别：

基于当前识别周期所对应的变换矩阵A，获取训练样本的最终特征向量，对预设的集成学习分类器进行训练，得到行为识别分类器；

基于行为识别分类器进行行为识别：

提取待识别用户的第一特征向量，以及基于用户的输入获取第二特征向量；拼接第一和第二特征向量，得到待识别用户的特征向量x_c；

将x_c ^TA作为行为识别分类器的输入，基于输出得到待识别用户的的行为类型识别结果；

步骤6：当满足变换矩阵A的更新时间时，对训练数据进行更新处理，再继续执行步骤4和5；

训练数据的更新处理为：

定义x^*表示上一次更新后，新获得的第一和第二特征向量的拼接的特征向量；

根据

得到每个特征向量x^*的融合特征向量f^*，将f^*大于阈值的特征向量x^*作为更新后的训练数据；

对更新前的训练数据，从每个行为类别所包括的训练数据中随机抽取一部分作为更新后的训练数据。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

本发明利用Saito超图学习来高效融合传感器数据与个性因素，超图学习可以更加准确的描述存在多元关联的对象之间的关系，能够更充分地利用不同模态信息间的互补特性达到更好的融合效果，有效提高模型的普适性。

附图说明

图1是本发明的人体行为识别整体框架图；

图2是本发明的基于卷积神经网络的人体行为识别模型结构示意图；

图3是本发明中基于Saito超图学习的多模态传感器信息人体行为识别流程图。其中，绿色线条代表模型的训练过程，黄色线条代表超图学习的变换矩阵更新过程，黑色线条代表行为识别过程。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

本发明的面向可穿戴设备的结合超图和个体差异性的实时的人体行为识别方法，包括数据特征预处理和超图学习两部分。其中，数据特征预处理为：首先对可穿戴设备的原始加速度数据和陀螺仪数据提取时域和频域特征，然后基于卷积神经网络提取深度特征，再进行Z-score标准化处理，再采用主成分分析法减少特征数，减少噪音和冗余。超图学习部分主要是利用Saito超图学习对传感器行为特征和个性因素进行融合，并利用稳定变换矩阵实现实时识别行为状态，同时考虑到传感器信号存在时间差异性，采用了更新稳定变换矩阵的方法。本发明利用Saito超图学习来高效融合传感器数据与个性因素(年龄、体重以及性格因素)，超图学习可以更加准确的描述存在多元关联的对象之间的关系，能够更充分地利用不同模态信息(即多种类型的信息，本申请中，具体指：传感器获取的特征和用户输入的个性特征)间的互补特性达到更好的融合效果，有效提高模型的普适性。

本发明的面向可穿戴设备的结合超图和个体差异性的人体行为识别方法，本具体实施方式中，涉及的人体行为识别包括：站、坐、走路、上楼梯和下楼梯。参见图1和图2，期具体实现步骤如下：

步骤一：对加速度数据和陀螺仪数据提取浅层特征。

数据的采样率为25HZ，并选取2s的数据作为一个样本。

本具体实施方式中，原始数据为六轴，即三轴加速度数据和三轴陀螺仪数据，每轴数据提取19维特征，共提取114个浅层特征。主要提取时域和频域特征，共19维特征，其中时域特征有8维，分别是：均值、方差、标准差、最大值、最小值、过均值点个数、最大值与最小值之差、众数；频域特征有11维，分别是：直流分量、图形的均值、方差、标准差、斜度、峭度，幅度的均值、方差、标准差、斜度、峭度。以三轴加速度为例，在本实施例中，其具体实施过程如下，三轴角速度数据同样也做如下处理。

1)滑动窗口：滑动窗口由窗口大小(Window Size)和滑动步长(Step)两个关键变量构成，当可穿戴设备的传感器的采样频率是fHz时，滑动窗口的大小则设置为2f，步长为f，本实例中数据采样率为25Hz，窗口大小为50；

2)合成加速度：加速度计通常有三轴读数，分别表示三个方向的加速度值，即x轴加速度数据、y轴加速度数据、z轴加速度数据。本发明中，将三轴加速度合成为一个加速度值(合成加速度)，之后的特征提取与分类以合成加速度为初始数据进行计算。这样在确保精度的同时，减少了计算复杂性。

合成加速度的计算公式为

其中，a_i表示合成加速度，

分别表示x轴加速度数据值、y轴加速度数据值、z轴加速度数据值，i∈{1,2,...,n}表示第i条加速度计读数，n表示加速度计读数的数量。

3)时域特征：时域特征(Time domain Features)指的是与时间相关的一些特征。定义n表示窗口内数据的行数，i表示第i行数据，则本具体实施方式中提取的时域特征如下：

3-1：均值mean的计算公式为

3-2：标准差std的计算的公式为

3-3：众数mode，指的是一组数据中，出现次数最多的数，如果有多个众数，取平均作为唯一的众数；

3-4：最大值max指的是一个窗口内的最大值，计算公式为max＝max(a_i),i∈{1,2,...,n},

3-5：最小值min指的是一个窗口内的最小值，计算公式为min＝min(a_i),i∈{1,2,...,n},

3-6：范围range指的是一个窗口内最大值与最小值的差，计算公式为range＝|max-min|,

3-7：过均值点个数above_mean指的是一个窗口内超过均值点的数据个数，计算公式为

其中II(·)是指示函数(Indicator Function)，当括号里条件成立时取值为1，否则取值为0。

4)频域特征：频域特征(Frequency Domain Features)通常被用来发现信号中的一些周期性信息。例如，走路上楼梯和走路都是典型的周期性运动。频域分析主要是利用快速傅里叶变换(Fast Fourier Transform，FFT)计算。本具体实施方式中，提取的频域特征计算如下：

4-1：直流分量(Direct Current,DC)，即傅里叶变换后的第一个分量，是这些信号的均值；

4-2：幅度就是傅里叶变换后数据的绝对值；

4-3：功率谱密度(Power Spectral Density,PSD)，包括：幅度统计特征(如均值、标准差等)和形状统计特征(如形状的均值、形状的标准差等)；

4-3-1：幅度统计特征包括：均值(Mean)、标准差(Standard Deviation)、偏度(Skewness)、峰度(Kurtosis)。定义C(i)表示第i个窗口的频率幅度值，N表示窗口数，则幅度统计特征的计算如下：

均值的计算公式为

标准差的计算公式为

偏度的计算公式为

峰度的计算公式为

4-3-2：形状统计特征主要有均值、标准差、偏度、峰度。定义C(i)表示第i个窗口的频率幅度值，N表示窗口数，则幅度统计特征计算为

均值的计算公式为

标准差的计算公式为

偏度的计算公式为

峰度的计算公式为

步骤二：基于卷积神经网络提取64维深度特征。

本具体实施方式中，行为识别网络模型采用的卷积神经网络模型结构，包括：输入层、卷积层1、池化层1、卷积层2、池化层2、全连接层1、全连接层2、全连接层3和输出层，如图2所示。

1)输入层：将可穿戴设备中采集的原始信号作为数据输入，包括传感器采集的三轴加速度数据和陀螺仪传感器采集的三轴角速度数据，即输入通道(In_channels)为6，如图2所示，输入层波形从上至下依次为：加速度x轴数据、加速度y轴数据、加速度z轴数据，角速度x轴数据、角速度y轴数据、角速度z轴数据。

对于大多数周期性行为(如跑步、走路、走路上楼梯、走路下楼梯)来说，一个行为的时间周期小于2秒，故取2秒的连续数据作为一个数据样本。例如对于数据集的采样率为50赫兹(即每秒50个数据点)，则一个数据输入样本大小为100×6。本具体实施方式中，采集的数据的采样率为25赫兹，则一个数据输入样本大小为50×6。

2)卷积层：卷积神经网络中的卷积层自动学习了庞大数据中抽象的行为特征。其中第一层检测到或提取到的特征通常是行为信号的波形特征，如方差、均值、幅值等比较低层次的局部特征。处于深层次的卷积层可以感知到更深层次、更抽象的特征。这个过程与人类大脑的认知学习机理类似，从低层次到高层次，简单到复杂，甚至到最后抽象阶段。

可将卷积表示公式为

其中，M表示原始信号的输入矩阵，M_ij表示矩阵M的元素，维度m×n为50×6，k表示卷积核，b表示偏置，S表示激活函数，F表示卷积输出的特征矩阵，F_ij表示矩阵F的元素。本实施方式中，卷积时采用的移动步长(stride)为2。对一个输入的特征向量(或输入矩阵)进行卷积运算的时候，卷积核是在输入空间中移动的。本具体实施方式中，采用激活函数ReLU(Rectified Linear Units)作为激活函数应用到卷积层输出的每个特征图上。ReLU的函数表达式为

即将特征图中每个元素与0比较。

3)池化层：卷积层虽然能够明显的减少网络中连接的数目，但特征映射组中的神经元的数目却没有发生显著减少。在后面连接一个分类器，如果分类器的输入维度依然很高的话，就会很容易出现过拟合的问题，为了解决这个问题，在卷积层之后加上一个池化层(Pooling Layer)。

池化层的池化方式可以采用均值池化(Mean Pooling)或最大池化(MaxinumPooling或Max Pooling)。

其中，均值池化是取区域内所有神经元活性值得平均值，其表达式为

其中，F表示上一层卷积层的输出的特征矩阵，S_avg表示均值池化层之后输出的特征图，d表示由神经元组成的神经层的深度，b₁表示偏置。

最大池化是选择区域内所有神经元得最大活性值作为这个区域的表示，其表达式为

S_max表示最大值池化层之后输出的特征图。

4)全连接层：全连接层具有维度变换的作用，可以学习特征之间的非线性组合，使用线性的激活函数ReLU，在多层网络结构下梯度会线性传递。

在全连接层之前，池化层输出的特征矩阵大小为64×11，神经元数目过大，有可能出现过拟合，因此随机删除神经网络中的部分神经元，来解决此问题。

本具体实施方式中，行为识别网络模型设计了三层全连接层。第一层输入特征大小为64×11，输出特征大小为128。将上一层的输入特征作为下一层的输入特征，第二层的输出特征大小为64，即第二层的输出特征数为第一层的一半；第三层的输出大小为行为类别数目。取第三层输出的64维深度特征。即全连接层1～全连接层3的输出的特征图数据的大小逐层变小，全连接层3的输出大小对应行为类别数。然后基于预置的训练样本，对提取深度特征的网络模型进行训练，训练完成后，全连接层2输出的特征图数据作为提取的深度特征。

步骤三：Z-score标准化处理。

在实际采集过程中，真实情况比较复杂，导致设备采集到的数据存在异常值和较多噪音，所以需要对步骤一和步骤二得到的178维特征，进行Z-score标准化处理。

通过浅层特征值和深度特征值的均值和标准差进行数据的标准化，之后获得的数据的均值是0，标准差是1，符合标准正态分布。

采用的转换函数为x'＝(x-μ)/σ,其中，μ为所有样本浅层特征数据的均值，σ为所有样本浅层特征数据的标准差，x表示待转换的数据，x′为转换后的数据。

步骤四：PCA降维。

由于提取特征后，提取的特征中含有冗余特征，对模型的识别性能几乎没有帮助，而且提取的特征种有些可以列为噪声，对模型的性能非但没有帮助，反而会降低模型的性能，于是需要进行特征选择。故为了保证充分利用样本数据，对步骤三得到的标准化后的特征，采用主成分分析法(Principal Component Analysis，PCA)减少特征数，减少噪音和冗余。

PCA通过线性变换将原始n维数据特征映射到k维上(k<n)，这k维数据是全新的正交特征，称为主成分。

本实施方式中，将原始178维特征映射到58维上，实现用更少的特征，来更准确的识别人体行为。具体步骤如下：

1)：将原始数据构成矩阵X：将提取的114个时域和频域特征值以及64个深度特征值作为原始矩阵。

2)：对原始矩阵X进行标准化，使其均值为0。

3)：选取的数据标准化方法为z-score标准化，其计算公式为

其中，x_i表示第i个特征数据，n表示特征数据数量(本实施方式中n＝178)，

表示原始数据的数学期望，s为标准差，y_i为标准化后的值。新的58个主成分特征数据的均值为0，方差为1。

其中，数学期望

标准差

4)：计算协方差矩阵C，把特征按照值由大到小排列，取前58个组成矩阵W。根据

得到PCA降维后的矩阵Y。上标T表示矩阵转置。

步骤五：基于Saito超图学习的特征融合。

参见图3，本发明基于超图学习来对降维后的特征y_i以及个性因素(身高，体重和性格)进行融合。其中，个性因素中的身高和体重基于用于输入的方式获取；而性格因素，则基于预置的有关性格的问答系统获取，即向用户端输出显示一个关于人格的题项表(例如关于大五人格量表的题项表)，基于用户对不同题项的选择结果，该问答系统确定当前用户的性格类型，并连同用户输入的身高和体重一并作为当前用户的个性因素。

超图学习可以更加准确的描述存在多元关联的对象之间的关系，使得超图学习能更高效完成多模态生理信息的信息融合，能够更充分地利用不同模态信息间的互补特性，达到更好的融合效果。其主要有五个部分：超图顶点的构造、超边的构造、构造多模态信息融合超图、基于超图学习的实时行为识别、基于新数据更新稳定变换矩阵。各部分的具体实现如下所示。

1)超图顶点(Vertex)的构造：本发明将一个参与者(Subject)和需要进行行为识别的数据段(步骤4得到的58维特征和年龄、体重、性格等个性因素)视为超图结构的一个多元顶点v_ij(s_i,d_ij)，s_i表示第i个参与者，d_ij表示第i个参与者的第j段需要进行行为识别的数据段(包含该顶点对应的所有模态的数据信息，用特征提取阶段得到的各模态的特征向量表示)；

2)超边(Hyperedge)的构造：在每个模态下，根据各个顶点的特征向量的相关性来构造超边。对于一个模态下的样本点，根据其中一个顶点的特征向量与其它顶点的特征向量的相似性(Similarity)或距离(Distance)来构造超边，形成该模态下的超图。

3)构造多模态信息融合超图：每个模态都构造超边之后，考虑所有模态的超边信息，构造多模态信息融合超图

其中V_m是顶点集，E_m是超边集，W_m是第m个超图的超边权重对角矩阵(m＝1,2,...,M，M为采用的模态的总数)。

4)基于Saito超图学习的特征融合：基于超图学习的多模态数据融合的目标函数为：

其中，Ω是超图结构的正则项，用于控制图上所有顶点之间的位置关系和局部顶点之间位置关系的一致性；在这里，我们采用Saito拉普拉斯(Laplacian)构造，其表达式为：

其中，F表示最终融合结果，即融合特征向量矩阵F＝{f_i},i＝{1,…,n}，f_i表示第i个样本的融合特征向量，n表示样本总数。D_v、D_e分别表示顶点和超边的度矩阵，W表示D_e的对角元素矩阵；Δ表示的是在超图中的对应的拉普拉斯(Laplacian)矩阵。

为了实现实时的特征融合，本发明针对拼接后的特征向量x(降维特征和个性特征)，训练对应的变换矩阵A，将特征向量投影为对应的融合向量，公式为

对于新来数据，则可以在求出各模态的特征向量后利用变换矩阵实现实时的特征融合(即将X^TA作为最终的特征向量)，其中X表示所有训练样本的特征向量所构成的特征向量矩阵。

5)基于新数据更新稳定变换矩阵。

考虑到传感器信号存在时间差异性，即一段时间之后，基于之前的数据特征向量x(简称数据x)训练好的A可能不适用于新的数据，这时候需要对A重新学习。为了学习到更加合适的变换矩阵A，本发明采取的策略是，更新数据x(更新后的记为x′)，利用x′重新获得融合特征矩阵(记为F′)，使得学习到更加合适的A(记为A′)。其中，x′的更新方式是：

重新从之前的数据x与新数据x^*混合后的数据x_l中构建新的训练数据x′，用公式表述为：

x′＝Γ(x_l)，

其中，函数Γ表示选取数据的规则。本实施方式中采用的选取规则Γ为：

1)针对新来的数据x^*类别不均衡的情况，考虑保留部分之前的数据(即从x选取一部分)。在本具体实施方式中，采取每一类随机选取一部分(50％～80％)的数据进行保留。

2)针对新来的数据x^*的选取问题，根据

得到每个特征向量x^*的融合特征向量f^*，然后选取f^*大于阈值τ(阈值范围优选的取值范围为0.8～1.2)的样本。

F′的更新方式是：选取的样本x′对应的F′。

最后，基于x′与F′重新训练代价函数

得到A′。

步骤六：基于集成学习分类器的人体行为识别

针对待分类数据x_c，基于当前已得到的变换矩阵A′获得最终的特征向量，即将

视为融合特征向量f_c；然后采取集成学习分类器来对人体行为进行识别/分类。集成学习通过构建并结合多个学习器来完成学习任务。因为集成学习将多个学习器进行了结合，常可获得比单一学习器显著优越的泛化性能。本发明中，所采用的分类方式为集成学习分类器，常见的集成学习分类器有：Adaboost，随机森林和XGBoost。其中，XGBoost是“极端梯度提升(Xtreme Gradient Boosting)”的简称。XGBoost的基学习器可以是树分类器，也可以是线性分类器。XGBoost所采用到的基分类器是CART(Classification And Regression Tree)回归树模型，因此XGBoost不仅可以用来处理回归问题，还可以用来处理分类问题。其在GBDT(Gradient Boosting Decision Tree)的基础上，在损失函数中添加了正则项，并且还对损失函数进行了二阶泰勒展开，进一步提高了算法的性能。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims

1.面向可穿戴设备的超图特征融合和集成学习的人体行为识别方法，其特征在于，包括下列步骤：

步骤1：基于用户的可穿戴设备采集的传感器数据提取浅层特征和深度特征；将浅层特征和深度特征进行拼接，再进行归一化处理，然后经过降维处理得到第一特征向量；

其中，浅层特征包括时域和频域特征；

深度特征基于卷积神经网络提取得到的特征；

步骤2：基于用户的输入获取第二特征向量，包括：年龄、体重和性格；

将个第一和第二特征向量作为两个模态；

构造多模态信息融合超图

基于Saito超图学习的特征融合，所采用的目标函数为：arg min_FΩ(F)；

步骤4：计算变换矩阵A，获取最终特征向量：

根据

得到特征向量矩阵X的融合特征向量矩阵F_X；

根据公式

计算当前的变换矩阵A；

并将x^TA作为当前识别周期中各训练样本的最终特征向量；

步骤5：训练行为识别分类器，对待识别用户进行行为识别处理：

基于行为识别分类器进行行为识别：

基于当前的变换矩阵A，将x_c ^TA作为行为识别分类器的输入，基于输出得到待识别用户的的行为类型识别结果；

训练数据的更新处理为：

根据

2.如权利要求1所述的方法，其特征在于，浅层特征的时域和频域特征分别为：

时域特征：均值、方差、标准差、最大值、最小值、过均值点个数、最大值与最小值之差、众数；

频域特征：直流分量、图形的均值、方差、标准差、斜度、峭度，幅度的均值、方差、标准差、斜度和峭度。

3.如权利要求1所述的方法，其特征在于，步骤2中，基于用户对预置的性格问答系统的各选择项目的选择结果，性格问答系统生成当前用户所属的性格属性值。

4.如权利要求3所属的方法，其特征在于，用户性格类型包括：开放性、责任感、外倾性、宜人性和精神质性。

5.如权利要求1所述的方法，其特征在于，步骤1中，基于卷积神经网络提取深度特征具体为：

设置提取深度特征的网络模型结构，依次包括：输入层、卷积层1、池化层1、卷积层2、池化层2、全连接层1、全连接层2、全连接层3和输出层；

其中，全连接层1～全连接层3的输出的特征图数据的大小逐层变小，且全连接层3的输出大小对应行为类别数；

基于预置的训练样本，对提取深度特征的网络模型进行训练，训练完成后，全连接层2输出的特征图数据作为提取的深度特征。

6.如权利要求1所述的方法，其特征在于，步骤6中，对应融合特征向量f^*的阈值的取值范围为0.8-1.2。

7.如权利要求1所述的方法，其特征在于，步骤6中，从每个行为类别所包括的训练数据中随机抽取一部分作为更新后的训练数据时，抽取的比例为0.5-0.8。