CN109063722B - 一种基于机会感知的行为识别方法和系统 - Google Patents

Abstract

本发明涉及一种基于机会感知的行为识别方法，包括：模型建立步骤，通过可穿戴传感器采集用户行为的初始数据，对该初始数据进行处理以构建用于识别该用户行为的感知模型；数据感知步骤，通过该可穿戴传感器采集该用户行为的增量数据；数据选择步骤，对该增量数据进行筛选，以从中获取机会数据；机会计算步骤，以该机会数据对该感知模型进行更新。

Description

一种基于机会感知的行为识别方法和系统

技术领域

本发明涉及普适计算、健康监护等领域，具体涉及基于机会感知的行为识别方法和模型。

背景技术

用户行为识别，尤其是可穿戴式行为识别，通过用户穿戴传感设备来感知其行为，是一个极具实际应用价值的研究问题。行为识别可用于监控工业加工流程，保障产品质量；还能够监护用户(特别是老人、残障人士等群体)日常生活，提高其独立健康生活的能力，提升医疗监护的水平；促进新型人机交互设备、运动及娱乐器械的研发，广泛运用于工业生产、健康监护、生活辅助、智能人机交互、运动娱乐等众多领域，对提高企业生产效率、应对老龄化社会和发展体育文化产业等都具有重要的作用。

现有专利针对行为识别主要使用固定模型。专利CN201710703259.6对测试视频每一帧进行重要程度预测，并基于重要程度的高低，对视频帧进行池化编码操作来识别行为。专利CN201711128829.X，使用位移直方图对视频行为进行表征，并利用矩阵余弦相似度的方法来判别行为。专利CN201610139450.8 利用卷积神经网络，对光流图序列提取CNN特征，通过权重优化网络学习权重，并将CNN特征分类网络和人工设计特征分类网络的概率输出进行加权融合，通过对比识别结果得出最优权重，以此得到更可高的行为识别结果。专利CN201410532519.4利用最小相关最大冗余算法和贝叶斯正则化的稀疏多项式逻辑回归算法，对惯性传感器样本集进行特征选择处理；再利用模糊最小二乘支持向量机，获得人体行为的识别结果。专利CN201310439425.8将传感数据通过小波函数变换为小波特征向量；基于小波特征向量进行行为的特征值的抽取，得到行为的特征集；并对其训练得到行为分类器。专利CN201310428353.7 利用训练数据集计算最优投影矩阵，基于该矩阵对无标定数据进行头型，并对投影后的数据采用最小距离分类器分类，获得识别结果。该方法能够保留高维空间中样本之间距离的信息，减少识别模型对人工标注样本的依赖，识别效果优于有代表性的基于线性判别分析的人体行为识别方法。也有一些专利提供了一些自适应方案以实现更高的识别效果。专利CN201710235331.7采用可变大小的动态滑动窗口来处理实时加速度数据流，选择各特征值的平均值及引力作为投票依据，通过投票来进行分类。再通过增量学习过程来动态更新样本特征值，使其逐渐趋向于用户的行为习惯，以实现更好的识别。专利 CN201711061490.6融合视觉和可穿戴传感器的数据，利用深度神经网络进行异构迁移学习实现对缺失数据的重构，然后对利用softmax回归模型分类器进行分类；最后在根据用户个体特性对公共样本数据产生的深度网络模型进行自适应调整。专利CN201610429274.1对不同的行为采用不同的采样率并提取不同的特征，以得到相应人体行为的最佳采样率和子特征组合，进而在维持较高识别精确度的前提下大大减小能量消耗。

然而，对于用户行为识别而言，感知面临着机会性变化，这种不可预期的变化可能源于用户个性化且多变的行为，复杂多变的用户环境，以及多样的感知设备等，使得固有的感知模型难以保持高精度的识别。因此，需要一种可以不断进化的模型，利用感知的机会变化，不断的对模型进行更新，使得模型在变化的情况下仍保持高精度的识别，具有良好的鲁棒性。

发明内容

针对上述问题，本发明提出一种基于机会感知的行为识别方法，包括：模型建立步骤，通过可穿戴传感器采集用户行为的初始数据，对该初始数据进行处理以构建用于识别该用户行为的感知模型；数据感知步骤，通过该可穿戴传感器采集该用户行为的增量数据；数据选择步骤，对该增量数据进行筛选，以从中获取机会数据；机会计算步骤，以该机会数据对该感知模型进行更新；熵评估步骤，设定熵增速率阈值，获取更新后的该感知模型的信息熵，若该信息熵的增加速率大于该熵增速率阈值，则对该机会计算步骤进行反馈调整；反馈调整步骤，调整该机会计算步骤的模型参数。

本发明所述的行为识别方法，其中所述数据选择步骤具体包括：异常点检测步骤，使用基于KNNDD方法，将该增量数据中待检测数据点的局部密度和与其相邻的多个邻居数据点的局部密度进行比较，若该待检测数据点的的局部密度小于该多个邻居数据点的局部密度，则该待检测数据点为异常点；遍历该增量数据以获取多个该异常点；异常点聚类步骤，使用基于模糊聚类 F-ISODATA方法，将所有该异常点聚类成簇，并使得每一簇会以预设概率判属于多个用户行为之一的类别；机会数据判别步骤，设定选取阈值，并将该簇所包含的增量数据通过该感知模型获取预测结果，若该预测结果小于该选取阈值，则以该簇所包含的增量数据为该机会数据；反之则将其丢弃。

本发明所述的行为识别方法，其中所述机会计算步骤采用基于单隐层前馈神经网络超限学习机的动态可调网络对该感知模型进行更新。

本发明所述的行为识别方法，其中所述熵评估步骤具体包括：以更新前的该感知模型的信息熵为H_(n-1)，以更新后的该感知模型的信息熵为H_(n)，则经过 k次更新的该感知模型的信息熵为

若信息熵H_(k)的增加速率小于或等于该熵增速率阈值，则表示经过k次更新的该感知模型的性能得到保持，反之则对该机会计算步骤进行反馈调整；其中0＜n≤k，n、k为正整数，

为用户行为类别，

为对应该用户行为类别的识别概率。

本发明还涉及一种基于机会感知的行为识别系统，包括：模型建立模块，用于建立用户行为的感知模型；其中通过可穿戴传感器采集该用户行为的初始数据，对该初始数据进行处理以构建该感知模型；数据感知模块，用于通过该可穿戴传感器采集该用户行为的增量数据；数据选择模块，用于对该增量数据进行筛选，以从中获取机会数据；机会计算模块，用于以该机会数据对该感知模型进行更新；熵评估模块，用于获取更新后的该感知模型的信息熵，以对该感知模型进行熵评估；设定熵增速率阈值，获取更新后的该感知模型的信息熵，若该信息熵的增加速率大于该熵增速率阈值，则对该机会计算模块进行反馈调整；反馈调整模块，用于调整该机会计算模块的模型参数。

本发明所述的行为识别系统，其中所述数据选择模块具体包括：异常点检测模块，用于检测该增量数据中的异常点；其中使用基于KNNDD方法，将该增量数据中待检测数据点的局部密度和与其相邻的多个邻居数据点的局部密度进行比较，若该待检测数据点的的局部密度小于该多个邻居数据点的局部密度，则该待检测数据点为异常点；遍历该增量数据以获取多个该异常点；异常点聚类模块，用于将所有该异常点聚类成簇，并会使得每一簇以预设概率判属于多个用户行为之一的类别；机会数据判别模块，用于在异常点中选取机会数据；其中设定选取阈值，并将该簇所包含的增量数据通过该感知模型获取预测结果，若该预测结果小于该选取阈值，则以该簇所包含的增量数据为该机会数据；反之则将其丢弃。

本发明所述的行为识别系统，其中所述机会计算模块采用基于单隐层前馈神经网络超限学习机的动态可调网络对该感知模型进行更新。

本发明所述的行为识别系统，其中所述熵评估模块具体包括：设定熵增速率阈值，以更新前的该感知模型的信息熵为H_(n-1)，以更新后的该感知模型的信息熵为H_(n)，则经过k次更新的该感知模型的信息熵为

若信息熵H_(k)的增加速率小于或等于该熵增速率阈值，则表示经过k次更新的该感知模型的性能得到保持，反之则对该机会计算步骤进行反馈调整；其中0＜n≤k，n、k为正整数，

为用户行为类别，

为对应该用户行为类别的识别概率。

本发明提供一种可以不断进化的感知模型，利用数据选择、机会计算和熵评估，使得模型的感知能力得到提升，即在不可预测的复杂变化下保证行为识别的精度。

附图说明

图1是本发明的一种基于机会感知的行为识别系统示意图。

图2是本发明的一种基于机会感知的行为识别方法数据选择步骤流程图。

图3是本发明的一种基于机会感知的行为识别方法机会计算步骤网络示意图。

图4是本发明识别结果精确率混淆矩阵示意图。

图5是本发明识别结果召回率混淆矩阵示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明提出的基于机会感知的行为识别方法和系统进一步详细说明。应当理解，此处所描述的具体实施方法仅仅用以解释本发明，并不用于限定本发明。

本发明提供的基于机会感知的行为识别方法和系统，利用机会性变化，对感知模型进行自适应更新，使得更新的模型在不确定的变化下仍能保持较高的精度。

图1是本发明的一种基于机会感知的行为识别系统示意图。如图1所示，本发明的行为识别系统一共包含6个部分：模型构建模块，数据感知模块，数据选择模块，机会计算模块、熵评估模块，和反馈调整模块。各模块功能如下：

模型构建模块：感知用户可穿戴设备上的初始传感器数据以构建识别用户行为的感知模型。

数据感知模块：感知用户可穿戴设备上的传感器数据，主要包括：加速度计数据，陀螺仪数据、磁力计数据等。并对感知的数据进行预处理，主要使用滑动窗口的方法提取时域、频域等特征。

数据选择模块：该模块主要针对新增的感知数据(也就是增量数据)。首先对数据进行异常检测。当检测出的异常数据足够多时，使用模糊聚类的方法判断出可能出现的新类别的数目。再使用数据选择方法，如果新增感知数据属于已知类别，则通过较大阈值选择出需要学习的数据；如果新增数据属于新发现类别，则通过较小阈值选择出需要学习的数据。通过这种方式选取数据既可以降低计算量，又可以保证模型学习的能力。

机会计算模块：该本模块是整个系统的重要部分，主要负责基于感知到的机会数据对已有的网络模型进行调整。当数据的表征(特征)维度变化时，对网络的输入层到隐藏层连接进行调整；当发现新的行为类别时，对输出层节点进行调整；当个性化数据导致数据分布发生变化时，对模型的约束权值进行调整。通过这样的自适应调整，可以使模型具备不断进化的能力，更好地利用机会变化提升模型性能。

熵评估模块：本模块主要负责对更新后模型的性能进行评估。基于信息熵这个评价指标，评价模型更新后的性能是否得到提升。信息熵变小，或者基本保持稳定则表明更新后的模型性能得到提升。

反馈调整模块：将熵评估结果反馈给感知计算模块，在熵评估指标显著增加的情况下调整机会计算模块。

本发明利用可穿戴设备感知到的信号，建立感知模型识别用户的行为。当用户所处环境发生变化，感知数据的表征形式发生变化，以及用户个性化行为发生变化时，利用感知的新的增量数据对模型进行更新。具体介绍数据选择、机会计算和熵评估模块，方法如下：

数据选择：图2是本发明的一种基于机会感知的行为识别方法数据选择步骤流程图。如图2所示，数据选择步骤包括：

步骤S31，当非标定增量数据到来时，为了检测是否新行为出现。首先使用基于KNNDD方法(KNearest Neighbor Data Description,KNNDD)的异常点检测。该方法原理是判断待检测数据局部密度与K个邻居的局部密度的关系，如果待检测点局部数据密度小于K个邻居数据点的局部密度，则将其判断为异常点。

步骤S32，在检测出的异常点足够多时，则使用基于模糊的聚类方法 (F-ISODATA)，将异常点聚类成簇，使得每簇以一定的概率判属于不同的类别，例如存在三个类别，分别是静止、步行、小跑，则使每簇分别以30％、40％、 30％的概率可能会判属于静止、步行、小跑三种用户行为类别。

步骤S33基于阈值法，如果增量数据经过模型得到的预测结果大于选取阈值，则丢弃这个部分数据，反之选择出这部分数据，作为机会计算的输入。

机会计算：图3是本发明的一种基于机会感知的行为识别方法机会计算步骤网络示意图。如图3所示，机会计算步骤包括一个基于单隐层前馈神经网络超限学习机(ExtremeLearning Machine，ELM)的动态可调整网络，具有计算速度快、泛化能力强的特点。对于具有L个隐藏节点的该网络，给定N₀个初始数据

其中x_i＝[x_i1，x_i2，……，x_in]，t_i＝[t_i1，t_i2，……，t_im]，n 是输入向量特征维度，m为输出向量维度，也就是行为类别数目，网络的输出可以表示为：

其中，a_i＝[a_i1,a_i2,…,a_in]是连接第i个隐节点和输入节点的权值向量，b_i是第i个隐节点的偏置值，G(a_i,b_i,x)是第i个隐节点的输出结果,β_i＝[β_i1,β_i2,…,β_im] 是连接第i个隐节点和输出节点的权值向量，也是整个网络需要学习的参数。假设隐藏层神经元的激励函数为，那么g(x)第i个隐节点计算得到的输出为： G(a_i,b_i,x)＝g(a_i·x+b_i)。以矩阵的形式可以表述为：

Hβ＝T (2)

其中，

H表示隐藏层输出矩阵，β表示为输出权值矩阵，T代表输出类别矩阵。相比于传统的单隐层神经网络学习方法，超限学习机对输入权值矩阵和偏置进行随机赋值，在其他参数固定的情况下求解网络输出权值矩阵。使用最小二乘方法对上式进行求解，则解可以表示为：

其中，

代表矩阵的Moore–Penrose广义逆。上述的结果既保证了输出结果与预期结果之间的误差最小，也保证了输出权值矩阵的范数最小。

当有增量数据到来时，根据数据选择的结果得到可以作为网络输入的数据。如果选择出来的N₁个增量数据比已有的m个行为类别多出m’个行为类别，则增量数据的类别标签T₁比T₀多m’列，可以表示为：

M是个转换矩阵，使得T₀和T₁保持相同的维度。在此情况下，新的网络参数可以表示为：

其中，

在判断行为类别是否发生变化后，判断行为数据的输入表征维度是否变化。假设增量数据的输入维度n'与原有数据的输入特征维度n不同。则网络计算的变化主要体现在隐层输出矩阵，与初始数据的隐层输出矩阵对比：

其中：

即a'_i和a_i的关系可以表示为：

其中矩阵P和Q为转换矩阵：

由此，在判断了数据的输入表征和输出类别是否发生改变后，网络参数与公式(5)形式一致，只是H1的计算按照公式(7)的方式。同理，经过(k+1) 次机会感知后，网络的参数可以表示为：

参数可以简化表示为β^(k+1)＝β^(k)M+Δβ(x^*)。其中Δβ(x*)体现了新增机会感知数据对模型的更新，为了达到最优更新，引入权值约束：

熵评估：使用信息熵作为感知模型的评价指标。假设当前感知模型的熵为 H₍₀₎，经过一个机会感知更新后模型熵为H₍₁₎。如果H₍₀₎-H₍₀₎＜0，说明机会更新引入了有效信息，降低了感知模型的不确定性。经过k次机会计算后，行为类别可以表示为

对应的识别概率为

则感知模型的熵可以表示为：

熵不显著增加，则表示模型性能得到保持。

在公开数据集上验证机会感知模型的感知能力。使用2012 HASC(Human ActivitySensing Consortium)挑战赛数据集。该数据集使用三轴加速度计和陀螺仪获取了6种行为：静止，行走，慢走，上楼、下楼和跳跃，共31884个样本。使用滑动窗口方法对样本进行处理，窗口大小50，步长25。将三轴数据合成，分别对加速度数据和陀螺仪数据提取14维特征，总共28维特征。使其中的70％的数据作为训练数据(包括初始训练数据和增量数据)，剩下的作为测试数据。需要说明的是初始训练数据只有加速度数据获取的14维特征和4 种行为类别；增量数据含有全部的28维特征和6种行为。由于使用不同用户的数据，数据分布还存在一定的差异。图4是本发明的一种基于机会感知的行为识别方法识别结果精确率混淆矩阵示意图。如5是本发明的一种基于机会感知的行为识别方法识别结果召回率混淆矩阵示意图。经过建立初始模型，识别四种行为的精度为76.46％。经过机会变化，使用本专利的发明方法，行为识别结果的精确率(Precision)和召回率(Recall)对应的混淆矩阵如图4和图5 所示。实验结果表明，该方法在面对不确定的机会变化情况下，可以实现76.5％的精度，保持较高的精度率和召回率。

此外，该方法在不同情况下的熵如表1所示。随着机会性变化，模型的熵并没有显著增加，可以保持较好的识别性能。

表1感知模型的信息熵。

Claims (8)

1.一种基于机会感知的行为识别方法，其特征在于，包括：

模型建立步骤，通过可穿戴传感器采集用户行为的初始数据，对该初始数据进行处理以构建用于识别该用户行为的感知模型；

数据感知步骤，通过该可穿戴传感器采集该用户行为的增量数据；

数据选择步骤，使用基于K近邻数据描述的异常点检测方法，将该增量数据中待检测数据点的局部密度和与其相邻的多个邻居数据点的局部密度进行比较，若该待检测数据点的的局部密度小于该多个邻居数据点的局部密度，则以该待检测数据点为异常点，遍历该增量数据以获取多个异常点；使用基于模糊的聚类方法，将所有异常点聚类成簇，并根据预设的概率对每一簇进行用户行为类别的标识，该用户行为类别包括已知类别和新增类别；设定选取阈值，将该簇所包含的增量数据通过该感知模型获取预测结果，若该预测结果小于该选取阈值，则以该簇所包含的增量数据作 为机会数据，反之则将其丢弃；

机会计算步骤，以该机会数据对该感知模型进行更新。

2.如权利要求1所述的行为识别方法，其特征在于，还包括：

熵评估步骤，设定熵增速率阈值，获取更新后的该感知模型的信息熵，若该信息熵的增加速率大于该熵增速率阈值，则对该机会计算步骤进行反馈调整；

反馈调整步骤，调整该机会计算步骤的模型参数。

3.如权利要求1所述的行为识别方法，其特征在于，所述机会计算步骤采用基于单隐层前馈神经网络超限学习机的动态可调网络对该感知模型进行更新。

4.如权利要求2所述的行为识别方法，其特征在于，所述熵评估步骤具体包括：

以更新前的该感知模型的信息熵为H_(n-1)，以更新后的该感知模型的信息熵为H_(n)，则经过k次更新的该感知模型的信息熵为

若信息熵H_(k)的增加速率小于或等于该熵增速率阈值，则表示经过k次更新的该感知模型的性能得到保持，反之则对该机会计算步骤进行反馈调整；其中0＜n≤k，n、k为正整数，

为用户行为类别，

为对应该用户行为类别的识别概率。

5.一种基于机会感知的行为识别系统，其特征在于，包括：

模型建立模块，用于建立用户行为的感知模型；其中通过可穿戴传感器采集该用户行为的初始数据，对该初始数据进行处理以构建该感知模型；

数据感知模块，用于通过该可穿戴传感器采集该用户行为的增量数据；

数据选择模块，用于对该增量数据进行筛选，以从中获取机会数据；具体包括：异常点检测模块，用于使用基于K近邻数据描述方法，将该增量数据中待检测数据点的局部密度和与其相邻的多个邻居数据点的局部密度进行比较，若该待检测数据点的的局部密度小于该多个邻居数据点的局部密度，则该待检测数据点为异常点，遍历该增量数据以获取多个该异常点；异常点聚类模块，用于将所有该异常点聚类成簇，并根据预设的概率对每一簇进行用户行为类别的标识，该用户行为类别包括已知类别和新增类别；机会数据判别模块，用于将该簇所包含的增量数据通过该感知模型获取预测结果，若该预测结果小于预设的选取阈值，则以该簇所包含的增量数据为该机会数据，反之则将其丢弃；

机会计算模块，用于以该机会数据对该感知模型进行更新。

6.如权利要求5所述的行为识别系统，其特征在于，还包括：

熵评估模块，用于获取更新后的该感知模型的信息熵，以对该感知模型进行熵评估；设定熵增速率阈值，获取更新后的该感知模型的信息熵，若该信息熵的增加速率大于该熵增速率阈值，则对该机会计算模块进行反馈调整；

反馈调整模块，用于调整该机会计算模块的模型参数。

7.如权利要求5所述的行为识别系统，其特征在于，所述机会计算模块采用基于单隐层前馈神经网络超限学习机的动态可调网络对该感知模型进行更新。

8.如权利要求6所述的行为识别系统，其特征在于，所述熵评估模块具体包括：设定熵增速率阈值，以更新前的该感知模型的信息熵为H_(n-1)，以更新后的该感知模型的信息熵为H_(n)，则经过k次更新的该感知模型的信息熵为

若信息熵H_(k)的增加速率小于或等于该熵增速率阈值，则表示经过k次更新的该感知模型的性能得到保持，反之则对该机会计算步骤进行反馈调整；其中0＜n≤k，n、k为正整数，

为用户行为类别，

为对应该用户行为类别的识别概率。

Images