CN104850225B - 一种基于多层次融合的活动识别方法 - Google Patents

Abstract

本发明公开了一种基于多传感器融合的活动识别方法，包括如下步骤：获取用户在日常活动时的数据，并对得到的数据进行数据成帧处理得到数据帧；数据包括生理数据和运动数据，相应的得到的数据帧包括生理帧和运动帧；对所述的数据帧进行数据级融合、特征级融合和分数级融合，分别得到数据级融合特征矩阵、特征级融合特征矩阵和分数级融合特征矩阵；并根据数据级融合特征矩阵、特征级融合特征矩阵和分数级融合特征矩阵进行活动识别。本发明在信号、特征、分类结果三个不同层次上进行融合，根据不同层次的融合结果进行活动识别，提高了识别的准确率，且随着层次的变化该融合方法具有很好的可扩展性，有利于提高该方法的对应用环境的普适性。

Description

一种基于多层次融合的活动识别方法

技术领域

本发明涉及活动识别领域，具体涉及一种基于多层次融合的活动识别方法。

背景技术

随着移动通信技术的提高以及智能设备的快速更新，普适计算不断发展，越来越多的智能应用出现在各个领域并服务于大众，如饮食监控、儿童监护、技能评估等等。这些应用极大的方便了人们的生活，而想在普适环境中开发实用有效的应用，其中的核心问题便是识别人们的活动，从而为其提供个性化的服务。活动识别主要由采集信号、提取特征和分类活动这三部分组成。

在传统的活动识别中一般使用加速度传感器，提取的特征主要是基于领域知识的时域和频域特征，以进行运动识别。

例如，公开号为102707806A的专利文献公开了一种基于加速度传感器的运动识别方法，属于人机交互技术领域，该方法首先采集传感器的加速度信号，在线的对加速度信号进行平滑处理，并自动的检测运动的起点和终点，分割出运动片段，实现信号的自动分割；为了提高识别准确率，该方法采用Fused隐马尔科夫模型算法作为分类器，在训练阶段对每个已知运动进行建模，并在识别阶段估计出当前信号表示的运动；为了能够在每个运动完成之前给出识别结果，该方法采用一个自回归的预测模型，用已经采集到的已知数据对未知数据进行预测，从而达到提前识别的效果。

然而这些特征的表征能力有限，例如用这些特征进行活动识别需要将加速度传感器固定在特定的位置，当加速度传感器的位置发生偏移时活动识别准确率会明显下降，然而这一问题时有发生。随着传感器技术的发展，作为与活动密切相关的生理信号自然成为了活动识别重要的数据来源。使用生理传感器进行活动识别借鉴了加速度中使用的特征，一般提取心率、呼吸率、呼吸振幅、皮肤温度和皮肤电阻等生理信号的时域特征和频域特征，然而使用传统特征在普适环境下进行活动识别的准确率不理想。

针对单种传感器的活动识别准确率较低的问题，其中的一种解决方法是利用多种传感器进行融合。目前的融合方法主要是对活动识别过程中的某个层次进行单层次的融合，然而对于层次的选择暂时没有明确的理论分析，同时缺少对于多种传感器进行多层次融合的方法。

发明内容

针对现有技术的不足，本发明提供了一种基于多层次融合的活动识别方法。

一种基于多传感器融合的活动识别方法，包括如下步骤：

S1：获取用户设定时间内的活动数据，并对得到的活动数据进行数据成帧处理得到数据帧；

所述的活动数据包括生理数据和运动数据，相应的得到的数据帧包括生理帧和运动帧；

S2：对所述的数据帧进行数据级融合、特征级融合和分数级融合，分别得到数据级融合特征矩阵、特征级融合特征矩阵和分数级融合特征矩阵；

S3：根据数据级融合特征矩阵、特征级融合特征矩阵和分数级融合特征矩阵进行活动识别。

本发明中设定时间根据实际应用情况设定。

本发明的生理数据包括心率、呼吸率、呼吸振幅、皮肤温度和皮肤电阻。

本发明要解决的问题是如何对多种传感器进行多层次的融合，从而提高活动识别的准确率。为了解决上述问题，本发明通过将多种传感器信号(如加速度信号、生理信号等)、多种传感器特征和多种传感器分类结果分别使用数据级融合、特征级融合和分数级融合后的特征再融合进行活动识别。

本发明首先对采集到的数据进行数据级融合特征，然后提取特征进行融合得到特征级融合特征，接着融合多种传感器分类结果得到分数级融合特征，最后将这些特征再融合进行活动识别。

作为优选，所述步骤S1中进行数据过程如下：

将所述的活动数据按照预设的时间间隔分割即得到相应的数据帧。

本发明中的数据多为传感器设备采集传感器信号，传感器信号是一种时序数据。对时序数据直接按照时间间隔进行分割完成数据成帧处理，简单易于实现。

本发明数据成帧时分别对生理数据和运动数据进行处理，具体如下：

将所述的生理数据按照第一时间间隔分割为若干时序数据帧，对应得到的时序数据帧即为生理帧；

将所述的运动数据按照第二时间间隔分割为若干时序数据帧，对应得到的时序数据帧即为运动帧。对运动数据和生理数据进行数据成帧处理时，采用的时间间隔可以相同也可以不同，具体根据实际应用情况设定。

数据级融合包括如下步骤：

(a1)计算生理帧和运动帧的帧长的最小公倍数，将最小公倍数内的生理帧和运动帧依次拼接在一起生成一帧数据级融合帧；

(a2)对各个数据级融合帧进行特征提取，并根据提取结果生成数据级融合特征矩阵。

特征级融合包括如下步骤：

(b1)针对每一个生理帧和运动帧，分别进行特征提取，并以提取结果作为相应的特征帧；

(b2)计算生理帧和运动帧对应的特征帧长的最小公倍数，将该最小公倍数时间内的特征帧依次拼接在一起生成一帧特征级融合帧。

提取结果包括时域特征和频域特征。作为优选，本发明使用机器学习方法进行特征提取。

分数级融合包括如下步骤：

(c1)针对生理帧和运动帧对应的特征帧，分别基于正确标注的特征帧训练单数据活动分类模型，得到相应的分类结果帧；

(c2)计算生理帧和运动帧对应的分类结果帧长的最小公倍数，将该最小公倍数时间内的不同分类结果帧依次拼接在一起生成一帧分数级融合帧；

(c3)将所有分数级融合帧拼接生成分数级融合特征矩阵。

所述步骤S3具体如下：

(3-1)将数据级融合特征矩阵、特征级融合特征矩阵和分数级融合特征矩阵组合得到层次融合矩阵：

(3-2)基于若干个正确标注了活动的层次融合矩阵训练活动分类模型；

(3-3)以待识别活动数据得到的层次融合矩阵作为测试矩阵，将该测试矩阵输入所述的活动分类模型中以进行活动识别。

在训练活动分类模型时，采用的层次融合矩阵训的数量能够影响最终的活动识别的精度，作为优选，本发明中训练时使用的正确标注了活动的层次融合矩阵的数量为1000～2000个。实际应用时，可根据精度进行调整。

本发明针对单传感器活动识别能力较弱，多传感器融合选择层次困难的问题，提出一种新的基于多层次融合的活动识别方法，与现有的方法相比，本发明在信号、特征、分类结果这三个不同层次上进行融合，根据三个不同层次融合的结果进行活动识别，有利于提高该识别方法的准确率，且随着层次的变化该融合方法具有很好的可扩展性，有利于提高该方法的对应用环境的普适性。

附图说明

图1为本实施例的基于多传感器融合的活动识别方法的整体流程图。

具体实施方式

下面将结合附图和具体实施例对本发明进行详细描述。

一种基于多传感器融合的活动识别方法，整体流程图如图1所示，包括如下步骤：

(S1)采集用户在设定时间内的活动数据并进行预处理，用户设定时间内的活动数据包括生理数据和运动数据；

(1-1)本实施例中可采用配有生理传感器和运动传感器的可穿戴式设备或其他智能设备采集得到，相应的数据为可以理解为传感器信号。

从传感器设备中采集传感器信号，传感器信号是一种时序数据，形如TSeq＝<(T₁,t₁),...,(T_n,t_n)>表示从时刻t₁到时刻t_n这段时间内传感器信号随时间变化的一段取值，其是一个矩阵，其中在一维时序数据中T_i是一个实数值，在多维时序数据中T_i是一个实数向量，如在三轴加速度信号中T_i＝(x_i,y_i,z_i)，其中x_i，y_i和z_i分别是某一时刻三轴加速度三个轴上的取值。

本实施例中预处理是实际上是指根据时序对数据进行分帧，分帧时将每个T时间内的数据(即活动数据)作为一个数据帧。且预处理是针对生理数据和运动数据分别进行，相应分帧后得到两种帧，分别为生理帧和运动帧。

(1-2)对采集到的数据进行预处理即数据分帧。

数据成帧即将整段时序数据按照一定的时间间隔t(t＝t_n-t₁)生成时序数据帧，组成时序数据帧序列。

时序数据帧形如TFra＝(T₁,…,T_n,t₁,...,t_n)表示将从时刻t₁到时刻t_n这段时间内的时序数据依次按T值和时间展开，即将时序数据矩阵按列展开排列而组成的向量。时序数据帧序列TSer＝(TFra₁,...,TFra_m)由m帧时序数据帧组成，其是一个m行(a+1)×n列的矩阵，a是T的维数。在机器学习领域，将一个n行m列的矩阵作为输入数据，n表示数据的个数，m表示每个数据所具有的特征个数也称为特征维数，如加速度时序数据帧序列中的每一帧的特征维数是4n。

本实施例中分别对运动数据和生理数据进行数据成帧，其中对运动数据进行预处理得到若干个运动帧，对运动数据分帧时，按照时序，依次以L1时间内的数据作为一个运动帧，即得到的运动帧的帧长为帧长L1。同理，对生理数据进行数据成帧，得到的生理帧的帧长L1。

S2：分别对预处理后的得到的对生理帧和运动帧进行数据级融合和特征级融合分别得到数据级融合特征矩阵和特征级融合特征矩阵，且在特征级融合过程中进一步进行分数级融合得到分数级融合特征矩阵。本实施例中数据级融合包括如下步骤：

(a1)计算不同时序数据帧(运动帧和生理帧)的帧长的最小公倍数L，将L内的不同时序数据帧依次拼接在一起生成一帧数据级融合帧(即融合不同数据帧)，继续拼接直到处理完成生成数据级融合帧序列；

(a2)提取数据级融合特征：

提取各个数据级融合帧序列的时域特征和频域特征，并根据提取的时域特征和频域特征生成数据级融合特征矩阵。

本实施例中针对每一个数据级融合帧序列，使用机器学习方法提取特征，如计算时域特征和频域特征，然后将提取的特征生成数据级融合特征矩阵其中n表示特征维数，k表示特征向量个数。

特征级融合包括如下步骤：

(b1)提取单数据特征：对不同时序数据帧序列中的每一帧使用机器学习方法提取特征，如计算时域特征和频域特征，然后将提取的特征分别生成特征帧序列。

(b2)融合特征：计算不同特征帧长的最小公倍数L'，将L'内的不同特征帧依次拼接在一起生成一帧特征级融合帧，继续拼接直到处理完成生成特征级融合特征矩阵其中m表示特征维数，k表示特征向量个数。

本实施例中在的步骤(b1)得到特征帧序列后，还对得到的特征帧序列进行分数级融合，分数级融合包括如下步骤：

(c1)训练单数据活动分类模型：基于一系列正确标注了活动的不同特征帧序列采用机器学习技术如支持向量机等训练活动分类模型，分别生成分类结果帧序列。

(c2)融合分类结果：计算不同分类结果帧长的最小公倍数L”，将L”内的不同分类结果帧依次拼接在一起生成一帧分数级融合帧，继续拼接直到处理完成生成分数级融合特征矩阵：

其中l表示特征维数，k表示特征向量个数。

S3：根据数据级融合特征矩阵、特征级融合特征矩阵和分数级融合特征矩阵进行活动识别。

(3-1)层次融合：将数据级融合特征矩阵、特征级融合特征矩阵和分数级融合特征矩阵进行层次融合得到层次融合矩阵：

其中r＝n+m+l表示特征维数，k表示特征向量个数。

(3-2)训练活动分类模型：

将层次融合矩阵分为层次融合训练矩阵和层次融合测试矩阵，并基于一系列正确标注了活动的层次融合训练矩阵采用机器学习技术如支持向量机等训练活动分类模型；

(3-3)识别活动：

将需要进行活动识别的层次融合测试矩阵输入活动分类模型中识别出其对应的活动。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于多传感器融合的活动识别方法，其特征在于，包括如下步骤：

S1：获取用户设定时间内的活动数据，并对得到的活动数据进行数据成帧处理得到数据帧；

所述的活动数据包括生理数据和运动数据，相应的得到的数据帧包括生理帧和运动帧；

S2：对所述的数据帧进行数据级融合、特征级融合和分数级融合，分别得到数据级融合特征矩阵、特征级融合特征矩阵和分数级融合特征矩阵；

数据级融合包括如下步骤：

(a1)计算生理帧和运动帧的帧长的最小公倍数，将最小公倍数内的生理帧和运动帧依次拼接在一起生成一帧数据级融合帧；

(a2)对各个数据级融合帧进行特征提取，并根据提取结果生成数据级融合特征矩阵；

特征级融合包括如下步骤：

(b1)针对每一个生理帧和运动帧，分别进行特征提取，并以提取结果作为相应的特征帧；

(b2)计算生理帧和运动帧对应的特征帧长的最小公倍数，将该最小公倍数时间内的特征帧依次拼接在一起生成一帧特征级融合帧；

S3：根据数据级融合特征矩阵、特征级融合特征矩阵和分数级融合特征矩阵进行活动识别；

(3-1)将数据级融合特征矩阵、特征级融合特征矩阵和分数级融合特征矩阵组合得到层次融合矩阵：

(3-2)基于若干个正确标注了活动的层次融合训练矩阵训练活动分类模型；

(3-3)以待识别的活动数据得到的层次融合矩阵作为测试矩阵，将该测试矩阵输入所述的活动分类模型中以进行活动识别。

2.如权利要求1所述的基于多传感器融合的活动识别方法，其特征在于，所述步骤S1中进行数据过程如下：

将所述的活动数据按照预设的时间间隔分割即得到相应的数据帧。

3.如权利要求1所述的基于多传感器融合的活动识别方法，其特征在于，提取结果包括时域特征和频域特征。

4.如权利要求1所述的基于多传感器融合的活动识别方法，其特征在于，分数级融合包括如下步骤：

(c1)针对生理帧和运动帧对应的特征帧，分别基于正确标注的特征帧训练单数据活动分类模型，得到相应的分类结果帧；

(c2)计算生理帧和运动帧对应的分类结果帧长的最小公倍数，将该最小公倍数时间内的不同分类结果帧依次拼接在一起生成一帧分数级融合帧；

(c3)将所有分数级融合帧拼接生成分数级融合特征矩阵。