CN103970271A - 融合运动和生理传感数据的日常活动识别方法 - Google Patents

Abstract

本发明公开了一种融合运动和生理传感数据的日常活动识别方法。该方法首先利用智能手机和可穿戴式生理传感设备采集运动传感数据和生理传感数据。然后，分别提取时域、频域的统计特征以及非线性特征，并通过序列浮动前向选择方法进行特征选择。通过支持向量机和混合高斯模型分别训练运动传感数据和生理传感数据的活动识别子模型。最后，通过分数级融合方法将子模型进行加权整合，得到最终的日常活动分类模型。本发明融合运动传感数据和生理传感数据，能提高日常活动识别的准确率，在智慧家庭、医疗保健、老年人辅助等领域具有广阔的应用前景。

Description

融合运动和生理传感数据的日常活动识别方法

技术领域

本发明涉及模式识别和普适计算领域，具体涉及一种融合运动和生理传感数据的日常活动识别方法。

背景技术

随着智能手机和可穿戴式传感器的发展，位置、加速度、角速度、朝向等运动数据以及心电、呼吸、体温等生理传感数据的获取变得日益便捷，如何利用这些数据和信号进行日常活动识别成为了业界关注的焦点，相应技术在智慧家庭、医疗保健、老年人辅助等领域具有广阔的应用前景。

现有活动识别方法一般仅基于加速度传感数据识别与运动有关的活动，如站立、坐、走路、跑步、骑车等。

公开号为102707806A的专利文献公开了一种基于加速度传感器的运动识别方法，属于人机交互技术领域，该方法首先采集传感器的加速度信号，在线的对加速度信号进行平滑处理，并自动的检测运动的起点和终点，分割出运动片段，实现信号的自动分割；为了提高识别准确率，该方法采用Fused隐马尔科夫模型算法作为分类器，在训练阶段对每个已知运动进行建模，并在识别阶段估计出当前信号表示的运动；为了能够在每个运动完成之前给出识别结果，该方法采用一个自回归的预测模型，用已经采集到的已知数据对未知数据进行预测，从而达到提前识别的效果。本发明的特点是通过少量传感器捕捉人体运动，并快速准确的识别出当前人体的运动类别。

然而，在日常生活中，同一运动可对应多种活动，如坐着可以是在工作、学习、开会、看电视、吃饭等，现有基于加速度数据的活动识别方法不能有效分辨这些活动。基于可穿戴式传感设备，目前出现了基于生理传感数据的活动识别方法，能识别与生理传感数据存在相关性的活动，如睡觉、健身等，但其仅能覆盖日常生活中的小部分活动。为进一步提高活动识别的性能，目前也出现了融合运动数据（如加速度）和生理传感数据的活动识别方法，在特征层面对运动数据和生理传感数据进行融合。但由于运动数据和生理传感数据特性不同，运动数据主要体现瞬态变化，而生理传感数据变化速度相对缓慢，加之日常活动种类繁多，特征级融合不能有效整合特性不同的两类特征进行日常活动识别。

发明内容

本发明要解决的问题是如何有效融合运动数据（如位置、加速度、角速度等）和生理传感数据（如心电、呼吸、心跳等）对日常活动进行准确识别。针对运动数据与生理传感数据在信号级与特征级难以有效融合的问题，本发明方法将运动数据与生理传感数据分别进行特征提取，然后对提取的特征使用顺序向前浮动搜索策略作特征选择，接着对得到的特征向量分别通过生成模型中的高斯混合模型与判别模型中的支持向量机建立分类子模型，最后，采用分数级融合的方法将这些分类子模型的决策融合并输出最终的决策。

一种融合运动和生理传感数据的日常活动识别方法，包括：

步骤1，采用穿戴式生理传感设备以及智能设备采集用户在日常活动时的数据，并将数据进行预处理，其中数据包括生理传感数据以及运动数据；

步骤2，对预处理后的数据提取所需要的若干特征向量；

步骤3，将特征向量输入识别模型中对应的识别子模型进行活动判别，各个识别子模型输出概率向量；

步骤4，将每个概率向量转换为具有活动类别的识别子模型向量；

步骤5，将所有识别子模型向量输入经过识别模型中的融合模型，得到最终的活动识别结果。

由于识别模型是预先训练好的，在识别模型的模型训练过程中，特征向量经过选择，因此，在步骤2中提取所需要的特征向量只需提取模型训练时经过选择的特征向量。

识别模型的训练方法为：

a)利用穿戴式生理传感设备收集生理传感数据，利用智能设备收集运动数据；

b）对各项数据进行预处理；

c）根据预处理后的数据提取特征向量；

d）从提取的特征向量中进行选择，得到目标特征集；

e）利用目标特征集中的特征向量训练出对应的识别子模型，得到对应的概率向量；

f）根据概率向量构建对应的识别子模型向量；

g）利用步骤f）所得的全部识别子模型向量获取融合模型。

每一项日常活动包含多个种类的生理传感数据以及运动数据，例如，生理传感数据包括心电以及呼吸数据，运动数据包括加速度以及角速度。因此对于每项运动提取得到多个特征向量。

步骤a）具体方法为：

步骤a-1，使用穿戴式生理传感设备来记录日常活动时的各类生理传感数据，同时使用智能设备记录日常活动时的各类运动数据，对于每一项日常活动，通过智能设备手动标注当前的活动类型；

步骤a-2，对收集的生理传感数据和运动数据按照活动类型的标注进行分割。

其中采集数据时，用户将穿戴式生理传感设备穿戴上，并且将智能设备（例如智能手机）放置于待测位置，在进行日常活动例如跑步开始前，用户手动在智能设备上手动输入跑步，并进行跑步，此时穿戴式生理传感设备和智能设备实施采集对应的数据，在运动完后再进行标注，得到该项日常活动的起止时间点。在进行分割时，按照所标注的活动类型的起止点时间将各个数据进行分割。

对记录的生理传感数据和运动数据进行数据预处理的方法包括：

对运动数据进行异常点检测，并对其中的异常点进行插值处理；

对记录的生理传感数据进行异位检测与替换，并进行趋势消除；

将预处理后的运动数据与生理传感数据按时间对齐，并以相同大小的时间窗口分割运动数据和生理传感数据。

对运动数据以及生理传感数据按时间对齐并进行分割之后，各个日常活动所采集的运动数据与其生理传感数据相对应。

步骤c中，每一项运动数据以及与其时间对齐的生理传感数据所构建的特征向量包括：时域特征、频域特征，以及根据时序信号特点所提取的非线性结构特征。

对运动传感数据提取常用的时域、频域特征，生理传感数据则根据自身特点（如心电数据适合做心率变异性分析），提取不同的时域、频域特征，构建特征向量。

运动数据提取时域和频域特征为常用统计学数据（例如加速度、角速度等）的时域特征、频域特征。时域特征包括均值、方差、标准差、中位数、最小值、最大值、四分位距、平均绝对偏差、根均方，频域特征包括能量、熵、离散傅里叶变换系数。

生理传感数据相对于运动传感数据变化过程较慢，而且不同的生理传感数据有不同的特点，因此本方法对每类生理传感数据提取不同的特征：对于心率、呼吸率、呼吸振幅、呼吸间隔、体温等生理传感数据，提取基本均值、方差、标准差、中位数等统计学时域和频域特征，对呼吸波形、心电等生理传感数据，提取相对复杂的一些特征，如对心电数据进行心率变异性分析所得的各项指标（如LF、HF等）作为特征值。

步骤d）的具体方式如下：

步骤d-1，输入所有特征向量作为候选特征集，并输入期望选择出的特征向量数目；

步骤d-2，对于每项运动数据或者每项生理传感数据，从候选特征集选择对应的特征向量加入到目标特征集中，构成新的目标特征集，选出使得目标准则函数最大的特征向量集合；

步骤d-3，通过顺序向后搜索子算法从目标特征集顺序移除一个特征向量，构成新的目标特征集，再次选出使得目标准则函数最大的特征向量集合；

步骤d-4，重复步骤d-2和d-3，在目标特征集中的特征向量数目达到要求或重复次数达到上限时结束，得到目标特征集。

例如，作为优选，采用目标特征集的信息增益作为目标准则函数。

在步骤d-2中，采用序列浮动前向选择方法进行特征向量的选择。

该算法复杂度低、运行速度快、效率高。

步骤e方法为：根据每项运动数据和每项生理传感数据的特征向量，使用支持向量机以及高斯混合模型构建对应的识别子模型。

步骤f-1，对于该项日常活动的每个特征向量，对应的识别子模型输出对应的概率向量pv=[p₁p₂…p_n]^T，

步骤f-2，将所有识别子模型的概率向量组成概率矩阵，表示为：

其中，k表示总的识别子模型数目，n表示总的活动类别数目；

将概率矩阵再转化为如下表示形式：

PM_n×k=[vc₁vc₂…vc_n]^T

其中，vc_i是概率矩阵的行向量(i=1,…,n)，每个vc_i对应第i个类别标签li，得到第j项日常活动对应的识别子模型向量 ${\mathrm{SV}}_j=\left[\begin{array}{cc}{\mathrm{vc}}_1& l1\\ .& .\\ .& .\\ .& .\\ {\mathrm{vc}}_n& \ln \end{array}\right],$ 其中j=1,…,m，m表示日常活动项数。

在训练过程中，每种日常活动进行多次，对于同一活动类型，每进行一次日常活动，均作为一项日常活动。所得到的识别子模型向量为带有活动类别的向量。

融合模型的训练方法为：

步骤g-1，输入所有识别子模型向量；

步骤g-2，根据所有识别子模型向量训练逻辑回归模型；

步骤g-3，训练得到融合模型的参数，完成融合模型的训练。

逻辑回归模型的数据就是融合模型的参数。

本发明的优点包括：

1)先针对不同的特征集训练若干识别子模型，然后再进行分数级融合，解决不同传感器数据类型不兼容的问题，能充分整合运动数据和生理传感数据对活动识别的表征能力；

2)建立的模型能够有效识别类型丰富的日常活动，实用性高，普适性好。

附图说明

图1为本发明一个实施例的识别方法流程图；

图2为本发明当前实施例所采用的数据获取平台架构；

图3为本发明当前实施例数据预处理流程图；

图4为本发明当前实施例特征选择流程图；

图5为本发明当前实施例识别子模型训练流程图；

图6为本发明当前实施例构建子模型向量流程图。

具体实施方式

本发明提出了融合运动和生理传感数据的日常活动识别方法，流程如图1所示，本发明当前实施例中日常活动识别方法如下：

本发明分为两个部分：模型训练部分和活动识别部分。

活动识别部分主要是对运动和生理传感数据进行采集，特征处理以及根据模型进行活动识别。活动识别的步骤包括数据收集、数据预处理、特征提取、根据子模型识别活动、构建子模型向量、根据融合模型融合子模型向量六个步骤，其中数据收集、数据预处理以及构建子模型向量三个步骤和模型训练模块一致。

本发明当前实施例的识别方法如下：

步骤1，采用穿戴式生理传感设备以及智能设备采集用户在日常活动时的数据，并将数据进行预处理，其中数据包括生理传感数据以及运动数据。

步骤2，对预处理后的数据提取所需要的若干特征向量。由于特征向量是在模型训练中经过选择的，因此在识别阶段的特征提取只需提取模型训练模块中已特征选择选择出来的特征即可。

步骤3，利用经过模型训练的识别子模型对特征向量进行活动判别，得到活动子模型输出结果。

在得到运动和生理传感数据的特征向量之后，使用训练好的识别子模型进行活动判别，即可得到识别子模型输出结果。

其中识别子模型通过模型训练得到。

模型训练模块用于对运动和生理传感数据进行采集，并进行特征处理与模型训练，可以分为数据收集、数据预处理、特征提取、特征选择、训练识别子模型、构建子模型向量、训练融合模型七个步骤。每个步骤的具体内容如下：

步骤a）具体方法为：

步骤a-1，使用穿戴式生理传感设备来记录日常活动时的各类生理传感数据，同时使用智能设备记录日常活动时的各类运动数据，对于每一项日常活动，通过智能设备手动标注当前的活动类型；

图2为数据获取平台的架构图。在记录传感器信号数据的过程中，用户只需佩戴可穿戴生理传感设备及智能手机。目前，智能手机一般都配置了加速度传感器、陀螺仪等运动传感设备。本方法中，智能手机放置在用户裤子口袋中，其内置的加速度传感器主要用来获取用户在日常活动中腿部运动的三轴加速度，其内置的陀螺仪主要用来获取手机单位时间内的转动方向信息。可穿戴的胸带式生理传感设备主要用于获取用户的各项生理指标，比如心率、心电、心跳间隔、呼吸率、呼吸幅度、呼吸波形、呼吸间隔、皮肤温度等。此外，其内配置加速度传感器，可用来获取用户的躯干运动的三轴加速度，以及躯干与地面所呈的倾角。

生理传感设备录制各项生理传感数据后，智能手机通过蓝牙接收这些生理传感数据，同时录制腿部运动的三轴加速度值、角速度值等。

每次进行一项活动时，通过智能手机手动标注当前的活动类型。基于智能手机开发的程序用来记录用户的标注行为。

智能手机打包所收集的数据，通过移动网络发送到服务器端，同时在本地保留数据备份文件。

步骤a-2，对收集的生理传感数据和运动数据按照活动类型的标注进行分割。数据收集完成后，进入步骤b)，对数据进行预处理。

如图3所示，数据预处理的主要步骤包括：

对运动数据进行异常点检测，并对其中的无效值进行插值处理。

对记录的生理传感数据进行异位检测与替换，并进行趋势消除。

对分割的运动数据与生理传感数据按时间对齐，并以相同大小的时间窗口分割数据。

生理传感数据不同于智能手机传感器的运动数据，其本身的预处理也与生理传感数据的类型有关，生理传感数据的预处理一般有异位检测与替换、信号趋势消除等。

c）特征提取阶段步骤包括：

步骤c-1，对运动数据提取常用的时域特征和频域特征，根据生理传感数据的自身特点（如心电数据适合做心率变异性分析），提取不同的时域特征和频域特征，构建特征向量。

步骤c-2，针对运动传感与生理传感数据的时序信号特点，提取其非线性的结构特征，并构建特征向量。

为了更好地抽取各种特征，本方法将采样的时序信号滑动时间窗口的步进率设定为不超过其窗口长度的1/2，并通过测试选取分类效果最好的时间窗口。根据运动数据和各类生理传感数据的不同特点，在每一个时间窗口内分别为其提取不同的特征,具体过程如下：

提取运动数据（加速度，角速度等）的常用统计学的时域、频域特征。时域特征包括均值、方差、标准差、中位数、最小值、最大值、四分位距、平均绝对偏差、根均方。频域特征包括能量、熵、离散傅里叶变换系数。

生理传感数据相对于运动数据变化过程较慢，而且不同的生理传感数据有不同的特点，因此本方法对每类生理传感数据提取不同的特征：对于心率、呼吸率、呼吸振幅、呼吸间隔、体温等生理传感数据，提取基本均值、方差、标准差、中位数等统计学时域特征，对呼吸波形、心电等生理传感数据，提取相对复杂的一些特征，如对心电数据进行心率变异性分析所得的各项指标（如LF、HF等）作为特征值。

在特征选择时，本发明当前实施例使用序列浮动前向选择方法进行特征选择。特征选择的流程如图4所示。

d）从提取的特征向量中进行选择，所选择的特征向量构成目标特征集。

本发明当前实施例在特征选择时使用序列浮动前向选择方法进行特征选择。特征选择的流程如图4所示。

特征选择阶段的主要步骤如下：

步骤d-1，分别输入构建完成的运动数据和生理传感数据的特征向量和期望选择出的特征数目。

步骤d-2，通过顺序向前搜索子算法从候选特征集顺序选出一个特征加入到目标特征集中，构成新的目标特征集，选出使得目标准则函数最大的特征集合作为该步骤的搜索结果。

本发明当前实施例采用信息增益作为选择过程中的目标准则函数。将特征Fi前后类别L信息熵的变化作为L的信息增益，表示为：

Gain(L|Fi)=H(L)-H(L|F_i) (1)

其中H表示信息熵，H(L|F_i)表示类别L对选用特征F_i的条件信息熵。

步骤d-3，通过顺序向后搜索子算法从目标特征集顺序移除一个特征，构成新的目标特征集，再次选出使得目标准则函数最优的特征集合作为该步骤的搜索结果。

步骤d-4，重复步骤d-2和d-3，直到目标特征集中的特征数目达到要求，或达到上限迭代次数。

步骤d-5，分别输出不同运动数据和不同生理传感数据的目标特征集。

将活动子模型输出结果转化为带类别标签的概率矩阵，并将带类别标签的概率矩阵转化为带标签的子模型向量。

e）训练识别子模型的流程图如图5所示，方法为：根据每项运动数据和每项生理传感数据的特征向量，使用支持向量机以及高斯混合模型构建对应的识别子模型。

f）构建子模型向量的步骤如图6所示，对于第j项日常活动，具体如下：

步骤f-1，训练后的活动识别子模型对每个特征向量输出一个识别结果的概率向量pv=[p₁p₂…p_n]^T，其中n表示总的类别数目，p_n表示该模型判别样例为n类别的概率。

步骤f-2，将所有识别子模型的概率向量组合成一个概率矩阵。

概率矩阵表达式如下：

其中，k表示总的识别子模型数目，n表示总的活动类别数目。概率矩阵又可以表示为PM_n×k=[vc₁vc₂…vc_n]^T，其中vc_i是概率矩阵的行向量(i=1,…,n)，每个vc_i即对应第i个类别标签，这样便得到第j项日常活动的识别子模型向量 ${\mathrm{SV}}_j=\left[\begin{array}{cc}{\mathrm{vc}}_1& l1\\ .& .\\ .& .\\ .& .\\ {\mathrm{vc}}_n& \ln \end{array}\right],$ 其中j=1,…,m，m表示总的日常活动项数。

步骤4，将活动子模型输出结果转化为具有活动类别的识别子模型向量。该步骤与模型训练时的转化方式相同：先将所有的概率向量组成概率矩阵，由于每个行向量均对应一个类别，因此再将概率矩阵转换为带有类别标签的识别子模型向量。

步骤5，将具有活动类别的识别子模型向量输入经过模型训练的融合模型，得到最终的活动识别结果。

在得到构建好的识别子模型向量之后，使用训练好的融合模型进行识别，便可以得到最终的活动识别结果。

其中融合模型也是在模型训练部分完成，在模型训练部分完成识别子模型之后，进行步骤g）融合模型的训练。

融合模型的训练步骤4如下：

步骤g-1，输入所得到带活动类别的识别子模型向量集LV=[SV₁SV₂…SV_m]^T。

步骤g-2，根据识别子模型向量集训练逻辑回归模型。

步骤g-3，输出训练出的模型系数即为融合模型的参数，从而得到融合模型。

本发明融合运动数据和生理传感数据，能提高日常活动识别的准确率，在智慧家庭、医疗保健、老年人辅助等领域具有广阔的应用前景。

Claims (10)

1.一种融合运动和生理传感数据的日常活动识别方法，其特征在于，包括：

步骤1，采用穿戴式生理传感设备以及智能设备采集用户在日常活动时的数据，并将数据进行预处理，其中数据包括生理传感数据以及运动数据；

步骤2，对预处理后的数据提取所需要的若干特征向量；

步骤3，将特征向量输入识别模型中对应的识别子模型进行活动判别，各个识别子模型输出概率向量；

步骤4，将每个概率向量转换为具有活动类别的识别子模型向量；

步骤5，利用融合模型将得到的所有识别子模型向量进行融合，得到最终的活动识别结果。

2.如权利要求1所述融合运动和生理传感数据的日常活动识别方法，其特征在于，识别模型的训练方法为：

a)利用穿戴式生理传感设备收集生理传感数据，利用智能设备收集运动数据；

b）对各项数据进行预处理；

c）根据预处理后的数据提取特征向量；

d）从提取的特征向量中进行选择，得到目标特征集；

e）利用目标特征集中的特征向量训练出对应的识别子模型，得到对应的概率向量；

f）根据概率向量构建对应的识别子模型向量；

g）利用步骤f）所得的全部识别子模型向量获取融合模型。

3.如权利要求2所述融合运动和生理传感数据的日常活动识别方法，其特征在于，步骤a）具体方法为：

步骤a-1，使用穿戴式生理传感设备来记录日常活动时的各类生理传感数据，同时使用智能设备记录日常活动时的各类运动数据，对于每一项日常活动，通过智能设备手动标注当前的活动类型；

步骤a-2，对收集的生理传感数据和运动数据按照活动类型的标注进行分割。

4.如权利要求3所述融合运动和生理传感数据的日常活动识别方法，其特征在于，对记录的生理传感数据和运动数据进行数据预处理的方法包括：

对运动数据进行异常点检测，并对其中的异常点进行插值处理；

对记录的生理传感数据进行异位检测与替换，并进行趋势消除；

将预处理后的运动数据与生理传感数据按时间对齐，并以相同大小的时间窗口分割运动数据和生理传感数据。

5.如权利要求3所述融合运动和生理传感数据的日常活动识别方法，其特征在于，步骤c）中，每一项运动数据以及与其时间对齐的生理传感数据所构建的特征向量包括：时域特征、频域特征，以及根据时序信号特点所提取的非线性结构特征。

6.如权利要求3所述融合运动和生理传感数据的日常活动识别方法，其特征在于，步骤d）的具体方式如下：

步骤d-1，输入所有特征向量作为候选特征集，并输入期望选择出的特征向量数目；

步骤d-2，对于每项运动数据或者每项生理传感数据，从候选特征集选择对应的特征向量加入到目标特征集中，构成新的目标特征集，选出使得目标准则函数最大的特征向量集合；

步骤d-3，通过顺序向后搜索子算法从目标特征集顺序移除一个特征向量，构成新的目标特征集，再次选出使得目标准则函数最大的特征向量集合；

步骤d-4，重复步骤d-2和d-3，在目标特征集中的特征向量数目达到要求或重复次数达到上限时结束，得到目标特征集。

7.如权利要求3所述融合运动和生理传感数据的日常活动识别方法，其特征在于，在步骤d-2中，采用序列浮动前向选择方法进行特征向量的选择。

8.如权利要求3所述融合运动和生理传感数据的日常活动识别方法，其特征在于，步骤e方法为：根据每项运动数据和每项生理传感数据的特征向量，使用支持向量机以及高斯混合模型构建对应的识别子模型。

9.如权利要求3所述融合运动和生理传感数据的日常活动识别方法，其特征在于，步骤f）中对于第j项日常活动，具体方法如下：

步骤f-1，对于该项日常活动的每个特征向量，对应的识别子模型输出对应的概率向量pv=[p₁p₂…p_n]^T，

步骤f-2，将所有识别子模型的概率向量组成概率矩阵，表示为：

其中，k表示总的识别子模型数目，n表示总的活动类别数目；

将概率矩阵再转化为如下表示形式：

PM_n×k=[vc₁vc₂…vc_n]^T

其中，vc_i是概率矩阵的行向量(i=1,…,n)，每个vc_i对应第i个类别标签li，得到第j项日常活动对应的识别子模型向量 ${\mathrm{SV}}_j=\left[\begin{array}{cc}{\mathrm{vc}}_1& l1\\ .& .\\ .& .\\ .& .\\ {\mathrm{vc}}_n& \ln \end{array}\right],$ 其中j=1,…,m，m表示日常活动项数。

10.如权利要求1所述融合运动和生理传感数据的日常活动识别方法，其特征在于，融合模型的训练方法为：

步骤g-1，输入所有识别子模型向量；

步骤g-2，根据所有识别子模型向量训练逻辑回归模型；

步骤g-3，训练得到融合模型的参数，完成融合模型的训练。