CN109426827B

CN109426827B - 一种多模态传感器协同感知方法及系统

Info

Publication number: CN109426827B
Application number: CN201710743558.2A
Authority: CN
Inventors: 陈益强; 杨晓东; 于汉超; 张迎伟
Original assignee: Institute of Computing Technology of CAS
Current assignee: Institute of Computing Technology of CAS
Priority date: 2017-08-25
Filing date: 2017-08-25
Publication date: 2021-05-07
Anticipated expiration: 2037-08-25
Also published as: CN109426827A

Abstract

本发明涉及一种面向用户日常行为的传感器协同感知方法。该方法将行为感知分为行为识别和状态监测两个子任务，行为识别采用多类分类器进行建模，而状态监测过程仅需要激活部分传感器，并采用轻量级的二类分类器进行建模，从而降低了整体功耗。本发明从用户日常行为的持续特性出发，在识别出特定日常行为后调用轻量级的状态监测模型判断当前行为是否发生变化，不仅能够对行为进行有效感知，同时能够降低感知过程中的资源和能源消耗。

Description

一种多模态传感器协同感知方法及系统

技术领域

本发明涉及行为识别、机器学习及可穿戴计算等领域，具体涉及一种面向用户日常行为的多模态传感器协同感知方法及系统。

背景技术

随着传感技术和计算机科学的发展，利用可穿戴多模态传感器对用户日常行为进行感知越来越成为一个研究热点，并应用于日常生活和医疗环境下的持续健康监护等方面。然而，可穿戴设备的小型化、便利性等优点同样带来了能源和资源消耗问题，极大地限制了日常行为感知的时间和范围。例如，可穿戴多模态传感器的采样频率一般设置为50Hz以上，以常用的惯性传感器三轴加速度计为例，每轴采样点用64字节的浮点数存储，则该传感器连续采集用户一天的数据量将十分巨大：(64B×3轴×50H_Z×60s×60m×24h)/1024³＝0.77GB/day，另外在利用多模态传感器感知用户行为时，综合处理各模态数据进行数据通信和模型计算同样将带来额外的能源和资源消耗。因此，如何有效降低感知用户日常行为过程中的能源和资源消耗，成为了该领域重要的研究热点之一。

针对上述问题，研究人员进行了很多共同的尝试：专利CN201611100251.2 中提出了一种低功耗的无线传感网络的控制方法，通过调整数据传输协议，降低系统的功耗；专利CN201611042104.4中提出了一种无线传感器网络的大数据传输方法，通过在发送大数据时提前发出长时隙占用请求帧，而在其他时隙中处于低功耗的休眠模式，从而降低整个传感网络的能源消耗。

虽然各种各样的低功耗方案已经被成功应用于无线传感器网络，但是它们在通用性、适应性等尚存在一些不足：

1)常用无线传感器的数据传输主要基于蓝牙、Wifi或者ZigBee等成熟的数据传输协议，传输协议的修改往往需要生产厂商的介入，普适性不够。

2)用户日常行为包含行走、站立、坐下、躺等多种不同类型行为，穿戴在不同身体位置的传感器对识别不同行为的贡献程度是不同的；另外，行走、躺等日常行为通常具有时间上的持续性，而传统的行为感知方法往往忽略这种特性。

发明内容

为了解决上述问题，克服已有方法的缺陷，本发明提出了一种面向用户日常行为的多模态传感器低功耗协同感知方法，利用日常行为的持续性特点，将行为感知分为行为识别与状态监测两个子任务，其中行为识别利用多类分类器 (Multi-Classifier，MC)建模，状态监测利用轻量级的二类分类器(Binary Classifier，BC)建模，

总的来说，基于可穿戴多模态传感器的低功耗用户日常行为感知方法包含两个阶段：离线模型训练和在线行为识别。

针对本发明提出方法中涉及的每个分类模型，其离线模型训练的工作流程主要步骤包括：

1)基于用户穿戴的传感器进行用户行为数据采集；

2)从数据中提取特征；

3)计算每维特征的信息增益；

4)基于相关特征的信息增益之和计算每个传感器的信息增益；

5)根据传感器信息增益进行降序排列；

6)初始化针对当前模型最优的传感器组合S＝Ф，当前验证的传感器序号 i＝1；

7)S＝S∪si；

8)选择与S相关的特征，组成训练样本集；

9)将训练样本集分为m份，用于交叉验证。利用超限学习机训练一个分类模型，用m-1份数据训练模型，用1份数据测试模型精度，并且整个过程要重复m次，用精度的平均值作为最终的精度值，并输出模型参数。

10)判断精度是否满足条件，若是，则输出当前S；否则，转步骤11)；

11)判断i是否小于传感器数量，若是，i＝i+1，转步骤7)；否则，输出 S＝Ф。

在线行为识别的工作流程主要步骤包括：

1)判断当前状态是否为“监测行为”，若是则转步骤2)；否则转步骤6)；

2)根据当前存储的行为类别调用相应的状态监测模型；

3)利用采集的传感器数据判断当前状态是否发生变化，若是则转步骤4)；否则转步骤10)；

4)更新当前状态为“识别行为”，转步骤2)；

5)激活与行为识别相关的传感器；

6)调用行为识别模型；

7)利用采集的传感器数据对当前行为进行识别，若识别结果为0，则转步骤2)；否则转步骤8)；

8)更新当前存储的行为类别，激活监测该行为的传感器；

9)更新状态为“监测行为”；

10)输出存储的行为类别。

具体来说，本发明涉及一种传感器协同感知方法，包括：

离线模型训练步骤，采集用户行为的传感器信号，对该信号进行预处理并提取统计特征，建立该用户行为的分类模型，该分类模型包括行为识别模型和状态监测模型；获得每个该用户行为的统计特征信息增益，以及该传感器的传感器信息增益；通过分析该用户行为的统计特征信息增益和传感器信息增益，得到每个该分类模型的传感器组合；

在线行为感知步骤，对用户当前行为进行行为识别，并调用该分类模型进行行为感知。

本发明所述的传感器协同感知方法，其离线模型训练步骤具体包括：

步骤11，采用滑动窗口机制将该信号进行预处理，将其分割为基本单元数据；对每帧该基本单元数据提取该统计特征，包括均值、方差、标准差、过零率、过均值率、最大值、最小值；将该统计特征首尾相接组成特征向量，成为该用户行为的行为帧；

步骤12，以该行为帧内出现次数最多的传感器采样点标定作为该行为帧标定，组成训练数据集；利用一个多类分类器建立该行为识别模型，利用多个轻量级的二类分类器建立该状态监测模型；

步骤13，获得每个该用户行为的统计特征增益；将与某一该传感器相关的统计特征信息增益之和，作为该传感器的传感器增益；

步骤14，依据该传感器增益将其对应的该传感器进行降序排序，依次将与降序排序的该传感器相关的该特征向量加入该分类模型；

步骤15，利用超限学习机结合十折交叉验证对该分类模型进行训练，得到该分类模型的传感器组合。

本发明所述的传感器协同感知方法，其在线行为感知步骤具体包括：

步骤21，调用行为识别模块并激活其传感器组合，采集该用户行为的传感器信号并进行分析，识别该用户行为的类别。

步骤22，确定该当前行为的种类后，调用对应的该状态监测模型的传感器组合，进行行为感知；该当前行为发生变化时，重新激活该行为识别模型的传感器组合，采集传感器信号并进行分析，识别该当前行为的类别。

该用户行为的种类包括行走、站立、坐下、躺；该传感器为可穿戴多模态传感器，包括加速度计、陀螺仪、磁力计。

本发明还涉及一种传感器协同感知系统，包括：

离线模型训练模块，用于采集日常行为的的传感器信息，建立该日常行为的分类模型，并输出该分类模型的传感器组合，该分类模型包括行为识别模型和状态监测模型；

在线行为感知模块，用于识别用户当前行为的种类，调用该分类模型并激活传感器组合，对该当前行为进行行为感知。

本发明所述的传感器协同感知系统，其离线模型训练模块包括：

数据采集模块，用于采集该传感器信号，对该信号进行预处理，并提取统计特征。

建模及训练模块，用于建立每个该日常行为的分类模型，并对该分类模型进行训练，形成该分类模型的传感器组合。

本发明所述的传感器协同感知系统，其在线行为感知模块包括：

行为识别模块，用于调用行为识别模块并激活其传感器组合，采集该当前行为的传感器信号并进行分析，以识别该用户行为的类别。

状态监测模块，用于根据该当前行为的类别，调用对应的该状态监测模型并激活其传感器组合，进行行为感知。

相比于现有技术，本发明提供的面向用户日常行为的多模态传感器低功耗协同感知方法从日常行为的持续特性出发，将行为感知分为行为识别和状态监测两个子任务，在识别出特定日常行为后调用轻量级的状态监测模型判断当前行为是否发生变化，不仅能够对行为进行有效感知，同时能够降低感知过程中的资源和能源消耗。

附图说明

图1用户日常行为感知示意图

图2离线模型训练的工作流程图

图3在线行为识别的工作流程图

图4MHEALTH数据集上的测试结果

图5PAMAP2数据集上的测试结果

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明提出的传感器协同感知方法进一步详细说明。应当理解，此处所描述的具体实施方法仅仅用以解释本发明，并不用于限定本发明。

为了实现低功耗的用户日常行为感知，首先需要离线训练基于可穿戴多模态传感器的行为识别模型和状态监测模型，然后在在线识别过程中根据模型进行传感器调度和行为感知。

1、离线模型训练

基于可穿戴多模态传感器的行为识别模型和状态监测模型的离线训练过程如图2所示，主要步骤包括：

1)行为数据采集

使用者首先要明确自己的用途，根据自身目标确定索要采集的行为种类，在本发明中并不限定具体的行为种类，但限定所感知的行为应具有一定的持续性，如走路、跑步、躺等。人体行为数据的获取方式多种多样，常用的可穿戴传感器包括加速度计、陀螺仪、磁力计等，在本发明中并不限定具体的数据采集设备。

2)数据预处理

用窗口大小为1秒的滑动窗对多模态传感数据分割成多帧，相邻的两帧之间的数据重叠0.5秒。

3)特征提取

将每帧多模态信号数据作为一个基本单元进行特征提取，特征包括常见的行为统计特征，包括均值、方差、标准差、过零率、过均值率、最大值、最小值，并将每一种模态的传感器特征首尾相接组成特征向量F＝{f₁,f₂,...,f_n}。在每个行为帧内，出现最多次数的采样点标定作为该帧的标定l∈{1,...,m}，形成训练数据集。

4)计算特征的信息增益

信息增益是为了度量特征针对不同模型分类的贡献程度。本发明中将行为感知分为一个多类分类问题行为识别和m个二类分类问题状态感知，因此针对每一个子模型，利用信息论分别计算不同特征的信息增益。

5)计算传感器的信息增益

为了度量不同传感器对模型分类的贡献程度，本发明将与特定传感器S相关的特征的信息增益之和作为该传感器的信息增益的度量，计算方式如式(1) 所示。

其中f_j表示与传感器S相关的第j个特征。

6)最优传感器选择

针对每一个分类模型(包括行为识别模型和状态监测模型)，基于步骤5 计算出的传感器信息增益对传感器进行降序排序，采用“贪心策略”依次加入与传感器相关的特征以组成特征向量。利用超限学习机(Extreme Learning Machine,ELM)结合10折交叉验证的要求来进行模型训练：将训练样本平均分为10组，选择其中1组作为测试数据，其余9组作为训练数据。使用ELM 模型对9组训练样本组成的训练样本集构造分类模型，将建立的模型对测试样本进行测试，得到训练准确率和测试准确率；重复上述过程9次，每次选取不同的1组作为测试数据，其余9组作为训练数据，得到相应的训练准确率和测试准确率。取10次实验训练准确率和测试准确率的均值作为模型的准确率并输出模型的参数。

将交叉验证的测试准确率作为传感器选择的标志，若当前的测试准确率大于上一次迭代的测试准确率，则将当前传感器加入最优传感器集合当中，否则迭代选择结束，输出最优的传感器组合。

2、在线行为感知

在线行为感知的工作流程如图3所示，其主要步骤包括：

1)若当前状态≠“监测行为”，则基于“离线模型训练”步骤6中针对行为识别模型选择的最优传感器组合，激活相应的传感器进行行为数据采集；否则，转步骤5。

2)对采集的传感器数据进行预处理，方法与“离线模型训练”步骤2中的相同。

3)从预处理之后的传感器数据提取特征，组成测试样本。提取的特征与与“离线模型训练”步骤3中的相同。

4)根据行为识别模型对测试样本进行识别。若结果为定义的行为类型，则输出相应的行为类别，并更新状态为“监测行为”；否则识别结果为0，表示无法识别当前行为，转步骤1。

5)基于“离线模型训练”步骤6中针对相应行为监测模型选择的最优传感器组合，激活相应的传感器进行行为数据采集；

6)对采集的传感器数据进行预处理，方法与“离线模型训练”步骤2中的相同。

7)从预处理之后的传感器数据提取特征，组成测试样本。提取的特征与与“离线模型训练”步骤3中的相同。

8)根据行为识别模型对测试样本进行识别。若结果为1，则输出相应的行为类别；否则，表示当前行为发生变化，更新状态为“行为识别”，转步骤 1。

具体来说，本发明涉及一种传感器协同感知方法，包括：

本发明还涉及一种传感器协同感知系统，包括：

为了进一步验证根据本发明实施的面向用户日常行为的多模态传感器低功耗协同感知方法的有效性以及说明本发明的使用方法，发明人在公开数据集 MHEALTH和PAMAP2数据集上进行实验验证。

1)数据集

公开数据集MHEALTH和PAMAP2，分别包含了10位和9位实验对象的包括坐下、站立、躺和行走等四种日常行为。多模态传感器类型及其佩戴位置如表1所示，所有传感器的采样频率均大于50Hz，能够满足用户行为识别的要求。

表1多模态传感器类别

2)模型离线训练

从数据集中按照本发明介绍的方法进行离线模型训练，其特征选择结果与模型参数如表2所示。

表2最优的多模态传感器组合

从表2可以看出，状态监测模型或者需要较少的传感器，或者模型更为轻量级(隐层节点较少)，与行为识别模型相比，分别从数据传输和模型计算方面降低了所消耗的资源和能源。

3)模型在线测试

在MHEALTH和PAMAP2两个数据集上采用留一交叉验证的方式，提出的方法PD-MHCSM与传统的多模态传感器全部持续工作的方法进行了对比，采用测试时间和激活的传感器数量分别对计算资源和能源的消耗，其结果如图 4和图5所示。

本发明与传统的连续工作方法相比，虽然由于在行为变化时行为识别模型与状态监测模型相互调度与切换导致行为感知准确率略有下降，但总体上本发明能够对相关用户日常行为进行有效识别。由于在状态监测过程中，仅需要激活较少的传感器，并且二类分类器与多类分类器相比，模型计算过程中消耗更少的资源，因此在测试时间和传感器数量方面表现了更好的性能。

Claims

1.一种传感器协同感知方法，其特征在于，包括：

离线模型训练步骤，采集用户行为的传感器信号，采用滑动窗口机制将该信号进行预处理，将其分割为基本单元数据；对每帧该基本单元数据提取统计特征，包括均值、方差、标准差、过零率、过均值率、最大值、最小值；将该统计特征首尾相接组成特征向量，成为该用户行为的行为帧；以该行为帧内出现次数最多的传感器采样点标定作为该行为帧标定，组成训练数据集；利用一个多类分类器建立行为识别模型，利用多个轻量级的二类分类器建立状态监测模型，以该行为识别模型和该状态监测模型为该用户行为的分类模型；获得每个该用户行为的统计特征信息增益，将与某一该传感器相关的统计特征信息增益之和，作为该传感器的传感器信息增益；依据该传感器增益将其对应的该传感器进行降序排序，依次将与降序排序的该传感器相关的该特征向量加入该分类模型；利用超限学习机结合十折交叉验证对该分类模型进行训练，得到每个该分类模型的传感器组合；

在线行为感知步骤，对用户当前行为进行行为识别，并调用该分类模型并激活其传感器组合，采集该用户行为的传感器信号进行分析，以识别该用户行为的类别，对该当前行为进行行为感知；确定该当前行为的种类后，调用对应的该状态监测模型的传感器组合进行行为监测，该当前行为发生变化时，重新激活该行为识别模型的传感器组合，采集传感器信号并进行分析，识别该当前行为的类别。

2.如权利要求1所述的传感器协同感知方法，其特征在于，包括：

3.一种传感器协同感知系统，其特征在于，包括：

离线模型训练模块，用于采集用户行为的传感器信息，采用滑动窗口机制将信号进行预处理，将其分割为基本单元数据；对每帧该基本单元数据提取统计特征，包括均值、方差、标准差、过零率、过均值率、最大值、最小值；将该统计特征首尾相接组成特征向量，成为该用户行为的行为帧；以该行为帧内出现次数最多的传感器采样点标定作为该行为帧标定，组成训练数据集；利用一个多类分类器建立行为识别模型，利用多个轻量级的二类分类器建立状态监测模型，以该行为识别模型和该状态监测模型为该用户行为的分类模型；获得每个该用户行为的统计特征信息增益，将与某一该传感器相关的统计特征信息增益之和，作为该传感器的传感器信息增益；依据该传感器增益将其对应的该传感器进行降序排序，依次将与降序排序的该传感器相关的该特征向量加入该分类模型；利用超限学习机结合十折交叉验证对该分类模型进行训练，得到每个该分类模型的传感器组合；

在线行为感知模块，用于识别用户当前行为的种类，调用该分类模型并激活传感器组合，采集该当前行为的传感器信号并进行分析，以识别该用户行为的类别，对该当前行为进行行为感知；确定该当前行为的种类后，调用对应的该状态监测模型的传感器组合进行行为监测，该当前行为发生变化时，重新激活该行为识别模型的传感器组合，采集传感器信号并进行分析，识别该当前行为的类别。

4.如权利要求3所述的传感器协同感知系统，其特征在于，所述离线模型训练模块还包括：

建模及训练模块，用于建立每个日常行为的分类模型，并对该分类模型进行训练，形成该分类模型的传感器组合。