CN111160462A

CN111160462A - 一种基于多传感器数据对齐的无监督个性化人类活动识别方法

Info

Publication number: CN111160462A
Application number: CN201911391129.9A
Authority: CN
Inventors: 陈岭; 张毅
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2019-12-30
Filing date: 2019-12-30
Publication date: 2020-05-15
Anticipated expiration: 2039-12-30
Also published as: CN111160462B

Abstract

本发明公开了一种基于多传感器数据对齐的无监督个性化人类活动识别方法，包括：1)对利用多个可穿戴传感器采集的训练用户和新用户活动数据进行预处理，并分别构建源域数据集和目标域数据集；2)利用源域数据集中的标注样本优化人类活动识别模型，使其在训练用户数据上实现良好的活动分类效果；3)从源域和目标域数据集中选取样本，添加域标签，并利用对抗学习策略交替最大/最小化域判别损失以对齐训练用户和新用户的多传感器数据在特征空间中的分布；4)将预处理后的新用户数据输入至参数确定的活动识别模型中，获得活动识别结果。该方法可以提升新用户的活动识别准确率。

Description

一种基于多传感器数据对齐的无监督个性化人类活动识别方法

技术领域

本发明涉及人类活动识别领域，具体涉及一种基于多传感器数据对齐的无监督个性化人类活动识别方法。

背景技术

基于可穿戴传感器的人类活动识别利用用户随身佩戴的传感器所采集的数据来推断用户的活动信息，是普适和移动计算的核心任务之一，能为健康支持、工作辅助、技能评估等应用提供支持。常用的传感器包括加速度计、陀螺仪、磁力计等，按所用传感器的数量，可分为基于单可穿戴传感器的人类活动识别和基于多可穿戴传感器的人类活动识别。由于单个可穿戴传感器采集到的信息少，一般仅用于识别简单人类活动，如走路、跑步等。随着可穿戴传感器的发展，基于多可穿戴传感器的人类活动识别受到广泛关注，放置在用户不同身体部位的多个可穿戴传感器能够提供更加丰富的数据形式与内容，从而为复杂人类活动的识别提供数据支撑。

大多数基于可穿戴传感器的人类活动识别方法混合所有训练用户的标注样本，利用监督学习方法构建活动分类器，并将其直接用于新用户，这些方法忽略了不同用户行为模式上的差异。相关的研究表明不同用户具有不同的行为模式，这意味着获取自不同用户的传感器数据之间存在分布差异，因此，直接将在训练用户上表现良好的活动识别模型应用于新用户时，往往会出现显著的性能下降。

个性化人类活动识别方法被用于解决新用户识别性能问题，该方法针对每个用户的行为模式，为其构建量身定制的模型。直接收集新用户的标注样本为其训练活动识别模型往往面临标注样本稀缺的问题。一些工作尝试利用少量新用户的标注样本对已有模型进行适配，这些方法仍然受到数据标注问题的限制，如何利用新用户的无标注样本进行模型适配成为一个关键问题。无监督域适配被用于解决该问题，其通过对齐训练用户标注数据和新用户无标注数据在特征空间中的分布，使在训练用户标注数据中学习的活动识别模型能很好地适配新用户。放置在用户不同身体部位的多个可穿戴传感器在数据模态、放置方位等方面差异较大，具有不同的数据分布规律，直接使用针对单一来源数据设计的无监督域适配方法难以兼顾各传感器的数据分布规律，导致无法实现细粒度的分布对齐。

发明内容

本发明要解决的技术问题是如何对齐训练用户和新用户的多传感器数据在特征空间中的分布，使在训练用户标注数据中学习的活动识别模型能很好地适配新用户，以提升新用户的活动识别准确率。

为解决上述问题，本发明提供了一种基于多传感器数据对齐的无监督个性化人类活动识别方法，包括以下步骤：

(1)采集训练用户和新用户的传感器数据，并对传感器数据进行预处理后构建源域数据集和目标域数据集；

(2)构建活动识别模型和训练系统，其中，活动识别模型包含与传感器个数相同的特征提取器、与传感器个数相同的局部域判别器、一个注意力网络、一个活动分类器，其中，特征提取器用于提取各传感器数据的中间层特征表示，并将其输出至对应的局部域判别器，局部域判别器基于中间层特征表示计算局部域判别结果，多个局部域判别结果拼接后输入至注意力网络，注意力网络基于拼接后的局部域判别结果计算各传感器对应中间层特征表示的权重，中间层特征表示和对应的权重输入至活动分类器中，活动分类器根据输入预测活动类别；训练系统包括活动识别模型和全局域判别器，该全局域判别器的输入为带有权重的中间层特征表示，用于根据输入计算全局域判别结果；

(3)利用源域数据集优化人类活动识别模型的参数，利用源域数据集和目标域数据集，采用对抗学习策略交替最大/最小化域判别损失以对齐训练用户和新用户的多传感器数据在特征空间中的分布；

(4)应用时，对新用户的传感器数据预处理后输入至参数确定的活动识别模型，获得活动识别结果。

本发明通过对齐训练用户和新用户的多传感器数据在特征空间中的分布，使在训练用户标注数据中学习的活动识别模型能很好地适配新用户。与现有方法相比，其优点在于：

1)引入一种针对多传感器数据的分布对齐方案，分别对齐每个传感器的数据以实现细粒度的对齐效果，同时，统一对齐所有传感器的数据以保证对齐的全局一致性。

2)利用注意力机制对不同传感器的重要性进行区分，使模型聚焦在特征表示能力强且对齐程度好的传感器，实现进一步的性能和泛化能力的提升。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是实施例提供的包含活动识别模型的训练系统的架构示意图；

图2是实施例提供的数据集的构建以及活动识别模型的训练过程流程图；

图3是实施例提供的特征提取器架构示意图；

图4是实施例提供的局部域判别器架构示意图；

图5是实施例提供的活动分类器架构示意图；

图6是实施例提供的全局域判别器架构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

实施例提供的基于多传感器数据对齐的无监督个性化人类活动识别方法主要用于根据用户随身佩戴的多个传感器采集的数据识别用户正在进行的活动，主要包括数据集的构建、活动识别模型的构建、训练系统的构建、活动识别模型的参数优化、活动识别模型的应用五个阶段，下面针对每个阶段进行详细说明。

数据集的构建阶段

如图2所示，数据集的构建阶段主要用于传感器数据的采集，对传感器数据进行异常值消除，归一化处理，以及数据样本的划分，具体过程为：

步骤1-1，利用放置在用户不同身体部位的多个可穿戴传感器采集训练用户和新用户在进行不同活动时的传感器数据。

在此步骤中，训练用户数据只需采集一次，为不同新用户构建个性化活动识别模型时可重复使用。新用户数据采集时要求传感器数量、类型、放置方位与训练用户采集时保持一致。常见的可穿戴传感器包括加速度计、陀螺仪、磁力计、心率计等。

步骤1-2，对采集到的传感器数据进行异常值消除、归一化处理，并利用滑动窗口对处理后的传感器数据进行划分得到数据样本。其中，数据样本x＝[r₁,r₂,…,r_k,…,r_K]，

表示传感器k的读数矩阵(K表示传感器数，l表示滑动窗口的长度，d_k表示传感器k的通道数)。

在此步骤中，对采集到的传感器数据的处理步骤包括：

a)对采集的原始传感器数据进行异常值检测，将其中的无效值(如超出正常范围的值和缺失值)去除或者进行均值填充；

b)对传感器数据按通道进行离差标准化处理，使处理后的数据规范化到[-1，1]区间内，转换公式如下：

其中，x为原始数值，X_min为该数值所在通道的最小值，X_max为该数值所在通道的最大值，x′为归一化之后的数值。

c)利用固定长度的滑动窗口对处理后的数据进行划分，滑动窗口长度根据经验人为设定，重叠度设置为50％。

步骤1-3，将每个训练用户数据样本及其对应的活动标签作为一个标注样本，构建源域数据集D^s；将每个新用户数据样本作为一个无标注样本，构建目标域数据集D^t。

步骤1-4，将源域数据集D^s和目标域数据集D^t按固定的大小进行分批。

在此步骤中，源域数据集和目标域数据集采用相同的批大小，根据经验人为设定。数据集包含的批次总数N按如下公式计算：

其中，M_total表示数据集的样本总数，M_batch表示批大小。

活动识别模型的构建阶段

参见图1，活动识别模型主要包含与传感器个数相同的特征提取器、与传感器个数相同的局部域判别器、一个注意力网络、一个活动分类器，其中，特征提取器用于提取各传感器数据的中间层特征表示，并将其输出至对应的局部域判别器，局部域判别器基于中间层特征表示计算局部域判别结果，多个局部域判别结果拼接后输入至注意力网络，注意力网络基于拼接后的局部域判别结果计算各传感器对应中间层特征表示的权重，中间层特征表示和对应的权重输入至活动分类器中，活动分类器根据输入预测活动类别。

训练系统的构建阶段

参见图1，训练系统包括活动识别模型和全局域判别器，该全局域判别器的输入为带有权重的中间层特征表示，用于根据输入计算全局域判别结果。

活动识别模型的参数优化阶段

活动识别模型的参数优化阶段主要是根据训练系统，利用源域数据集和目标域数据集来优化活动识别模型的参数。参见图2，具体优化过程为：

步骤4-1，从源域数据集中顺序选取一批标注样本，对于该批次中的每一个标注样本(x,y)(x表示数据样本，y表示活动标签)，重复步骤4-2～步骤4-5。

步骤4-2，利用K个独立的特征提取器分别处理数据样本x中不同传感器的读数数据，得到各传感器数据的中间层特征表示。

在此步骤中，各特征提取器具有相同的网络架构，均由三个卷积网络层组成，如图3所示，其中卷积操作沿时间维进行。图3中，Conv1D表示一维卷积网络层，@前面的数字表示卷积核或池化区域的大小，@后面的数字表示生成特征映射的数量，ReLU表示激活函数。

步骤4-3，利用K个独立的局部域判别器以一对一的方式分别处理K个特征提取器输出的中间层特征表示，输出K个局部域判别结果。

在此步骤中，各局部域判别器具有相同的网络架构，均由一个双向长短时记忆网络层，一个全连接网络层，和softmax函数构成，如图4所示，图中“BILSTM”表示双向长短时记忆网络层，其中数字表示状态向量的维度，“FC”表示全连接网络层，其中数字表示神经元个数，“Softmax”表示softmax函数。各传感器数据的中间层特征表示在输入双向长短时记忆网络层之前首先被展开为向量序列，其时间维保持不变，其它维被展开。softmax函数最终输出局部域判别结果的概率分布，计算公式如下：

其中，e表示以自然对数为底的指数函数。p(d′＝i|z)表示输入为z的条件下softmax函数预测数据样本来自域i的概率值，|D|表示域的个数，取值为2。

步骤4-4，将K个局部域判别器输出的K个局部域判别结果拼接后输入至注意力网络，利用注意力网络的输出为各传感器数据的中间层特征表示赋予权重。

在此步骤中，注意力网络由一个全连接网络层和softmax函数构成，全连接网络层神经元个数等于传感器个数。注意力网络为每个数据样本生成一个权重向量，其反映了该样本对各传感器的偏好。为度量不同传感器的重要性，综合学习过的所有样本对各传感器的偏好，使活动识别模型聚焦于对大多数样本都重要的传感器，通过如下转换实现：

ω_t＝α·ω_t-1+(1-α)·w_t (5)

其中，M_batch表示批大小，w_i,t表示注意力网络为第i个样本生成的权重向量，ω_t表示在第t步训练迭代中各传感器的权重，初始时各传感器权重相等且相加为1。α控制权重更新的速率，默认设置为0.995。在活动识别模型训练中，ω通过公式(5)被不断更新，当活动识别模型训练好后，ω作为常量，只参与权重计算，不再被更新。

步骤4-5，活动分类器基于带权重的中间层特征表示计算活动预测结果y^′。

在此步骤中，活动分类器由两个双向长短时记忆网络层，一个全连接网络层，和softmax函数组成，如图5所示，图中，“BILSTM”表示双向长短时记忆网络层，其中数字表示状态向量的维度，“FC”表示全连接网络层，其神经元个数等于活动类别个数，“Softmax”表示softmax函数。softmax函数最终输出活动预测结果的概率分布，计算公式如下：

其中，e表示以自然对数为底的指数函数。p(y′＝i|z)表示输入为z的条件下softmax函数预测活动为i的概率值，|Y|表示活动类别个数。

步骤4-6，对于该批次的所有标注样本，根据活动预测结果和活动标签计算活动分类损失，并以最小化活动分类损失为目标更新特征提取器、注意力网络、活动分类器的参数。

在此步骤中，交叉熵损失函数被用于计算活动分类损失

计算公式如下：

其中，L^a表示单个样本的活动分类损失，p(y′_i)表示softmax函数预测活动为i的概率值，y_i表示活动标签是否为i，当是时，y_i为1，否则，y_i为0，|Y|表示活动类别个数，M_batch表示批大小。

特别地，除了活动分类损失，为传感器权重向量构建的L₂损失作为约束项也参与了参数更新，计算公式如下：

其中，ω表示传感器权重向量，||·||₂表示L₂范数。

步骤4-7，从源域和目标域数据集中各选取一批样本，为每个样本赋予域标签，其中，来自源域数据集的样本域标签为0，来自目标域数据集的样本域标签为1。对于其中的每一个样本(x,d)(x表示数据样本，d表示域标签)，重复步骤4-8。

步骤4-8，按照步骤4-2～步骤4-4获得数据样本x的局部域判别结果和带权重的中间层特征表示，全局域判别器根据带权重的中间层特征表示计算全局域判别结果。

在此步骤中，全局域判别器由两个双向长短时记忆网络层，一个全连接网络层，和softmax函数组成，如图6所示，图中，“BILSTM”表示双向长短时记忆网络层，其中数字表示状态向量的维度，“FC”表示全连接网络层，其中数字表示神经元个数，“Softmax”表示softmax函数。softmax函数最终输出全局域判别结果的概率分布，计算公式如下：

步骤4-9，对于步骤4-7中选取的所有样本，根据全局域判别结果、局部域判别结果和域标签计算域判别损失，并以最小化域判别损失为目标更新局部域判别器和全局域判别器的参数。

在此步骤中，域判别损失

的计算公式如下：

其中，L^d表示单个样本的域判别损失，CE(·)表示交叉熵损失函数，d表示域标签，d′_GD表示全局域判别器的全局域判别结果，K表示传感器个数，

表示第i个局部域判别器的局部域判别结果，M表示步骤4-7中选取的样本数。

步骤4-10，从源域和目标域数据集中各选取一批样本，为每个样本赋予域标签，其中，来自源域数据集的样本域标签为0，来自目标域数据集的样本域标签为1。对于其中的每一个样本(x,d)(x表示数据样本，d表示域标签)，重复步骤4-11。

步骤4-11，按照步骤4-2～步骤4-4获得数据样本x的局部域判别结果和带权重的中间层特征表示，全局域判别器根据带权重的中间层特征表示计算全局域判别结果。

此步骤实施细节与步骤4-8一致。

步骤4-12，对于步骤4-10中选取的所有样本，根据局部域判别结果、全局域判别结果和域标签计算域判别损失，并更新特征提取器、注意力网络的参数以最大化域判别损失。

在此步骤中，域判别损失计算过程与步骤4-9一致。特别地，除了域判别损失，为传感器权重向量构建的L₂损失作为约束项也参与了参数更新。

步骤4-13，若达到指定的训练迭代次数，则训练结束，得到参数确定的活动识别模型，否则返回步骤4-1。

活动识别模型的应用阶段

该应用阶段主要用于利用活动识别模型对新用户的传感器数据进行识别，获得活动识别结果，具体过程为：

针对新用户的传感器数据，按照步骤1-2得到预处理后的数据样本，将数据样本输入至参数确定的活动识别模型，获得活动识别结果。

新用户活动识别时，为保证识别准确率，要求采集数据所用传感器的数量、类型、放置方位与步骤1-1中采集数据时保持一致。

上述一种基于多传感器数据对齐的无监督个性化人类活动识别方法引入了一种针对多传感器数据的分布对齐策略，通过对齐训练用户标注数据和新用户无标注数据在特征空间中的分布，使在训练用户标注数据中学习的活动识别模型能很好地适配新用户，在医疗保健、运动监测等领域具有广阔的应用前景。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims

1.一种基于多传感器数据对齐的无监督个性化人类活动识别方法，包括以下步骤：

2.如权利要求1所述的基于多传感器数据对齐的无监督个性化人类活动识别方法，其特征在于，步骤(3)具体包括：

(3-1)从源域数据集中顺序选取一批标注样本，对于该批次中的每一个标注样本(x，y)(x表示数据样本，y表示活动标签)，重复步骤(3-2)～步骤(3-5)；

(3-2)利用K个独立的特征提取器分别处理数据样本x中不同传感器的读数数据，得到各传感器数据的中间层特征表示；

(3-3)利用K个独立的局部域判别器以一对一的方式分别处理K个特征提取器输出的中间层特征表示，输出K个局部域判别结果；

(3-4)将K个局部域判别器输出的K个局部域判别结果拼接后输入至注意力网络，利用注意力网络的输出为各传感器数据的中间层特征表示赋予权重；

(3-5)活动分类器基于带权重的中间层特征表示计算活动预测结果y′；

(3-6)对于该批次的所有标注样本，根据活动预测结果和活动标签计算活动分类损失，并以最小化活动分类损失为目标更新特征提取器、注意力网络、活动分类器的参数；

其中，交叉熵损失函数被用于计算活动分类损失

计算公式如下：

其中，L^a表示单个样本的活动分类损失，p(y′_i)表示softmax函数预测活动为i的概率值，y_i表示活动标签是否为i，当是时，y_i为1，否则，y_i为0，|Y|表示活动类别个数，M_batch表示批大小；

除了活动分类损失，为传感器权重向量构建的L₂损失作为约束项也参与了参数更新，计算公式如下：

其中，ω表示传感器权重向量，||·||₂表示L₂范数；

(3-7)从源域和目标域数据集中各选取一批样本，为每个样本赋予域标签，其中，来自源域数据集的样本域标签为0，来自目标域数据集的样本域标签为1。对于其中的每一个样本(x，d)，x表示数据样本，d表示域标签，重复步骤(3-8)；

(3-8)按照步骤(3-2)～步骤(3-4)获得数据样本x的局部域判别结果和带权重的中间层特征表示，全局域判别器根据带权重的中间层特征表示计算全局域判别结果；

(3-9)对于步骤(3-7)中选取的所有样本，根据全局域判别结果、局部域判别结果和域标签计算域判别损失，并以最小化域判别损失为目标更新局部域判别器和全局域判别器的参数；

其中，域判别损失

的计算公式如下：

表示第i个局部域判别器的局部域判别结果，M表示步骤3-7中选取的样本数；

(3-10)从源域和目标域数据集中各选取一批样本，为每个样本赋予域标签，其中，来自源域数据集的样本域标签为0，来自目标域数据集的样本域标签为1。对于其中的每一个样本(x，d)，x表示数据样本，d表示域标签，重复步骤(3-11)；

(3-11)按照步骤(3-2)～步骤(3-4)获得数据样本x的局部域判别结果和带权重的中间层特征表示，全局域判别器根据带权重的中间层特征表示计算全局域判别结果；

(3-12)对于步骤(3-10)中选取的所有样本，根据局部域判别结果、全局域判别结果和域标签计算域判别损失，并更新特征提取器、注意力网络的参数以最大化域判别损失；

(3-13)若达到指定的训练迭代次数，则训练结束，得到参数确定的活动识别模型，否则返回步骤(3-1)。

3.如权利要求1所述的基于多传感器数据对齐的无监督个性化人类活动识别方法，其特征在于，步骤(3-2)中，各特征提取器具有相同的网络架构，均由三个卷积网络层组成。

4.如权利要求1所述的基于多传感器数据对齐的无监督个性化人类活动识别方法，其特征在于，步骤(3-3)中，各局部域判别器具有相同的网络架构，均由一个双向长短时记忆网络层，一个全连接网络层，和softmax函数构成；各传感器数据的中间层特征表示在输入双向长短时记忆网络层之前首先被展开为向量序列，其时间维保持不变，其它维被展开；softmax函数最终输出局部域判别结果的概率分布，计算公式如下：

其中，e表示以自然对数为底的指数函数。p(d′＝i|z)表示输入为z的条件下softmax函数预测数据样本来自域i的概率值，|D|表示域的个数。

5.如权利要求1所述的基于多传感器数据对齐的无监督个性化人类活动识别方法，其特征在于，步骤(3-4)中，注意力网络由一个全连接网络层和softmax函数构成，全连接网络层神经元个数等于传感器个数；注意力网络为每个数据样本生成一个权重向量，并由为每个数据样本生成的权重向量计算各传感器的权重，通过如下转换实现：

ω_t＝α·ω_t-1+(1-α)·w_t

其中，M_batch表示批大小，w_i，t表示注意力网络为第i个样本生成的权重向量，ω_t表示在第t步训练迭代中各传感器的权重，初始时各传感器权重相等且相加为1，α控制权重更新的速率。

6.如权利要求1所述的基于多传感器数据对齐的无监督个性化人类活动识别方法，其特征在于，步骤(3-5)中，活动分类器由两个双向长短时记忆网络层，一个全连接网络层，和softmax函数组成，softmax函数最终输出活动预测结果的概率分布，计算公式如下：

其中，e表示以自然对数为底的指数函数，p(y′＝i|z)表示输入为z的条件下softmax函数预测活动为i的概率值，|Y|表示活动类别个数。

7.如权利要求1所述的基于多传感器数据对齐的无监督个性化人类活动识别方法，其特征在于，步骤(3-8)中，全局域判别器由两个双向长短时记忆网络层，一个全连接网络层，和softmax函数组成，如图6所示。softmax函数最终输出全局域判别结果的概率分布，计算公式如下：

其中，e表示以自然对数为底的指数函数，p(d′＝i|z)表示输入为z的条件下softmax函数预测数据样本来自域i的概率值，|D|表示域的个数。