CN114495265A - 多跨域场景下基于活动图加权的人体行为识别方法 - Google Patents

多跨域场景下基于活动图加权的人体行为识别方法 Download PDF

Info

Publication number
CN114495265A
CN114495265A CN202111668405.9A CN202111668405A CN114495265A CN 114495265 A CN114495265 A CN 114495265A CN 202111668405 A CN202111668405 A CN 202111668405A CN 114495265 A CN114495265 A CN 114495265A
Authority
CN
China
Prior art keywords
domain
samples
sample
signal
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111668405.9A
Other languages
English (en)
Other versions
CN114495265B (zh
Inventor
叶娅兰
刘紫奇
孟千贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Publication of CN114495265A publication Critical patent/CN114495265A/zh
Application granted granted Critical
Publication of CN114495265B publication Critical patent/CN114495265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多跨域场景下基于活动图加权的人体行为识别方法。本发明包括人体生理信号预处理、信号活动图转换、模型预训练、样本加权、训练模型和运动状态识别六部分；对预处理后的信号样本提取每一维度重新排列组合，应用二维离散傅里叶变化转换为活动图形式；接着基于同一类别数据会映射到子空间相近位置这一假设，应用源域数据和三元组损失预训练模型，提升模型泛化能力；利用域判别器的概率预测分别对源域和目标域的样本加权；计算源域加权交叉熵损失和目标域加权信息熵损失，用整体预测概率的熵作为正则项，达到跨域知识迁移的目的；最后，目标域数据输入模型，其输出经过softmax函数对人体活动进行分类。

Description

多跨域场景下基于活动图加权的人体行为识别方法
技术领域
本发明涉及生物医学信号处理领域，尤其涉及一种多跨域场景下基于活动图加权的人体行为识别方法。
背景技术
人体行为识别(Human Activity Recognition)由于其潜在的应用价值成为近年来一个非常有吸引力的研究领域，如医疗保健监测、跌倒检测和智能家居感知等。传统人类行为识别方法的核心是使用足够多的带标记人体生理信号训练准确和健壮的模型。然而获取充足的标记数据十分费时费力。迁移学习由于能够将知识从被标记的源域转移到未标记的目标域，被广泛应用于人类行为识别中以解决标签短缺和跨域识别问题。现有基于迁移学习的人体行为识别算法往往是针对场景定制模型(如针对传感器或者个体定制模型)。最近提出的一些跨域人体行为识别方法主要解决在单一跨域(跨个体或者跨身体部位)场景下的人体行为识别，可以分为以下两类：
第一类利用类的内聚性，基于同一类的数据样本应该位于一个固有子空间上的假设，将源域和目标域的各个类同时转换到公共子空间。对目标域样本打伪标签，通过基于统计的方式挖掘目标域数据分布的的约束条件，利用聚类子监督方法指导模型更新，进行领域间的类内知识转移。
第二类是利用数据集中拥有多个个体数据的特点，结合多源域适应方法实现跨域人体行为识别。可分为两种方式，其中一种是通过提取多个源域和目标域的公共特征进行多个域之间的知识迁移；第二种是通过距离衡量方式选择与目标域性质最相似的源域，进行单个源域和目标域之间的知识迁移来缓解域差异；
上述技术在一定程度上取得了令人满意的结果。但是现有研究方法主要解决单一跨域场景下的行为识别问题(如限定在跨个体场景下的知识迁移)，当在多跨域人体行为识别场中时(如模型需要同时满足跨个体、跨传感器、跨身体部位的行为识别需求)，由于各场景下数据分布差异的情况不一致(如跨传感器的数据分布差异和跨个体的数据分布差异显然不同)，会导致模型在新的跨域场景中性能急剧下降，需要重新训练模型才能达到在新场景中的使用标准。同时，这些方法从原始传感器读数中提取复杂的手工特征作为模型的输入。例如通过获得提取时域和频域的平均值、标准差等手工特征。实际上手工特性的复杂性增加了知识迁移的难度，因为基于统计的手工特征并不一定包含可迁移知识，且增加了计算复杂度。因此这些方法仅适用于单一跨域场景，难以应用在多跨域场景下的人体行为识别中。如何统一各个跨域场景下的数据分布差异、设计实现不需要提取复杂手工特征的多跨域场景人体行为识别方法存在大的挑战。
发明内容
本发明的发明目的在于：针对上述存在的问题，提供了一种多跨域场景下基于活动图加权的人体行为识别方法，以提升人体行为识别的识别精度，降低计算复杂度，实现多跨域场景下(跨个体、跨传感器、跨身体部位)的人体行为识别。
本发明提供的多跨域场景下基于活动图加权的人体行为识别方法，包括下列步骤：
步骤S1：分别对源域的数据集和目标域数据集中的人体生理信号进行信号预处理，得到预处理后的信号s0，其中，信号预处理为：采用滑窗的方式进行时间窗划分、去噪处理和标准化处理；
在多跨域场景的(跨个体、跨身体部位和跨传感器)人体行为识别中，由于各领域内人体生理数据格式不一致，会导致模型难以学习领域间的可迁移知识，因此分别对源域数据集和目标域数据集中的人体生理信号采用滑窗的方式进行时间窗划分、去噪处理和标准化处理，使各个领域内数据格式统一，便于模型进行知识迁移；
步骤S2：对预处理之后的信号s0进行活动图编码：
使信号s0中每一维度都与其他维度相邻，对信号s0的每一维度信号重新排列，得到排列后的信号s1；
对信号s1进行二维离散傅里叶变换得到频域数据sf，将频域原点移到sf的中心得到活动图数据；并将源域的数据集和目标域的数据集的活动图数据分别记为ss和st；
不同跨域场景下数据分布差异的情况不同，利用不同领域内活动图数据拥有相似分布的特性，使用活动图数据统一各场景下的数据分布差异情况。即将基于步骤S1预处理之后的信号s0处理成活动图形式，后续将活动图作为深度模型的输入以提升模型跨域识别效果；
步骤S3：通过源域的活动图数据ss预训练人体行为识别模型M0，即基于源域数据有充足标签的特点，使用交叉熵函数和源域活动图数据ss预训练深度模型M0，使M0初步具有分类能力；使用三元组损失辅助训练，以增加每个类别中样本的内聚性提升模型的泛化能力；
所述人体行为识别模型M0包含一个特征提取器F和一个分类器C，使用源域交叉熵损失进行监督训练更新模型M0，所述特征提取器F用于提取源域类别相关特征，所述分类器C用于根据特征提取器F提取的特征对源域的活动图数据ss进行分类；使用源域交叉熵损失进行监督训练更新M0，是为了使特征提取器F能够提取源域类别相关的特征，使分类器C能够根据F提取的特征正确分类源域数据；
使用三元组损失辅助更新模型M0，对于三元组损失，将支撑样本、正样本、负样本分别记为
Figure BDA0003451680150000031
采用在线生成方法获取源域的活动图数据ss所有可能的三元组
Figure BDA0003451680150000032
其中f(·)表示对样本提取特征，即通过特征提取器F得到的样本特征；
使用三元组损失辅助更新模型M0，增加F所提取特征在映射空间中的内聚性，即提升所提取特征的可分性，基于同一类别样本在映射空间中处于相似空间位置的假设，该步骤同时提升特征提取器F所提取目标域特征的可分性。
步骤S4：加权源域和目标域样本：
将源域和目标域的活动图数据ss和st分别打上域标签0和1；
活动图数据ss和st分别送入特征提取器F得到特征fs和ft，并将特征fs和ft送入域判别器D进行对抗学习；
根据域判别器D的概率预测输出计算样本权重，其中，采用二分类交叉熵损失作为域判别器D的训练损失函数；
基于样本的概率预测，设置源域样本和目标域样本的权重
Figure BDA0003451680150000033
分别为：
Figure BDA0003451680150000034
其中，
Figure BDA0003451680150000035
表示源域的第i个样本的概率预测，
Figure BDA0003451680150000036
表示目标域的第i个样本的概率预测，e表示自然底数
该步骤是为了提升模型知识迁移能力，在跨域场景中会出现部分样本偏向于携带域相关特征的情况，将这部分样本和其他样本同等对待容易导致负迁移。对源域和目标域的活动图数据ss和st进行相似度衡量，利用概率预测对其加权，将两个域之间相似度大的活动图样本赋予较大权重，反之权重较小，以保证模型在跨域场景下的知识迁移能力。由于特征提取器F的目标是尽可能混淆分类器D，使D难以分辨样本来自哪个域；域判别器D优化目标为尽可能准确判断出样本来自哪个域；最终使特征提取器F获得提取域不变特征的能力，然后根据域判别器的概率预测输出计算样本权重。
步骤S5：使用加权的交叉熵损失和信息熵损失更新模型M0，并采用正则项约束目标域概率预测输出；
并将更新后的模型M0作为跨域场景下的人体行为识别模型M1；
该步骤中，使具有较大权重的样本对知识迁移做出相对较大的贡献；反之，使权重较小的样本对知识迁移产生较小的影响。同时，为防止模型向错误预测的方向迭代，采用正则项约束目标域概率预测输出。
步骤S6：通过模型M1最后一层的输出和softmax函数对活动图数据进行运动转状态识别。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
计算复杂度低，无需提取手工特征，能够有效统一各跨域场景下的数据分布差异，完成域间知识迁移，实现多跨域场景下(跨设备、跨身体部位、跨个体)的人体行为识别。
附图说明
图1是本发明实施例提供的多跨域场景下基于活动图加权的人体行为识别方法处理示意图；
图2是本发明实施例提供的多跨域场景下基于活动图加权的人体行为识别方法的处理流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。
本发明实施例提供了一种多跨域场景下基于活动图加权的人体行为识别方法，包括人体生理信号预处理、信号活动图编码、模型预训练、样本加权、训练模型和运动状态识别六部分。人体生理信号预处理为：将原始人体加速度信号按窗口划分，应用带通滤波去除噪声，对所有样本进行标准化；信号活动图编码为：不同领域内活动图数据拥有相似分布的特性将活动图数据作为模型输入，对预处理后的信号样本提取每一维度重新排列组合，应用二维离散傅里叶变化转换为活动图形式；模型预训练为：基于同一类别数据会映射到子空间相近位置这一假设，应用源域数据和三元组损失预训练模型，提升模型泛化能力，使模型初步具有提取域不变特征的能力；加权样本为：利用域判别器的概率预测分别对源域和目标域的样本加权，使适合知识迁移的样本拥有较大权重，不适合知识迁移的样本拥有较小的权重；训练模型为：计算源域加权交叉熵损失和目标域加权信息熵损失，用整体预测概率的熵作为正则项，达到跨域知识迁移的目的；运动状态识别为：目标域数据输入模型，其输出经过softmax函数对人体活动进行分类。本发明用于多跨域场景下人体行为识别，其无需提取复杂的手工特征、复杂度，能有效统一各跨域场景下的数据分布差异情况，模型识别准确率高，适用于识各种不同跨域情况下的人体行为状态。
参见图1，2，本发明实施例提供的多跨域场景下基于活动图加权的人体行为识别方法的具体实现包括：
信号预处理步骤，对采集的原始信号(人体生理信号)进行时间窗划分并进行带通滤波处理和标准化处理，以得到运动信号araw；
作为一种可能的实现方式，信号预处理利用滑动窗方法对原始信号划分时间窗同时利用带通滤波器对信号进行带通滤波，本实施例中，首先对源信号进行分割，使用滑动窗方法，窗口大小设为2.56秒，滑动步长设为1.28秒，对当前时间窗的人体行为进行识别。根据不同传感器采样频率存在差异这一特点，将采样频率高于50hz的信号数据降采样、采样频率低于50hz的信号数据升采样，使信号采样频率固定至50hz。然后对信号进行去噪处理，以及对每个时间窗进行标准化，经过预处理后的加速度信号记为sraw，六轴加速度信号记为s0(三轴线性加速度和三轴陀螺仪加速度)。
活动图转换步骤，不同跨域场景下数据分布差异的情况不同，利用不同领域内活动图数据拥有相似分布的特性，将预处理之后的信号s0转换为活动图数据作为深度模型的输入，以提升模型在不同跨域场景下的泛化能力。
活动图转换的具体过程为：将不同运动状态下的六轴加速度信号作为活动图转换步骤的输入。记当前时间窗的运动信号s0＝[d1，d2，d3，d4，d5，d6]∈R128×6，即每个时间窗包含6个维度和128个采样点。
单独取出每个时间窗的各个维度数据，得到6个向量d1，d2，d3，d4，d5，d6。重新排列组合这些向量得到新的信号数据，使每个维度的向量都有机会与其他维度向量相邻，主要目的是保证信号数据送入下一步的卷积神经网络中时，卷积窗口能够充分挖掘各个维度数据之间的关系，以提升模型对人体行为的识别准确率。记经过重新排列组合后的加速度信号数据为s1＝[d1，...，d6，d1，d3，d5，d2，d4，d6，...]∈R128×22。
将信号s1经过二维离散傅里叶变化到频域，对于信号s1∈R128×22，先对每一行一维点序列进行离散傅里叶变换得到中间结果，再对中间结果按列对每一列进行离散傅里叶变换，然后得到对应的频域数据；利用频域数据的平移性质，把画面分成四分的基础上进行移位，使直流成分出项在图像中央，频域原点移到中心；将频域数据作为活动图数据，记源域和目标域的活动图数据分别为ss和st。
模型预训练步骤，充分利用源域数据带有充足标记的特点，挖掘人体生理数据类别之间的关系，尽可能在不用到目标域数据的情况下提升模型的泛化能力。使用源域交叉熵损失学习分类知识，利用三元组损失辅助训练，增加每个类别中样本的内聚性以提升模型的泛化能力。
模型预训练具体过程为：初始模型包含一个特征提取器F和一个分类器C。特征提取器F由卷积神经网络和线性层组成；分类器C由线性层组成，输出是一个K维向量，其中K为运动类别数目。
利用交叉熵函数和三元组损失函数对源域活动图数据ss预训练模型。在三元组损失中，输入是一个三元组
Figure BDA0003451680150000061
其中
Figure BDA0003451680150000062
分别为支撑样本点、正样本点(与
Figure BDA0003451680150000063
是同一类别的样本)和负样本点(与
Figure BDA0003451680150000064
是不同类别的样本)，且满足关系
Figure BDA0003451680150000065
Figure BDA0003451680150000066
最终的优化目标是拉近
Figure BDA0003451680150000067
之间的距离，拉远
Figure BDA0003451680150000068
之间的距离。优化目标为：
Figure BDA0003451680150000069
其中，
Figure BDA00034516801500000610
表示第二范数的平方，用来衡量样本点之间的距离，(·)+表示负值取零；
Figure BDA00034516801500000611
与
Figure BDA00034516801500000612
之间的距离和
Figure BDA00034516801500000613
与
Figure BDA00034516801500000614
之间的距离需要保持一个最小间隔，由α表示。即通过预设的最小间隔α表征
Figure BDA00034516801500000615
与
Figure BDA00034516801500000616
之间的距离和
Figure BDA00034516801500000617
与
Figure BDA00034516801500000618
之间的距离需要保持间隔；当距离间隔α较小时，
Figure BDA00034516801500000619
与
Figure BDA00034516801500000620
之间距离较大，
Figure BDA00034516801500000621
与
Figure BDA00034516801500000622
距离较小时也能使目标函数的值趋于0；当距离间隔α较大时可能导致模型不收敛，目标函数值难以趋近于0。因此实验中需要设置合适的距离间隔，本发明实施例中，α设置为1。
在三元组损失中，可分为简单三元组(easy triplets)、困难三元组(hard triplets)和中间三元组(semi-hard triplets)。其中简单三元组指
Figure BDA00034516801500000623
由该三元组计算的损失为0；困难三元组指
Figure BDA00034516801500000624
即
Figure BDA00034516801500000625
之间距离远；中间三元组指
Figure BDA00034516801500000626
即
Figure BDA00034516801500000627
之间距离较近。
在本实施例中，使用batch hard在线生成方式获取可用的三元组。假设一个batch数据具有P个类别，每个类别包含K个样本，共计P*K个样本。采用batch hard方法，所有样本通过深度模型映射到嵌入空间中得到深层特征f，将每一个样本看作一个支撑点
Figure BDA00034516801500000628
计算所有其他样本到该支撑点的距离
Figure BDA00034516801500000629
选择与支撑点
Figure BDA00034516801500000630
距离最大的同类别样本作为正样本
Figure BDA00034516801500000631
与支撑点
Figure BDA00034516801500000632
距离最小的非同类别样本作为负样本
Figure BDA00034516801500000633
由此产生P*K个三元组，这些三元组是最难分的且满足条件：
Figure BDA00034516801500000634
样本加权步骤，对源域和目标域的活动图数据ss和st进行相似度衡量，利用概率预测对其加权，将两个域之间相似度大的活动图样本赋予较大权重，反之权重较小，以统一各种跨域场景下的数据分布差异情况，保证模型在跨域场景下的知识迁移能力。
利用域判别器D判断样本来自哪个域，其优化目标是尽可能分辨出样本来自哪个域，与特征提取器F一起做对抗学习；特征提取器F的优化目标是尽可能混淆D的判别结果，使D无法区别样本来自哪个域。最终特征提取器F得到提取能够提取域不变特征的能力，域判别器D被混淆，对样本判别能力减弱。对抗损失为：
Figure BDA0003451680150000071
其中|Ds|和|Dt|分别表示源域和目标域样本数量，
Figure BDA0003451680150000072
和
Figure BDA0003451680150000073
表示源域和目标域的概率预测向量，Lbce为二分类交叉熵损失。
以域判别器D概率预测的信息熵作为样本的权重，此时两个域相似的样本拥有较大权重，反之赋予较小的权重。这样可以保证拥有较大权重的样本将对后续知识迁移做出更大贡献，反之非相似样本对知识迁移影响较小。记第i个样本的概率预测为
Figure BDA0003451680150000074
源域和目标域样本的权重可表示为：
Figure BDA0003451680150000075
训练模型步骤在原始交叉熵损失和信息熵损失的求和子项中乘以样本权重计算加权交叉熵损失和加权信息熵，使具有较大权重的样本对知识迁移做出相对较大的贡献；反之，使权重较小的样本对知识迁移产生较小的影响。同时，为防止模型向错误预测的方向迭代，采用正则项约束目标域概率预测输出。最终获得能够适用于多种跨域(跨个体、跨身体部位和跨传感器)场景下的人体行为识别模型M1。记源域样本和目标域样本的概率预测分别为
Figure BDA0003451680150000076
和
Figure BDA0003451680150000077
优化目标为：
Figure BDA0003451680150000078
其中|Ds|和|Dt|分别表示源域和目标域的样本数量，λ＞0为可调参数，用来调整目标域信息熵所占的比重。
加权信息熵在优化时趋向于0，即目标域样本概率预测逐渐向高置信度方向迭代，可表示为C(f(xt))→[0，...，1，...，0]。当样本被错误分类时，信息熵会加剧这种错误，因此采用PN＝(P1，P2，...，PN)的熵作为正则项，其中
Figure BDA0003451680150000079
n为样本所属类别，N为类别总数，
Figure BDA00034516801500000710
表示条件概率。正则项损失可表示为：
Figure BDA00034516801500000711
模型的整体优化目标为L＝Lw+ηLe，其中η＞0为可调参数。
运动状态识别步骤，在得到网络输出后用softmax函数对人体运动状态进行识别。
作为一种可能的实现方式，本发明实施例提供的多跨域场景下基于活动图加权的人体行为识别方法的步骤包括：
步骤1：预处理人体生理信号。对加速度传感器采集的人体运动状态下的原始生理信号(3轴线性加速度信号、3轴陀螺仪加速度信号)划分时间窗并对各时间窗进行人体行为识别：
若原始信号采样频率不足50hz则对其进行升采样，若采样频率超过50hz则对其降采样，将原始信号采样频率固定至50hz；按采样窗口时长2.56S，窗口重叠50％采样，每个时间窗拥有128个采样点。对所有时间窗的人体加速度信号进行带通滤波处理和标准化处理，得到初始信号s0∈R128×6，将s0记为[d1，d2，d3，d4，d5，d6]。
步骤2：对预处理之后的人体生理信号进行活动图编码。对初始信号s0每一维度重新排列组合，得到排列后信号s1∈Rn×22，s1可表示为[d1，...，d6，d1，d3，d5，d2，d4，d6，...]∈Rn ×22；利用频域数据的平移性质，将频域原点移到中心得到活动图。将源域和目标域生理信号的活动图数据分别记为ss和st。
步骤3：利用源域数据预训练模型M0。基于同一类别映射到公共子空间时位于相似空间位置的假设，利用三元组损失和带标记源域数据预训练模型M0；
采用batchhard在线生成方式获取三元组样本，将训练时每个batch中所有样本看作支撑点
Figure BDA0003451680150000081
计算所有其他样本与
Figure BDA0003451680150000082
的欧氏距离；
选择与支撑点
Figure BDA0003451680150000083
距离最大的同类别样本作为正样本
Figure BDA0003451680150000084
选择与支撑点
Figure BDA0003451680150000085
距离最小的非同类别样本作为负样本
Figure BDA0003451680150000086
设有P个类别，每个批次中每类含有K个样本，则采用batch hard方式每次得到P*K个三元组；计算三元组损失
Figure BDA0003451680150000087
和源域交叉熵损失，相加得到与训练阶段整体优化目标函数，利用反向传播算法迭代更新模型，直至模型M0收敛。
步骤4：加权源域和目标域样本，提升模型知识迁移能力。对源域和目标域数据相似度衡量，使相似度大的样本较于相似度小的样本对知识迁移做出更大贡献。
将源域和目标域数据ss和st送入特征提取器F得到特征fs和ft，将特征fs和ft输入到域判别器D中做对抗学习，最终使判别器D无法区别样本来自哪个域，特征提取器F能提取到域不变特征。通过D的概率预测输出计算每个样本的信息熵作为样本权重。最终结果为两个域相似的样本拥有较大权重，反之赋予较小的权重。记第i个样本的概率预测为
Figure BDA0003451680150000088
源域和目标域样本的权重可表示为：
Figure BDA0003451680150000091
步骤5：利用加权交叉熵损失和加权信息熵损失更新初始模型M0，原始交叉熵损失和信息熵损失由每个样本单独计算损失项然后求和。
在步骤4中获取样本权重源域和目标域之间相似的样本被赋予较大权重，差异较大的样本被赋予较小权重；在原始交叉熵基础上，对每个样本的损失项乘以样本权重，使相似度高的样本对知识迁移做出更大贡献，反之减少差异较大样本对知识迁移的影响程度。记源域样本和目标域样本的概率预测分别为
Figure BDA0003451680150000092
和
Figure BDA0003451680150000093
优化目标为：
Figure BDA0003451680150000094
其中|Ds|和|Dt|分别表示源域和目标域的样本数量，λ＞0为可调参数，用来调整目标域信息熵所占的比重。
采用正则项约束目标域概率预测输出以防止模型向负迁移方向迭代，加权信息熵在优化时趋向于0，即目标域样本概率预测逐渐向高置信度方向迭代，可表示为C(G(xt))→[0，...，1，...，0]。当样本被错误分类时，信息熵会加剧这种错误，因此采用PN＝(P1，P2，...，PN)的熵作为正则项，其中
Figure BDA0003451680150000095
n为样本所属类别，N为类别总数。正则项可表示为：
Figure BDA0003451680150000096
步骤6：模型训练至收敛时，使用softmax函数对模型输出进行处理，得到人体行为分类结果。
最后，以时间窗为单位，实时显示人体行为的类别，即当前时间窗的人体行为识别分类结果。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.多跨域场景下基于活动图加权的人体行为识别方法，其特征在于，包括下列步骤：
步骤S1：分别对源域的数据集和目标域数据集中的人体生理信号进行信号预处理，得到预处理后的信号s0，其中，信号预处理为：采用滑窗的方式进行时间窗划分、去噪处理和标准化处理；
步骤S2：对预处理之后的信号s0进行活动图编码：
使信号s0中每一维度都与其他维度相邻，对信号s0的每一维度信号重新排列，得到排列后的信号s1；
对信号s1进行二维离散傅里叶变换得到频域数据sf，将频域原点移到sf的中心得到活动图数据；并将源域的数据集和目标域的数据集的活动图数据分别记为ss和st；
步骤S3：通过源域的活动图数据ss预训练人体行为识别模型M0；
所述人体行为识别模型M0包含一个特征提取器F和一个分类器C，使用源域交叉熵损失进行监督训练更新模型M0，所述特征提取器F用于提取源域类别相关特征，所述分类器C用于根据特征提取器F提取的特征对源域的活动图数据ss进行分类；
使用三元组损失辅助更新模型M0，对于三元组损失，将支撑样本、正样本、负样本分别记为
Figure FDA0003451680140000011
采用在线生成方法获取源域的活动图数据ss所有可能的三元组
Figure FDA0003451680140000012
其中f(·)表示通过特征提取器F对样本提取特征；
步骤S4：加权源域和目标域样本：
将源域和目标域的活动图数据ss和st分别打上域标签0和1；
活动图数据ss和st分别送入特征提取器F得到特征fs和ft，并将特征fs和ft送入域判别器D进行对抗学习；
根据域判别器D的概率预测输出计算样本权重，其中，采用二分类交叉熵损失作为域判别器D的训练损失函数；
基于样本的概率预测，设置源域样本和目标域样本的权重
Figure FDA0003451680140000013
分别为：
Figure FDA0003451680140000014
其中，
Figure FDA0003451680140000015
表示源域的第i个样本的概率预测，
Figure FDA0003451680140000016
表示目标域的第i个样本的概率预测，e表示自然底数
步骤S5：使用加权的交叉熵损失和信息熵损失更新模型M0，并采用正则项约束目标域概率预测输出；
并将更新后的模型M0作为跨域场景下的人体行为识别模型M1；
步骤S6：通过模型M1最后一层的输出和softmax函数对活动图数据进行运动转状态识别。
2.如权利要求1所述的方法，其特征在于，步骤S1中，采用滑窗方式进行时间窗口划分的方式为：将采集到的人体加速度信号采样频率通过上采样或下采样方式固定为指定频率，基于每个窗口的时长和窗口重叠，得到每个窗口的多个采样点。
3.如权利要求2所述的方法，其特征在于，采用滑窗方式进行时间窗口划分时，指定频率为50hz，采样窗口时长2.56S，窗口重叠50％，每个窗口128个采样点。
4.如权利要求1所述的方法，其特征在于，步骤S3中，获取所有可能的三元组
Figure FDA0003451680140000021
具体为：
定义P表示一个批次数据具有的类别数，K表示每个类别包含的样本数；
采用batch hard方法，将所有样本通过深度模型映射到嵌入空间中得到深层特征f，将每一个样本作为一个支撑样本
Figure FDA0003451680140000022
计算所有其他样本到该支撑样本的距离
Figure FDA0003451680140000023
选择与支撑样本
Figure FDA0003451680140000024
距离最大的同类别样本作为正样本
Figure FDA0003451680140000025
与支撑样本
Figure FDA0003451680140000026
距离最小的非同类别样本作为负样本
Figure FDA0003451680140000027
其中，fi，fj表示第i个和第j个样本的深层特征；
从而得到P*K个最三元组，且满足条件：
Figure FDA0003451680140000028
其中，
Figure FDA0003451680140000029
表示第二范数的平方，α表示预设的最小间隔；
对每个批次的数据，基于得到的P*K个三元组计算三元组损失：
Figure FDA00034516801400000210
其中，(·)+表示负值取零，N表示样本总数。
5.如权利要求1所述的方法，其特征在于，步骤S4中，域判别器D的训练损失函数为：
Figure FDA00034516801400000211
其中，|Ds|和|Dt|分别表示源域和目标域的样本数量，Xs和Xt分别表示源域和目标域的样本向量，
Figure FDA00034516801400000212
和
Figure FDA00034516801400000213
分别表示源域和目标域的概率预测向量，Lbce为二分类交叉熵损失。
6.如权利要求1所述的方法，其特征在于，步骤S5具体为：
以L＝Lw+ηLe作为整体优化目标对模型M0进行更新；
其中，可调参数η为预设值，且η＞0；
Lw表示加权的交叉熵损失和信息熵损失：
Figure FDA0003451680140000031
其中，Ds和Dt分别表示源域和目标域的样本集，|Ds|和|Dt|分别表示源域和目标域的样本数量，xs和xt分别表示源域和目标域的样本，
Figure FDA0003451680140000032
和
Figure FDA0003451680140000033
分别表示源域样本和目标域样本的概率预测，可调参数λ为预设值，且λ＞0；
Le表示正则项损失：
Figure FDA0003451680140000034
其中，n为样本所属类别，N′为类别总数，Pn表示第n类的正则项。
7.如权利要求1所述的方法，其特征在于，步骤S3中，最小间隔α的取值为1。
8.如权利要求1所述的方法，其特征在于，所述人体生理信号为通过加速度传感器采集的人体运动状态下的生理信号。
9.如权利要求8所述的方法，其特征在于，所述人体生理信号包含6轴加速度信号：3轴线性加速度和3轴陀螺仪加速度。
10.如权利要求9所述的方法，其特征在于，步骤S2中，信号s0为包含6轴加速度信号，记为s0＝[d1，d2，d3，d4，d5，d6]；
将信号s0每一维度信号重新排列得到信号s1：[d1，...，d6，d1，d3，d5，d2，d4，d6，...]∈Rn ×22。
CN202111668405.9A 2021-07-15 2021-12-31 多跨域场景下基于活动图加权的人体行为识别方法 Active CN114495265B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2021108025806 2021-07-15
CN202110802580 2021-07-15

Publications (2)

Publication Number Publication Date
CN114495265A true CN114495265A (zh) 2022-05-13
CN114495265B CN114495265B (zh) 2023-04-07

Family

ID=81508538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111668405.9A Active CN114495265B (zh) 2021-07-15 2021-12-31 多跨域场景下基于活动图加权的人体行为识别方法

Country Status (1)

Country Link
CN (1) CN114495265B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117153161A (zh) * 2023-10-31 2023-12-01 中国传媒大学 基于域不变表征学习的跨域语音鉴伪方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309861A (zh) * 2019-06-10 2019-10-08 浙江大学 一种基于生成对抗网络的多模态人类活动识别方法
CN110363122A (zh) * 2019-07-03 2019-10-22 昆明理工大学 一种基于多层特征对齐的跨域目标检测方法
US20200082221A1 (en) * 2018-09-06 2020-03-12 Nec Laboratories America, Inc. Domain adaptation for instance detection and segmentation
CN111160462A (zh) * 2019-12-30 2020-05-15 浙江大学 一种基于多传感器数据对齐的无监督个性化人类活动识别方法
CN111476168A (zh) * 2020-04-08 2020-07-31 山东师范大学 一种基于三阶段的跨域行人重识别方法和系统
CN111680644A (zh) * 2020-06-11 2020-09-18 天津大学 一种基于深度空时特征学习的视频行为聚类方法
CN111832516A (zh) * 2020-07-22 2020-10-27 西安电子科技大学 基于无监督视频表示学习的视频行为识别方法
CN112347995A (zh) * 2020-11-30 2021-02-09 中国科学院自动化研究所 基于像素和特征转移相融合的无监督行人再识别方法
CN112487217A (zh) * 2019-09-12 2021-03-12 腾讯科技（深圳）有限公司 跨模态检索方法、装置、设备及计算机可读存储介质
CN112633377A (zh) * 2020-12-24 2021-04-09 电子科技大学 一种基于生成对抗网络的人体行为预测方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200082221A1 (en) * 2018-09-06 2020-03-12 Nec Laboratories America, Inc. Domain adaptation for instance detection and segmentation
CN110309861A (zh) * 2019-06-10 2019-10-08 浙江大学 一种基于生成对抗网络的多模态人类活动识别方法
CN110363122A (zh) * 2019-07-03 2019-10-22 昆明理工大学 一种基于多层特征对齐的跨域目标检测方法
CN112487217A (zh) * 2019-09-12 2021-03-12 腾讯科技（深圳）有限公司 跨模态检索方法、装置、设备及计算机可读存储介质
CN111160462A (zh) * 2019-12-30 2020-05-15 浙江大学 一种基于多传感器数据对齐的无监督个性化人类活动识别方法
CN111476168A (zh) * 2020-04-08 2020-07-31 山东师范大学 一种基于三阶段的跨域行人重识别方法和系统
CN111680644A (zh) * 2020-06-11 2020-09-18 天津大学 一种基于深度空时特征学习的视频行为聚类方法
CN111832516A (zh) * 2020-07-22 2020-10-27 西安电子科技大学 基于无监督视频表示学习的视频行为识别方法
CN112347995A (zh) * 2020-11-30 2021-02-09 中国科学院自动化研究所 基于像素和特征转移相融合的无监督行人再识别方法
CN112633377A (zh) * 2020-12-24 2021-04-09 电子科技大学 一种基于生成对抗网络的人体行为预测方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HAOYI WANG等: "Age-Oriented Face Synthesis With Conditional Discriminator Pool and Adversarial Triplet Loss" *
LICHEN WANG等: "Generative Multi-View Human Action Recognition" *
LUQI WANG等: "Personalized Human Activity Recognition using Hypergraph Learning with Fusion Features" *
郭乐铭: "基于深度时空网络的少样本跨域动作识别算法研究" *
龙秋玲: "基于改进CNN-LSTM的人体行为识别研究" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117153161A (zh) * 2023-10-31 2023-12-01 中国传媒大学 基于域不变表征学习的跨域语音鉴伪方法及系统

Also Published As

Publication number Publication date
CN114495265B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
Hatami et al. Classification of time-series images using deep convolutional neural networks
CN110309861B (zh) 一种基于生成对抗网络的多模态人类活动识别方法
Abiyev et al. Sign language translation using deep convolutional neural networks
CN110020623B (zh) 基于条件变分自编码器的人体活动识别系统及方法
CN108052896B (zh) 基于卷积神经网络与支持向量机的人体行为识别方法
CN109255289B (zh) 一种基于统一式生成模型的跨衰老人脸识别方法
Bu Human motion gesture recognition algorithm in video based on convolutional neural features of training images
CN114692732B (zh) 一种在线标签更新的方法、系统、装置及存储介质
CN111103976A (zh) 手势识别方法、装置及电子设备
CN112507861A (zh) 一种多层卷积特征融合的行人检测方法
CN111967433A (zh) 一种基于自监督学习网络的动作识别办法
CN113946218A (zh) 设备上的活动识别
Zhang et al. Classification of canker on small datasets using improved deep convolutional generative adversarial networks
CN115527269A (zh) 一种人体姿态图像智能识别方法及系统
CN114495265B (zh) 多跨域场景下基于活动图加权的人体行为识别方法
Li et al. Egocentric action recognition by automatic relation modeling
Meena et al. Seq2Dense U-Net: Analysing Sequential Inertial Sensor data for Human Activity Recognition using Dense Segmentation Model
CN117078956A (zh) 一种基于点云多尺度并行特征提取和注意力机制的点云分类分割网络
Wang et al. Self-supervised learning for high-resolution remote sensing images change detection with variational information bottleneck
CN108960005A (zh) 一种智能视觉物联网中对象视觉标签的建立及显示方法、系统
CN108154107B (zh) 一种确定遥感图像归属的场景类别的方法
Uslu et al. A segmentation scheme for knowledge discovery in human activity spotting
Zheng et al. Deep learning for typhoon intensity classification using satellite cloud images
CN114998731A (zh) 智能终端导航场景感知识别的方法
CN112597842B (zh) 基于人工智能的运动检测面瘫程度评估系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant