CN116259109A - 基于生成式自监督学习和对比学习的人体行为识别方法 - Google Patents
基于生成式自监督学习和对比学习的人体行为识别方法 Download PDFInfo
- Publication number
- CN116259109A CN116259109A CN202310350543.5A CN202310350543A CN116259109A CN 116259109 A CN116259109 A CN 116259109A CN 202310350543 A CN202310350543 A CN 202310350543A CN 116259109 A CN116259109 A CN 116259109A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- training
- learning
- contrast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Psychiatry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Social Psychology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于生成式自监督学习和对比学习的人体行为识别方法,具体为:基于传感器设备采集人体行为识别数据集,将数据集划分给多个节点;根据数据增强的类别数和生成器的训练次数进行生成对抗网络的训练,得到训练好的生成对抗网络模型;使用训练好的生成对抗网络对边缘节点进行数据扩充,得到生成数据;边缘节点利用扩充后的数据进行模型训练;中心节点对来自各个边缘节点的模型参数进行聚合更新;将待检测的数据输入到训练好的本地模型进行人体行为识别,得到对应的行为类别。本发明有效提升了模型的精度,能较好适应边缘设备数据规模较小和数据非独立同分布的场景。
Description
技术领域
本发明属于人体行为识别技术领域,尤其涉及一种基于生成式自监督学习和对比学习的人体行为识别方法。
背景技术
随着智能生活概念的普及和穿戴式终端设备技术的快速发展,基于可穿戴式智能设备的人体行为识别得到了广泛的关注。为了避免中心化集中式训练模式所带来的数据隐私安全问题,引入了联邦学习机制。联邦学习作为一种新的分布式机器学习范式,不同于传统的大规模机器学习将所有大量训练数据和模型集中化进行处理。为了保证用户数据隐私安全和解决数据孤岛等问题,联邦学习支持大规模数据的本地训练和各数据持有者协同建模。在这种具有隐私保护特性的分布式机器学习框架下,数据交互的对象为模型的梯度参数,避免了数据的直接暴露。在联邦学习的机制下,边缘节点的行为识别模型由于缺乏较大规模的数据集以及数据集的非独立同分布,导致行为识别模型出现模型精度较低、模型过拟合、泛化能力较低等问题。
在分布式系统下,边缘设备的差异性和数据集分布的差异性会导致模型性能较低等问题。目前已有的解决方案是动态调整不同的边缘节点每一轮迭代次数来解决数据非独立同分布的问题,但这种方式会使得模型的准确率较低。还有的方法是在参数的聚合更新过程中使用加权聚合的方式来解决边缘设备的差异性问题,但这种方式会造成模型难以收敛。
总的来说,现有的这些方案都无法很好解决边缘设备所拥有的训练数据较少以及数据的非独立同分布所导致的本地模型精度较低等问题。
发明内容
为解决在基于联邦学习的人体行为识别中的本地模型性能上的问题,本发明提供一种基于生成式自监督学习和对比学习的人体行为识别方法。
本发明的一种基于生成式自监督学习和对比学习的人体行为识别方法,包括以下步骤:
步骤1:基于传感器设备采集人体行为识别数据集。
设设置生成对抗网络和对比学习中的输入参数,包括:边缘节点与中心节点的更新次数T,节点数量N,边缘节点的行为识别模型迭代次数E,温度参数τ,学习率η,样本数据扩充数量χτ,数据增强的类别数K,生成器的训练次数EK。
将数据集划分给N个节点。
步骤2:根据数据增强的类别数K和生成器的训练次数EK进行生成对抗网络的训练,得到训练好的生成对抗网络。
生成对抗网络模型结构分为生成器和鉴别器两个部分。生成器与真实数据进行连接,生成数据与真实数据共同参与数据增强的过程。得到的增强数据与鉴别器连接,最后将联合多个鉴别器的结果反馈给生成器进行调整。
步骤3:使用训练好的生成对抗网络对边缘节点进行数据扩充,扩充量为χτ,得到生成数据。
通过一个生成器G(Z)得到生成后的样本数据,Z表示随机变量,接着在真实的数据样本加入K种不同类型的数据增强后的数据分别对真实数据样本和生成数据样本进行数据增强并送入对应的K个鉴别器中,最后将联合多个鉴别器的输出结果反馈给生成器进行调整;定义χτ表示经过数据增强的数据集,λu和λv为常数,和/>表示原始数据和生成数据的数据分布,E表示数学期望,τ={T2,…,Tk}表示K种不同的数据增强操作,定义鉴别器集合{Dk}={D2,…,Dk},鉴别器Dk用来训练经过数据增强Tk操作后的数据,此时的鉴别器的目标函数为:
其中,υ(Dk,G)的定义为:
生成器的目标函数为:
步骤4:边缘节点利用扩充后的数据进行模型训练。
步骤5:中心节点对来自各个边缘节点的训练梯度参数进行聚合更新。在模型参数更新的时候,使用对比学习的方式进行参数更新,模型结构为:选取一种网络模型作为基础的编码器,编码器连接着映射网络,映射层将编码器层的输出投影到具有固定的维度空间,最后是输出层来输出每种类别的预测值。
在第t次迭代训练时,利用本地模型的第t-1次迭代训练中的映射层输出以及当前迭代的边缘节点和中心节点的映射层的网络的联合输出进行对比学习的损失函数计算,并将当迭代中的本地模型的输出层作为监督信号计算交叉熵监督损失,最后对比损失与监督损失共同作为模型的损失值;将本地模型的交叉熵损失值记为lsup,将本地模型与全局模型的对比损失值定义为lcontra:边缘节点从中心节点接收全局模型参数wt来参与本地模型的第i次的更新定义z表示当前迭代的模型,定义zprev表示上一轮迭代的模型,定义Zglobal表示全局模型。
对比学习的损失函数表示为:
对于本地的目标函数定义为:
步骤6:将待检测的数据输入到训练好的本地模型进行人体行为识别,得到对应的行为类别。
进一步的,边缘节点的运行流程具体为:
(2)根据全局模型Zglobal和上一轮迭代的模型Zprev计算对比损失值lcontra;
进一步的,中心节点的运行流程具体为:
(1)初始化模型参数ω0;
(2)在每轮迭代中将全局模型参数ωt发送到边缘节点Pi;
本发明的有益技术效果为:
本发明有效提升了模型的精度,能较好适应边缘设备数据规模较小和数据非独立同分布的场景。
附图说明
图1为本发明基于生成式自监督学习和对比学习的人体行为识别方法流程图。
图2为生成对抗网络示意图。
图3为联邦对比学习示意图。
图4为边缘节点的运行流程图。
图5为中心节点的运行流程图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细说明。
本发明的一种基于生成式自监督学习和对比学习的人体行为识别方法如图1所示,包括以下步骤:
步骤1:基于传感器设备采集人体行为识别数据集。
设置生成对抗网络和对比学习中的输入参数,包括:边缘节点与中心节点的更新次数T,节点数量N,边缘节点的训练次数E,温度参数τ,学习率η,样本数据扩充数量χτ,数据增强的类别数K,生成器的训练次数EK以及相关的超参数。
将数据集划分给N个节点。
步骤2:根据数据增强的类别数K和生成器的训练次数EK进行生成对抗网络的训练,得到训练好的生成对抗网络。
生成对抗网络模型如图2所示,具体结构为:生成对抗网络模型结构分为生成器和鉴别器两个部分。生成器与真实数据进行连接,生成数据与真实数据共同参与数据增强的过程。得到的增强数据与鉴别器连接,最后将联合多个鉴别器的结果反馈给生成器进行调整。
步骤3:使用训练好的生成对抗网络对边缘节点进行数据扩充,扩充量为χτ,得到生成数据。
通过一个生成器G(Z)得到生成后的样本数据,Z表示随机变量,接着在真实的数据样本加入K种不同类型的数据增强后的数据分别对真实数据样本和生成数据样本进行数据增强并送入对应的K个鉴别器中,最后将联合多个鉴别器的输出结果反馈给生成器进行调整;定义χτ表示经过数据增强的数据集,λu和λv为常数,和/>表示原始数据和生成数据的数据分布,E表示数学期望,τ={T2,…,Tk}表示K种不同的数据增强操作,定义鉴别器集合{Dk}={D2,…,Dk},鉴别器Dk用来训练经过数据增强Tk操作后的数据,此时的鉴别器的目标函数为:
其中,υ(Dk,G)的定义为:
生成器的目标函数为:
步骤4:边缘节点利用扩充后的数据进行模型训练。
边缘节点的运行流程如图4所示,具体为:
(2)根据全局模型Zglobal和上一轮迭代的模型Zprev计算对比损失值lcontra;
步骤5:中心节点对来自各个边缘节点的训练梯度参数进行聚合更新。在模型参数更新的时候,使用对比学习的方式进行参数更新,模型结构如图3所示,具体为:选取一种网络模型作为基础的编码器,编码器连接着映射网络,映射层将编码器层的输出投影到具有固定的维度空间,最后是输出层来输出每种类别的预测值。
在第t次迭代训练时,利用本地模型的第t-1次迭代训练中的映射层输出以及当前迭代的边缘节点和中心节点的映射层的网络的联合输出进行对比学习的损失函数计算,并将当迭代中的本地模型的输出层作为监督信号计算交叉熵监督损失,最后对比损失与监督损失共同作为模型的损失值;将本地模型的交叉熵损失值记为lsup,将本地模型与全局模型的对比损失值定义为lcontra:边缘节点从中心节点接收全局模型参数wt来参与本地模型的第i次的更新定义z表示当前迭代的模型,定义zprev表示上一轮迭代的模型,定义Zglobal表示全局模型。
对比学习的损失函数表示为:
对于本地的目标函数定义为:
中心节点的运行流程如图5所示,具体为:
(1)初始化模型参数ω0;
(2)在每轮迭代中将全局模型参数ωt发送到边缘节点Pi;
步骤6:将待检测的数据输入到训练好的本地模型进行人体行为识别,得到对应的行为类别。
实施例:
选取基于传感器设备的人体行为识别数据集,使用包含卷积层、归一化层、激活函数层、正则化函数层和最大池化层的卷积神经网络模型作为边缘节点的训练模型。并且与现有的联邦学习方案进行对比,通过划分不同数量的边缘节点和设定不同的对比损失权重值来验证模型的效果。将进过非独立同分布的数据划分到各个边缘节点,并在边缘节点上利用生成对抗网络进行训练扩充边缘节点的数据量进行本地模型的训练。
针对本发明模型参数的聚合更新,使用OPPORTUNITY数据集的仿真实验结果如表1所示。FedContra表示本发明的模型,与联邦平均算法(Federated Averaging Algorithm,FedAvg)模型和联邦异构算法(Federated Proximal Term Algorithm,FedProx)模型进行对比实验。选取F1-Measure(综合评价指标)作为评价指标,F1-Measure表示准确率和召回率的加权调和平均,能更好综合反映模型的性能。在不同划分的边缘节点上,随着迭代次数的增加,模型的准确率都随着增加,并且本发明的表现效果更优。
表1不同数量的用户节点在OPPORTUNITY数据集上的平均F1-Measure
接着,我们在不同的数据集上进行同样的实验,以验证本发明的有效性和可靠性。使用PAMAP2数据集的仿真实验结果如表2所示。
表2不同数量的用户节点在PAMAP2数据集上的平均F1-Measure
针对本发明生成对抗网络,在OPPORTUNITY上的实验基础上对比不同的生成对抗网络的表现效果以及与不使用生成对抗网络进行数据扩充的表现效果。实验结果如表3所示,FedContra-DAG表示本发明的模型结构,选取基于条件生成对抗网络(ConditionalGenerative Adversarial Networks,CGAN)的FedContra-CGAN模型和基于深度卷积生成对抗网络(Deep Convolution Generative Adversarial Networks,DCGAN)的FedContra-DCGAN模型进行对比实验。选取Top-1(排名第一的类别与实际结果相符的准确率)作为评价指标。在不同数量的边缘节点和不同数据扩充量的对比中,本发明的准确率效果和现有的方案比较都取得较高的表现。
表3OPPORTUNITY数据集中的Top-1对比实验
总的来说,本发明设计的方案能在基于分布式的联邦学习框架下较好的适应边缘设备数据规模较小和数据非独立同分布的场景并提高模型的准确率。
Claims (3)
1.一种基于生成式自监督学习和对比学习的人体行为识别方法,其特征在于,包括以下步骤:
步骤1:基于传感器设备采集人体行为识别数据集;
设置生成对抗网络和对比学习中的输入参数,包括:边缘节点与中心节点的更新次数T,节点数量N,边缘节点的训练次数E,温度参数τ,学习率η,样本数据扩充数量χτ,数据增强的类别数K,生成器的训练次数EK以及相关的超参数;
将数据集划分给N个节点;
步骤2:根据数据增强的类别数K和生成器的训练次数EK进行生成对抗网络的训练,得到训练好的生成对抗网络;
生成对抗网络模型结构分为生成器和鉴别器两个部分,生成器与真实数据进行连接,生成数据与真实数据共同参与数据增强的过程,得到的增强数据与鉴别器连接,最后将联合多个鉴别器的结果反馈给生成器进行调整;
步骤3:使用训练好的生成对抗网络对边缘节点进行数据扩充,扩充量为χτ,得到生成数据;
通过一个生成器G(Z)得到生成后的样本数据,Z表示随机变量,接着在真实的数据样本加入K种不同类型的数据增强后的数据分别对真实数据样本和生成数据样本进行数据增强并送入对应的K个鉴别器中,最后将联合多个鉴别器的输出结果反馈给生成器进行调整;定义χτ表示经过数据增强的数据集,λu和λv为常数,和/>表示原始数据和生成数据的数据分布,E表示数学期望,τ={T2,...,Tk}表示K种不同的数据增强操作,定义鉴别器集合{Dk}={D2,...,Dk},鉴别器Dk用来训练经过数据增强Tk操作后的数据,此时的鉴别器的目标函数为:
其中,υ(Dk,G)的定义为:
生成器的目标函数为:
步骤4:边缘节点利用扩充后的数据进行模型训练;
步骤5:中心节点对来自各个边缘节点的训练梯度参数进行聚合更新;在进行参数聚合更新的时候,使用对比学习的方式进行参数更新,模型结构为:选取一种网络模型作为基础的编码器,编码器连接着映射网络,映射层将编码器层的输出投影到具有固定的维度空间,最后是输出层来输出每种类别的预测值;
在第t次迭代训练时,利用选取的网络模型第t-1次迭代训练中的映射层输出以及当前迭代的边缘节点和中心节点的映射层的网络的联合输出进行对比学习的损失函数计算,并将当迭代中的本地模型的输出层作为监督信号计算交叉熵监督损失,最后对比损失与监督损失共同作为模型的损失值;将本地模型的交叉熵损失值记为lsup,将本地模型与全局模型的对比损失值定义为lcontra:边缘节点从中心节点接收全局模型参数wt来参与本地模型的第i次的更新定义z表示当前迭代的模型,定义zprev表示上一轮迭代的模型,定义Zglobal表示全局模型;
对比学习的损失函数表示为:
对于本地的目标函数定义为:
步骤6:将待检测的数据输入到训练好的本地模型进行人体行为识别,得到对应的行为类别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310350543.5A CN116259109A (zh) | 2023-04-04 | 2023-04-04 | 基于生成式自监督学习和对比学习的人体行为识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310350543.5A CN116259109A (zh) | 2023-04-04 | 2023-04-04 | 基于生成式自监督学习和对比学习的人体行为识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116259109A true CN116259109A (zh) | 2023-06-13 |
Family
ID=86679506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310350543.5A Pending CN116259109A (zh) | 2023-04-04 | 2023-04-04 | 基于生成式自监督学习和对比学习的人体行为识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116259109A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116881723A (zh) * | 2023-09-06 | 2023-10-13 | 北京城建设计发展集团股份有限公司 | 用于既有结构响应预测的数据扩充方法、系统 |
CN117994863A (zh) * | 2024-04-03 | 2024-05-07 | 中国石油大学(华东) | 一种人体行为识别方法及其识别系统 |
-
2023
- 2023-04-04 CN CN202310350543.5A patent/CN116259109A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116881723A (zh) * | 2023-09-06 | 2023-10-13 | 北京城建设计发展集团股份有限公司 | 用于既有结构响应预测的数据扩充方法、系统 |
CN116881723B (zh) * | 2023-09-06 | 2024-02-20 | 北京城建设计发展集团股份有限公司 | 用于既有结构响应预测的数据扩充方法、系统 |
CN117994863A (zh) * | 2024-04-03 | 2024-05-07 | 中国石油大学(华东) | 一种人体行为识别方法及其识别系统 |
CN117994863B (zh) * | 2024-04-03 | 2024-06-11 | 中国石油大学(华东) | 一种人体行为识别方法及其识别系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | A free lunch from ANN: Towards efficient, accurate spiking neural networks calibration | |
Huang et al. | Convolutional neural network based on complex networks for brain tumor image classification with a modified activation function | |
CN107256393B (zh) | 基于深度学习的一维生理信号的特征提取与状态识别 | |
CN116259109A (zh) | 基于生成式自监督学习和对比学习的人体行为识别方法 | |
CN112308961B (zh) | 基于分层高斯混合模型的机器人快速鲁棒三维重建方法 | |
Wu et al. | Learning large-scale fuzzy cognitive maps based on compressed sensing and application in reconstructing gene regulatory networks | |
CN107368707B (zh) | 基于us-elm的基因芯片表达数据分析系统及方法 | |
CN111523728B (zh) | 一种四阶段混合短时风向预测方法 | |
Oliinyk et al. | Using parallel random search to train fuzzy neural networks | |
Salimi et al. | Extended mixture of MLP experts by hybrid of conjugate gradient method and modified cuckoo search | |
CN110619364A (zh) | 一种基于云模型的小波神经网络三维模型分类方法 | |
Zhang et al. | Modeling collective behaviors: A moment-based approach | |
Yang et al. | An artificial bee colony algorithm with a cumulative covariance matrix mechanism and its application in parameter optimization for hearing loss detection models | |
Rahmat et al. | A Gene-Regulated Nested Neural Network. | |
Roeva et al. | Knowledge discovery from data: InterCriteria Analysis of mutation rate influence | |
CN109459609B (zh) | 一种基于人工神经网络的分布式电源频率检测方法 | |
Qian et al. | SVM Multi-Classification Optimization Research based on Multi-Chromosome Genetic Algorithm | |
Habiba et al. | ECG synthesis with neural ODE and GAN models | |
CN107463528A (zh) | 基于ks检验的高斯混合模型分裂与合并算法 | |
CN114004170A (zh) | 基于有限测点的叶栅流场的重构方法 | |
Ізонін | An Ensemble Method for the Regression Model Parameter Adjustments: Direct Approach | |
CN113066172A (zh) | 一种基于云模型和神经网络的三维模型分类方法 | |
CN112749807A (zh) | 一种基于生成模型的量子态层析方法 | |
Fombellida et al. | Application of artificial metaplasticity fundamentals to WBCD breast cancer database classification method | |
Wu et al. | Predicting nash equilibria in bimatrix games using a robust bi-channel convolutional neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |