CN114386621A - 基于联邦学习的人类活动识别方法和系统 - Google Patents
基于联邦学习的人类活动识别方法和系统 Download PDFInfo
- Publication number
- CN114386621A CN114386621A CN202111501125.9A CN202111501125A CN114386621A CN 114386621 A CN114386621 A CN 114386621A CN 202111501125 A CN202111501125 A CN 202111501125A CN 114386621 A CN114386621 A CN 114386621A
- Authority
- CN
- China
- Prior art keywords
- client
- model parameters
- parameters
- local
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000694 effects Effects 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 45
- 230000002776 aggregation Effects 0.000 claims abstract description 18
- 238000004220 aggregation Methods 0.000 claims abstract description 18
- 230000000875 corresponding effect Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Bioethics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于联邦学习的人类活动识别方法和系统。该方法包括：步骤1：服务器确定训练任务和对应的活动数据特征，生成初始模型参数并下发至各个客户端；步骤2：每个客户端根据接收到的初始模型参数或新的全局模型参数，结合自身的本地活动数据进行本地训练，生成本地更新参数，将本地更新参数上传到服务器；步骤3：服务器将接收到的各个客户端的本地更新参数进行加权平均聚合以产生新的全局模型参数，将新的全局模型参数下发至各个客户端；步骤4：重复执行步骤2至步骤3，直至达到训练停止条件得到最终的全局模型参数，服务器将最终的全局模型参数下发至各个客户端。本发明在保护用户隐私的同时提升了HAR识别的准确率。
Description
技术领域
本发明涉及人类活动识别技术领域，尤其涉及一种基于联邦学习的人类活动识别方法和系统。
背景技术
随着人口老龄化的快速加剧，人类活动识别(human activity recognition，简称HAR)的研究变的尤为重要，人们可以通过智能手机、腕带和智能眼镜等可穿戴设备检测日常活动。近年来，机器学习已被越来越多的应用于人类活动识别领域。基于启发式手工特征提取和自动特征提取的各种方法已被应用于人类活动识别中进行识别分类。目前现有人类活动识别工作都聚焦于在中央服务器上训练模型的集中式学习方法，需要从用户端收集所有活动数据进行集中式训练。然而，集中收集传感器数据会造成敏感信息被泄露的风险，用户的隐私体征数据难以获得有效保护。此外，在移动设备上运行机器学习模型时，每个客户端上的标记数据通常不足以训练一个良好的模型。而且由于不同用户的个体差异性、外部环境以及传感器偏差等，不同的用户数据往往表现出高度的异质性和随机性，导致模型精度较差。
为了保护用户数据的隐私，已有学者将联邦学习应用到HAR，联邦学习(FL)是一种分布式机器学习方法，区别于机器学习集中训练的方式，其训练数据不需要集中收集、存储到云端，而是基于各个数据源本地数据进行模型训练，数据不需要移动，减少数据对外传输，降低了隐私数据被泄露的风险。然而现有的联邦学习方法是通过平均各个用户端模型来为用户学习全局模型，研究表明这种方法虽然在一定程度上能够处理非独立同分布数据，但数据的准确性下降是不可避免的。
发明内容
针对目前的人类活动识别方法无法保护用户数据的隐私或者识别结果精度不够的问题，本发明提供了一种基于联邦学习的人类活动识别方法和系统，可以在保护用户隐私的情况下提高人类识别的准确率。
一方面，本发明提供一种基于联邦学习的人类活动识别方法，多个客户端通过以太网与服务器建立连接并通信，所述方法包括：
步骤1：服务器确定训练任务和对应的活动数据特征，并生成初始模型参数，将所述初始模型参数下发至各个客户端；
步骤2：每个客户端根据接收到的初始模型参数或新的全局模型参数，结合自身的本地活动数据进行本地训练，生成本地更新参数，将所述本地更新参数上传到服务器；
步骤3：服务器将接收到的各个客户端的本地更新参数进行加权平均聚合以产生新的全局模型参数，将所述新的全局模型参数下发至各个客户端；
步骤4：重复执行步骤2至步骤3，直至达到训练停止条件得到最终的全局模型参数，服务器将最终的全局模型参数下发至各个客户端。
进一步地，步骤2具体包括：
每个客户端根据设定好的mini-batch值、迭代次数、优化算法和学习率对所述初始模型参数或新的全局模型参数进行本地单次或多次迭代，生成本地更新参数，然后将所述本地更新参数加密传输到服务器。
进一步地，所述优化算法采用梯度下降法，按照公式(1)进行计算
然后根据
按照公式(2)生成本地更新参数
其中，
表示第k个客户端在进行第t次迭代更新后的梯度，
表示梯度算子，wt表示第t次迭代更新后的全局模型参数，fk(*)表示给定的第k个客户端上的目标函数，η为学习率，
代表第k个客户端的本地更新参数，t表示迭代次数。
进一步地，步骤3具体包括：
确定超参数p的取值，利用所述超参数p调节各个客户端的本地更新参数的权重；
服务器按照公式(3)将接收到的各个客户端的本地更新参数进行加权平均聚合以产生新的全局模型参数wt：
其中，
K表示客户端的数量，nk表示第k个客户端的样本量，
表示第k个客户端的本地更新参数的权重，
代表第k个客户端的本地更新参数，t表示迭代次数。
进一步地，在训练过程中，采用公式(4)所示函数作为目标函数：
其中，w表示模型参数，f(w)表示目标函数，Fk(w)表示第k个客户端的平均损失函数。
另一方面，本发明还提供一种基于联邦学习的人类活动识别系统，包括：服务器和多个客户端；多个客户端均通过以太网与服务器建立连接并通信；
所述服务器，用于确定训练任务和对应的活动数据特征，并生成初始模型参数，将所述初始模型参数下发至各个客户端；以及将接收到的各个客户端的本地更新参数进行加权平均聚合以产生新的全局模型参数，将所述新的全局模型参数下发至各个客户端；
每个所述客户端，用于根据接收到的初始模型参数或新的全局模型参数，结合自身的本地活动数据进行本地训练，生成本地更新参数，将所述本地更新参数上传到服务器。
本发明的有益效果：
本发明实施例提供的基于联邦学习的人类活动识别方法和系统，是一种新的横向联邦(HFL)框架，每个客户端之间不进行共享数据，解决了HAR识别过程中隐私保护的问题，实现了对HAR识别中用户体征数据的保护。并且，引入超参数p，通过改变客户端本地更新参数的权重，采用加权聚合来优化模型聚合效果，在一定程度上提高了人类活动识别准确率解决了聚合准确率低的问题，提升了联邦学习算法在HAR上识别准确率。
附图说明
图1为本发明实施例提供的多个客户端与服务器之间的交互流程示意图；
图2为本发明实施例提供的基于联邦学习的人类活动识别方法的流程示意图；
图3为本发明实施例提供的选取超参数p的最优取值示意图；
图4为本发明实施例提供的不同学习率下的Accuracy示意图；
图5为本发明实施例提供的本发明方法和现有FEDAVG算法的Accuracy示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1和图2所示，本发明实施例提供一种基于联邦学习的人类活动识别方法，多个客户端通过以太网与服务器建立连接并通信，所述方法包括以下步骤：
S101：服务器确定训练任务和对应的活动数据特征，并生成初始模型参数，将所述初始模型参数下发至各个客户端；
S102：每个客户端根据接收到的初始模型参数或新的全局模型参数，结合自身的本地活动数据进行本地训练，生成本地更新参数，将所述本地更新参数上传到服务器；
具体地，每个客户端根据设定好的mini-batch值、迭代次数、优化算法和学习率对所述初始模型参数或新的全局模型参数进行本地单次或多次迭代，生成本地更新参数，然后将所述本地更新参数加密传输到服务器。加密方式选择Paillier同态加密算法进行加密。
在实际应用中，考虑到数据样本量的大小在一定程度上影响到生成的本地更新参数的准确度，可以对客户端是否允许参与本次训练任务设置条件，例如，允许本地活动数据样本量大于10的客户端参与到本次训练任务。
S103：服务器将接收到的各个客户端的本地更新参数进行加权平均聚合以产生新的全局模型参数，将所述新的全局模型参数下发至各个客户端；
S104：重复执行步骤S102至步骤S103，直至达到训练停止条件得到最终的全局模型参数，服务器将最终的全局模型参数下发至各个客户端。
本发明实施例提供的基于联邦学习的人类活动识别方法，是一种新的横向联邦(HFL)框架，每个客户端之间不进行共享数据，解决了HAR识别过程中隐私保护的问题，实现了对HAR识别中用户体征数据的保护。并且，采用了加权聚合方式，解决了聚合准确率低的问题，提升了联邦学习算法在HAR上识别准确率。
实施例2
在上述实施例的基础上，本发明实施例还提供一种基于联邦学习的人类活动识别方法(称为P-FEDAVG)，包括以下步骤：
S201：服务器确定训练任务和对应的活动数据特征，并生成初始模型参数，将所述初始模型参数下发至各个客户端；
S202：每个客户端根据接收到的初始模型参数或新的全局模型参数，结合自身的本地活动数据进行本地训练，生成本地更新参数，将所述本地更新参数上传到服务器；
在结合本地活动数据和当前的模型参数进行训练时，使用多分类的交叉熵损失函数categorical_crossentropy同时引入softmax作为分类器，来进行活动的识别。
作为一种可实施方式，每个客户端采用梯度下降法，按照公式(1)进行计算
然后根据
按照公式(2)生成本地更新参数
其中，
表示第k个客户端在进行第t次迭代更新后的梯度，
表示梯度算子，wt表示第t次迭代更新后的全局模型参数，fk(*)表示给定的第k个客户端上的目标函数，η为学习率，
代表第k个客户端的本地更新参数，t表示迭代次数。
S203：服务器将接收到的各个客户端的本地更新参数进行加权平均聚合以产生新的全局模型参数，将所述新的全局模型参数下发至各个客户端；
可以理解，每个客户端上参与本地训练的数据量的大小是不尽相同的，考虑到小样本反应的个性特征明显，大样本更能体现共性特征，因此本实施例中，为了能够有效调节各个客户端的本地更新参数的权重，引入了一个超参数p，以达到权重相对合理的分配，从而提高整个全局模型参数的准确度。
需要说明的是，当p>1时，会提升大样本量客户端本地更新参数的权重,弱化小样本量客户端本地更新参数的权重；当p<1时，会提升小样本量客户端本地更新参数的权重，弱化大样本量客户端本地更新参数的权重。通过确定最优p值，可以提高HAR活动识别的准确率。
作为一种可实施方式，服务器按照公式(3)将接收到的各个客户端的本地更新参数进行加权平均聚合以产生新的全局模型参数wt：
其中，
K表示客户端的数量，nk表示第k个客户端的样本量，
表示第k个客户端的本地更新参数的权重，
代表第k个客户端的本地更新参数，t表示迭代次数。
S204：重复执行步骤S202至步骤S203，直至达到训练停止条件得到最终的全局模型参数，服务器将最终的全局模型参数下发至各个客户端。
具体地，在训练过程中，采用公式(4)所示函数作为目标函数：
其中，w表示模型参数，f(w)表示目标函数，Fk(w)表示第k个客户端的平均损失函数。
训练停止条件可以是重复迭代直至模型收敛，以尽可能的减少全局模型参数的精度损失。
联邦学习的训练数据来源于不同数据源，不同客户端样本数据是非独立同分布，训练数据显然不能满足独立分布和训练数据一致这两个能影响联邦学习的条件，若数据源的训练数据分布不同，那么整合多方的子模型就会成为一个巨大的难题。现有技术中，有方法采用神经网络来整合多方的子模型，但神经网络模型一般表现为非凸函数，很难使参数平均化后的模型损失函数达到最优。事实也确实如此，有学者针对独立同分布和非独立同分布的数据进行了研究，发现非独立分布最后的整合模型不能达到预期的要求。并且，由于不同客户端样本数据是非独立同分布在客户端的数据量之间相差很大时，直接利用样本量进行一阶建模会导致聚合结果和真实结果之间产生漂移，为了解决上述问题，本发明实施例提供的基于联邦学习的人类活动识别方法，引入了超参数p，通过改变客户端本地更新参数的权重，通过加权聚合来优化模型聚合效果，在一定程度上提高了人类活动识别准确率。
实施例3
结合图1所示，本发明实施例还提供一种基于联邦学习的人类活动识别系统，包括：服务器和多个客户端；多个客户端均通过以太网与服务器建立连接并通信；
所述服务器，用于确定训练任务和对应的活动数据特征，并生成初始模型参数，将所述初始模型参数下发至各个客户端；以及将接收到的各个客户端的本地更新参数进行加权平均聚合以产生新的全局模型参数，将所述新的全局模型参数下发至各个客户端；
每个所述客户端，用于根据接收到的初始模型参数或新的全局模型参数，结合自身的本地活动数据进行本地训练，生成本地更新参数，将所述本地更新参数上传到服务器。
需要说明的是，本发明实施例提供的基于联邦学习的人类活动识别系统是为了实现上述方法实施例的，其功能具体可参考上述方法实施例，此处不再赘述。
为了验证本发明提供的人类活动识别方法和系统的有效性，本发明还提供以下实验数据。
数据集：利用公开数据集UCI-HAR(Human Activity Recognition UsingSmartphones Data Set)来预测活动识别的效果。UCI-HAR数据集由30位年龄分布在19-48岁之间的志愿者参与完成，每个人在腰间佩带一部智能手机(型号为Samsung Galaxy S)随后完成6种活动(行走，上楼梯，下楼梯，静坐，站立，躺下)。通过手机内置的加速度计和陀螺仪获得三轴线性加速度和三轴角速度的数据，数据的采样频率为50Hz，包含了561个特征向量的时域和频域变量等。表1是对数据集的详细说明。在服务器和客户端上，采用DNN神经网络来进行训练和预测，该网络是6层全连接的网络结构。采用随机梯度下降法进行优化，在训练的过程中，使用70％的数据进行模型的训练，其余30％用于模型评估。
表1 UCI-HAR数据集描述
| 活动类型 | 说明 | 样本量 |
| 行走 | 参与者在一个水平面上直行 | 1722 |
| 上楼梯 | 参与者上楼梯 | 1544 |
| 下楼梯 | 参与者下楼梯 | 1406 |
| 静坐 | 参与者坐在椅子上 | 1777 |
| 站立 | 参与者站着不动 | 1906 |
| 躺下 | 参与者睡觉或躺下 | 1904 |
实验结果：遵循在联邦学习中进行同态加密，选择合适的超参数p、学习率和神经网络层数来保证模型的收敛性和聚合效果。对于超参数p，通过对比不同p值下，模型Loss的收敛情况，选择最优的p值。如图3所示，设置不同p值下，Epoch不同时模型Loss值的变化，以此来展示p值的动态变化。可以看出，当p＝1.3时，模型的Loss达到了最小，说明该数据集下当超参数p＝1.3时样本的权重可以更好的拟合，降低了模型聚合和真实值之间的漂移距离。
另外，对比在最优超参数p＝1.3时，不同学习率(Learning rate)下的识别准确率Accuracy的变化，来提高模型的收敛速度和识别的准确率。如图4所示，横坐标代表迭代次数Epoch，纵坐标代表识别准确率Accuracy。当学习率为0.008时，随着Epoch次数的增加，Accuracy出现了下降的趋势。当学习率为0.002时，Accuracy的收敛速度较慢；当学习率为0.006时，Accuracy的收敛速度较快，当迭代次数Epoch达到100次时，模型的Loss值与识别准确率Accuracy趋于稳定，Accuracy值最高达到了99.41％。因此，本文选取学习率为0.006。
最后，在最优p值下，对比本发明方法在不同神经网络层数下识别准确率Accuracy的变化，选出最适合训练的神经网络模型的层数，以提高模型收敛速度。如表2所示，在不同的神经网络层数下识别准确率Accuracy的效果呈现为一个类似开口向下的二次函数。Accuracy值呈现先增长，然后慢慢持平并略微下降。原因是随着层数增加模型的表达能力和拟合能力提升，同时模型的效果也获得提升。但是当神经网络层数达到6层后，模型效果持平或者下降，主要是因为模型随着层数的增加出现了过拟合现象。经过实验我们选择了最合适的网络模型结构，以此来达到更好的训练效果，提高活动识别的准确率。此外在模型的训练过程使用到了超参数，超参数对于深度学习方法至关重要，因为它们直接影响训练算法的效果，并对深度学习模型的性能有着至关重要的影响。表3是对实验中模型的超参数调优的总结。
表2网络层数对比
表3模型超参数总结
为了验证本发明方法的有效性，对比了现有算法和P-FedAvg算法下模型的Loss值和识别准确率Accuracy的变化，如图5所示。经过实验发现利用联邦学习(FedAvg和P-FedAvg)方法训练的模型效果都是随着迭代次数Epoch的增大而增大，当迭代次数Epoch达到100次时，模型的Loss值和识别准确率Accuracy趋于稳定。对比FedAvg和P-FedAvg算法可以发现P-FedAvg算法的识别准确率Accuracy整体都优于FedAvg算法，说明本发明提出的P-FedAvg算法效果明显。
表4展示了本发明方法和同一数据集上的其他网络模型之间的精度比较。进一步验证了本发明方法模型在保证用户体征数据隐私的同时整体精度也得到了正向提高。
表4性能结果比较
表4中，Lee[1]是指Lee S M,Yoon S M,Cho H.Human activity recognitionfrom accelerometer data using Convolutional Neural Network[C]//2017ieeeinternational conference on big data and smart computing(bigcomp).IEEE,2017:131-134；Hernandez[2]是指Hernández F,Suárez L F,Villamizar J,et al.Humanactivity recognition on smartphones using a bidirectional lstm network[C]//2019XXII symposium on image,signal processing and artificial vision(STSIVA).IEEE,2019:1-5；Mutegeki[3]是指Mutegeki R,Han D S.A CNN-LSTM approach to humanactivity recognition[C]//2020International Conference on ArtificialIntelligence in Information and Communication(ICAIIC).IEEE,2020:362-366；Ni[4]是指Ni Q,Fan Z,Zhang L,et al.Leveraging wearable sensors for human dailyactivity recognition with stacked denoising autoencoders[J].Sensors,2020,20(18):5114；Mekruksavanich[5]是指Mekruksavanich S,Jitpattanakul A.Lstm networksusing smartphone data for sensor-based human activity recognition in smarthomes[J].Sensors,2021,21(5):1636。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.基于联邦学习的人类活动识别方法，多个客户端通过以太网与服务器建立连接并通信，其特征在于，所述方法包括：
步骤1：服务器确定训练任务和对应的活动数据特征，并生成初始模型参数，将所述初始模型参数下发至各个客户端；
步骤2：每个客户端根据接收到的初始模型参数或新的全局模型参数，结合自身的本地活动数据进行本地训练，生成本地更新参数，将所述本地更新参数上传到服务器；
步骤3：服务器将接收到的各个客户端的本地更新参数进行加权平均聚合以产生新的全局模型参数，将所述新的全局模型参数下发至各个客户端；
步骤4：重复执行步骤2至步骤3，直至达到训练停止条件得到最终的全局模型参数，服务器将最终的全局模型参数下发至各个客户端。
2.根据权利要求1所述的基于联邦学习的人类活动识别方法，其特征在于，步骤2具体包括：
每个客户端根据设定好的mini-batch值、迭代次数、优化算法和学习率对所述初始模型参数或新的全局模型参数进行本地单次或多次迭代，生成本地更新参数，然后将所述本地更新参数加密传输到服务器。
3.根据权利要求2所述的基于联邦学习的人类活动识别方法，其特征在于，所述优化算法采用梯度下降法，按照公式(1)进行计算
然后根据
按照公式(2)生成本地更新参数
其中，
表示第k个客户端在进行第t次迭代更新后的梯度，
表示梯度算子，wt表示第t次迭代更新后的全局模型参数，fk(*)表示给定的第k个客户端上的目标函数，η为学习率，
代表第k个客户端的本地更新参数，t表示迭代次数。
4.根据权利要求1所述的基于联邦学习的人类活动识别方法，其特征在于，步骤3具体包括：
确定超参数p的取值，利用所述超参数p调节各个客户端的本地更新参数的权重；
服务器按照公式(3)将接收到的各个客户端的本地更新参数进行加权平均聚合以产生新的全局模型参数wt：
其中，
K表示客户端的数量，nk表示第k个客户端的样本量，
表示第k个客户端的本地更新参数的权重，
代表第k个客户端的本地更新参数，t表示迭代次数。
5.根据权利要求4所述的基于联邦学习的人类活动识别方法，其特征在于，在训练过程中，采用公式(4)所示函数作为目标函数：
其中，w表示模型参数，f(w)表示目标函数，Fk(w)表示第k个客户端的平均损失函数。
6.基于联邦学习的人类活动识别系统，其特征在于，包括：服务器和多个客户端；多个客户端均通过以太网与服务器建立连接并通信；
所述服务器，用于确定训练任务和对应的活动数据特征，并生成初始模型参数，将所述初始模型参数下发至各个客户端；以及将接收到的各个客户端的本地更新参数进行加权平均聚合以产生新的全局模型参数，将所述新的全局模型参数下发至各个客户端；
每个所述客户端，用于根据接收到的初始模型参数或新的全局模型参数，结合自身的本地活动数据进行本地训练，生成本地更新参数，将所述本地更新参数上传到服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111501125.9A CN114386621A (zh) | 2021-12-09 | 2021-12-09 | 基于联邦学习的人类活动识别方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111501125.9A CN114386621A (zh) | 2021-12-09 | 2021-12-09 | 基于联邦学习的人类活动识别方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114386621A true CN114386621A (zh) | 2022-04-22 |
Family
ID=81195433
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111501125.9A Pending CN114386621A (zh) | 2021-12-09 | 2021-12-09 | 基于联邦学习的人类活动识别方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114386621A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114723071A (zh) * | 2022-04-26 | 2022-07-08 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种基于客户端分类和信息熵的联邦学习方法及装置 |
| CN114819192A (zh) * | 2022-06-28 | 2022-07-29 | 医渡云（北京）技术有限公司 | 联邦学习方法及装置、计算机可读存储介质、电子设备 |
| CN115080801A (zh) * | 2022-07-22 | 2022-09-20 | 山东大学 | 基于联邦学习和数据二进制表示的跨模态检索方法及系统 |
| CN115761378A (zh) * | 2022-12-07 | 2023-03-07 | 东南大学 | 基于联邦学习的电力巡检图像分类和检测方法及系统 |
| CN116227621A (zh) * | 2022-12-29 | 2023-06-06 | 国网四川省电力公司电力科学研究院 | 一种基于电力数据的联邦学习模型训练方法 |
| CN117194992A (zh) * | 2023-11-01 | 2023-12-08 | 支付宝(杭州)信息技术有限公司 | 一种模型训练、任务执行方法、装置、存储介质及设备 |
| CN117750320A (zh) * | 2023-12-20 | 2024-03-22 | 南华大学 | 一种基于联邦学习与类增量学习的wifi人员身份识别方法 |
-
2021
- 2021-12-09 CN CN202111501125.9A patent/CN114386621A/zh active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114723071A (zh) * | 2022-04-26 | 2022-07-08 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种基于客户端分类和信息熵的联邦学习方法及装置 |
| CN114723071B (zh) * | 2022-04-26 | 2023-04-07 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种基于客户端分类和信息熵的联邦学习方法及装置 |
| CN114819192A (zh) * | 2022-06-28 | 2022-07-29 | 医渡云（北京）技术有限公司 | 联邦学习方法及装置、计算机可读存储介质、电子设备 |
| CN115080801A (zh) * | 2022-07-22 | 2022-09-20 | 山东大学 | 基于联邦学习和数据二进制表示的跨模态检索方法及系统 |
| CN115080801B (zh) * | 2022-07-22 | 2022-11-11 | 山东大学 | 基于联邦学习和数据二进制表示的跨模态检索方法及系统 |
| CN115761378A (zh) * | 2022-12-07 | 2023-03-07 | 东南大学 | 基于联邦学习的电力巡检图像分类和检测方法及系统 |
| CN115761378B (zh) * | 2022-12-07 | 2023-08-01 | 东南大学 | 基于联邦学习的电力巡检图像分类和检测方法及系统 |
| CN116227621A (zh) * | 2022-12-29 | 2023-06-06 | 国网四川省电力公司电力科学研究院 | 一种基于电力数据的联邦学习模型训练方法 |
| CN116227621B (zh) * | 2022-12-29 | 2023-10-24 | 国网四川省电力公司电力科学研究院 | 一种基于电力数据的联邦学习模型训练方法 |
| CN117194992A (zh) * | 2023-11-01 | 2023-12-08 | 支付宝(杭州)信息技术有限公司 | 一种模型训练、任务执行方法、装置、存储介质及设备 |
| CN117194992B (zh) * | 2023-11-01 | 2024-04-19 | 支付宝(杭州)信息技术有限公司 | 一种模型训练、任务执行方法、装置、存储介质及设备 |
| CN117750320A (zh) * | 2023-12-20 | 2024-03-22 | 南华大学 | 一种基于联邦学习与类增量学习的wifi人员身份识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114386621A (zh) | 基于联邦学习的人类活动识别方法和系统 | |
| Mowla et al. | Federated learning-based cognitive detection of jamming attack in flying ad-hoc network | |
| Liu et al. | A novel particle swarm optimization approach for patient clustering from emergency departments | |
| Nie et al. | Network traffic prediction based on deep belief network in wireless mesh backbone networks | |
| CN105678248B (zh) | 基于深度学习的人脸关键点对齐算法 | |
| CN110176226A (zh) | 一种语音识别、及语音识别模型训练方法及装置 | |
| Zhang et al. | Human activity recognition with HMM-DNN model | |
| WO2021233030A1 (en) | Methods and apparatuses for federated learning | |
| CN113052333A (zh) | 基于联邦学习进行数据分析的方法及系统 | |
| CN113298191B (zh) | 基于个性化半监督在线联邦学习的用户行为识别方法 | |
| Chen et al. | Online sequential ELM based transfer learning for transportation mode recognition | |
| CN114385376B (zh) | 一种异构数据下边缘侧联邦学习的客户端选择方法 | |
| CN115907001A (zh) | 基于知识蒸馏的联邦图学习方法及自动驾驶方法 | |
| Valerio et al. | Accuracy vs. traffic trade-off of learning iot data patterns at the edge with hypothesis transfer learning | |
| CN116362329A (zh) | 一种融合参数优化的集群联邦学习方法及设备 | |
| Gao et al. | Modeling covid-19 with mean field evolutionary dynamics: Social distancing and seasonality | |
| CN114708553A (zh) | 一种基于多任务多视图增量学习的用户行为识别方法 | |
| Yan et al. | A novel two-subpopulation particle swarm optimization | |
| Liu et al. | Deep reinforcement learning-based resource allocation for UAV-enabled federated edge learning | |
| CN108965585B (zh) | 一种基于智能手机传感器的用户身份识别方法 | |
| Shrivastava et al. | Selection of efficient and accurate prediction algorithm for employing real time 5G data load prediction | |
| Nguyen et al. | Extracting typical users' moving patterns using deep learning | |
| CN117079087A (zh) | 一种基于差分隐私的学习率自适应医疗图像识别方法 | |
| Lakkapragada et al. | Mitigating negative transfer in multi-task learning with exponential moving average loss weighting strategies (student abstract) | |
| CN107465571A (zh) | 基于统计特性的战术网络模拟训练背景业务流量生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |