CN113033712B - 一种基于联邦学习的多用户协同训练人流统计方法及系统 - Google Patents

一种基于联邦学习的多用户协同训练人流统计方法及系统 Download PDF

Info

Publication number
CN113033712B
CN113033712B CN202110559687.2A CN202110559687A CN113033712B CN 113033712 B CN113033712 B CN 113033712B CN 202110559687 A CN202110559687 A CN 202110559687A CN 113033712 B CN113033712 B CN 113033712B
Authority
CN
China
Prior art keywords
training
client
local
weight
additional layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110559687.2A
Other languages
English (en)
Other versions
CN113033712A (zh
Inventor
周潘
孙裕华
谢雨来
李瑞轩
陈琪美
江昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202110559687.2A priority Critical patent/CN113033712B/zh
Publication of CN113033712A publication Critical patent/CN113033712A/zh
Application granted granted Critical
Publication of CN113033712B publication Critical patent/CN113033712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于联邦学习的多用户协同训练人流统计方法，旨在利用联邦学习框架搭建一个新颖的人群计数模型，达到让多用户多设备同时训练的目的。各个客户端利用图像数据集对图像分类网络进行本地训练以获取本地模型；在各经过至少一次本地训练后，中心服务器从客户端获取本地模型的权值及附加层参数并进行聚合处理；中心服务器利用聚合处理后的权值及附加层参数更新全局模型，并将聚合处理后的权值参数及附加层参数返回给各个客户端；各个客户端利用中心服务器返回的权值以及ground truth值进行贝叶斯估计，计算loss值，并利用返回的权值参数及附加层参数更新本地模型；重复执行直至所有客户端的loss值均收敛，则完成人流统计全局模型和本地模型的训练。

Description

一种基于联邦学习的多用户协同训练人流统计方法及系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于联邦学习的多用户协同训练人流统计方法及系统。
背景技术
人群计数是一种成熟的视觉技术，但它仅限于少数场景。跨多个客户端学习共享模式并保持隐私在现实生活场景中，如公共安全、医疗信息采集、社会资源管理等都具有重要意义。
2019年9月10日发生的卡尔巴拉（Karbala）踩踏事件以及COVID-19病毒（COVID-19virus）的爆发向社会传达了在许多安全关键场景中进行人流统计的必要性。基于人群统计模型的智能监控系统在公安、医疗信息采集、社会资源管理等领域有着广泛的应用，同时，随着数据采集技术和高效移动计算设备的发展，多客户机可以参与到集中训练中。群组训练数据可以在中央服务器上聚合，以训练更好的群组计数机器学习模型，但用户必须牺牲其个人私有数据隐私。
在联邦学习中，多客户机协同实现全局模式的更新和迭代。而学习过程却只在每个本地客户端下进行。在与中心服务器通信的过程中，用户只需上传梯度和参数更新进行聚合。更新后的模型将由中央服务器分发给客户机。从理论上讲，由于联邦学习的隐私保护特性，它可以有效地防止客户端潜在的隐私泄露风险。此外，避免了大量的数据加载，不同类型的移动计算设备可以参与到同一个学习系统中，单个客户端只需要较少的训练集就可以完成任务都是联邦学习的特长。
尽管联邦学习有其优点，但很少有研究提及联邦学习用于训练人群计数任务。曾有研究提到了将监控摄像头应用于人员重新识别应用。但现实场景中数据的异构性和多样性，即非同一独立分布（non-IID），成为了联邦学习人群统计的难解问题之一。并且在在最近的研究发现，联邦学习在处理非IID数据方面的表现显著下降。本地模型会遭受收敛的挑战，模型的精度降低，尤其是FEDAVG框架。
发明内容
本发明针对现有技术中存在的技术问题，提供一种基于联邦学习的多用户协同训练人流统计方法及系统，旨在利用联邦学习框架搭建一个新颖的人群计数模型，达到让多用户多设备同时训练的目的。
本发明解决上述技术问题的技术方案如下：
第一方面，本发明提供一种基于联邦学习的多用户协同训练人流统计方法，通过联合多种异构设备协同训练同一种神经网络架构，并实现分布式实施监控统计人流量，包括以下步骤：
S1，各个客户端利用图像数据集对图像分类网络进行本地训练以获取本地模型；
S2，在各个客户端经过至少一次本地训练后，中心服务器从客户端获取本地模型的权值参数及附加层参数并进行聚合处理；参与聚合处理的客户端数量少于或等于客户端总数；
S3，中心服务器利用聚合处理后的权值参数及附加层参数更新全局模型，并将聚合处理后的权值参数及附加层参数返回给各个客户端；
S4，各个客户端利用中心服务器返回的权值以及ground truth值进行贝叶斯估计，计算loss值，并利用中心服务器返回的权值参数及附加层参数更新本地模型；
S5，重复执行步骤S1~S4，直至所有客户端的loss值均收敛，则完成人流统计全局模型和本地模型的训练。
进一步的，模型训练时，在步骤S1之前还包括，按照客户端数量对图像数据集进行等分，并作为本地数据集分配给各个客户端。
进一步的，所述的步骤S1包括：
各个客户端通过双线性插值方法将数据集中的图像压缩至原始大小的1/8；随后客户端将压缩后的图像经过转两个3*3卷积层转换成特征值，作为MSRA初始化参数。
进一步的，所述的中心服务器从各个客户端获取本地模型的权值参数及附加层参数并进行聚合处理，包括：
设
Figure 100002_DEST_PATH_IMAGE001
表示进行第t次训练后各个客户端的本地模型的权值构成的向量，
Figure DEST_PATH_IMAGE002
表示客户端k的本地模型的权值；
则聚合处理后的输出值为：
Figure DEST_PATH_IMAGE003
式中，c表示表示参与当前轮次训练的总数据量，ck表示第k个用户当前轮次训练的数据量，K表示参与聚合处理的所有客户端数量。
进一步的，所述的步骤S4包括：
令：
Figure DEST_PATH_IMAGE004
表示一张密度图中第i个像素点，i取值[1,M]，M为正整数；
Figure 100002_DEST_PATH_IMAGE005
表示对一张密度图进行标记的第n个标记位，n取值[1,N]，N为正整数；
Figure DEST_PATH_IMAGE006
表示像素点
Figure 653576DEST_PATH_IMAGE004
处且在标记点
Figure 977241DEST_PATH_IMAGE005
下的人头数；
Figure 100002_DEST_PATH_IMAGE007
Figure DEST_PATH_IMAGE008
为后验证标记概率；
Figure 100002_DEST_PATH_IMAGE009
表示已知概率密度；
针对客户端j，计算损失函数得到loss值：
Figure DEST_PATH_IMAGE010
式中，
Figure 100002_DEST_PATH_IMAGE011
表示距离函数，
Figure DEST_PATH_IMAGE012
代表每个标记点的地面真实计数，即对每张图片人为统计的人流数量，
Figure 100002_DEST_PATH_IMAGE013
Figure DEST_PATH_IMAGE014
表示
Figure 100002_DEST_PATH_IMAGE015
的期望，
Figure 943929DEST_PATH_IMAGE015
表示标记点
Figure 870297DEST_PATH_IMAGE005
的人头总数。
进一步的，步骤S4中所述的利用中心服务器返回的权值参数及附加层参数更新本地模型，包括：
采用随机梯度下降方法，根据下式更新本地参数：
Figure DEST_PATH_IMAGE016
式中，η表示随机梯度下降算法的学习率，
Figure DEST_PATH_IMAGE017
和
Figure DEST_PATH_IMAGE018
分别表示第t+1次和第t次训练时的本地模型权值参数和附加层参数。
进一步的，所述的随机梯度下降算法，以批量大小为B=1，学习率为η=0.00005的本地历元数E=100为目标，对本地模型进行训练。
为了优化FedCrowdCounting在处理异构数据时的性能，提出了一种改进EWMA优化算法，假设系数 β={0.998, 0.98, 0.9, 0.5, 1}表示加权下降的速率，则本地随机梯度下降算法可表示为：
Figure 100002_DEST_PATH_IMAGE019
（
Figure DEST_PATH_IMAGE020
作为下一轮附加层参数）。中心服务器对上传的权值进行聚合运算：
Figure 100002_DEST_PATH_IMAGE021
完成一次全局模型更新后，中心服务器将更新后的
Figure DEST_PATH_IMAGE022
发放给每个客户端，进行 下一轮训练，直至每个客户端收敛。
第二方面，本发明提供一种基于联邦学习的多用户协同训练人流统计系统，包括：
客户端模块，利用图像数据集对图像分类网络进行本地训练以获取本地模型；利用中心服务器返回的权值参数及附加层参数更新本地模型，并利用中心服务器返回的权值以及ground truth值进行贝叶斯估计，得到loss值，并进行反向传播，更新参数；
中心服务器模块，在各个客户端经过至少一次本地训练后，从各个客户端获取本地模型的权值参数及附加层参数并进行聚合处理；利用聚合处理后的权值参数及附加层参数更新全局模型，并将聚合处理后的权值参数及附加层参数返回给各个客户端；
训练终止判断模块，用于判断客户端的loss值是否收敛，并依据loss值判断结果判断是否终止人流统计全局模型和本地模型的训练。
第三方面，本发明提供一种电子设备，包括：
存储器，用于存储计算机软件程序；
处理器，用于读取并执行所述存储器中存储的计算机软件程序，以实现本发明第一方面所述的一种基于联邦学习的多用户协同训练人流统计方法。
第四方面，本发明提供一种计算机可读存储介质，所述存储介质用于存储用于实现本发明第一方面所述的一种基于联邦学习的多用户协同训练人流统计方法的计算机软件程序。
本发明的有益效果是：设计了一个群体计数任务的联合学习框架。贝叶斯估计应用于每个用户的本地训练中，以优化系统对密度图的处理性能。贝叶斯估计能够准确地预测每个密度图中包含的总人数，这对于训练本地模型来说非常重要。
经试验证明，改进后的本地更新方法有效的使得本地更新不会太过远离全局模型，当前轮的权值更新始终与全局模型保持一定距离。容忍系统异构性的同时极大的降低了Non-IID的影响。
附图说明
图1为本发明实施例提供的一种基于联邦学习的多用户协同训练人流统计方法流程图；
图2为本发明实施例提供的训练过程中权值更新示意图；
图3为本发明实施例提供的一种基于联邦学习的多用户协同训练人流统计系统结构图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
本发明实施例提供一种基于联邦学习的多用户协同训练人流统计方法，通过联合多种异构设备协同训练同一种神经网络架构，并实现分布式实施监控统计人流量。
与以数据驱动的机器学习方式不同，联邦学习致力于保护客户端、异构数据和大规模分布式网络的隐私。在联邦学习的系统中，每个客户端都有自己的本地训练数据集，这些数据集不需上载到中心服务器或与其他客户端交换。相反，每个客户端只需要计算一个更新，这是客户端和服务器之间唯一的联系资源，用于迭代全局模型。
当前发布的优化方法是针对分布式网络中的特定挑战而定制的。允许局部不精确的本地更新影响、平衡大型网络中通信和计算的成本，并且一些客户端可以在任何通信回合中处于活动状态。例如，2017年提出的一种启发式技术--联邦平均法（Fe-dAvg），该方法基于对原始局部随机梯度下降（SGD）更新的平均，并已被实验证明效果良好。FedAvg的本地升级方案使得计算来自多个客户端的异构数据成为一项具有挑战性的任务。因此，许多学者已转向研究非联邦系统，如并行SGD和一些相关变体。IID数据集的训练对于分析有一定的相关性，但对于异构数据集则不可行。
在这项工作中，我们提出了FedCrowdCounting，一个新颖的人群计数任务协作训练框架。多个客户机共同训练一个共享模型，以克服拥挤造成的问题。应用贝叶斯估计来确保在局部训练阶段处理密度图的一致性。在优化算法中提出了差分聚合方法，较好地保证了异构数据处理的准确性和客户端的安全性。
具体的，本发明实施例中所提供的方法，如图1图2所示，包括以下步骤：
S1，各个客户端利用图像数据集对图像分类网络进行本地训练以获取本地模型；
各个客户端通过双线性插值方法将数据集中的图像压缩至原始大小的1/8；随后客户端将压缩后的图像经过转两个3*3卷积层转换成特征值，作为MSRA初始化参数。这里图像分类网络采用修改后的VGG19模型处理图像，省略了最后一个池和相应的全连接层。两个3*3卷积层分别由256和128个通道组成。VGG19模型包含权值参数及附加层参数
Figure DEST_PATH_IMAGE023
，训练得到对应样本图像中的人流数量
Figure DEST_PATH_IMAGE024
，通过计算
Figure DEST_PATH_IMAGE025
完成一次本地训练。t表示进行本地训练的次数，
Figure 635734DEST_PATH_IMAGE017
和
Figure 864721DEST_PATH_IMAGE018
分别表示第t+1次和第t次训练时的本地模型权值参数和附加层参数。
S2，在各个客户端经过至少一次本地训练后，中心服务器从客户端获取本地模型的权值参数及附加层参数并进行聚合处理；
中心服务器从客户端获取本地模型的权值参数及附加层参数并进行聚合处理时，参与聚合处理的客户端数量少于或等于客户端总数，即并非完全抽取所有客户端的权值参数及附加层参数。
这里设
Figure DEST_PATH_IMAGE026
表示进行第t次训练后各个客户端的本地模型的权值构成的向量，
Figure DEST_PATH_IMAGE027
表示客户端k的本地模型的权值；
则聚合处理后的输出值为：
Figure DEST_PATH_IMAGE028
式中，c表示表示参与当前轮次训练的总数据量，ck表示第k个用户当前轮次训练的数据量，K表示参与聚合处理的所有客户端数量。
S3，中心服务器利用聚合处理后的权值参数及附加层参数
Figure DEST_PATH_IMAGE029
更新全局模型，并将聚合处理后的权值参数及附加层参数
Figure 272700DEST_PATH_IMAGE029
返回给各个客户端，作为各个客户端下一轮训练的参数。
S4，各个客户端利用中心服务器返回的权值以及ground truth值进行贝叶斯估计，计算得到loss值，并利用中心服务器返回的权值参数及附加层参数更新本地模型；
令：
Figure 376660DEST_PATH_IMAGE004
表示一张密度图中第i个像素点，i取值[1,M]，M为正整数；
Figure 576697DEST_PATH_IMAGE005
表示对一张密度图进行标记的第n个标记位，n取值[1,N]，N为正整数；
Figure 976586DEST_PATH_IMAGE006
表示像素点
Figure 262073DEST_PATH_IMAGE004
处且在标记点
Figure 405610DEST_PATH_IMAGE005
下的人头数；
Figure 460154DEST_PATH_IMAGE007
Figure 296522DEST_PATH_IMAGE008
为后验证标记概率；
Figure 803727DEST_PATH_IMAGE009
表示已知概率密度。
在先验标记概率
Figure DEST_PATH_IMAGE030
服从高斯分布
Figure DEST_PATH_IMAGE031
的条件下，
Figure 187173DEST_PATH_IMAGE004
为后验标记概率
Figure 361802DEST_PATH_IMAGE008
可计算为：
Figure DEST_PATH_IMAGE032
针对客户端j，通过下式计算损失函数得到loss值：
Figure 369073DEST_PATH_IMAGE010
式中，
Figure 629153DEST_PATH_IMAGE011
表示距离函数，
Figure 114492DEST_PATH_IMAGE012
代表每个标记点的地面真实计数，即对每张图片人为统计的人流数量，
Figure 143628DEST_PATH_IMAGE013
Figure 820334DEST_PATH_IMAGE014
表示
Figure 302131DEST_PATH_IMAGE015
的期望，
Figure 591161DEST_PATH_IMAGE015
表示标记点
Figure 474804DEST_PATH_IMAGE005
的人头总数。
采用随机梯度下降方法，以批量大小为B=1，学习率为η=0.00005的本地历元数E=100为目标，对本地模型进行训练。根据下式更新本地参数：
Figure DEST_PATH_IMAGE033
式中，η表示随机梯度下降算法的学习率，
Figure 89456DEST_PATH_IMAGE017
和
Figure 933915DEST_PATH_IMAGE018
分别表示第t+1次和第t次训练时的本地模型权值参数和附加层参数。
S5，重复执行步骤S1~S4，直至所有客户端的loss值均收敛，则完成人流统计全局模型和本地模型的训练。
为了优化FedCrowdCounting在处理异构数据时的性能，提出了一种改进EWMA优化算法，假设系数β={0.998, 0.98, 0.9, 0.5, 1}表示加权下降的速率，则本地随机梯度下降算法可表示为：
Figure DEST_PATH_IMAGE034
（
Figure DEST_PATH_IMAGE036
作为下一轮附加层参数）。中心服务器对上传的权值进行聚合运算：
Figure DEST_PATH_IMAGE037
完成一次全局模型更新后，中心服务器将更新后的
Figure DEST_PATH_IMAGE038
发放给每个客户端，进行下一轮训练，直至每个客户端收敛。
在上述实施例的基础上，本发明实施例还提供一种基于联邦学习的多用户协同训练人流统计系统，如图3所示，包括：
客户端模块，利用图像数据集对图像分类网络进行本地训练以获取本地模型；利用中心服务器返回的权值参数及附加层参数更新本地模型，并利用中心服务器返回的权值以及ground truth值进行贝叶斯估计，得到loss值；
中心服务器模块，在各个客户端经过至少一次本地训练后，从各个客户端获取本地模型的权值参数及附加层参数并进行聚合处理；利用聚合处理后的权值参数及附加层参数更新全局模型，并将聚合处理后的权值参数及附加层参数返回给各个客户端；
训练终止判断模块，用于判断客户端的loss值是否收敛，并依据loss值判断结果判断是否终止人流统计全局模型和本地模型的训练。
进一步的，客户端模块进行本地训练以获取本地模型，包括：各个客户端通过双线性插值方法将数据集中的图像压缩至原始大小的1/8。随后客户端将压缩后的图像经过转两个3*3卷积层转换成特征值，作为MSRA初始化参数。然后，通过图像处理模型VGG-19修改最后的全连接层FC达到对应的处理，并通过贝叶斯估计计算得到Loss值，即可独立进行本地模型的自我更新。同时，各客户端时刻聆听，是否需要上传当前训练轮次的参数
Figure DEST_PATH_IMAGE039
至中心服务器，为全局更新做准备。
本发明实施例还提供一种电子设备，包括：
存储器，用于存储计算机软件程序；
处理器，用于读取并执行所述存储器中存储的计算机软件程序，以实现一种基于联邦学习的多用户协同训练人流统计方法，该方法包括以下步骤：
S1，各个客户端利用图像数据集对图像分类网络进行本地训练以获取本地模型；
S2，在各个客户端经过至少一次本地训练后，中心服务器从客户端获取本地模型的权值参数及附加层参数并进行聚合处理；参与聚合处理的客户端数量少于或等于客户端总数；
S3，中心服务器利用聚合处理后的权值参数及附加层参数更新全局模型，并将聚合处理后的权值参数及附加层参数返回给各个客户端；
S4，各个客户端利用中心服务器返回的权值以及ground truth值进行贝叶斯估计，计算得到loss值，并利用中心服务器返回的权值参数及附加层参数更新本地模型；
S5，重复执行步骤S1~S4，直至所有客户端的loss值均收敛，则完成人流统计全局模型和本地模型的训练。
本发明实施例还提供一种计算机可读存储介质，所述存储介质用于存储用以实现上述的一种基于联邦学习的多用户协同训练人流统计方法的计算机软件程序。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于联邦学习的多用户协同训练人流统计方法，通过联合多种异构设备协同训练同一种神经网络架构，并实现分布式实施监控统计人流量，其特征在于，包括以下步骤：
S1，各个客户端利用图像数据集对图像分类网络进行本地训练以获取本地模型；
S2，在各个客户端经过至少一次本地训练后，中心服务器从客户端获取本地模型的权值参数及附加层参数并进行聚合处理；参与聚合处理的客户端数量少于或等于客户端总数；
S3，中心服务器利用聚合处理后的权值参数及附加层参数更新全局模型，并将聚合处理后的权值参数及附加层参数返回给各个客户端；
S4，各个客户端利用中心服务器返回的权值以及ground truth值进行贝叶斯估计，计算得到loss值，并利用中心服务器返回的权值参数及附加层参数更新本地模型；
S5，重复执行步骤S1~S4，直至所有客户端的loss值均收敛，则完成人流统计全局模型和本地模型的训练；
所述的中心服务器从各个客户端获取本地模型的权值参数及附加层参数并进行聚合处理，包括：
设
Figure DEST_PATH_IMAGE001
表示进行第t次训练后各个客户端的本地模型的权值构成的向量，
Figure 304237DEST_PATH_IMAGE002
表示客户端k的本地模型的权值；
则聚合处理后的输出值为：
Figure 595541DEST_PATH_IMAGE004
式中，c表示参与当前轮次训练的总数据量，ck表示第k个用户当前轮次训练的数据量，K表示系统包含的所有客户端数量。
2.根据权利要求1所述的方法，其特征在于，模型训练时，在步骤S1之前还包括，按照客户端数量对图像数据集进行等分，并作为本地数据集分配给各个客户端。
3.根据权利要求2所述的方法，其特征在于，所述的步骤S1包括：
各个客户端通过双线性插值方法将数据集中的图像压缩至原始大小的1/8；随后客户端将压缩后的图像经过转两个3*3卷积层转换成特征值，作为MSRA初始化参数。
4.根据权利要求1所述的方法，其特征在于，所述的利用中心服务器返回的权值以及ground truth值进行贝叶斯估计，计算得到loss值，包括：
令：
Figure DEST_PATH_IMAGE005
表示一张密度图中第i个像素点，i取值[1,M]，M为正整数；
Figure 800257DEST_PATH_IMAGE006
表示对一张密度图进行标记的第n个标记位，n取值[1,N]，N为正整数；
Figure DEST_PATH_IMAGE007
表示像素点
Figure 956082DEST_PATH_IMAGE005
处且在标记点
Figure 93802DEST_PATH_IMAGE006
下的人头数；
Figure 556008DEST_PATH_IMAGE008
Figure DEST_PATH_IMAGE009
为后验证标记概率；
Figure 700550DEST_PATH_IMAGE010
表示已知概率密度；
针对客户端j，通过下式计算损失函数得到loss值：
Figure DEST_PATH_IMAGE011
式中，
Figure 125977DEST_PATH_IMAGE012
表示距离函数，
Figure DEST_PATH_IMAGE013
代表每个标记点的地面真实计数，即对每张图片人为统计的人流数量，
Figure 852625DEST_PATH_IMAGE014
Figure DEST_PATH_IMAGE015
表示
Figure 469420DEST_PATH_IMAGE016
的期望，
Figure 179887DEST_PATH_IMAGE016
表示标记点
Figure 923852DEST_PATH_IMAGE006
的人头总数。
5.根据权利要求4所述的方法，其特征在于，步骤S4中所述的利用中心服务器返回的权值参数及附加层参数更新本地模型，包括：
采用随机梯度下降方法，根据下式更新本地参数：
Figure 987230DEST_PATH_IMAGE018
式中，η表示随机梯度下降算法的学习率，
Figure DEST_PATH_IMAGE019
和
Figure 260079DEST_PATH_IMAGE020
分别表示第t+1次和第t次训练时的本地模型权值参数和附加层参数。
6.根据权利要求5所述的方法，其特征在于，所述的随机梯度下降算法，以批量大小为B=1，学习率为η=0.00005的本地历元数E=100为目标，对本地模型进行训练。
7.一种基于联邦学习的多用户协同训练人流统计系统，其特征在于，包括：
客户端模块，利用图像数据集对图像分类网络进行本地训练以获取本地模型；利用中心服务器返回的权值参数及附加层参数更新本地模型，并利用中心服务器返回的权值以及ground truth值进行贝叶斯估计，得到loss值；
中心服务器模块，在各个客户端经过至少一次本地训练后，从各个客户端获取本地模型的权值参数及附加层参数并进行聚合处理；利用聚合处理后的权值参数及附加层参数更新全局模型，并将聚合处理后的权值参数及附加层参数返回给各个客户端；
训练终止判断模块，用于判断客户端的loss值是否收敛，并依据loss值判断结果判断是否终止人流统计全局模型和本地模型的训练；
所述的中心服务器从各个客户端获取本地模型的权值参数及附加层参数并进行聚合处理，包括：
设
Figure DEST_PATH_IMAGE021
表示进行第t次训练后各个客户端的本地模型的权值构成的向量，
Figure 175951DEST_PATH_IMAGE022
表示客户端k的本地模型的权值；
则聚合处理后的输出值为：
Figure 989187DEST_PATH_IMAGE024
式中，c表示参与当前轮次训练的总数据量，ck表示第k个用户当前轮次训练的数据量，K表示系统包含的所有客户端数量。
8.一种电子设备，其特征在于，包括：
存储器，用于存储计算机软件程序；
处理器，用于读取并执行所述存储器中存储的计算机软件程序，以实现权利要求1-6任一项所述的一种基于联邦学习的多用户协同训练人流统计方法。
9.一种计算机可读存储介质，其特征在于，所述存储介质用于存储用于实现权利要求1-6任一项所述的一种基于联邦学习的多用户协同训练人流统计方法的计算机软件程序。
CN202110559687.2A 2021-05-21 2021-05-21 一种基于联邦学习的多用户协同训练人流统计方法及系统 Active CN113033712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110559687.2A CN113033712B (zh) 2021-05-21 2021-05-21 一种基于联邦学习的多用户协同训练人流统计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110559687.2A CN113033712B (zh) 2021-05-21 2021-05-21 一种基于联邦学习的多用户协同训练人流统计方法及系统

Publications (2)

Publication Number Publication Date
CN113033712A CN113033712A (zh) 2021-06-25
CN113033712B true CN113033712B (zh) 2021-09-14

Family

ID=76455499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110559687.2A Active CN113033712B (zh) 2021-05-21 2021-05-21 一种基于联邦学习的多用户协同训练人流统计方法及系统

Country Status (1)

Country Link
CN (1) CN113033712B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537509A (zh) * 2021-06-28 2021-10-22 南方科技大学 协作式的模型训练方法及装置
CN113435534A (zh) * 2021-07-09 2021-09-24 新智数字科技有限公司 一种基于相似度度量的数据异构处理方法、装置、计算机设备及计算机可读存储介质
CN113568740A (zh) * 2021-07-16 2021-10-29 开放智能机器（上海）有限公司 基于联邦学习的模型聚合方法、系统、设备及介质
CN114358912A (zh) * 2021-11-17 2022-04-15 北京交通大学 一种基于联邦学习的风险权重融合的异常检测方法
CN114584581B (zh) * 2022-01-29 2024-01-09 华东师范大学 面向智慧城市物联网信物融合的联邦学习系统及联邦学习训练方法
CN114338628B (zh) * 2022-03-17 2022-06-03 军事科学院系统工程研究院网络信息研究所 一种基于联邦架构的嵌套元学习方法和系统
CN115277555B (zh) * 2022-06-13 2024-01-16 香港理工大学深圳研究院 异构环境的网络流量分类方法、装置、终端及存储介质
CN115190028A (zh) * 2022-06-16 2022-10-14 华中科技大学 基于局域通信网络的去中心化联邦学习方法、装置和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444848A (zh) * 2020-03-27 2020-07-24 广州英码信息科技有限公司 一种基于联邦学习的特定场景模型升级方法和系统
CN111444021A (zh) * 2020-04-02 2020-07-24 电子科技大学 基于分布式机器学习的同步训练方法、服务器及系统
WO2020225772A1 (en) * 2019-05-07 2020-11-12 Imagia Cybernetics Inc. Method and system for initializing a neural network
CN112348204A (zh) * 2020-11-05 2021-02-09 大连理工大学 一种基于联邦学习和区块链技术的边缘计算框架下海洋物联网数据安全共享方法
CN112418520A (zh) * 2020-11-22 2021-02-26 同济大学 一种基于联邦学习的信用卡交易风险预测方法
CN112465626A (zh) * 2020-11-24 2021-03-09 平安科技（深圳）有限公司 基于客户端分类聚合的联合风险评估方法及相关设备
CN112734032A (zh) * 2020-12-31 2021-04-30 杭州电子科技大学 一种用于横向联邦学习的优化方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10743147B2 (en) * 2017-10-30 2020-08-11 Apple Inc. Expanded implementation of enhanced broadcast multicast services for broadcast multicast content selection and service
WO2020229684A1 (en) * 2019-05-16 2020-11-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concepts for federated learning, client classification and training data similarity measurement
CN111447083B (zh) * 2020-03-10 2022-10-21 中国人民解放军国防科技大学 动态带宽和不可靠网络下的联邦学习架构及其压缩算法
CN112532451B (zh) * 2020-11-30 2022-04-26 安徽工业大学 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020225772A1 (en) * 2019-05-07 2020-11-12 Imagia Cybernetics Inc. Method and system for initializing a neural network
CN111444848A (zh) * 2020-03-27 2020-07-24 广州英码信息科技有限公司 一种基于联邦学习的特定场景模型升级方法和系统
CN111444021A (zh) * 2020-04-02 2020-07-24 电子科技大学 基于分布式机器学习的同步训练方法、服务器及系统
CN112348204A (zh) * 2020-11-05 2021-02-09 大连理工大学 一种基于联邦学习和区块链技术的边缘计算框架下海洋物联网数据安全共享方法
CN112418520A (zh) * 2020-11-22 2021-02-26 同济大学 一种基于联邦学习的信用卡交易风险预测方法
CN112465626A (zh) * 2020-11-24 2021-03-09 平安科技（深圳）有限公司 基于客户端分类聚合的联合风险评估方法及相关设备
CN112734032A (zh) * 2020-12-31 2021-04-30 杭州电子科技大学 一种用于横向联邦学习的优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Federated Mutual Learning》;Tao Shen et.al;《ARxiv》;20200917;全文 *

Also Published As

Publication number Publication date
CN113033712A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN113033712B (zh) 一种基于联邦学习的多用户协同训练人流统计方法及系统
CN112733967B (zh) 联邦学习的模型训练方法、装置、设备及存储介质
CN111242282B (zh) 基于端边云协同的深度学习模型训练加速方法
CN109884897B (zh) 一种基于深度强化学习的无人机任务匹配与计算迁移方法
CN113469373B (zh) 基于联邦学习的模型训练方法、系统、设备及存储介质
CN111030861B (zh) 一种边缘计算分布式模型训练方法、终端和网络侧设备
Du et al. Beyond deep reinforcement learning: A tutorial on generative diffusion models in network optimization
CN110097178A (zh) 一种基于熵注意的神经网络模型压缩与加速方法
CN112235384A (zh) 分布式系统中的数据传输方法、装置、设备及存储介质
CN110968426A (zh) 一种基于在线学习的边云协同k均值聚类的模型优化方法
CN114330125A (zh) 基于知识蒸馏的联合学习训练方法、装置、设备及介质
CN113408209A (zh) 跨样本联邦分类建模方法及装置、存储介质、电子设备
CN111695696A (zh) 一种基于联邦学习的模型训练的方法及装置
CN110659678A (zh) 一种用户行为分类方法、系统及存储介质
CN114548428B (zh) 基于实例重构的联邦学习模型智能攻击检测方法及装置
CN114091667A (zh) 一种面向非独立同分布数据的联邦互学习模型训练方法
CN112380495B (zh) 安全多方乘法运算方法及系统
Bai et al. Particle routing in distributed particle filters for large-scale spatial temporal systems
CN113312177A (zh) 一种基于联邦学习的无线边缘计算系统、优化方法
Liu et al. Ising-cf: A pathbreaking collaborative filtering method through efficient ising machine learning
Hafi et al. Split Federated Learning for 6G Enabled-Networks: Requirements, Challenges and Future Directions
CN108509594A (zh) 一种基于云计算框架的交通大数据清洗系统
CN110457387A (zh) 一种应用于网络中用户标签确定的方法及相关装置
CN115758643A (zh) 一种基于时空特征融合的网络流量预测方法、装置及存储介质
CN113537613B (zh) 一种模体感知的时态网络预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant