CN115630745A - 一种面向城市分级协同供水的多区域需水量预测方法 - Google Patents

一种面向城市分级协同供水的多区域需水量预测方法 Download PDF

Info

Publication number
CN115630745A
CN115630745A CN202211369261.1A CN202211369261A CN115630745A CN 115630745 A CN115630745 A CN 115630745A CN 202211369261 A CN202211369261 A CN 202211369261A CN 115630745 A CN115630745 A CN 115630745A
Authority
CN
China
Prior art keywords
model
rps
local
aggregation
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211369261.1A
Other languages
English (en)
Other versions
CN115630745B (zh
Inventor
陈卓
周川
朱博文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Technology
Original Assignee
Chongqing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Technology filed Critical Chongqing University of Technology
Priority to CN202211369261.1A priority Critical patent/CN115630745B/zh
Publication of CN115630745A publication Critical patent/CN115630745A/zh
Application granted granted Critical
Publication of CN115630745B publication Critical patent/CN115630745B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315—Needs-based resource requirements planning or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Electricity, gas or water supply

Abstract

本发明提出了一种面向城市分级协同供水的多区域需水量预测方法，包括以下步骤：S1，构造HFL模型：基于水务公司整体的供水管网分布以及地理特征，采用聚类算法将整个区域下的各节点划分为L层对象：顶层为中心参数服务器CPS、中间若干层为区域参数服务器RPS、底层为客户client；S2，将水务公司的用水数据输入HFL模型进行训练，所述用水数据为时序数据：S3，将待测数据输入训练好的HFL模型，得到预测结果，所述预测结果是各个公司对某个区域的供水量预测即局部需水量，全区需水量就是局部需水量之和。本发明能充分挖掘训练数据的显性和隐性特点，利用数据的关联关系以提升模型的精度。此外，还可以在一定程度上加快模型的收敛，并降低通信瓶颈带来的影响。

Description

一种面向城市分级协同供水的多区域需水量预测方法
技术领域
本发明涉及城市供水量预测领域，特别是涉及一种面向城市分级协同供水的多区域需水量预测方法。
背景技术
目前，在城市用水量预测领域中被广泛应用的数据挖掘技术有：多元线性回归分析模型、ARIMA模型、灰色GM模型、MIC-XGBoost模型、机器学习模型等。但是随着智慧管网及智慧水务系统的不断建设，基于上述数据挖掘技术的城市用水数据预测面临着以下严峻的挑战：1)城市功能的划分使得城市生活区、新开发区、商务区以及工业区等区域在用水特点上呈现出越来越显著的差异，即数据的定义和组织方式具有严重的异构性，“数据孤岛”影响着数据的流通和集成整合，限制了传统的中心化学习(Centralized Learning)推广应用，因此传统中心化的需水预测已经不能满足多区域城市环境下的需求，同时难以让供水公司提供即时匹配的供水调度方案；2)为了降低供水管网的建设和运营成本，新扩展的城市区域越来越多的采用由多个供水公司协同建设管网并运维系统的新模式，但不同供水公司对于共享自己供水区域内的水量数据的意愿不高，这阻碍了数据价值的有效释放；3)部分城市用水区域，如：军事管理区域和特殊产品生产区域的用水数据具有严格的隐私保护要求，而采用传统数据集中化的需水预测方法，需要将这些敏感区域的用水数据进行采集和网络传输，存在严重的数据泄露风险。
针对新的城市分级和分区域供水背景下的需求，联邦学习(Federated Learning,FL)以“数据不动，模型动”的方式，有效解决了在大规模分布式应用环境下的数据隐私和网络通信问题。经典联邦学习由一个聚合服务器(Parameter Server,PS)和多个客户端(client)构成，作为一种C/S网络架构，各client负责保存组织的私有数据并在本地训练模型，通过网络链路将模型参数上传至PS，PS负责聚合部分或所有客户端的模型参数，再广播回传至相应的client，以此在隐私数据不离开本地的情况下，通过联合协作训练共享模型参数的方式，既保证模型性能，又避免数据的泄露。
然而，当经典联邦学习应用到多区域需水量预测时存在以下不足之处：
(1)用于联邦学习训练的数据具有显性和隐性强关联的特点，在统计分析方面各用水监测点的数据在层次上存在着密切关联并相互影响，这使得分布在各节点上的数据集不完全是独立的数据个体，但经典联邦学习不能充分利用数据的关联关系以提升模型的精度；
(2)在分布式机器学习中，全局模型训练的质量和模型收敛的时间都受到分布式拓扑结构的网络影响，但经典联邦学习的服务端通常一味地采用同步聚合或异步聚合方法，这使得模型参数的传递和聚合将可能带来性能的受损。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种面向城市分级协同供水的多区域需水量预测方法。
为了实现本发明的上述目的，本发明提供了一种面向城市分级协同供水的多区域需水量预测方法，包括以下步骤：
S1，构造HFL模型即层次化的联合学习模型：
基于水务公司整体的供水管网分布以及地理特征，采用聚类算法将整个区域下的各节点划分为L层对象：顶层为中心参数服务器CPS、中间若干层为区域参数服务器RPS、底层为客户client；
顶层只有一个节点CPS，其余每层均包含若干个节点，上下层级的节点之间是一对多的关系；每个节点均包含网络模型，client节点、CPS节点采用的是LSTM神经网络；
S2，将水务公司的用水数据输入HFL模型进行训练，所述用水数据为时序数据：
S2-1，提取出各client节点数据的公共特征，初始化一个全局模型参数w0；
S2-2，将w0广播至RPS，各RPS节点接收到w0后不会立即参与训练，而是充当路由转发的角色，将w0下发至对应的client，各client节点基于本地数据集和w0会立即开始本地模型训练；
S2-3，当client完成训练后，将基于Lora无线传输协议将本地模型参数上传至RPS，RPS端按照接收参数的先后顺序，将来自client的本地模型参数存放在本地的缓存区；
S2-4，当client完成设定的本地迭代训练次数时满足聚合条件，RPS将采用FedAvg算法聚合得到区域模型
Figure BDA0003924949000000031
当RPS所执行的区域聚合次数达到设定的区域聚合次数时，RPS将开始基于自身的用水量数据迭代训练区域的LSTM模型，当训练次数达到设定的区域迭代训练次数时，得到区域更新；
区域迭代方法与本地迭代方法相同，形式如公式(1)所示。
S2-5，RPS每一回合的迭代训练执行完成后，RPS仍需将自身的模型参数上传至上级节点CPS，当RPS完成设定的迭代训练次数时满足聚合条件，在CPS中聚合得到全局模型；所述CPS聚合也采用FedAvg算法，形式如公式(2)所示。
通过采用长短时记忆网络LSTM对RPS和client进行数据预测，有助于避免梯度爆炸和梯度消失对用水量预测带来的影响。
S3，将待测数据输入训练好的HFL模型，得到预测结果，所述预测结果是各个公司对某个区域的供水量预测即局部需水量，全区需水量就是局部需水量之和。
进一步地，所述本地迭代训练用以下公式表示：
Figure BDA0003924949000000041
其中H interations表示H次本地迭代；
Figure BDA0003924949000000042
表示索引为k的client节点在第r轮经过H次本地迭代后得到的本地模型参数；
η是学习率；
Figure BDA0003924949000000043
表示梯度值；
w0表示初始模型参数；
此外，在迭代的训练过程中以随机梯度下降法更新参数向量，同时在LSTM的输出中加上Sigmoid函数，以提高模型对信息的选择能力，进一步缓解反向传播梯度时的梯度消失问题。
进一步地，所述采用FedAvg算法聚合得到区域模型
Figure BDA0003924949000000044
的公式如下：
Figure BDA0003924949000000045
其中
Figure BDA0003924949000000046
表示索引为s的RPS节点，在第r轮的初始模型参数；
αc表示被选择参与第r次聚合任务的clients比例，
Figure BDA0003924949000000047
K表示clients的总量；
Dk表示客户端k的数据集大小；
Figure BDA0003924949000000048
表示第r次聚合任务，αcK个客户端的总数据集大小；
Figure BDA0003924949000000049
表示索引为k的client节点在第r轮经过H次本地迭代后得到的本地模型参数。
进一步地，所述聚合还包括：在RPS针对client和CPS针对RPS执行聚合操作时会根据无线IoT网络的连接状态，选择同步聚合或异步聚合，具体操作如下：
由AM监控实际的层次间最近一次通信时延Q，当Q大于设定的时延阈值T时，则表示当前的通信质量欠佳，采用异步聚合，以减少模型整体的训练时间。反之采用同步聚合，保证全局模型稳定地收敛。其中同步聚合即公式(2)所示。
所述连接状态由AM不定期监测网络链路中数据的收发时间来确定，并由AM将状态信息告知相应的服务节点，各服务节点根据AM反馈的信息动态调整相关层间节点的聚合策略。
通过自适应调整层次间，采用同步聚合方法或异步聚合方法，从而提升了HFL整体模型的训练效率。
进一步地，为了克服参数时效性对全局模型的收敛造成消极影响，当使用所述异步聚合时，每个被服务端接收的节点模型参数
Figure BDA0003924949000000051
将按照公式(6)的方式进行修正后，再执行参数聚合，以减缓时效性较差的节点对聚合模型的影响；
Figure BDA0003924949000000052
其中，
Figure BDA0003924949000000053
表示索引值为k的设备在第r轮经过H次本地迭代后得到的本地模型参数；
Figure BDA0003924949000000054
为用于衡量索引值为k的设备所对应的模型参数在第r次聚合的时效性参数；
Figure BDA0003924949000000055
表示第r-1次区域聚合后的区域模型。
等式左边的
Figure BDA0003924949000000056
是新值，等式右边的
Figure BDA0003924949000000057
是旧值。这个式子的目的就是对
Figure BDA0003924949000000058
进行一次基于时效性的修正，所以本质是一个意义的变量。
进一步地，所述RPS的训练过程中还包括：
采用MSE损失函数用于衡量设备自身在模型训练过程中的预测值与真实值之间的差异，其中全局损失函数为：
Figure BDA0003924949000000059
其中w表示任一RPS节点本地模型的参数；
αs表示被选择参与聚合任务的RPS比例，
Figure BDA00039249490000000510
S表示RPS的总量；
Ds表示索引值为s的RPS拥有的数据集大小；
Dt表示第t轮多个RPS所拥有数据集的并集的大小；
Fs(w)表示索引值为s的RPS对应的本地损失值。
进一步地，当HFL模型为3层时，client k的本地权重
Figure BDA0003924949000000061
在整个HFL模型中的变化过程如下所示：
Figure BDA0003924949000000062
其中，
Figure BDA0003924949000000063
为索引值为k的设备在第r轮经过i次本地迭代后得到的本地模型参数；
Figure BDA0003924949000000064
为索引值为k的设备在第r轮经过i-1次本地迭代后得到的本地模型参数；
η是学习率；
Figure BDA0003924949000000065
表示梯度值；
r|κ1≠0表示κ1无法整除r，即当前应继续在本地进行迭代训练；
αc表示被选择参与第r次聚合任务的clients比例，
Figure BDA0003924949000000066
K表示clients的总量；
Dk表示客户端k的数据集大小；
Figure BDA0003924949000000067
表示索引值为k的设备在第r轮经过H-1次本地迭代后得到的本地模型参数；
Γs表示αcK个客户端数据集的并集大小；
r|κ1＝0表示κ1可整除r，此时处于RPS聚合client本地模型参数阶段，聚合得到区域模型将继续反馈至client；
αs表示被选择参与聚合任务的RPS比例，
Figure BDA0003924949000000071
S表示RPS的总量；
Ds表示索引值为s的RPS拥有的数据集大小；
D表示所有RPS数据集大小的总和，即将多个RPS的Ds大小相加。
r|κ1*κ2＝0表示κ1*κ2可整除r；
t|κ3＝0表示κ3可整除t，t表示RPS所经历的训练轮次；
如果r|κ1*κ2＝0且t|κ3＝0，则CPS正进行全局模型的聚合，下一回合client的初始模型参数即为该全局模型。
κ1表示client的迭代训练次数；
κ2表示RPS需要完成区域聚合次数；
κ3表示RPS的迭代训练次数。
综上所述，由于采用了上述技术方案，本发明具有以下优点：
(1)能充分挖掘训练数据的显性和隐性特点，利用数据的关联关系以提升模型的精度。此外，基于空间和数据关联关系划分多区域多层次，可以在一定程度上加快模型的收敛，并降低通信瓶颈带来的影响。
(2)根据网络状态动态采用异步或同步聚合方法，能有效结合同步和异步聚合的优势，有助于模型训练过程的优化。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明面向多水司供水场景下的分层联邦学习结构图。
图2是本发明HFL模型的数据关系示意图。
图3是本发明HFL模型的训练流程图。
图4是本发明HFL模型四种组合下的精度曲线与中心化训练的精度对比图。
图5是本发明HFL模型在不同时间阈值下的模型预测精度图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
本发明提出一种面向城市分级协同供水的多区域需水量预测方法，内容如下：
以水务公司的用水数据为时序数据，为避免梯度爆炸和梯度消失对用水量预测带来的影响，首先采用长短时记忆网络(Long Short-Term Memory,LSTM)对单一节点进行数据预测，其次多区域节点基于联合平均算法(Federated Learning Average,FedAvg)进行协同训练，同时为提升HFL的训练效率进行自适应调整层次间采用同步聚合方法或异步聚合方法。
具体而言，首先基于水务公司整体的供水管网分布以及地理特征，采用聚类算法将整个大区域下节点集合V划分为三级对象：中心参数服务器(Central ParameterServer,CPS)、区域参数服务器(Regional Parameter Server,RPS)、底层客户端(client)，三类节点对应如图1所示的三层联邦学习框架，节点间的数据传输方向如图1所示。部署在真实分布式环境中的各区域水厂如图1左侧所示，由供水管网本身的结构和地理位置的远近关系，经聚类划分并抽象为图1右侧的层次结构，多个区域的最底层节点即构成client池，每个区域的子client池内的节点数量不一致，这根据实际的供水管网而定。同理，CPS具有对应的RPS池，RPS池中的RPS与client池中的client是一对多的网络通信模式，即多个client和RPS通过IoT网络完成模型参数的交互，CPS与RPS同样为一对多的交互模式，而CPS和client之间不具有直接的通信链路，client端的信息不直接传输至CPS，通过上述层次结构，这可减少单一服务器的通信压力。本文提出的HFL模型应用于该结构中。
1.分层联邦学习框架
CPS作为具备强大算力的云端服务器，将执行全局模型的初始化，并且与RPS池中的多个RPS进行模型参数的交互。RPS通常是具有物联网(Internet of Things,IoT)连接能力的边缘服务器，具备本地的用水数据并执行相应模型的训练，RPS和CPS即构成了一个传统联邦学习模型的C/S架构。与之类似，RPS会与client进行模型参数的交互，client通常是具有一定计算能力的IoT终端或者边缘服务节点，client主要进行本地模型训练，由RPS负责采用FedAvg算法聚合client的本地模型参数，则client和RPS又构成一个C/S结构。这三类设备之间相邻层之间相互协作，以完成对象模型的训练和参数聚合。另外，框架中还包括一个聚合管理器(Aggregation Manager,AM)，用于不定期检查当前联邦学习系统中网络链路的质量，该质量是CPS和RPS自适应采取何种聚合策略的凭证，AM由IoT运营商负责管理。(为便于后续描述，此处对相关数量关系和名词进行说明，HFL模型中存在S个RPS，每个RPS由K个clients构成，总计client的数量为S*K。RPS端的模型训练以及对应训练得到的模型参数分别称为区域训练和区域更新，其聚合过程和聚合结果分别称为区域聚合和区域模型。CPS端的聚合过程以及产生的模型参数分别称为全局聚合和全局模型。client端的本地训练以及训练产生的模型参数分别称为本地训练和本地更新，本地更新就代表着经过迭代训练后，得到的新的本地模型参数。)其中具体的系统框架内数据关系图，如图2所示。该图适用于RPS-client、CPS-RPS之间的模型参数交互过程。如：同一RPS拥有两个底层client对应的区域水厂A和B，则A、B水厂之间并不会发生任意的数据交换，两者需要基于本区域内的用水数据和预置的LSTM模型，进行独立地模型A和模型B训练，这一过程是加密的，不允许被他人非法获取训练模型产生的数据，当训练完成后由RPS对两区域的模型参数进行加权融合，即获取到联邦模型，再回传至模型A和B，以此迭代训练。
联邦学习的全局模型通常以随机的方式初始化，进而直接或间接广播至其余底层节点(CPS、client)。本发明为保证模型训练和数据预测的稳定性，首先收集各底层节点数据的公共特征，目的在于初始化一个全局模型参数w0，使得初始的全局模型与所有参与HFL训练的底层节点均有关联，帮助各节点后续的训练，随后将w0广播至RPS。各RPS节点接收到w0后不会立即参与训练，而是将w0下发至对应的client，各client节点基于本地数据集和w0会立即开始本地模型训练，该训练过程为并行执行。以client为例，其本地更新按照如下方式完成，(RPS更新的初始值由client的终值计算得到，RPS的更新公式将w0将改为
Figure BDA0003924949000000101
即可)
Figure BDA0003924949000000102
其中H interations表示H次本地迭代，
Figure BDA0003924949000000103
表示索引为k的client节点在第r轮经过H次本地迭代后得到的本地更新，η是学习率，
Figure BDA0003924949000000104
是梯度值，用于反向传播计算。特别地，当r＝H＝0时，
Figure BDA0003924949000000105
最终，整合H次的迭代结果，可得到公式(1)中最后的等式关系，此处的w为单个LSTM模型的参数向量，在迭代的训练过程中以随机梯度下降法(StochasticGradient Descent,SGD)更新该参数向量，同时在LSTM的输出中加上Sigmoid函数，以提高模型对信息的选择能力，进一步缓解反向传播梯度时的梯度消失问题。
当client完成本地更新后，将基于Lora无线传输协议将本地更新上传至RPS，RPS端将按照接收参数的先后顺序，将来自client的本地更新存放在本地的缓存区，当满足聚合条件时将采用FedAvg算法,聚合本地模型得到区域模型，区域模型用
Figure BDA0003924949000000111
表示，聚合方法如公式(2)所示,
Figure BDA0003924949000000112
表示索引为s的RPS节点，在第r轮的初始模型参数，
Figure BDA0003924949000000113
其中
Figure BDA0003924949000000114
表示被选择参与第r次聚合任务的clients比例，clients的总量为κ，客户端k的数据集表示为
Figure BDA0003924949000000115
的大小Dk为
Figure BDA0003924949000000116
其中|·|表示向量的长度。区域s在第r轮中所拥有的数据为αcK个客户端的数据集的并集，即
Figure BDA0003924949000000117
对应大小为
Figure BDA0003924949000000118
其中
Figure BDA0003924949000000119
因每一次区域聚合需要client本地完成κ1回合的迭代计算才会得到触发，当RPS所执行的区域聚合次数达到κ2，即client本地的迭代总回合数为κ1*κ2时，RPS将开始基于自身的用水量数据迭代训练内置于RPS的LSTM模型，以得到区域更新ws，迭代方法与公式(1)类似，仅需将w0改写为
Figure BDA00039249490000001110
但是RPS需迭代训练的次数为κ3。每一回合的迭代训练执行完成后，RPS仍需将自身的模型参数上传至上级节点CPS，在CPS中采取公式(2)的方式完成聚合，得到全局模型。client k的本地权重
Figure BDA00039249490000001111
在整个HFL模型中的变化过程如下所示，
Figure BDA00039249490000001112
其中，
Figure BDA00039249490000001113
为设备k在第r轮经过i次本地迭代后得到的本地模型参数，r|κ1≠0表示κ1无法整除r，即当前应继续在本地进行迭代训练。r|κ1＝0则表示κ1可整除r，此时处于RPS聚合client本地模型参数阶段，聚合得到区域模型将继续反馈至client。如果r|κ1*κ2＝0且t|κ3＝0，则CPS正进行全局模型的聚合，下一回合client的初始模型参数即为该全局模型。
HFL模型的参数聚合和训练过程如表1所示，
表1.HFL模型的参数聚合和训练过程
Figure BDA0003924949000000121
对于RPS而言，反向传播优化单一的LSTM模型，采用MSE损失函数用于衡量模型训练过程中预测值与真实值之间的差异，其中全局损失函数为，
Figure BDA0003924949000000122
其中
Figure BDA0003924949000000123
表示被选择参与聚合任务的RPS比例，RPS的总量为S；
Figure BDA0003924949000000131
表示索引值为s的RPS拥有的数据集，
Figure BDA0003924949000000132
的大小Ds为
Figure BDA0003924949000000133
其中|·|表示向量的长度。
Dt表示第t轮多个RPS所拥有数据集的并集的大小，即
Figure BDA0003924949000000134
Fs(w)表示索引值为s的RPS对应的本地损失值。
Figure BDA0003924949000000135
是第p个数据样本的损失函数。
对于区域损失函数而言，存在一个权重
Figure BDA0003924949000000136
使得区域损失函数最小，
Figure BDA0003924949000000137
其中，arg min fs表示在第r轮使得区域损失函数fs最小的参数取值，即
Figure BDA0003924949000000138
Dk表示索引值为k的client所拥有数据集的大小。
Figure BDA0003924949000000139
表示第r轮在区域s中αcK个client数据集的并集对应的大小。
fk表示索引值为k的client，本地模型计算所得到的本地损失值。
2.一种参数自适应聚合方法
将该HFL的组成按照分布式网络的拓扑关系划分，所参与的设备分为位于网络核心的设备，如CPS，和位于网络边缘的设备，如RPS。位于网络边缘的设备易受到时空动态影响网络质量，使得网络质量呈现出不稳定性，本专利进一步提出一种自适应的参数聚合方法，优化上文HFL的训练过程，目的在于：充分发挥同步和异步聚合方法的优势，将弹性的同步及异步聚合决策过程融入到提出的HFL模型中，从而使得HFL内的不同类型节点之间(即CPS和RPS，RPS和clients)能够根据无线IoT网络的连接状态，自适应地从同步或异步聚合方法中选择一种聚合策略。该连接状态由AM不定期监测网络链路中数据的收发时间来确定，并由AM将状态信息告知相应的服务节点，各服务节点根据AM反馈的信息动态调整相关层间节点的聚合策略。整个HFL的训练流程如图3所示，首先client将完成κ1轮的本地训练，因为client位于HFL的最底层，所拥有的数据以及模型参数相应也是整个HFL模型最基本且最具影响力的数据，因此client完成的迭代训练会最多，当完成训练后随后将向对应的RPS上传本地模型参数，以激发RPS完成区域模型的聚合。当以上过程执行次数达到κ2时，RPS本地存储的数据将作为RPS内部LSTM神经网络的输入，且当前聚合得到的区域模型将作为该LSTM的初始参数，该神经网络的结构与client的神经网络结构一致，在一轮HFL的训练中，RPS端的区域训练需完成κ3次，随后按照流水线作业将得到的区域更新，由IoT网络上传至CPS端，以完成HFL模型从client到RPS最后到CPS的一轮完整计算，直到HFL模型的训练结束该过程将会执行的总轮数为B。其中每个client的本地训练轮次总共为K1＝Bκ1κ2，每个RPS总共的区域训练轮次为K2＝Bκ3。设置阈值T表示数据链路中可接受的最小传输时延，在RPS针对client和CPS针对RPS执行聚合操作之前，由AM计算实际的层次间最近一次通信时延，该时延由参数Q表示，当Q>T时，则表示当前的通信质量欠佳，考虑到模型训练的效率，需采用异步聚合方法，以减少模型整体的训练时间。反之采用同步聚合策略，保证全局模型稳定地收敛。
在三层HFL模型中，动态调整同步及异步聚合方法将会最多组合出四种不同的聚合方案，即“同步-同步”(Sync-Sync)、“异步-异步”(Async-Async)、“同步-异步”(Sync-Async)、“异步-同步”(Async-Sync)，具体取决于某一时刻下的网络质量。若采用同步聚合机制，则αc＝1或者αs＝1，表示需要等待对应区域中所有节点完成训练并成功上传模型参数以后，才会促发服务端开始聚合模型参数。相比之下，若采用异步聚合方法，当完成模型训练并上传模型的节点数量达到指定阈值时，即可触发服务端执行参数聚合操作，但是聚合得到的参数仅广播至对本次模型聚合做出贡献的节点，使得此类节点继续下一回合的训练任务。值得注意的是，采用异步聚合策略考虑到：服务端接收到节点的本地模型参数是在第rc轮，而节点接收到来自服务端的聚合参数是在第rs轮，且λ＝rc-rs≠0，λ表示模型的时效性，若λ≠0则表示参数的更新存在落后问题。因此，我们设置了一个参数
Figure BDA0003924949000000151
用以衡量设备k所对应的模型参数在第r次聚合的时效性，其中
Figure BDA0003924949000000152
0<ρ<1且ρ是一个常数。其中设备是一种对RPS和client的统称，即需要参与训练的节点。特别地，如果不存在模型更新的时效性问题，即在一个计算和通信回合中每个节点对应的λ＝0，则此时等价为同步聚合机制。为了克服参数时效性对全局模型的收敛造成消极影响，当使用异步聚合时，每个被服务端接收的节点模型参数
Figure BDA0003924949000000153
将按照公式(6)的方式进行修正后，再执行参数聚合，以减缓时效性较差的节点对聚合模型的影响：
Figure BDA0003924949000000154
其中，
Figure BDA0003924949000000155
表示设备k在第r轮经过H次本地迭代后得到的本地模型参数；
Figure BDA0003924949000000156
为用于衡量设备k所对应的模型参数在第r次聚合的时效性参数；
Figure BDA0003924949000000157
表示经历过第r-1次区域聚合后的区域模型；
Figure BDA0003924949000000158
分别是经历过第t次全局聚合后的全局模型和经历过第r次区域聚合后的区域模型。如果节点所面临的传输时延较大，即λ大，因为
Figure BDA0003924949000000159
是指数函数，其值将随着λ的增加而减少，相反
Figure BDA00039249490000001510
将更大，故根据公式(6)，最终参与聚合的模型参数
Figure BDA00039249490000001511
将趋近于上一轮的聚合结果
Figure BDA00039249490000001512
从而抑制时效性较差的参数，因更新的时间较长而与整体模型产生偏差，对模型收敛的阻塞作用以此保持全局模型的平稳收敛。理论上，本专利所提出的HFL及自适应调整聚合策略的方法可以扩展到L层(L>3)，则对应的同步和异步聚合策略的组合方案最多将有2L种，顶端和底端结构不变，变的是中间层的RPS。完整的过程如算法2所示。
表2.基于HFL模型的自适应参数聚合方法
Figure BDA00039249490000001513
Figure BDA0003924949000000161
本发明的场景适用于各节点数据的特征空间相同但是样本空间不同的场景，即一种横向联邦学习模式。如图1所示，各参与联邦学习的节点根据所属区域的不同，构建成一种层次所属关系，在层次网络中的各个边缘节点按照图2的方式，建立了一个虚拟的共有模型，不同的数据拥有方不直接交换彼此的数据，唯一能够参与信息流动以实现数据共享的内容是彼此的模型参数。
具体而言，完成如图3所示的HFL模型训练并最终提供预测模型，需要部署在支持如下服务的环境中：(1)通信服务：相应节点之间需要实现端与端之间的通信，一是需要尽可能少暴露自身地信息，另一方面需提供简便服务，因此引入网关服务(Service Gateway,SG)实现服务路由，对外提供gPRC接口以及HTTP接口，并且添加分布式应用程序协调服务软件服务，如ZooKeeper等注册服务，当系统向SG发起训练请求时，SG将从ZooKeeper获得可用服务，由指定的负载均衡策略完成服务的调用。(2)训练任务：当SG获得一个训练任务请求时，SG会请求路由到训练服务，并且由训练组件(如：LSTM、Transformer等)完成模型训练过程中需要的各种功能。
图4展示了HFL模型为三层时聚合策略的四种组合下的精度曲线与中心化学习的精度曲线对比，其中Centralized表示采用传统中心化学习，Async表示异步聚合，Sync表示同步聚合，可得出动态调整相关层间节点的聚合策略有助于提升了HFL模型的精度。
按照数据的层次关系提出的分层联邦学习架构即HFL模型的精度更高。因此，本发明不仅可以保护数据隐私，还将带来更高的模型精度并减少网络拥塞导致的训练效率问题。
如图5展示了HFL模型在五组不同时间开销比值下的模型预测精度图，其中当T＝40的模型收敛时，所对应的时间开销比T＝1多29.3％。由此，可说明基于网络质量的自适应参数聚合方法，在保证模型收敛精度的情况下，能最大限度节省训练的时间开销。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (7)

1.一种面向城市分级协同供水的多区域需水量预测方法，其特征在于，包括以下步骤：
S1，构造HFL模型：基于水务公司整体的供水管网分布以及地理特征，采用聚类算法将整个区域下的各节点划分为L层对象：顶层为中心参数服务器CPS、中间若干层为区域参数服务器RPS、底层为客户client；顶层只有一个节点CPS，其余每层均包含若干个节点，上下层级的节点之间是一对多的关系；
S2，将水务公司的用水数据输入HFL模型进行训练，所述用水数据为时序数据：
S2-1，提取出各client节点数据的公共特征，初始化一个全局模型参数w0；
S2-2，将w0广播至RPS，各RPS节点将w0下发至对应的client，各client节点基于本地数据集和w0会立即开始本地模型训练；
S2-3，当client完成训练后，将基于Lora无线传输协议将本地模型参数上传至RPS，RPS端按照接收参数的先后顺序，将来自client的本地模型参数存放在本地的缓存区；
S2-4，当client完成设定的本地迭代训练次数时满足聚合条件，RPS将采用FedAvg算法聚合得到区域模型
Figure FDA0003924948990000011
当RPS所执行的区域聚合次数达到设定的区域聚合次数时，RPS将开始基于自身的用水量数据迭代训练区域的LSTM模型，当训练次数达到设定的区域迭代训练次数时，得到区域更新；
S2-5，RPS每一回合的迭代训练执行完成后，RPS仍需将自身的模型参数上传至上级节点CPS，当RPS完成设定的迭代训练次数时满足聚合条件，在CPS中聚合得到全局模型；
S3，将待测数据输入训练好的HFL模型，得到预测结果。
2.根据权利要求1所述的一种面向城市分级协同供水的多区域需水量预测方法，其特征在于，所述本地迭代训练用以下公式表示：
Figure FDA0003924948990000021
其中H interations表示H次本地迭代；
Figure FDA0003924948990000022
表示索引为k的client节点在第r轮经过H次本地迭代后得到的本地模型参数；
η是学习率；
Figure FDA0003924948990000023
表示梯度值；
w0表示初始模型参数。
3.根据权利要求1所述的一种面向城市分级协同供水的多区域需水量预测方法，其特征在于，所述采用FedAvg算法聚合得到区域模型
Figure FDA0003924948990000024
的公式如下：
Figure FDA0003924948990000025
其中
Figure FDA0003924948990000026
表示索引为s的RPS节点，在第r轮的初始模型参数；
αc表示被选择参与第r次聚合任务的clients比例，
Figure FDA0003924948990000027
K表示clients的总量；
Dk表示客户端k的数据集大小；
Figure FDA0003924948990000028
表示第r次聚合任务，αcK个客户端的总数据集大小；
Figure FDA0003924948990000029
表示索引为k的client节点在第r轮经过H次本地迭代后得到的本地模型参数。
4.根据权利要求1所述的一种面向城市分级协同供水的多区域需水量预测方法，其特征在于，所述聚合还包括：在RPS针对client和CPS针对RPS执行聚合操作时会根据无线IoT网络的连接状态，选择同步聚合或异步聚合，具体操作如下：
由AM监控层次间最近一次通信时延Q，当Q大于设定的时延阈值T时，则表示当前的通信质量欠佳，采用异步聚合，反之采用同步聚合。
5.根据权利要求4所述的一种面向城市分级协同供水的多区域需水量预测方法，其特征在于，当使用所述异步聚合时，每个被服务端接收的节点模型参数
Figure FDA0003924948990000031
将按照公式(6)的方式进行修正后，再执行参数聚合，以减缓时效性较差的节点对聚合模型的影响；
Figure FDA0003924948990000032
其中，
Figure FDA0003924948990000033
表示索引值为k的设备在第r轮经过H次本地迭代后得到的本地模型参数；
Figure FDA0003924948990000034
为用于衡量索引值为k的设备所对应的模型参数在第r次聚合的时效性参数；
Figure FDA0003924948990000035
表示第r-1次区域聚合后的区域模型。
6.根据权利要求1所述的一种面向城市分级协同供水的多区域需水量预测方法，其特征在于，所述RPS的训练过程中还包括：
采用MSE损失函数用于衡量设备自身在模型训练过程中的预测值与真实值之间的差异，其中全局损失函数为：
Figure FDA0003924948990000036
其中w表示任一RPS节点本地模型的参数；
αs表示被选择参与聚合任务的RPS比例，
Figure FDA0003924948990000037
S表示RPS的总量；
Ds表示索引值为s的RPS拥有的数据集大小；
Dt表示第t轮多个RPS所拥有数据集的并集的大小；
Fs(w)表示索引值为s的RPS对应的本地损失值。
7.根据权利要求1所述的一种面向城市分级协同供水的多区域需水量预测方法，其特征在于，当HFL模型为3层时，client k的本地权重
Figure FDA0003924948990000038
在整个HFL模型中的变化过程如下所示：
Figure FDA0003924948990000041
其中，
Figure FDA0003924948990000042
为索引值为k的设备在第r轮经过i次本地迭代后得到的本地模型参数；
Figure FDA0003924948990000043
为索引值为k的设备在第r轮经过i-1次本地迭代后得到的本地模型参数；
η是学习率；
Figure FDA0003924948990000044
表示梯度值；
r|κ1≠0表示κ1无法整除r，即当前应继续在本地进行迭代训练；
αc表示被选择参与第r次聚合任务的clients比例，
Figure FDA0003924948990000045
K表示clients的总量；
Dk表示客户端k的数据集大小；
Figure FDA0003924948990000046
表示索引值为k的设备在第r轮经过H-1次本地迭代后得到的本地模型参数；
Γs表示αcK个客户端数据集的并集大小；
r|κ1＝0表示κ1可整除r；
αs表示被选择参与聚合任务的RPS比例，
Figure FDA0003924948990000047
S表示RPS的总量；
Ds表示索引值为s的RPS拥有的数据集大小；
D表示所有RPS数据集大小的总和；
r|κ1*κ2＝0表示κ1*κ2可整除r；
t|κ3＝0表示κ3可整除t，t表示RPS所经历的训练轮次；
κ1表示client的迭代训练次数；
κ2表示RPS需要完成区域聚合次数；
κ3表示RPS的迭代训练次数。
CN202211369261.1A 2022-11-03 2022-11-03 一种面向城市分级协同供水的多区域需水量预测方法 Active CN115630745B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211369261.1A CN115630745B (zh) 2022-11-03 2022-11-03 一种面向城市分级协同供水的多区域需水量预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211369261.1A CN115630745B (zh) 2022-11-03 2022-11-03 一种面向城市分级协同供水的多区域需水量预测方法

Publications (2)

Publication Number Publication Date
CN115630745A true CN115630745A (zh) 2023-01-20
CN115630745B CN115630745B (zh) 2023-04-18

Family

ID=84908691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211369261.1A Active CN115630745B (zh) 2022-11-03 2022-11-03 一种面向城市分级协同供水的多区域需水量预测方法

Country Status (1)

Country Link
CN (1) CN115630745B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714432A (zh) * 2013-12-30 2014-04-09 南京大学 一种通过构建生长模拟模型来预测沉水植物的生物量的方法
US20210125200A1 (en) * 2019-10-28 2021-04-29 Jilin Jianzhu University Method and system for predicting medium-long term water demand of water supply network
CN114091103A (zh) * 2021-11-25 2022-02-25 支付宝(杭州)信息技术有限公司 联邦学习模型的训练方法和调用方法以及联邦学习系统
CN114357676A (zh) * 2021-12-15 2022-04-15 华南理工大学 一种针对层次化模型训练框架的聚合频率控制方法
CN114491967A (zh) * 2021-12-30 2022-05-13 中国科学院地理科学与资源研究所 陆地水储量预测方法、装置、设备及存储介质
CN115019342A (zh) * 2022-06-02 2022-09-06 重庆理工大学 一种基于类关系推理的濒危动物目标检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714432A (zh) * 2013-12-30 2014-04-09 南京大学 一种通过构建生长模拟模型来预测沉水植物的生物量的方法
US20210125200A1 (en) * 2019-10-28 2021-04-29 Jilin Jianzhu University Method and system for predicting medium-long term water demand of water supply network
CN114091103A (zh) * 2021-11-25 2022-02-25 支付宝(杭州)信息技术有限公司 联邦学习模型的训练方法和调用方法以及联邦学习系统
CN114357676A (zh) * 2021-12-15 2022-04-15 华南理工大学 一种针对层次化模型训练框架的聚合频率控制方法
CN114491967A (zh) * 2021-12-30 2022-05-13 中国科学院地理科学与资源研究所 陆地水储量预测方法、装置、设备及存储介质
CN115019342A (zh) * 2022-06-02 2022-09-06 重庆理工大学 一种基于类关系推理的濒危动物目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈庄: "《基于MIC-XGBooST算法的居民用水量数据预测》" *

Also Published As

Publication number Publication date
CN115630745B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN112202928B (zh) 传感边缘云区块链网络可信卸载协作节点选择系统及方法
Sun et al. Dynamic digital twin and federated learning with incentives for air-ground networks
CN107332913B (zh) 一种5g移动网络中服务功能链的优化部署方法
CN110493131B (zh) 一种sdn架构下的空间信息网络路由策略的设计方法
CN112953761B (zh) 一种面向多跳网络中虚网构建的资源虚实映射方法
WO2023040022A1 (zh) 一种在随机网络中基于算网协同的分布式计算卸载方法
Kong et al. A reliable and efficient task offloading strategy based on multifeedback trust mechanism for IoT edge computing
CN110365568A (zh) 一种基于深度强化学习的虚拟网络映射方法
Cao et al. Reliable and efficient multimedia service optimization for edge computing-based 5G networks: game theoretic approaches
Chemodanov et al. A near optimal reliable composition approach for geo-distributed latency-sensitive service chains
Qian et al. Distributed learning for wireless communications: Methods, applications and challenges
Lan et al. Deep reinforcement learning for computation offloading and caching in fog-based vehicular networks
CN107483355B (zh) 面向数据中心的在线场景低带宽开销流量调度方案
Jin et al. Towards joint resource allocation and routing to optimize video distribution over future internet
CN116566838A (zh) 一种区块链与边缘计算协同的车联网任务卸载和内容缓存方法
CN116669111A (zh) 一种基于区块链的移动边缘计算任务卸载方法
Liu et al. Multi-agent federated reinforcement learning strategy for mobile virtual reality delivery networks
Seid et al. Blockchain-empowered resource allocation in Multi-UAV-enabled 5G-RAN: a multi-agent deep reinforcement learning approach
Cui et al. A many-objective evolutionary algorithm based on constraints for collaborative computation offloading
Pacifici et al. Distributed caching algorithms for interconnected operator CDNs
Huang et al. A hierarchical pseudonyms management approach for software-defined vehicular networks
CN115630745B (zh) 一种面向城市分级协同供水的多区域需水量预测方法
Hao et al. Framework for replica placement over cooperative edge networks
Gupta et al. Fedfm: Towards a robust federated learning approach for fault mitigation at the edge nodes
Meng et al. Intelligent routing orchestration for ultra-low latency transport networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant