CN117474129B - 一种多云共享分布式预测系统、方法、装置及电子设备 - Google Patents
一种多云共享分布式预测系统、方法、装置及电子设备 Download PDFInfo
- Publication number
- CN117474129B CN117474129B CN202311825167.7A CN202311825167A CN117474129B CN 117474129 B CN117474129 B CN 117474129B CN 202311825167 A CN202311825167 A CN 202311825167A CN 117474129 B CN117474129 B CN 117474129B
- Authority
- CN
- China
- Prior art keywords
- prediction
- cloud server
- global
- shared
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000005259 measurement Methods 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims description 82
- 238000012360 testing method Methods 0.000 claims description 42
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 abstract description 10
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 238000009826 distribution Methods 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000002558 medical inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及机器学习技术领域,公开了一种多云共享分布式预测系统、方法、装置及电子设备,包括:用户端用于获取在线量测数据,基于在线量测数据构建局部预测模型,得到局部预测模型的局部预测参数;云服务器用于接收用户簇中各用户端发送的局部预测参数,确定全局预测参数;若干个云服务器共享全局预测参数,以使云服务器得到共享预测参数,根据共享预测参数和全局预测参数,确定目标预测参数;用户端根据目标预测参数,优化局部预测模型。通过用户端向云服务器发送局部预测参数,再通过云服务器之间的局部预测参数共享逻辑,使每个云服务器均能得到准确的目标预测参数,在提高用户端可扩展性的同时,提高了各用户端最终构建的预测模型的精度。
Description
技术领域
本申请涉及机器学习技术领域,尤其涉及一种多云共享分布式预测系统、方法、装置及电子设备。
背景技术
目前,随着人工智能技术的快速发展,人工智能技术在很多领域得到了应用,其中,机器学习作为人工智能的技术核心,也已经取得重大的突破。
在相关技术中,通常是用户端基于自身获得的训练样本,进行预测模型的本地构建。或者采用联邦学习的方式,基于云服务器进行用户端模型参数的聚合。
但是,由于用户端计算能力有限,能获得的训练样本量也有限,导致最终构建的预测模型的精度较低。目前的联邦机器学习,当有大量的用户连接至云服务器时,云服务器将会成为性能瓶颈,降低了用户端的可扩展性,也就不利于保证预测模型的精度较低。
发明内容
本申请提供一种多云共享分布式预测系统、方法、装置及电子设备,以解决相关技术导致用户端最终构建的预测模型的精度较低等缺陷。
本申请第一个方面提供一种多云共享分布式预测系统,包括:用户簇和云服务器,所述用户簇包括若干个用户端,所述用户簇和云服务器一一对应;
所述用户端用于获取在线量测数据,基于所述在线量测数据构建局部预测模型,得到所述局部预测模型的局部预测参数,将所述局部预测模型的局部预测参数发送至对应的云服务器;
所述云服务器用于接收所述用户簇中各用户端发送的局部预测参数,根据所述局部预测参数,确定全局预测参数;
若干个所述云服务器共享所述全局预测参数,以使所述云服务器得到共享预测参数,并根据所述共享预测参数和所述全局预测参数,确定目标预测参数,并将所述目标预测参数发送至对应的若干个用户端;
所述用户端用于接收所述云服务器发送的目标预测参数,根据所述目标预测参数,优化所述局部预测模型。
在一种可选的实施方式中,所述用户端,用于:
根据所述在线量测数据,构建模型训练集;
根据所述模型训练集,构建局部预测模型。
在一种可选的实施方式中,所述用户端,用于:
获取测试数据;
基于所述局部预测模型,根据所述测试数据和模型训练集,确定所述局部预测模型的局部预测参数;
其中,所述测试数据为用户端在完成局部预测模型的训练后获取到的在线量测数据,所述局部预测参数包括局部预测期望和局部预测方差。
在一种可选的实施方式中,所述用户端,用于:
计算所述测试数据与所述模型训练集各训练数据之间的相似度;
根据所述测试数据与所述模型训练集各训练数据之间的相似度,在所述模型训练集中筛选预设数量的目标训练数据,以得到目标训练子集;
基于所述局部预测模型,根据所述测试数据和目标训练子集,确定所述局部预测模型的局部预测参数。
在一种可选的实施方式中,所述用户端,用于:
计算所述测试数据与所述模型训练集各训练数据之间的闵式距离;
根据所述测试数据与所述模型训练集各训练数据之间的闵式距离,确定所述测试数据与所述模型训练集各训练数据之间的相似度。
在一种可选的实施方式中,所述云服务器,用于:
为对应的所述用户端分配权重,以确定各所述用户端的预测权重;
根据各所述用户端的预测权重和所述局部预测参数,确定全局预测参数。
在一种可选的实施方式中,所述云服务器,用于:
基于如下公式,确定所述全局预测参数:
其中,表示用户端j向云服务器i发送的局部预测期望,/>表示云服务器i为用户端j分配的预测权重,/>,且/>,/>表示全局预测期望,表示局部预测方差,/>表示全局预测方差;所述全局预测参数包括全局预测期望和全局预测方差。
在一种可选的实施方式中,所述云服务器,用于:
获取共享云服务器发送的共享预测参数;其中,所述共享云服务器与当前云服务器之间存在边缘连接关系;
根据接收到的所述共享预测参数和所述全局预测参数,确定目标预测参数。
在一种可选的实施方式中,所述云服务器,用于:
获取云服务器边缘有向图;
根据所述云服务器边缘有向图,在云服务器集群中筛选共享云服务器。
在一种可选的实施方式中,所述云服务器,用于:
根据各所述云服务器之间的网络连接关系,构建云服务器边缘有向图。
在一种可选的实施方式中,所述云服务器,用于:
获取云服务器权重矩阵;其中,所述云服务器权重矩阵表征各所述云服务器之间的共享权重;
根据所述云服务器权重矩阵,为所述共享云服务器分配共享权重;
根据所述共享权重、共享预测参数和所述全局预测参数,确定目标预测参数。
在一种可选的实施方式中,所述云服务器,用于:
根据所述云服务器边缘有向图,确定各所述云服务器之间的共享置信度;
根据各所述云服务器之间的共享置信度,生成所述云服务器权重矩阵。
在一种可选的实施方式中,所述云服务器,用于:
基于如下公式,确定所述目标预测参数:
,/>
,/>
其中,和/>分别表示云服务器i的目标全局预测期望和目标全局预测方差,所述目标预测参数包括所述目标全局预测期望和目标全局预测方差,V表示云服务器集群,/>表示共享云服务器j的共享权重,/>表示共享云服务器j在k时刻的共享全局预测期望,/>表示共享云服务器j在k时刻的共享全局预测方差,所述共享预测参数包括所述共享全局预测期望和共享全局预测方差,当/>时,/>表示在/>时刻云服务器/>的全局预测期望,/>表示在/>时刻云服务器/>的全局预测方差。
在一种可选的实施方式中,所述目标预测参数满足如下期望目标:
其中,表示云服务器集群中的云服务器总数,/>表示初始时刻云服务器j的共享全局预测期望,/>表示初始时刻云服务器j的共享全局预测方差,/>和/>分别表示云服务器i在k时刻的目标全局预测期望和目标全局预测方差。
本申请第二个方面提供一种多云共享分布式预测方法,应用于用户端,所述方法包括:
获取在线量测数据;
基于所述在线量测数据构建局部预测模型,得到所述局部预测模型的局部预测参数;
将所述局部预测模型的局部预测参数发送至对应的云服务器,以基于所述云服务器根据所述局部预测参数,确定全局预测参数,根据各云服务器共享的全局预测参数,得到共享预测参数,并根据所述共享预测参数和所述全局预测参数,确定目标预测参数,将所述目标预测参数发送至对应的若干个用户端;
接收所述云服务器发送的目标预测参数;
根据所述目标预测参数,优化所述局部预测模型。
本申请第三个方面提供一种多云共享分布式预测方法,应用于云服务器,所述方法包括:
接收用户簇中各用户端发送的局部预测参数;其中,用户端通过获取在线量测数据,基于所述在线量测数据构建局部预测模型,得到所述局部预测模型的局部预测参数;
根据所述局部预测参数,确定全局预测参数;
根据各云服务器共享的全局预测参数,得到共享预测参数;
根据所述共享预测参数和所述全局预测参数,确定目标预测参数;
将所述目标预测参数发送至对应的若干个用户端,以使所述用户端根据所述目标预测参数,优化所述局部预测模型。
本申请第四个方面提供一种多云共享分布式预测装置,应用于用户端,所述装置包括:
获取模块,用于获取在线量测数据;
预测模块,用于基于所述在线量测数据构建局部预测模型,得到所述局部预测模型的局部预测参数;
发送模块,用于将所述局部预测模型的局部预测参数发送至对应的云服务器,以基于所述云服务器根据所述局部预测参数,确定全局预测参数,根据各云服务器共享的全局预测参数,得到共享预测参数,并根据所述共享预测参数和所述全局预测参数,确定目标预测参数,将所述目标预测参数发送至对应的若干个用户端;
第一接收模块,用于接收所述云服务器发送的目标预测参数;
优化模块,用于根据所述目标预测参数,优化所述局部预测模型。
本申请第五个方面提供一种多云共享分布式预测装置,应用于云服务器,所述装置包括:
第二接收模块,用于接收用户簇中各用户端发送的局部预测参数;其中,用户端通过获取在线量测数据,基于所述在线量测数据构建局部预测模型,得到所述局部预测模型的局部预测参数;
第一确定模块,用于根据所述局部预测参数,确定全局预测参数;
共享模块,用于根据各云服务器共享的全局预测参数,得到共享预测参数;
第二确定模块,用于根据所述共享预测参数和所述全局预测参数,确定目标预测参数;
反馈模块,用于将所述目标预测参数发送至对应的若干个用户端,以使所述用户端根据所述目标预测参数,优化所述局部预测模型。
本申请第六个方面提供一种电子设备,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第二个方面以及第二个方面各种可能的设计所述的方法或如上第三个方面以及第三个方面各种可能的设计所述的方法。
本申请第七个方面提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第二个方面以及第二个方面各种可能的设计所述的方法或如上第三个方面以及第三个方面各种可能的设计所述的方法。
本申请技术方案,具有如下优点:
本申请提供一种多云共享分布式预测系统、方法、装置及电子设备,该系统包括:用户簇和云服务器,用户簇包括若干个用户端,用户簇和云服务器一一对应;用户端用于获取在线量测数据,基于在线量测数据构建局部预测模型,得到局部预测模型的局部预测参数,将局部预测模型的局部预测参数发送至对应的云服务器;云服务器用于接收用户簇中各用户端发送的局部预测参数,根据局部预测参数,确定全局预测参数;若干个云服务器共享全局预测参数,以使云服务器得到共享预测参数,并根据共享预测参数和全局预测参数,确定目标预测参数,并将目标预测参数发送至对应的若干个用户端;用户端用于接收云服务器发送的目标预测参数,根据目标预测参数,优化局部预测模型。上述方案提供的系统,通过用户端向云服务器发送局部预测参数,再通过云服务器之间的局部预测参数共享逻辑,实现了多云共享,使每个云服务器在确定本身用户簇的全局预测参数的同时,还能得到集群中其他云服务器所确定的全局预测参数,从而使每个云服务器均能得到较为准确的目标预测参数,在提高用户端可扩展性的同时,提高了各用户端最终构建的预测模型的精度。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的多云共享分布式预测系统的交互流程示意图;
图2为本申请实施例提供的示例性的多云共享分布式预测系统的结构示意图;
图3为本申请实施例提供的用户端的运行原理图;
图4为本申请实施例提供的云服务器的网络结构图;
图5为本申请实施例提供的一种多云共享分布式预测方法的流程示意图;
图6为本申请实施例提供的另一种多云共享分布式预测方法的流程示意图;
图7为本申请实施例提供的一种多云共享分布式预测装置的结构示意图;
图8为本申请实施例提供的另一种多云共享分布式预测装置的结构示意图;
图9为本申请实施例提供的电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中,“多个”的含义是两个以上,除非另有明确具体的限定。
目前,智能化系统逐步融入日常生活,这些系统包括智能交通系统(十字路口车流量的预测)、智慧医疗(患者医学检查影像的病理诊断)、智能电网(家庭用电量需求的预测)、以及新兴且未来可期的无人驾驶车辆(移动需求系统中区域内接人次数的预测)、自主机器人(语音识别、故障规避和地图构建)等。其中,计算机视觉,自然语言处理,和推荐系统中的大量任务需要从庞大的数据集中学习复杂的规则和映射,而且大尺度规模物联网系统会产生庞大的分布数据。例如,一辆现代汽车的传感器在几个小时可以采集上百Gb的量测数据,而一个城市成千上万辆汽车在更长时间段采集的数据在传输和存储过程中无疑会给云服务器带来巨大的负担。为了提高数据处理、计算以及存储效率,新兴的边缘计算提供了强大且有前景的学习框架。Google公司提出的联邦机器学习可以使得各个边缘设备进行局部训练,并将得到的局部模型发送给云服务器进行模型的聚合(实际是将模型参数发送给云服务器,云服务器再进行聚合计算,得到最终的模型参数)。然而,联邦学习的网络结构有两个严重的问题:终端用户的可扩展性差以及当有大量的用户连接至云服务器时,云服务器将会成为性能瓶颈。另外,一般分布式机器学习采用深度神经网络作为机器学习模型,它在许多应用中都取得了空前的成功,比如模型分类与模式识别。但是深度学习主要局限在离线学习。另一方面,在实际应用中,工作机在实时应用中都会获得数据流,例如,自动驾驶控制系统。
针对上述问题,本申请实施例提供一种多云共享分布式预测系统、方法、装置及电子设备,该系统包括:用户簇和云服务器,用户簇包括若干个用户端,用户簇和云服务器一一对应;用户端用于获取在线量测数据,基于在线量测数据构建局部预测模型,得到局部预测模型的局部预测参数,将局部预测模型的局部预测参数发送至对应的云服务器;云服务器用于接收用户簇中各用户端发送的局部预测参数,根据局部预测参数,确定全局预测参数;若干个云服务器共享全局预测参数,以使云服务器得到共享预测参数,并根据共享预测参数和全局预测参数,确定目标预测参数,并将目标预测参数发送至对应的若干个用户端;用户端用于接收云服务器发送的目标预测参数,根据目标预测参数,优化局部预测模型。上述方案提供的系统,通过用户端向云服务器发送局部预测参数,再通过云服务器之间的局部预测参数共享逻辑,实现了多云共享,使每个云服务器在确定本身用户簇的全局预测参数的同时,还能得到集群中其他云服务器所确定的全局预测参数,从而使每个云服务器均能得到较为准确的目标预测参数,在提高用户端可扩展性的同时,提高了各用户端最终构建的预测模型的精度。
下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本发明实施例进行描述。
本申请实施例提供了一种多云共享分布式预测系统,用于实现用户端局部预测模型的高精度构建。
如图1所示,为本申请实施例提供的多云共享分布式预测系统的交互流程示意图,该系统包括:用户簇和云服务器,用户簇包括若干个用户端,用户簇和云服务器一一对应。
其中,用户端用于获取在线量测数据,基于在线量测数据构建局部预测模型,得到局部预测模型的局部预测参数,将局部预测模型的局部预测参数发送至对应的云服务器;云服务器用于接收用户簇中各用户端发送的局部预测参数,根据局部预测参数,确定全局预测参数;若干个云服务器共享全局预测参数,以使云服务器得到共享预测参数,并根据共享预测参数和全局预测参数,确定目标预测参数,并将目标预测参数发送至对应的若干个用户端;用户端用于接收云服务器发送的目标预测参数,根据目标预测参数,优化局部预测模型。
需要说明的是,由于不同云服务器对应不同的用户簇,每个用户簇中的用户端得到的在线量测数据不同,导致各用户端在线构建的局部预测模型具备个性化特征,本申请实施例为了最大程度地提高目标预测参数的准确性,在云服务器通过参数聚合得到当前用户簇的全局预测参数之后,采用多云共享的方式,使各云服务器之间共享全局预测参数,使云服务器根据其他云服务器(共享云服务器)提供的共享全局预测参数,进一步调整之前确定的全局预测参数,以得到更为准确的目标预测参数。
具体地,本申请实施例割裂用户端形成多个用户簇,如一个用户簇包括n个用户端,每个用户簇配置一个云服务器,形成局部联邦学习,提高了用户端的可扩展性。而多个用户簇的多个云服务器形成云服务器网络,彼此之间互享全局预测参数。并且,通过让用户端向云服务器传输局部预测参数,而非用户端得到的局部预测样本,保证了用户端的数据隐私性。
示例性的,假设网络中存在个用户端,并且将/>个用户端平均分为/>组。实际应用中也可以不用平均分配用户端,本申请实施例为了叙述方便,假设平均分配网络中的用户端,因此每一组含有/>个用户端。为每一组/>个用户端配备一个云服务器,因此一个云服务器和/>个用户端组成了一个联邦学习子系统。如图2所示,为本申请实施例提供的示例性的多云共享分布式预测系统的结构示意图,假设系统包括3个云服务器和300个用户端,即,/>,则多云共享分布式预测系统如图2所示。
具体地,在一实施例中,用户端可以根据在线量测数据,构建模型训练集;根据模型训练集,构建局部预测模型。
需要说明的是,目前机器学习主要局限在离线学习,不利于保证机器学习效率,本申请实施例为实现在线学习,采用预设高斯过程回归算法,基于在线量测数据构建局部预测模型。实际上,高斯过程模型在某种意义下可以等价为现有的机器学习模型,包括Bayesian 线性模型和多层神经网络。根据中心极限定理,假设神经网络中的权重服从高斯正态分布,随着神经网络的宽度趋近于无穷,那么这样的神经网络等价于高斯过程回归。然而高斯过程回归是一个非超参数的统计概率模型,不像传统的学习模型,比如线性回归、逻辑回归和神经网络,需要求解优化问题使得损失函数最小来得到最优的模型参数,高斯过程回归并不需要求解优化问题。给定训练数据和测试输入,高斯过程回归的预测分为推断和预测两步。推断过程假设要学习的函数服从高斯过程,给出模型的高斯先验概率分布,然后利用观测值和Bayesian规则,求出模型的高斯后验概率分布。高斯过程回归有三个特点:第一,通过合适地选取协方差函数以及在某些弱化的假设条件下,高斯过程回归可以逼近任意连续函数;第二,高斯过程回归可以实施递归形式,减小计算复杂度和内存;第三,高斯过程回归可以量化不确定,这是因为高斯过程回归利用了后验概率分布来对目标函数进行了预测。
具体地,针对局部预测模型的构建,目标是设计一个算法使得局部多个用户分别利用自己的在线量测数据,通过合作共同学习一个函数。因此,定义目标函数为,其中/>是/>维输入空间。不失一般性,本申请实施例假设输出为一维,即/>。在时刻/>,给定/>,相应的输出是:
其中,是服从均值为0 ,方差为/>的高斯概率分布的高斯噪声,即/>。定义如下形式的训练集(模型训练集)/>,其中/>是输入数据集合,/>是聚合了输出的列向量。高斯过程回归目标是利用训练集在测试数据集合/>上逼近函数/>。
定义对称正半定的核函数,即。
其中,,/>是测度。让/>返回一个列向量,使得它的第/>个元素等于/>。假设函数/>是来自高斯过程先验概率分布的一个采样,这个先验分布的均值函数为/>,核函数是/>。那么训练输出和测试输出/>服从联合概率分布:
其中,和/>返回由/>和/>组成的向量,/>返回一个矩阵使得第/>行第/>列的元素是/>。
利用高斯过程的性质,高斯过程回归利用训练集预测测试数据集/>的输出。这个输出/>依然服从正态分布,即/>,这里:
具体地,在一实施例中,用户端用于获取测试数据;基于局部预测模型,根据测试数据和模型训练集,确定局部预测模型的局部预测参数。
其中,测试数据为用户端在完成局部预测模型的训练后获取到的在线量测数据,且各用户端获取的测试数据相同,局部预测参数包括局部预测期望和局部预测方差。
具体地,在一实施例中,由于模型训练集包括较多的训练数据,为进一步提高局部预测模型的训练效率,用户端可以计算测试数据与模型训练集各训练数据之间的相似度;根据测试数据与模型训练集各训练数据之间的相似度,在模型训练集中筛选预设数量的目标训练数据,以得到目标训练子集;基于局部预测模型,根据测试数据和目标训练子集,确定局部预测模型的局部预测参数。
其中,测试数据和训练数据之间的相似度具体可以依据测试数据和训练数据之间的距离确定,其中,测试数据和训练数据之间的距离表示测试数据和训练数据之间的差异程度。
具体地,在一实施例中,用户端可以计算测试数据与模型训练集各训练数据之间的闵式距离;根据测试数据与模型训练集各训练数据之间的闵式距离,确定测试数据与模型训练集各训练数据之间的相似度。
具体地,对于任意第一层级云服务器及其协调的所有用户端/>,针对一个测试数据/>,遍历整个局部训练集/>进行闵氏距离的计算。即针对一个测试数据输入以及任意训练数据输入/>,定义闵氏距离:
其中,,/>,当/>时,称为曼哈顿距离,而当/>时,/>称为欧式距离。
进一步地,针对任一用户端,在确定测试数据与各训练数据之间的闵式距离后,将其遍历的闵氏距离/>进行从小到大的排序。然后取m个最小的距离,并且得到对应的目标训练数据输入/>。将m个目标训练数据组成新的集合(目标训练子集)/>,即/>。
其中,本申请实施例采用的核函数为squared exponential function,表达式如下:
针对每一个用户端,在目标训练子集/>上计算高斯后验概率分布,根据上述表达式可以得到:
每一个用户端利用目标训练子集进行局部预测,由上述公式得到局部预测期望/>和局部预测方差/>。
其中,如图3所示,为本申请实施例提供的用户端的运行原理图,图3中输入的局部预测即为测试数据,用户端在确定目标训练子集后,基于目标训练子集进行后验概率分布计算,得到局部预测输出,其中,局部预测即为局部预测参数。
在上述实施例的基础上,为进一步提高云服务器得到的全局预测参数的准确性,作为一种可实施的方式,在上述实施例的基础上,在一实施例中,云服务器对应的用户端分配权重,以确定各用户端的预测权重;根据各用户端的预测权重和局部预测参数,确定全局预测参数。
具体地,云服务器可以通过对各用户端发送的局部预测参数进行初步分析,确定各用户端的优先级,例如,可以根据各用户端发送的局部预测参数初步分析各用户端所训练的局部预测模型的精度,进而按照模型的精度为用户端分配优先级,再按照优先级分配各用户端发送的局部预测参数的预测权重。
其中,如图4所示,为本申请实施例提供的云服务器的网络结构图,用户训练子集即为用户端的目标训练子集,用户端属于局部模块,云服务器属于全局模块,测试输入即表示用户端获取的测试数据,局部预测输出即为用户端向云服务器发送的局部预测参数,云服务器经过全局预测加权平均聚合,输出全局预测参数。
具体地,在一实施例中,基于如下公式,确定全局预测参数:
其中,表示用户端j向云服务器i发送的局部预测期望,/>表示云服务器i为用户端j分配的预测权重,/>,且/>,/>表示全局预测期望,表示局部预测方差,/>表示全局预测方差;全局预测参数包括全局预测期望和全局预测方差。
在上述实施例的基础上,针对云服务器计算得到全局预测期望/>和全局预测方差/>,但是它并不能知道其它云服务器的全局预测期望和全局预测方差。因此,在云服务器互享网络中,可以通过云服务器与云服务器之间的全局预测共享传输,来达到全局预测最终的共识性,作为一种可实施的方式,在上述实施例的基础上,在一实施例中,云服务器可以获取共享云服务器发送的共享预测参数;其中,共享云服务器与当前云服务器之间存在边缘连接关系;根据接收到的共享预测参数和全局预测参数,确定目标预测参数。
具体地,在一实施例中,云服务器可以获取云服务器边缘有向图;根据云服务器边缘有向图,在云服务器集群中筛选共享云服务器。
具体地,在一实施例中,云服务器可以根据各云服务器之间的网络连接关系,构建云服务器边缘有向图。
其中,云服务器边缘有向图至少用于表征各云服务器之间的边缘连接关系。
具体地,在一实施例中,云服务器可以获取云服务器权重矩阵;其中,云服务器权重矩阵表征各云服务器之间的共享权重;根据云服务器权重矩阵,为共享云服务器分配共享权重;根据共享权重、共享预测参数和全局预测参数,确定目标预测参数。
具体地,可以根据云服务器网络中的信息交换链路,建立云服务器边缘有向图,如果在时刻/>,/>是有方向的边缘集合,即云服务器i和云服务器j之间存在边缘连接关系,那么服务器j对于服务器i的共享权重/>,否则/>。首先,本申请实施例假设存在一个常数/>使得/>并且/>在/>时满足/>。其次,构造共享权重/>使得针对所有的/>,/>和针对所有的/>,。最后,本申请实施例假设存在一个整数/>使得对于任意的初始时刻,云服务器的布局是稀疏的,且云服务器组成了一个强连接的云服务器边缘有向图。
具体地,在一实施例中,云服务器可以根据云服务器边缘有向图,确定各云服务器之间的共享置信度;根据各云服务器之间的共享置信度,生成云服务器权重矩阵。
具体地,可以将各云服务器之间的共享置信度量化为共享权重,进而根据各云服务器之间的共享权重,生成云服务器权重矩阵。
具体地,在一实施例中,云服务器用于基于如下公式,确定目标预测参数:
,/>
,/>
其中,和/>分别表示云服务器i的目标全局预测期望和目标全局预测方差,目标预测参数包括目标全局预测期望和目标全局预测方差,V表示云服务器集群,/>表示共享云服务器j的共享权重,/>表示共享云服务器j在k时刻的共享全局预测期望,/>表示共享云服务器j在k时刻的共享全局预测方差,共享预测参数包括共享全局预测期望和共享全局预测方差,当/>时,/>表示在/>时刻云服务器/>的全局预测期望,/>表示在/>时刻云服务器/>的全局预测方差。
具体地,由于每个云服务器都拥有一个通过计算得到的全局预测期望和全局预测方差,因此,本申请实施例遍历云服务器网络中的所有云服务器,进行求平均运算。然而,在云服务器网络中,并没有一个中心调度来进行全局预测参数的收集和平均运算,因此本申请实施例采用分布式计算求平均的方法,即采用静态平均共识性算法。各个云服务器目标是通过彼此传输自己聚合的全局预测参数使得最终的目标全局预测参数收敛到初始值的平均数。具体来说,在每一个时刻 ,每一个云服务器收到来自邻居(共享云服务器)当前的估计值和/>,并在一个凸包中更新自己的估计值。
具体地,在一实施例中,当时间尺度迭代无穷步后,每个云服务器的状态和/>可以趋近于云服务器网络中所有个体的状态的平均初始值,即各云服务器得到的目标预测参数满足如下期望目标:
其中,表示云服务器集群中的云服务器总数,/>表示初始时刻云服务器j的共享全局预测期望,/>表示初始时刻云服务器j的共享全局预测方差,/>和/>分别表示云服务器i在k时刻的目标全局预测期望和目标全局预测方差。
具体地,云服务器之间的全局预测参数的共享可以基于静态平均共识性算法实现,当静态平均共识性算法迭代无穷步,云服务器最终的全局预测达到了如上共识,然后各个云服务器将最终共识的全局预测发送回各个用户端,进行预测的反馈。
本申请实施例提供的多云共享分布式预测系统,包括:用户簇和云服务器,用户簇包括若干个用户端,用户簇和云服务器一一对应;用户端用于获取在线量测数据,基于在线量测数据构建局部预测模型,得到局部预测模型的局部预测参数,将局部预测模型的局部预测参数发送至对应的云服务器;云服务器用于接收用户簇中各用户端发送的局部预测参数,根据局部预测参数,确定全局预测参数;若干个云服务器共享全局预测参数,以使云服务器得到共享预测参数,并根据共享预测参数和全局预测参数,确定目标预测参数,并将目标预测参数发送至对应的若干个用户端;用户端用于接收云服务器发送的目标预测参数,根据目标预测参数,优化局部预测模型。上述方案提供的系统,通过用户端向云服务器发送局部预测参数,再通过云服务器之间的局部预测参数共享逻辑,实现了多云共享,使每个云服务器在确定本身用户簇的全局预测参数的同时,还能得到集群中其他云服务器所确定的全局预测参数,使每个云服务器均能得到较为准确的目标预测参数,在提高用户端可扩展性的同时,提高了各用户端最终构建的预测模型的精度。并且,通过利用静态平均共识性算法,使各云服务器的全局预测参数达到共识,进一步提高了云服务器所确定的目标预测参数的可靠性,也就进一步提高了各用户端最终构建的预测模型的精度。
本申请实施例提供了一种多云共享分布式预测方法,应用于用户端,用于实现用户端局部预测模型的高精度构建。本申请实施例的执行主体为电子设备,比如服务器、台式电脑、笔记本电脑、平板电脑及其他可用于可作为用户端的电子设备。
如图5所示,为本申请实施例提供的一种多云共享分布式预测方法的流程示意图,该方法包括:
步骤501,获取在线量测数据;
步骤502,基于在线量测数据构建局部预测模型,得到局部预测模型的局部预测参数;
步骤503,将局部预测模型的局部预测参数发送至对应的云服务器,以基于云服务器根据局部预测参数,确定全局预测参数,根据各云服务器共享的全局预测参数,得到共享预测参数,并根据共享预测参数和全局预测参数,确定目标预测参数,将目标预测参数发送至对应的若干个用户端;
步骤504,接收云服务器发送的目标预测参数;
步骤505,根据目标预测参数,优化局部预测模型。
关于本实施例中的多云共享分布式预测方法,其中各个步骤的具体实施方式已经在有关该系统的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请实施例提供的多云共享分布式预测方法,用于应用于上述实施例提供的多云共享分布式预测系统,其实现方式与原理相同,不再赘述。
本申请实施例提供了一种多云共享分布式预测方法,应用于云服务器,用于实现用户端局部预测模型的高精度构建。本申请实施例的执行主体为电子设备,比如服务器、台式电脑、笔记本电脑、平板电脑及其他可用于可作为云服务器的电子设备。
如图6所示,为本申请实施例提供的另一种多云共享分布式预测方法的流程示意图,该方法包括:
步骤601,接收用户簇中各用户端发送的局部预测参数;其中,用户端通过获取在线量测数据,基于在线量测数据构建局部预测模型,得到局部预测模型的局部预测参数;
步骤602,根据局部预测参数,确定全局预测参数;
步骤603,根据各云服务器共享的全局预测参数,得到共享预测参数;
步骤604,根据共享预测参数和全局预测参数,确定目标预测参数;
步骤605,将目标预测参数发送至对应的若干个用户端,以使用户端根据目标预测参数,优化局部预测模型。
关于本实施例中的多云共享分布式预测方法,其中各个步骤的具体实施方式已经在有关该系统的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请实施例提供的多云共享分布式预测方法,用于应用于上述实施例提供的多云共享分布式预测系统,其实现方式与原理相同,不再赘述。
本申请实施例提供了一种多云共享分布式预测装置,应用于用户端,用于执行上述实施例提供的多云共享分布式预测方法。
如图7所示,为本申请实施例提供的一种多云共享分布式预测装置的结构示意图。该装置70包括:获取模块701、预测模块702、发送模块703、第一接收模块704和优化模块705。
其中,获取模块,用于获取在线量测数据;预测模块,用于基于在线量测数据构建局部预测模型,得到局部预测模型的局部预测参数;发送模块,用于将局部预测模型的局部预测参数发送至对应的云服务器,以基于云服务器根据局部预测参数,确定全局预测参数,根据各云服务器共享的全局预测参数,得到共享预测参数,并根据共享预测参数和全局预测参数,确定目标预测参数,将目标预测参数发送至对应的若干个用户端;第一接收模块,用于接收云服务器发送的目标预测参数;优化模块,用于根据目标预测参数,优化局部预测模型。
关于本实施例中的一种多云共享分布式预测装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请实施例提供的多云共享分布式预测装置,用于执行上述实施例提供的多云共享分布式预测方法,其实现方式与原理相同,不再赘述。
本申请实施例提供了一种多云共享分布式预测装置,应用于云服务器,用于执行上述实施例提供的多云共享分布式预测方法。
如图8所示,为本申请实施例提供的另一种多云共享分布式预测装置的结构示意图。该装置80包括:第二接收模块801、第一确定模块802、共享模块803、第二确定模块804和反馈模块805。
其中,第二接收模块,用于接收用户簇中各用户端发送的局部预测参数;其中,用户端通过获取在线量测数据,基于在线量测数据构建局部预测模型,得到局部预测模型的局部预测参数;第一确定模块,用于根据局部预测参数,确定全局预测参数;共享模块,用于根据各云服务器共享的全局预测参数,得到共享预测参数;第二确定模块,用于根据共享预测参数和全局预测参数,确定目标预测参数;反馈模块,用于将目标预测参数发送至对应的若干个用户端,以使用户端根据目标预测参数,优化局部预测模型。
关于本实施例中的一种多云共享分布式预测装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请实施例提供的多云共享分布式预测装置,用于执行上述实施例提供的多云共享分布式预测方法,其实现方式与原理相同,不再赘述。
本申请实施例提供了一种电子设备,用于执行上述实施例提供的多云共享分布式预测方法。
如图9所示,为本申请实施例提供的电子设备的结构示意图。该电子设备90包括:至少一个处理器91和存储器92。
所述存储器存储计算机执行指令;所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上实施例提供的多云共享分布式预测方法。
本申请实施例提供的电子设备,用于执行上述实施例提供的多云共享分布式预测方法,其实现方式与原理相同,不再赘述。
本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上任一实施例提供的多云共享分布式预测方法。
本申请实施例提供的包含计算机可执行指令的存储介质,可用于存储前述实施例中提供的多云共享分布式预测方法的计算机执行指令,其实现方式与原理相同,不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (19)
1.一种多云共享分布式预测系统,其特征在于,包括:用户簇和云服务器,所述用户簇包括若干个用户端,所述用户簇和云服务器一一对应;
所述用户端用于获取在线量测数据,基于所述在线量测数据构建局部预测模型,得到所述局部预测模型的局部预测参数,将所述局部预测模型的局部预测参数发送至对应的云服务器;
所述云服务器用于接收所述用户簇中各用户端发送的局部预测参数,根据所述局部预测参数,确定全局预测参数;
若干个所述云服务器共享所述全局预测参数,以使所述云服务器得到共享预测参数,并根据所述共享预测参数和所述全局预测参数,确定目标预测参数,并将所述目标预测参数发送至对应的若干个用户端;
所述用户端用于接收所述云服务器发送的目标预测参数,根据所述目标预测参数,优化所述局部预测模型;
所述云服务器,用于:
基于如下公式,确定所述目标预测参数:
,/>
,/>
其中,和/>分别表示云服务器i的目标全局预测期望和目标全局预测方差,所述目标预测参数包括所述目标全局预测期望和目标全局预测方差,V表示云服务器集群,/>表示共享云服务器j的共享权重,/>表示共享云服务器j在k时刻的共享全局预测期望,/>表示共享云服务器j在k时刻的共享全局预测方差,所述共享预测参数包括所述共享全局预测期望和共享全局预测方差,当/>时,/>表示在/>时刻云服务器/>的全局预测期望,/>表示在/>时刻云服务器/>的全局预测方差。
2.根据权利要求1所述的系统,其特征在于,所述用户端,用于:
根据所述在线量测数据,构建模型训练集;
根据所述模型训练集,构建局部预测模型。
3.根据权利要求2所述的系统,其特征在于,所述用户端,用于:
获取测试数据;
基于所述局部预测模型,根据所述测试数据和模型训练集,确定所述局部预测模型的局部预测参数;
其中,所述测试数据为用户端在完成局部预测模型的训练后获取到的在线量测数据,所述局部预测参数包括局部预测期望和局部预测方差。
4.根据权利要求3所述的系统,其特征在于,所述用户端,用于:
计算所述测试数据与所述模型训练集各训练数据之间的相似度;
根据所述测试数据与所述模型训练集各训练数据之间的相似度,在所述模型训练集中筛选预设数量的目标训练数据,以得到目标训练子集;
基于所述局部预测模型,根据所述测试数据和目标训练子集,确定所述局部预测模型的局部预测参数。
5.根据权利要求4所述的系统,其特征在于,所述用户端,用于:
计算所述测试数据与所述模型训练集各训练数据之间的闵式距离;
根据所述测试数据与所述模型训练集各训练数据之间的闵式距离,确定所述测试数据与所述模型训练集各训练数据之间的相似度。
6.根据权利要求1所述的系统,其特征在于,所述云服务器,用于:
为对应的所述用户端分配权重,以确定各所述用户端的预测权重;
根据各所述用户端的预测权重和所述局部预测参数,确定全局预测参数。
7.根据权利要求6所述的系统,其特征在于,所述云服务器,用于:
基于如下公式,确定所述全局预测参数:
其中,表示用户端j向云服务器i发送的局部预测期望,/>表示云服务器i为用户端j分配的预测权重,/>,且/>,/>表示全局预测期望,表示局部预测方差,/>表示全局预测方差;所述全局预测参数包括全局预测期望和全局预测方差。
8.根据权利要求1所述的系统,其特征在于,所述云服务器,用于:
获取共享云服务器发送的共享预测参数;其中,所述共享云服务器与当前云服务器之间存在边缘连接关系;
根据接收到的所述共享预测参数和所述全局预测参数,确定目标预测参数。
9.根据权利要求8所述的系统,其特征在于,所述云服务器,用于:
获取云服务器边缘有向图;
根据所述云服务器边缘有向图,在云服务器集群中筛选共享云服务器。
10.根据权利要求9所述的系统,其特征在于,所述云服务器,用于:
根据各所述云服务器之间的网络连接关系,构建云服务器边缘有向图。
11.根据权利要求10所述的系统,其特征在于,所述云服务器,用于:
获取云服务器权重矩阵;其中,所述云服务器权重矩阵表征各所述云服务器之间的共享权重;
根据所述云服务器权重矩阵,为所述共享云服务器分配共享权重;
根据所述共享权重、共享预测参数和所述全局预测参数,确定目标预测参数。
12.根据权利要求11所述的系统,其特征在于,所述云服务器,用于:
根据所述云服务器边缘有向图,确定各所述云服务器之间的共享置信度;
根据各所述云服务器之间的共享置信度,生成所述云服务器权重矩阵。
13.根据权利要求11所述的系统,其特征在于,所述目标预测参数满足如下期望目标:
其中,表示云服务器集群中的云服务器总数,/>表示初始时刻云服务器j的共享全局预测期望,/>表示初始时刻云服务器j的共享全局预测方差,/>和/>分别表示云服务器i在k时刻的目标全局预测期望和目标全局预测方差。
14.一种多云共享分布式预测方法,应用于用户端,其特征在于,所述方法包括:
获取在线量测数据;
基于所述在线量测数据构建局部预测模型,得到所述局部预测模型的局部预测参数;
将所述局部预测模型的局部预测参数发送至对应的云服务器,以基于所述云服务器根据所述局部预测参数,确定全局预测参数,根据各云服务器共享的全局预测参数,得到共享预测参数,并根据所述共享预测参数和所述全局预测参数,确定目标预测参数,将所述目标预测参数发送至对应的若干个用户端;
接收所述云服务器发送的目标预测参数;
根据所述目标预测参数,优化所述局部预测模型;
所述目标预测参数,基于如下公式确定:
,/>
,/>
其中,和/>分别表示云服务器i的目标全局预测期望和目标全局预测方差,所述目标预测参数包括所述目标全局预测期望和目标全局预测方差,V表示云服务器集群,/>表示共享云服务器j的共享权重,/>表示共享云服务器j在k时刻的共享全局预测期望,/>表示共享云服务器j在k时刻的共享全局预测方差,所述共享预测参数包括所述共享全局预测期望和共享全局预测方差,当/>时,/>表示在/>时刻云服务器/>的全局预测期望,/>表示在/>时刻云服务器/>的全局预测方差。
15.一种多云共享分布式预测方法,应用于云服务器,其特征在于,所述方法包括:
接收用户簇中各用户端发送的局部预测参数;其中,用户端通过获取在线量测数据,基于所述在线量测数据构建局部预测模型,得到所述局部预测模型的局部预测参数;
根据所述局部预测参数,确定全局预测参数;
根据各云服务器共享的全局预测参数,得到共享预测参数;
根据所述共享预测参数和所述全局预测参数,确定目标预测参数;
将所述目标预测参数发送至对应的若干个用户端,以使所述用户端根据所述目标预测参数,优化所述局部预测模型;
所述根据各云服务器共享的全局预测参数,得到共享预测参数,包括:
基于如下公式,确定所述目标预测参数:
,/>
,/>
其中,和/>分别表示云服务器i的目标全局预测期望和目标全局预测方差,所述目标预测参数包括所述目标全局预测期望和目标全局预测方差,V表示云服务器集群,/>表示共享云服务器j的共享权重,/>表示共享云服务器j在k时刻的共享全局预测期望,/>表示共享云服务器j在k时刻的共享全局预测方差,所述共享预测参数包括所述共享全局预测期望和共享全局预测方差,当/>时,/>表示在/>时刻云服务器/>的全局预测期望,/>表示在/>时刻云服务器/>的全局预测方差。
16.一种多云共享分布式预测装置,应用于用户端,其特征在于,所述装置包括:
获取模块,用于获取在线量测数据;
预测模块,用于基于所述在线量测数据构建局部预测模型,得到所述局部预测模型的局部预测参数;
发送模块,用于将所述局部预测模型的局部预测参数发送至对应的云服务器,以基于所述云服务器根据所述局部预测参数,确定全局预测参数,根据各云服务器共享的全局预测参数,得到共享预测参数,并根据所述共享预测参数和所述全局预测参数,确定目标预测参数,将所述目标预测参数发送至对应的若干个用户端;
第一接收模块,用于接收所述云服务器发送的目标预测参数;
优化模块,用于根据所述目标预测参数,优化所述局部预测模型;
所述目标预测参数,基于如下公式确定:
,/>
,/>
其中,和/>分别表示云服务器i的目标全局预测期望和目标全局预测方差,所述目标预测参数包括所述目标全局预测期望和目标全局预测方差,V表示云服务器集群,/>表示共享云服务器j的共享权重,/>表示共享云服务器j在k时刻的共享全局预测期望,/>表示共享云服务器j在k时刻的共享全局预测方差,所述共享预测参数包括所述共享全局预测期望和共享全局预测方差,当/>时,/>表示在/>时刻云服务器/>的全局预测期望,/>表示在/>时刻云服务器/>的全局预测方差。
17.一种多云共享分布式预测装置,应用于云服务器,其特征在于,所述装置包括:
第二接收模块,用于接收用户簇中各用户端发送的局部预测参数;其中,用户端通过获取在线量测数据,基于所述在线量测数据构建局部预测模型,得到所述局部预测模型的局部预测参数;
第一确定模块,用于根据所述局部预测参数,确定全局预测参数;
共享模块,用于根据各云服务器共享的全局预测参数,得到共享预测参数;
第二确定模块,用于根据所述共享预测参数和所述全局预测参数,确定目标预测参数;
反馈模块,用于将所述目标预测参数发送至对应的若干个用户端,以使所述用户端根据所述目标预测参数,优化所述局部预测模型;
所述第二确定模块,用于:
基于如下公式,确定所述目标预测参数:
,/>
,/>
其中,和/>分别表示云服务器i的目标全局预测期望和目标全局预测方差,所述目标预测参数包括所述目标全局预测期望和目标全局预测方差,V表示云服务器集群,/>表示共享云服务器j的共享权重,/>表示共享云服务器j在k时刻的共享全局预测期望,/>表示共享云服务器j在k时刻的共享全局预测方差,所述共享预测参数包括所述共享全局预测期望和共享全局预测方差,当/>时,/>表示在/>时刻云服务器/>的全局预测期望,/>表示在/>时刻云服务器/>的全局预测方差。
18.一种电子设备,其特征在于,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如权利要求14所述的方法或如权利要求15所述的方法。
19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求14所述的方法或如权利要求15所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311825167.7A CN117474129B (zh) | 2023-12-27 | 2023-12-27 | 一种多云共享分布式预测系统、方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311825167.7A CN117474129B (zh) | 2023-12-27 | 2023-12-27 | 一种多云共享分布式预测系统、方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117474129A CN117474129A (zh) | 2024-01-30 |
CN117474129B true CN117474129B (zh) | 2024-03-08 |
Family
ID=89640100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311825167.7A Active CN117474129B (zh) | 2023-12-27 | 2023-12-27 | 一种多云共享分布式预测系统、方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117474129B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111710153A (zh) * | 2020-05-14 | 2020-09-25 | 南方科技大学 | 交通流量的预测方法、装置、设备及计算机存储介质 |
CN114898179A (zh) * | 2022-05-10 | 2022-08-12 | 广州大学 | 基于联邦学习的红火蚁监测预警方法、装置、设备及介质 |
CN115358487A (zh) * | 2022-09-21 | 2022-11-18 | 国网河北省电力有限公司信息通信分公司 | 面向电力数据共享的联邦学习聚合优化系统及方法 |
CN116825263A (zh) * | 2023-07-10 | 2023-09-29 | 郑州大学 | 一种基于互联网的医疗健康数据共享管理系统及其方法 |
CN116933318A (zh) * | 2023-07-28 | 2023-10-24 | 南京工程学院 | 一种基于联邦学习的用电数据隐私保护方法 |
-
2023
- 2023-12-27 CN CN202311825167.7A patent/CN117474129B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111710153A (zh) * | 2020-05-14 | 2020-09-25 | 南方科技大学 | 交通流量的预测方法、装置、设备及计算机存储介质 |
CN114898179A (zh) * | 2022-05-10 | 2022-08-12 | 广州大学 | 基于联邦学习的红火蚁监测预警方法、装置、设备及介质 |
CN115358487A (zh) * | 2022-09-21 | 2022-11-18 | 国网河北省电力有限公司信息通信分公司 | 面向电力数据共享的联邦学习聚合优化系统及方法 |
CN116825263A (zh) * | 2023-07-10 | 2023-09-29 | 郑州大学 | 一种基于互联网的医疗健康数据共享管理系统及其方法 |
CN116933318A (zh) * | 2023-07-28 | 2023-10-24 | 南京工程学院 | 一种基于联邦学习的用电数据隐私保护方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117474129A (zh) | 2024-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | A ship motion forecasting approach based on empirical mode decomposition method hybrid deep learning network and quantum butterfly optimization algorithm | |
JP7366274B2 (ja) | ニューラル・ネットワークのための適応的探索方法および装置 | |
Li et al. | Dynamic structure embedded online multiple-output regression for streaming data | |
Tang et al. | Representation and reinforcement learning for task scheduling in edge computing | |
CN115358487A (zh) | 面向电力数据共享的联邦学习聚合优化系统及方法 | |
CN117474130B (zh) | 一种基于多云互享的联邦学习系统、方法及装置 | |
CN114861917B (zh) | 贝叶斯小样本学习的知识图谱推理模型、系统及推理方法 | |
CN113537623B (zh) | 基于注意力机制及多模态的服务需求动态预测方法及系统 | |
Kong et al. | RETRACTED ARTICLE: Multimodal interface interaction design model based on dynamic augmented reality | |
Tian et al. | Hypertron: Explicit Social-Temporal Hypergraph Framework for Multi-Agent Forecasting. | |
Lu et al. | Multimode Gesture Recognition Algorithm Based on Convolutional Long Short‐Term Memory Network | |
CN117474129B (zh) | 一种多云共享分布式预测系统、方法、装置及电子设备 | |
CN112862070A (zh) | 一种利用图神经网络和胶囊网络的链路预测系统 | |
CN117474128B (zh) | 一种基于多云服务器的分布式在线机器学习模型构建方法 | |
CN117474127B (zh) | 分布式机器学习模型训练系统、方法、装置及电子设备 | |
Jaiswal et al. | A comparative analysis on stock price prediction model using deep learning technology | |
CN115392493A (zh) | 一种分布式预测方法、系统、服务器及存储介质 | |
CN116976402A (zh) | 超图卷积神经网络的训练方法、装置、设备及存储介质 | |
Wen et al. | Learning-based big data sharing incentive in mobile AIGC networks | |
Yang et al. | Team-wise effective communication in multi-agent reinforcement learning | |
CN115210714A (zh) | 通过基于知识蒸馏的nas进行大型模型仿真 | |
Yuan et al. | Intrinsic-Motivated Sensor Management: Exploring with Physical Surprise | |
Murphy | Hidden states, hidden structures: Bayesian learning in time series models | |
Wang et al. | Adaptive Knowledge Distillation Based Lightweight Intelligent Fault Diagnosis Framework in IoT Edge Computing | |
Li | Research on Monthly Runoff Prediction based on VMD-BP model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |