CN111245903B - 一种基于边缘计算的联合学习方法及系统 - Google Patents
一种基于边缘计算的联合学习方法及系统 Download PDFInfo
- Publication number
- CN111245903B CN111245903B CN201911415017.2A CN201911415017A CN111245903B CN 111245903 B CN111245903 B CN 111245903B CN 201911415017 A CN201911415017 A CN 201911415017A CN 111245903 B CN111245903 B CN 111245903B
- Authority
- CN
- China
- Prior art keywords
- training
- model
- cloud
- role
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于边缘计算的联合学习方法及系统,该方法包括:根据各边缘云拥有的样本数据总量和各训练角色的硬件资源参数计算分配给每个训练角色的训练数据量;根据每个训练角色的训练数据量以及各边缘云拥有的样本数据生成数据交互指令并下发给对应的边缘云,所述数据交互指令用于控制样本数据在各边缘云之间进行再分配;基于自身分配的训练数据量对模型进行训练直至所述模型收敛,并获取各边缘云上传的基于训练数据量训练至收敛后的模型,形成模型集合;本发明根据各训练角色的硬件资源情况均衡训练任务,避免造成中心云或某一边缘云的负载压力过高,并解决了将数据集中到中心云后给中心云带来的负载压力。
Description
技术领域
本发明属于云计算技术领域,更具体地,涉及一种基于边缘计算的联合学习方法及系统。
背景技术
随着5G、物联网等技术的快速发展,云计算所提供的集中式计算服务已经无法满足终端侧的需求,需提供一种融合网络、计算、存储、应用核心能力的分布式开放平台,就近提供服务,边缘计算应运而生。而随着人工智能(AI)的快速发展与广泛应用,终端对智能计算的需求越来越大,如何就近提供智能化服务,是AI在边缘计算中应用的研究重点,尤其在智能工业控制、无人驾驶和模式识别等领域。目前AI模型在边缘计算中的构建方式主要采用的是数据共享型(数据集中)。
图1是基于数据集中的边缘计算架构,参见图1,对于数据共享型在目前人工智能领域在边缘计算架构中的应用,其智能模型的建立与执行过程,一般是边缘云处理数据和执行模型,中心云训练模型并将模型分发给各个边缘云。边缘云从管理的各个终端将数据进行汇集,并对数据进行转换、特征提取、降维等数据处理操作,各边缘云将处理好的数据汇集到中心云,中心云利用数据进行模型训练和测试调优,并将训练好的模型分发给各边缘云,边缘云执行智能模型,提供智能服务。模型的更新也是同样的过程。
虽然数据集中化处理是目前人工智能在边缘计算领域应用的主流方式,然而这种数据集中化处理的方法也存在以下风险:
1.数据安全:各节点数据都汇集到中心,数据的安全保护、合法的管理将是重要问题;
2.隐私保护:各数据拥有节点可能存在敏感数据,或者存在数据保护的政策法规等问题,可能造成数据无法进行汇聚和共享;
3.负载均衡:中心云接收所有边缘云数据并进行集中的模型的训练和更新,网络带宽和计算的负载较大,尤其在视频图像处理领域,将大量数据进行汇聚将消耗大量网络资源。
发明内容
针对现有技术的至少一个缺陷或改进需求,本发明提供了一种基于边缘计算的联合学习方法及系统,实现了训练协同、资源协同和更新协同,根据各训练角色的硬件资源情况均衡训练任务,解决了将数据集中到中心云后给中心云带来的负载压力;同时解决了边缘云到中心云链路的负载压力;另外,各边缘云主动更新本地拉取自模型并反馈更新至中心,使得模型更新效率更高。
为实现上述目的,按照本发明的第一个方面,提供了一种基于边缘计算的联合学习方法,适用于包括至少两个边缘云的联合学习,该方法包括以下步骤:
根据各边缘云拥有的样本数据总量和各训练角色的硬件资源参数计算分配给每个训练角色的训练数据量;所述训练角色包括中心云和边缘云;
根据每个训练角色的训练数据量以及各边缘云拥有的样本数据生成数据交互策略并下发数据交互指令给对应的边缘云,所述数据交互指令用于控制样本数据在各边缘云之间进行再分配;
基于自身分配的训练数据量对模型进行训练直至所述模型收敛,并获取各边缘云上传的基于训练数据量训练至收敛后的模型,形成模型集合。
优选的,上述联合学习方法,根据各边缘云拥有的样本数据总量和各训练角色的硬件资源参数计算分配给每个训练角色的训练数据量具体为:
分别计算每个训练角色的硬件指数,所述硬件指数为每个训练角色的硬件资源参数在所有训练角色的硬件资源参数总和中的比重;
以每个训练角色的所述硬件指数在所有训练角色的硬件指数总和中的比重与所述样本数据总量的乘积计算得到该训练角色的训练数据量。
优选的,上述联合学习方法,当所述硬件资源参数的种类多于一种时,每个训练角色的硬件指数为不同种类硬件资源参数对应的硬件指数的加权和。
优选的,上述联合学习方法,所述数据交互策略具体为:
作为训练角色的中心云或边缘云无样本数据,则根据该训练角色对应的训练数据量为其分配其它边缘云提供的样本数据;
作为训练角色的边缘云有样本数据,根据该边缘云拥有的样本数据量与其对应的训练数据量计算该训练角色需要接收或上传的差额数据量。
优选的,上述联合学习方法,所述硬件资源参数包括内存大小、CPU核心数量、GPU大小中的至少一个或多个。
按照本发明的第二个方面,提供了一种基于边缘计算的联合学习方法,适用于由中心云作为协作者的联合学习,该方法包括:
从中心云拉取待训练的模型并将自身拥有的样本数据处理为模型所需的数据格式,向中心云上报自身拥有的样本数据量;
根据中心云下发的数据交互指令上传或接收样本数据以使自身拥有的样本数据量与中心云分配的训练数据量相匹配;所述训练数据量由中心云根据各边缘云拥有的样本数据总量和各训练角色的硬件资源参数计算得到,所述训练角色包括中心云和边缘云;
根据所述训练数据量分别对拉取的模型进行训练直至所述模型收敛,并将收敛后的模型上传至中心云。
优选的,上述联合学习方法还包括:
从中心云中的模型集合中拉取所需的模型并执行,根据执行过程产生的新样本数据对所述模型进行更新并将更新后的模型上传至中心云。
按照本发明的第三个方面,提供了一种基于边缘计算的联合学习系统,适用于包括至少两个边缘云的联合学习;该系统包括:
协同管理模块,用于根据各边缘云拥有的样本数据总量和各训练角色的硬件资源参数计算分配给每个训练角色的训练数据量,所述训练角色包括中心云和边缘云;并用于根据每个训练角色的训练数据量以及各边缘云拥有的样本数据生成数据交互策略并下发数据交互指令给对应的边缘云,所述数据交互指令用于控制样本数据在各边缘云之间进行再分配;
模型训练模块,用于根据自身分配的训练数据量对模型进行训练直至所述模型收敛;
模型收集模块,用于获取各边缘云上传的基于训练数据量训练至收敛后的模型,形成模型集合。
优选的,上述联合学习系统,所述协同管理模块根据各边缘云拥有的样本数据总量和各训练角色的硬件资源参数计算分配给每个训练角色的训练数据量具体为:
分别计算每个训练角色的硬件指数,所述硬件指数为每个训练角色的硬件资源参数在所有训练角色的硬件资源参数总和中的比重;
以每个训练角色的所述硬件指数在所有训练角色的硬件指数总和中的比重与所述样本数据总量的乘积计算得到该训练角色的训练数据量。
优选的,上述联合学习系统,所述当所述硬件资源参数的种类多于一种时,每个训练角色的硬件指数为不同种类硬件资源参数对应的硬件指数的加权和
优选的,上述联合学习系统,所述协同管理模块生成的数据交互策略具体为:
作为训练角色的中心云或边缘云无样本数据,则根据该训练角色对应的训练数据量为其分配其它边缘云提供的样本数据;
作为训练角色的边缘云有样本数据,根据该边缘云拥有的样本数据量与其对应的训练数据量计算该训练角色需要接收或上传的差额数据量。
优选的,上述联合学习系统,所述硬件资源参数包括内存大小、CPU核心数量、GPU大小中的至少一个或多个。
按照本发明的第四个方面,提供了一种基于边缘计算的联合学习系统,适用于由中心云作为协作者的联合学习,该系统包括:
数据处理模块,用于从中心云拉取待训练的模型并将自身拥有的样本数据处理为模型所需的数据格式,向中心云上报自身拥有的样本数据量;并用于根据中心云下发的数据交互指令上传或接收样本数据以使自身拥有的样本数据量与中心云分配的训练数据量相匹配;所述训练数据量由中心云根据各边缘云拥有的样本数据总量和各训练角色的硬件资源参数计算得到,所述训练角色包括中心云和边缘云;
模型训练模块,用于根据所述训练数据量分别对模型进行训练直至所述模型收敛,并将收敛后的模型上传至中心云。
优选的,上述联合学习系统还包括模型执行模块;
所述模型执行模块用于从中心云中的模型集合中拉取所需的模型并执行,根据执行过程产生的新样本数据对所述模型进行更新并将更新后的模型上传至中心云。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
(1)本发明提供的基于边缘计算的联合学习方法及系统,模型训练不再由中心云单独完成,训练任务根据各训练角色的硬件资源情况进行合理分配,各训练角色协同进行模型训练,均衡了负载,避免造成中心云或某一边缘云的训练负载压力过高;各边缘云无需完全将数据汇集至中心云,减少了中心云与边缘云之间的链路压力,占用网络资源少,适用于边缘计算场景。
(2)本发明提供的基于边缘计算的联合学习方法及系统,各边缘云具有模型自治能力,在模型执行过程中主动对模型进行优化和更新,使模型更新实时性更高。
附图说明
图1是本发明实施例提供的数据集中的边缘计算架构图;
图2是本发明实施例提供的联合学习的边缘计算架构图;
图3是本发明实施例提供的中心云侧的联合学习方法的流程图;
图4是本发明实施例提供的边缘云侧的联合学习的流程图;
图5是本发明实施例提供的一种联合学习系统的逻辑框图;
图6是本发明实施例提供的另一种联合学习系统的逻辑框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
联合学习主要适用于至少两个参与方(如企业、银行、医院等)分别拥有各自用户的相关数据,出于数据隐私保护和安全考虑,多个参与方无法直接进行数据交换,但是每个参与方又想使用其他参与方拥有的数据进行机器学习模型的训练;针对这一情况,提出联合学习的系统架构,在协作者参与的情况下使多个参与方联合进行模型训练。
图2是本实施例提供的联合学习的边缘计算架构,中心云作为协作者,边缘云A、B为数据拥有方,本实施例以两个边缘云为例进行说明,当然该架构可扩展至包含多个数据拥有方的场景;中心云与边缘云A、B之间均为相互信任的关系,但是边缘云A、B之间不能直接进行数据共享或交换;中心云帮助边缘云A、B进行联合模型训练;其中,中心云作为联合学习的协作者,需要执行的功能包括:协同管理(收集各边缘云资源情况和数据情况、均衡训练任务、汇聚最终模型)、密钥管理(管理各子云密钥,加密数据传输)、模型训练(中心云参与模型训练过程)、模型集市(汇聚各训练和更新后模型,供各子云拉取使用);边缘云A、B作为模型的训练者和使用者,需要执行的功能包括:数据处理(数据清洗等常规机器学习前数据处理操作,根据中心云协调情况,向其他节点发送数据或接收其他节点数据)、模型训练、模型执行与更新等。
下面结合图3和图4详细说明本实施例提供的基于边缘计算的联合学习方法;其中,图3为中心云侧的联合学习方法的流程图;图4为边缘云侧的联合学习的流程图;参见图3所示,中心云侧的联合学习方法包括以下步骤:
S101:获取待训练的模型及其对应的训练条件;
模型训练任务的初始化由中心云执行,中心云接收用户按照需求在中心云节点构建的模型及其对应的训练条件,该训练条件包括选取的算法、所需要的数据和数据格式(数据属性和标签等)、初始化参数、硬件配置要求等,初始化后的模型放至模型集市,供后续训练拉取。
S102:中心云根据各边缘云拥有的样本数据总量和各训练角色的硬件资源参数计算分配给每个训练角色的训练数据量;所述训练角色包括中心云和边缘云;
各边缘云向中心云上传自身拥有的样本数据量,中心云获取各边缘云拥有的样本数据量并计算样本数据总量Sumset;
中心云获取各边缘云的硬件资源参数,该硬件资源参数包括内存大小、CPU核心数量、GPU大小中的至少一个或多个;本实施例以内存大小和CPU核心数量两种硬件参数为例进行说明;然后,中心云分别计算各边缘云的硬件指数,进而根据该硬件指数确定分配给各边缘云的训练数据量;本实施例中,中心云同样作为训练角色参与模型的联合训练,因此也需要计算中心云的硬件指数及训练数据量;
具体的:
中心云首先分别计算每个训练角色的硬件指数,该硬件指数为每个训练角色的硬件资源参数在所有训练角色的硬件资源参数总和中的比重;进一步的,当硬件资源参数的种类多于一种时,每个训练角色的硬件指数为不同种类硬件资源参数对应的硬件指数的加权和;例如:
训练角色包括中心云(内存128G,CPU 32核心)和边缘云A(内存64G,CPU 8核心),硬件指数的计算方式为:[(某训练角色内存/各训练角色总内存)*40%+(某训练角色CPU/各训练角色总CPU)*60%]*100,;依据上述计算公式,中心云的硬件指数为:{[128/(128+64)]*40%+[32/(32+8)]*60%}*100;由于模型训练过程中,CPU或硬件加速卡对模型训练效率影响较大,因此本实施例为CPU或硬件加速卡在硬件指数计算时设置的权重比例较高。
本实施例中,各训练角色的硬件指数由中心云统一计算,为了缓解中心云的计算压力,可以由各边缘云分别计算自身的硬件指数后上传至中心云;以上两种方式均在本实施例的保护范围之内。
然后,以每个训练角色的所述硬件指数在所有训练角色的硬件指数总和中的比重与样本数据总量的乘积计算得到该训练角色的训练数据量。
中心云根据各训练角色的硬件指数,在尽量减少数据交互的情况下,为各训练角色分配训练数据量;例如:训练角色一对应的硬件指数为a,训练角色二对应的硬件指数为b,样本数据总量Sumset;则为训练角色一分配的训练数据量为[a/(a+b)]*Sumset,该值记为Dsum。
另外,需要指出的是,并非所有的边缘云均需要参与联合学习,在满足模型训练所需的硬件配置的前提下,可从各边缘云中选取部分或全部作为参与此次联合训练的训练角色。
S103:中心云根据每个训练角色的训练数据量以及各边缘云拥有的样本数据生成数据交互策略并下发数据交互指令给对应的边缘云,所述数据交互指令用于控制样本数据在各边缘云之间进行再分配;
具体的,本实施例中的数据交互策略为:
作为训练角色的中心云或边缘云无样本数据,则根据该训练角色对应的训练数据量为其分配其它边缘云提供的样本数据;
作为训练角色的边缘云有样本数据,根据该边缘云拥有的样本数据量与其对应的训练数据量Dsum计算该训练角色需要接收或上传的差额数据量;如果拥有的样本数据量大于训练数据量Dsum,则会上传多余的样本数据给中心云,如果样本数据量小于训练数据量Dsum,则会从中心云接收其它边缘云提供的样本数据;
作为非训练角色的边缘云无数据,则无需进行数据再分配;
作为非训练角色的边缘云有数据,则将其拥有的样本数据量全部上传给中心云。
中心云根据该数据交互策略分别计算出各训练角色需要上传或接收的样本数据的量并生成数据交互指令;同时,保证各边缘云优先获取数据,即如果中心云是训练角色同时需要接收数据,那么待各边缘云完成数据交互以后,再接收多余的样本数据;另外,针对某一边缘云需要上传其拥有的部分样本数据量的情况,本实施例采用随机算法选取需要上传的样本数据。
中心云向需要执行数据交换的边缘云发出数据交互指令,各边缘云根据指令交互数据。在各边缘云进行数据交互的过程中,根据中心云下发的公钥对交换的样本数据进行加密,增强数据安全性。
S104:中心云基于自身分配的训练数据量对模型进行训练直至所述模型收敛,并获取各边缘云上传的基于训练数据量训练至收敛后的模型,形成模型集合。
包括中心云在内的各训练角色利用均衡后自身拥有的训练数据独自对拉取的模型进行训练直至该模型收敛;各边缘云将最终收敛后的模型上传至中心云模型集市。针对该模型的训练任务,中心云会收到多个模型,形成模型集合。
本实施例提供的联合学习方法,模型训练不再由中心云单独完成,训练任务根据各训练角色的硬件资源情况进行合理分配,各训练角色协同进行模型训练,均衡了负载,避免造成中心云或某一边缘云的训练负载压力过高;各边缘云无需完全将数据汇集至中心云,减少了中心云与边缘云之间的链路压力,占用网络资源少,适用边缘计算场景。
如图4所示,边缘云侧的联合学习方法包括以下步骤:
S201:每个边缘云从中心云拉取待训练的模型并将自身拥有的样本数据处理为模型所需的数据格式,向中心云上报自身拥有的样本数据量;
边缘云获取待训练的模型之后,根据模型所要求的数据格式处理自身拥有的样本数据,提取并形成满足模型数据格式要求的样本数据集。
S202:根据中心云下发的数据交互指令上传或接收样本数据以使自身拥有的样本数据量与中心云分配的训练数据量相匹配;所述训练数据量由中心云根据各边缘云拥有的样本数据总量和各训练角色的硬件资源参数计算得到,所述训练角色包括中心云和边缘云;
在中心云执行步骤S103之后,各边缘云根据中心云下发的数据交互指令上传或接收样本数据以使自身拥有的样本数据量与中心云分配的训练数据量相匹配;在数据交互的过程中,各边缘云根据中心云下发的公钥对交换的样本数据进行加密,增强数据安全性。
S203:根据所述训练数据量分别对拉取的模型进行训练直至所述模型收敛,并将收敛后的模型上传至中心云;
数据交互完成之后,每个边缘云根据各自分配的训练数据对拉取的模型进行训练直至模型收敛,然后将收敛后的模型上传至中心云。
各边缘云作为模型的训练者和使用者,后续需要用到该算法模型,直接从中心云模型集市拉取该模型集合并从中选取合适的模型。各边缘云在模型执行使用的过程中会产生大量的新样本数据,根据这些新样本数据对模型进行更新,同时将更新后的模型上传至中心云模型集市。
本实施例中,各边缘云具有模型自治能力,在模型执行过程中主动对模型进行优化和更新,使模型更新实时性更高。
本实施例还提供了一种边缘计算的联合学习系统,适用于包括至少两个边缘云的联合学习;该系统可以采用软件和/或硬件的方式实现,并可集成在电子设备上;图5为该联合学习系统的逻辑框图;如图5,该系统包括协同管理模块、模型训练模块和模型收集模块,其中:
协同管理模块用于根据各边缘云拥有的样本数据总量和各训练角色的硬件资源参数计算分配给每个训练角色的训练数据量,该训练角色包括中心云和边缘云;并用于根据每个训练角色的训练数据量以及各边缘云拥有的样本数据生成数据交互策略并下发数据交互指令给对应的边缘云,该数据交互指令用于控制样本数据在各边缘云之间进行再分配;
模型训练模块用于根据自身分配的训练数据量对模型进行训练直至模型收敛;
模型收集模块用于获取各边缘云上传的基于训练数据量训练至收敛后的模型,形成模型集合。
可选的,协同管理模块根据各边缘云拥有的样本数据总量和各训练角色的硬件资源参数计算分配给每个训练角色的训练数据量具体为:
首先,分别计算每个训练角色的硬件指数,该硬件指数为每个训练角色的硬件资源参数在所有训练角色的硬件资源参数总和中的比重;进一步的,当所述硬件资源参数的种类多于一种时,每个训练角色的硬件指数为不同种类硬件资源参数对应的硬件指数的加权和;本实施例中,所述硬件资源参数包括内存大小、CPU核心数量、GPU大小中的至少一个或多个。
然后,以每个训练角色的所述硬件指数在所有训练角色的硬件指数总和中的比重与所述样本数据总量的乘积计算得到该训练角色的训练数据量。
可选的,协同管理模块生成的数据交互策略具体为:
作为训练角色的中心云或边缘云无样本数据,则根据该训练角色对应的训练数据量为其分配其它边缘云提供的样本数据;
作为训练角色的边缘云有样本数据,根据该边缘云拥有的样本数据量与其对应的训练数据量计算该训练角色需要接收或上传的差额数据量;如果拥有的样本数据量大于训练数据量,则会上传多余的样本数据给中心云,如果样本数据量小于训练数据量,则会从中心云接收其它边缘云提供的样本数据;
作为非训练角色的边缘云无数据,则无需进行数据再分配;
作为非训练角色的边缘云有数据,则将其拥有的样本数据量全部上传给中心云。
可选的,上述联合学习系统还包括密钥管理模块,该密钥管理模块用于将公钥分发给各边缘云,使各边缘云在数据交换过程中根据公钥对交换的样本数据进行加密,增强数据安全性。
本实施例还提供了一种边缘计算的联合学习系统,适用于包括至少两个边缘云的联合学习;该系统可以采用软件和/或硬件的方式实现,并可集成在电子设备上;图6为该联合学习系统的逻辑框图;如图6,该系统包括数据处理模块和模型训练模块,其中:
数据处理模块用于从中心云拉取待训练的模型并将自身拥有的样本数据处理为模型所需的数据格式,向中心云上报自身拥有的样本数据量;并用于根据中心云下发的数据交互指令上传或接收样本数据以使自身拥有的样本数据量与中心云分配的训练数据量相匹配;该训练数据量由中心云根据各边缘云拥有的样本数据总量和各训练角色的硬件资源参数计算得到,训练角色包括中心云和边缘云;
模型训练模块用于根据均衡后的训练数据量独立对模型进行训练直至模型收敛,并将收敛后的模型上传至中心云。
可选的,上述联合学习系统还包括模型执行模块,该模型执行模块用于从中心云中的模型集合中拉取所需的模型并执行,根据执行过程产生的新样本数据对模型进行更新并将更新后的模型上传至中心云。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于边缘计算的联合学习方法,其特征在于,适用于包括至少两个边缘云的联合学习,该方法包括:
根据各边缘云拥有的样本数据总量和各训练角色的硬件资源参数计算分配给每个训练角色的训练数据量;所述训练角色包括中心云和边缘云;其中,根据各边缘云拥有的样本数据总量和各训练角色的硬件资源参数计算分配给每个训练角色的训练数据量具体为:
分别计算每个训练角色的硬件指数,所述硬件指数为每个训练角色的硬件资源参数在所有训练角色的硬件资源参数总和中的比重;
以每个训练角色的所述硬件指数在所有训练角色的硬件指数总和中的比重与所述样本数据总量的乘积计算得到该训练角色的训练数据量;
根据每个训练角色的训练数据量以及各边缘云拥有的样本数据生成数据交互指令并下发给对应的边缘云,所述数据交互指令用于控制样本数据在各边缘云之间进行再分配;
基于自身分配的训练数据量对模型进行训练直至所述模型收敛,并获取各边缘云上传的基于训练数据量训练至收敛后的模型,形成模型集合。
2.如权利要求1所述的联合学习方法,其特征在于,当所述硬件资源参数的种类多于一种时,每个训练角色的硬件指数为不同种类硬件资源参数对应的硬件指数的加权和。
3.一种基于边缘计算的联合学习方法,其特征在于,适用于由中心云作为协作者的联合学习,包括:
从中心云拉取待训练的模型并将自身拥有的样本数据处理为模型所需的数据格式,向中心云上报自身拥有的样本数据量;
根据中心云下发的数据交互指令上传或接收样本数据以使自身拥有的样本数据量与中心云分配的训练数据量相匹配;所述训练数据量由中心云根据各边缘云拥有的样本数据总量和各训练角色的硬件资源参数计算得到,所述训练角色包括中心云和边缘云;其中,根据各边缘云拥有的样本数据总量和各训练角色的硬件资源参数计算具体为:
分别计算每个训练角色的硬件指数,所述硬件指数为每个训练角色的硬件资源参数在所有训练角色的硬件资源参数总和中的比重;
以每个训练角色的所述硬件指数在所有训练角色的硬件指数总和中的比重与所述样本数据总量的乘积计算得到该训练角色的训练数据量;
根据所述训练数据量分别对拉取的模型进行训练直至所述模型收敛,并将收敛后的模型上传至中心云。
4.如权利要求3所述的联合学习方法,其特征在于,还包括:
从中心云中的模型集合中拉取所需的模型并执行,根据执行过程产生的新样本数据对所述模型进行更新并将更新后的模型上传至中心云。
5.一种基于边缘计算的联合学习系统,其特征在于,适用于包括至少两个边缘云的联合学习;该系统包括:
协同管理模块,用于根据各边缘云拥有的样本数据总量和各训练角色的硬件资源参数计算分配给每个训练角色的训练数据量,所述训练角色包括中心云和边缘云;并用于根据每个训练角色的训练数据量以及各边缘云拥有的样本数据生成数据交互指令并下发给对应的边缘云,所述数据交互指令用于控制样本数据在各边缘云之间进行再分配;其中,根据各边缘云拥有的样本数据总量和各训练角色的硬件资源参数计算分配给每个训练角色的训练数据量具体为:
分别计算每个训练角色的硬件指数,所述硬件指数为每个训练角色的硬件资源参数在所有训练角色的硬件资源参数总和中的比重;
以每个训练角色的所述硬件指数在所有训练角色的硬件指数总和中的比重与所述样本数据总量的乘积计算得到该训练角色的训练数据量;
模型训练模块,用于根据自身分配的训练数据量对模型进行训练直至所述模型收敛;
模型收集模块,用于获取各边缘云上传的基于训练数据量训练至收敛后的模型,形成模型集合。
6.如权利要求5所述的联合学习系统,其特征在于,当所述硬件资源参数的种类多于一种时,每个训练角色的硬件指数为不同种类硬件资源参数对应的硬件指数的加权和。
7.一种基于边缘计算的联合学习系统,其特征在于,适用于由中心云作为协作者的联合学习,该系统包括:
数据处理模块,用于从中心云拉取待训练的模型并将自身拥有的样本数据处理为模型所需的数据格式,向中心云上报自身拥有的样本数据量;并用于根据中心云下发的数据交互指令上传或接收样本数据以使自身拥有的样本数据量与中心云分配的训练数据量相匹配;所述训练数据量由中心云根据各边缘云拥有的样本数据总量和各训练角色的硬件资源参数计算得到,所述训练角色包括中心云和边缘云;其中,根据各边缘云拥有的样本数据总量和各训练角色的硬件资源参数计算具体为:
分别计算每个训练角色的硬件指数,所述硬件指数为每个训练角色的硬件资源参数在所有训练角色的硬件资源参数总和中的比重;
以每个训练角色的所述硬件指数在所有训练角色的硬件指数总和中的比重与所述样本数据总量的乘积计算得到该训练角色的训练数据量;
模型训练模块,用于根据所述训练数据量分别对模型进行训练直至所述模型收敛,并将收敛后的模型上传至中心云。
8.如权利要求7所述的联合学习系统,其特征在于,还包括模型执行模块;
所述模型执行模块用于从中心云中的模型集合中拉取所需的模型并执行,根据执行过程产生的新样本数据对所述模型进行更新并将更新后的模型上传至中心云。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911415017.2A CN111245903B (zh) | 2019-12-31 | 2019-12-31 | 一种基于边缘计算的联合学习方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911415017.2A CN111245903B (zh) | 2019-12-31 | 2019-12-31 | 一种基于边缘计算的联合学习方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111245903A CN111245903A (zh) | 2020-06-05 |
CN111245903B true CN111245903B (zh) | 2022-07-01 |
Family
ID=70875878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911415017.2A Active CN111245903B (zh) | 2019-12-31 | 2019-12-31 | 一种基于边缘计算的联合学习方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111245903B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112564292A (zh) * | 2020-06-14 | 2021-03-26 | 石霜霜 | 基于边缘计算和云计算的数据管理方法及系统 |
CN113935390A (zh) * | 2020-06-29 | 2022-01-14 | 中兴通讯股份有限公司 | 数据处理方法、系统、设备及存储介质 |
CN111753967A (zh) * | 2020-07-05 | 2020-10-09 | 刀锋 | 基于深度学习反馈结合边缘计算的大数据处理系统 |
CN113282933B (zh) * | 2020-07-17 | 2022-03-01 | 中兴通讯股份有限公司 | 联邦学习方法、装置和系统、电子设备、存储介质 |
CN111682973B (zh) * | 2020-08-17 | 2020-11-13 | 烽火通信科技股份有限公司 | 一种边缘云的编排方法及系统 |
CN114202796B (zh) * | 2020-08-27 | 2023-08-04 | 中国电信股份有限公司 | 模型自适应的目标检测的方法及装置 |
CN112202896A (zh) * | 2020-09-30 | 2021-01-08 | 中移(杭州)信息技术有限公司 | 边缘计算方法、框架、终端和存储介质 |
CN112650583B (zh) * | 2020-12-23 | 2024-07-02 | 新奥新智科技有限公司 | 一种资源分配方法、装置、可读介质及电子设备 |
CN112365006B (zh) * | 2021-01-12 | 2021-04-02 | 深圳致星科技有限公司 | 用于联邦学习的并行训练方法及系统 |
CN112884164B (zh) * | 2021-03-18 | 2023-06-23 | 中国地质大学(北京) | 面向智能移动终端实现的联邦机器学习迁移方法与系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110008696A (zh) * | 2019-03-29 | 2019-07-12 | 武汉大学 | 一种面向深度联邦学习的用户数据重建攻击方法 |
CN110197084A (zh) * | 2019-06-12 | 2019-09-03 | 上海联息生物科技有限公司 | 基于可信计算及隐私保护的医疗数据联合学习系统及方法 |
CN110348241A (zh) * | 2019-07-12 | 2019-10-18 | 之江实验室 | 一种数据共享策略下的多中心协同预后预测系统 |
CN110460600A (zh) * | 2019-08-13 | 2019-11-15 | 南京理工大学 | 可抵御生成对抗网络攻击的联合深度学习方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170140297A1 (en) * | 2015-11-17 | 2017-05-18 | International Business Machines Corporation | Generating efficient sampling strategy processing for business data relevance classification |
US11347970B2 (en) * | 2018-04-30 | 2022-05-31 | International Business Machines Corporation | Optimizing machine learning-based, edge computing networks |
-
2019
- 2019-12-31 CN CN201911415017.2A patent/CN111245903B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110008696A (zh) * | 2019-03-29 | 2019-07-12 | 武汉大学 | 一种面向深度联邦学习的用户数据重建攻击方法 |
CN110197084A (zh) * | 2019-06-12 | 2019-09-03 | 上海联息生物科技有限公司 | 基于可信计算及隐私保护的医疗数据联合学习系统及方法 |
CN110348241A (zh) * | 2019-07-12 | 2019-10-18 | 之江实验室 | 一种数据共享策略下的多中心协同预后预测系统 |
CN110460600A (zh) * | 2019-08-13 | 2019-11-15 | 南京理工大学 | 可抵御生成对抗网络攻击的联合深度学习方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111245903A (zh) | 2020-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111245903B (zh) | 一种基于边缘计算的联合学习方法及系统 | |
CN111679905B (zh) | 算网融合网络模型系统 | |
CN112712182A (zh) | 一种基于联邦学习的模型训练方法、装置及存储介质 | |
CN113033082B (zh) | 基于异构算力感知的去中心化联邦学习框架及建模方法 | |
WO2023109699A1 (zh) | 一种多智能体的通信学习方法 | |
CN112650581A (zh) | 一种面向智能楼宇的云边协同任务调度方法 | |
CN113992692B (zh) | 端边云架构和不完全信息下分层联邦学习的方法及系统 | |
CN115473901B (zh) | 一种分布式算力集群智慧调度方法、装置及计算机设备 | |
CN113378456A (zh) | 多园区综合能源调度方法和系统 | |
CN116489708A (zh) | 面向元宇宙的云边端协同的移动边缘计算任务卸载方法 | |
CN116362327A (zh) | 一种模型训练方法、系统及电子设备 | |
CN108683743B (zh) | 一种通过多个移动终端采集数据的任务分配方法 | |
CN114781896A (zh) | 一种多能源集线器综合能源系统低碳调度方法及系统 | |
CN103581329A (zh) | 基于分簇的对等网络流媒体直播系统拓扑结构的构建方法 | |
CN114022731A (zh) | 基于drl的联邦学习节点选择方法 | |
CN117493020A (zh) | 一种数据网格的计算资源调度实现方法 | |
Shi et al. | Toward Smart and Efficient Service Systems: Computational Layered Federated Learning Framework | |
CN115118591B (zh) | 一种基于联盟博弈的簇联邦学习方法 | |
CN115361392A (zh) | 基于区块链的算力网络的控制方法、系统和存储介质 | |
Li et al. | Load balance vs utility maximization in mobile crowd sensing: A distributed approach | |
Datar | Resource allocation and pricing in 5g network slicing | |
CN116634388B (zh) | 面向电力融合网络大数据边缘缓存与资源调度方法及系统 | |
Malandrino et al. | Flexible parallel learning in edge scenarios: Communication, computational and energy cost | |
CN117687801B (zh) | 一种跨域分布式计算系统、方法、存储介质和电子设备 | |
CN117687800B (zh) | 一种跨域分布式计算方法、系统、存储介质和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |