CN113419857B - 一种基于边缘数字孪生关联的联邦学习方法及系统 - Google Patents

一种基于边缘数字孪生关联的联邦学习方法及系统 Download PDF

Info

Publication number
CN113419857B
CN113419857B CN202110708056.2A CN202110708056A CN113419857B CN 113419857 B CN113419857 B CN 113419857B CN 202110708056 A CN202110708056 A CN 202110708056A CN 113419857 B CN113419857 B CN 113419857B
Authority
CN
China
Prior art keywords
edge server
edge
digital twin
user
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110708056.2A
Other languages
English (en)
Other versions
CN113419857A (zh
Inventor
蒋丽
缪家辉
谢正昊
李昊宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202110708056.2A priority Critical patent/CN113419857B/zh
Publication of CN113419857A publication Critical patent/CN113419857A/zh
Application granted granted Critical
Publication of CN113419857B publication Critical patent/CN113419857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5072Grid computing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明为解决用户需求和边缘服务器之间存在的资源分配问题,提出一种基于边缘数字孪生关联的联邦学习方法及系统,其中包括以下步骤:参与联邦学习的用户分别生成数字孪生体;使用多对一匹配算法将数字孪生体与边缘服务器配对;服务器构建任务并发布至边缘服务器,数字孪生体利用与其配对的边缘服务器的资源进行联邦学习,并将其局部迭代训练得到的模型传输至边缘服务器;边缘服务器将与其配对的数字孪生体训练得到的模型进行聚合得到局部模型,并将局部模型上传至服务器;服务器将其接收的局部模型进行聚合得到全局模型,检验全局模型精度是否达到预设的阈值,若否,则将当前的全局模型下发至边缘服务器进行训练;若是,则完成当前联邦学习。

Description

一种基于边缘数字孪生关联的联邦学习方法及系统
技术领域
本发明涉及工业物联网边缘计算和资源分配技术领域,更具体地,涉及一种基于边缘数字孪生关联的联邦学习方法及系统。
背景技术
工业是物联网应用的重要领域,具有环境感知能力的各类智能设备、基于泛在技术的计算模式、移动通信等不断融入到工业生产的各个环节,可大幅提高制造效率,改善产品质量,降低产品成本和资源消耗,传统工业加速向智能化转变。在物联网时代,用户设备可以生成大量数据,可用于改善系统的用户体验。但是,由于数据存在滥用和泄漏的风险,用户不愿意提供他们的个人数据。物联网设备也通常在私人环境中收集数据,甚至往往没有明确意识到用户的存在,隐私数据泄露的风险更大。目前主要采用联邦学习方法解决这个问题,因为它允许多个参与者在他们的组合数据上共同训练一个深度学习模型,而任何参与者都不需要向中央服务器透露他们的数据,从而实现了数据隐私性。如公开号为CN112804107A(公开日2021-05-14)提出的一种物联网设备能耗自适应控制的分层联邦学习方法。
然而,在物联网与5G、6G网络的连接过程中,其产生的海量的数据需要边缘服务器提供大量的计算和通信资源,即用户需求与边缘服务器能够提供的服务之间存在巨大差距,庞大的连接设备数量和异构网络结构之间存在复杂的资源分配问题。
发明内容
本发明为解决上述现有技术中用户需求和边缘服务器之间存在的资源分配问题,提供一种基于边缘数字孪生关联的联邦学习方法及系统。
为解决上述技术问题,本发明的技术方案如下:
一种基于边缘数字孪生关联的联邦学习方法,包括以下步骤:
S1:参与联邦学习的用户分别生成数字孪生体;
S2:使用多对一匹配算法将数字孪生体与边缘服务器配对,使传输时延最小化;
S3:云服务器构建任务并发布至边缘服务器;
S4:边缘服务器将任务发布至数字孪生体,数字孪生体利用与其配对的边缘服务器的资源进行联邦学习,并将其局部迭代训练得到的模型传输至边缘服务器;
S5:边缘服务器将与其配对的数字孪生体训练得到的模型进行聚合得到局部模型,并将所述局部模型上传至云服务器;
S6:云服务器将其接收的局部模型进行聚合得到全局模型,检验所述全局模型精度是否达到预设的阈值,若否,则将当前的全局模型下发至边缘服务器进行训练,跳转执行S4步骤;若是,则完成当前联邦学习。
作为优选方案,所述数字孪生体与边缘服务器配对过程中的匹配条件包括:边缘服务器的数字孪生体配对数量不超过其最大限制;一个数字孪生体只能与一个边缘服务器匹配;所有进行训练的模型传输速度不能低于预设的最低传输速度Rmin
作为优选方案,所述数字孪生体与边缘服务器配对过程中,包括以下步骤:
对每个边缘服务器q∈Q设置其相应的容量Cq,其中Q为边缘服务器的集合;容量Cq为自然数;
每个用户m∈M分别对每个边缘服务器q的一个非空子集进行排序,得到用户偏好集合f(m);其中M表示用户的集合;
每个边缘服务器q分别将对其进行排序的用户进行排序,得到边缘服务器偏好集合g(q);其中当存在边缘服务器没有对其进行排序的用户时,将该边缘服务器从集合Q中删除;
设定匹配Θ表示集合M与集合Q之间的任意映射,其中当(m,q)∈M×Q在Θ中匹配,则有表示Θ(m)=q或m∈Θ-1(q);
保留有效匹配对;其中,有效匹配对同时满足以下条件:
1)对于匹配的所有用户m∈M,有Θ(m)∈f(m);
2)对于匹配的所有边缘服务器q∈Q,有
Figure BDA0003132132040000021
3)对于所有边缘服务器q∈Q,有|M-1(Q)|≤Cq
各个用户m分别从其对应的用户偏好集合f(m)中选择一个最佳匹配的边缘服务器,完成数字孪生体与边缘服务器配对。
作为优选方案,用户m从其对应的用户偏好集合f(m)中选择最佳匹配的边缘服务器的步骤包括(1)或(2):
(1)考虑用户的最佳匹配:
将所有用户和边缘服务器不进行匹配;
对任意非空偏好集合的不匹配用户m,将其用户偏好集合f(m)中排序第一的边缘服务器q进行匹配;
判断:
若|M-1(q)|>Cq,则找到分配给边缘服务器q的最差配对用户m′,并取消配对(m′,q);
若|M-1(q)|=Cq,则找到分配给边缘服务器q的最差配对用户m′,对于每个用户s∈g(q)直到用户s=m′,从其用户偏好集合f(s)中移除边缘服务器q,并从边缘服务器偏好集合g(q)中移除用户s,在全体配对中删除匹配对(s,q);
重复上述步骤至不存在非空偏好集合的不匹配用户m;
(2)考虑边缘服务器最佳匹配:
将所有用户和边缘服务器不进行匹配;
对任意边缘服务器q,当其容量不足时边缘服务器偏好集合g(q)中包含有未分配的用户时,将其边缘服务器偏好集合g(q)中排序第一的用户m进行匹配;
当用户m当前与其他边缘服务器q′匹配,则取消二者的匹配关系,并将用户m与与边缘服务器q匹配;
对于边缘服务器s∈f(m)至边缘服务器q的每个候选边缘服务器,从全部配对中删除匹配对(m,s);
重复上述步骤至所有边缘服务器完成配对。
作为优选方案,所述用户偏好集合f(m)基于边缘服务器的传输速率由大到小进行排序,所述边缘服务器偏好集合g(q)基于数字孪生体的联邦学习局部训练时间由大到小进行排序。
作为优选方案,所述用户与边缘服务器之间采用正交频分多址进行无线传输。
作为优选方案,所述数字孪生体中包括用户的硬件配置信息、历史运行数据、实时状态数据。
作为优选方案,所述数字孪生体进行局部迭代训练过程中,每个数字孪生体分别设置有对应于用户的局部数据质量的局部精度εm,则局部迭代次数为
Figure BDA0003132132040000041
作为优选方案,所述S3步骤中,在所述数字孪生体进行局部迭代训练过程中,采用基于梯度下降的方法最小化其局部数据的损失函数;所述边缘服务器通过联邦平均和联邦随机梯度下降算法将所述局部模型传输至云服务器;
其中,所述局部数据的损失函数表示为:
Figure BDA0003132132040000042
式中,f(w,xj,yj)表示损失函数,w表示局部模型的参数,xj表示第j个数字孪生体的局部模型的输入样本向量,yj表示与xj对应的输出标签向量;Dj表示第j个数字孪生体的本地数据。
一种基于边缘数字孪生关联的联邦学习系统,应用于上述任一联邦学习方法,其中包括终端用户层、数字孪生层、边缘服务器、云服务器,其中:
所述终端用户层包括若干终端用户,所述终端用户分别生成的数字孪生体组成所述数字孪生层;
所述数字孪生体与所述边缘服务器基于多对一匹配算法进行匹配,且所述数字孪生体使用与其匹配的边缘服务器的资源进行联邦学习;
所述边缘服务器将所述数字孪生体经过联邦学习得到的模型进行聚合得到局部模型,并传输至所述云服务器中;
所述云服务器用于构建任务并发布至边缘服务器,所述边缘服务器传输至所述数字孪生体进行联邦学习;以及用于将接收的局部模型进行聚合得到全局模型并对其精度进行检验。
与现有技术相比,本发明技术方案的有益效果是:本发明将数字孪生技术应用到联邦学习中,使用数字孪生体来训练联邦学习,在保障数据安全的同时,增强了数据的使用性;采用匹配算法将数字孪生体和边缘服务器进行关联,得到更加有效稳定的配对关系,提升数据传输速率,降低通信成本。
附图说明
图1为实施例1的基于边缘数字孪生关联的联邦学习方法的流程图。
图2为实施例2的基于边缘数字孪生关联的联邦学习系统的原理图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
需要说明的是,本实施例中的用户计算和存储资源有限的终端设备,例如物联网设备、通信设备、车载设备等物理实体;边缘服务器包括基站;云服务器包括MBS(MobileBase Station,移动通信基站)。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提出一种基于边缘数字孪生关联的联邦学习方法,包括以下步骤:
步骤1:参与联邦学习的用户分别生成数字孪生体。
由于数字孪生体是物理实体运行的再现,维护海量设备的数字双胞胎需要消耗大量的资源,包括计算资源、通信资源和存储资源。因此本实施例中用户所生成的数字孪生体中包括用户的硬件配置信息、历史运行数据、实时状态数据。
则本实施例中的数字孪生体可表示为:
那么用户的数字孪生可以表示为:
DTf(ui)=Θ(Di,Si(t),Mi,ΔSi(t+1))
其中Di为用户i的配置数据、历史运行数据等历史数据。Si(t)表示由r1维度组成的用户i的运行状态,随时间变化,可以表示为
Figure BDA0003132132040000051
Mi是由r2行为维度构成的用户i的行为模型集,/>
Figure BDA0003132132040000052
ΔSi(t+1)是在t+1时间段的状态更新。
以气象物联网设备为例,Si(t)可以是温度、湿度、风速位置等。行为模型集Mi可由温度、湿度和风速的变化模型组成。那么将数字孪生技术与联邦学习结合在一起,利用数字孪生进行联邦学习,可以节省气象物联网设备的计算资源,延长其寿命,也可以加快联邦学习的速度。
步骤2:使用多对一匹配算法将数字孪生体与边缘服务器配对,使传输时延最小化。
本实施例中,所述数字孪生体与边缘服务器配对过程中的匹配条件包括:边缘服务器的数字孪生体配对数量不超过其最大限制;一个数字孪生体只能与一个边缘服务器匹配;所有进行训练的模型传输速度不能低于预设的最低传输速度Rmin。其表达公式如下:
Figure BDA0003132132040000061
Figure BDA0003132132040000062
式中,Tm为用户m向边缘服务器q上传数字孪生体Dm的传输时延
数字孪生体与边缘服务器配对过程中,包括以下步骤:
步骤2.1:对每个边缘服务器q∈Q设置其相应的容量Cq,其中Q为边缘服务器的集合;容量Cq为自然数;
步骤2.2:每个用户m∈M分别对每个边缘服务器q的一个非空子集进行排序,得到用户偏好集合f(m);其中M表示用户的集合;
步骤2.3:每个边缘服务器q分别将对其进行排序的用户进行排序,得到边缘服务器偏好集合g(q);其中当存在边缘服务器没有对其进行排序的用户时,将该边缘服务器从集合Q中删除;边缘服务器偏好集合g(q)是由{m∈M|q∈f(q)}给出的集合的置换;
步骤2.4:设定匹配Θ表示集合M与集合Q之间的任意映射,其中当(m,q)∈M×Q在Θ中匹配,则有表示Θ(m)=q或m∈Θ-1(q);
步骤2.5:保留有效匹配对;其中,有效匹配对同时满足以下条件:
1)对于匹配的所有用户m∈M,有Θ(m)∈f(m);
2)对于匹配的所有边缘服务器q∈Q,有
Figure BDA0003132132040000063
3)对于所有边缘服务器q∈Q,有|M-1(Q)|≤Cq
步骤2.6:各个用户m分别从其对应的用户偏好集合f(m)中选择一个最佳匹配的边缘服务器,完成数字孪生体与边缘服务器配对。
其中,用户m从其对应的用户偏好集合f(m)中选择最佳匹配的边缘服务器的步骤中,通过考虑用户的最佳匹配或考虑边缘服务器的最佳匹配,选择步骤(1)或步骤(2)进行匹配,具体的:
(1)考虑用户的最佳匹配:
将所有用户和边缘服务器不进行匹配;
对任意非空偏好集合的不匹配用户m,将其用户偏好集合f(m)中排序第一的边缘服务器q进行匹配;
判断:
若|M-1(q)|>Cq,则找到分配给边缘服务器q的最差配对用户m′,并取消配对(m′,q);
若|M-1(q)|=Cq,则找到分配给边缘服务器q的最差配对用户m′,对于每个用户s∈g(q)直到用户s=m′,从其用户偏好集合f(s)中移除边缘服务器q,并从边缘服务器偏好集合g(q)中移除用户s,在全体配对中删除匹配对(s,q);
重复上述步骤至不存在非空偏好集合的不匹配用户m。
(2)考虑边缘服务器最佳匹配:
将所有用户和边缘服务器不进行匹配;
对任意边缘服务器q,当其容量不足时边缘服务器偏好集合g(q)中包含有未分配的用户时,将其边缘服务器偏好集合g(q)中排序第一的用户m进行匹配;
当用户m当前与其他边缘服务器q′匹配,则取消二者的匹配关系,并将用户m与与边缘服务器q匹配;
对于边缘服务器s∈f(m)至边缘服务器q的每个候选边缘服务器,从全部配对中删除匹配对(m,s);
重复上述步骤至所有边缘服务器完成配对。
进一步的,为获得稳定的匹配对,本实施例还提出,当一个有效的匹配不包含任何阻塞对,则它被认为是稳定的。其中,阻塞对(m,q)表示阻止匹配的Θ,即阻塞对需要满足以下所有条件:
1)存在相互偏好,即m∈g(q)和q∈f(m);
2)m与q不匹配,或者相对于Θ(m)=q′,m更偏好与q匹配;
3)|M-1(q)|<Cq或者相对于r′∈m-1(q),q更偏好与m匹配。
进一步的,本实施例中的用户(数字孪生体)偏好的是数据传输的快慢,则其偏好集合定义为边缘服务器的传输速率Rq,m,即f(m)=Rq,m
对于边缘服务器来说,用户(数字孪生体)的数据质量尤为重要。所以边缘服务器偏好集合定义为数字孪生体联邦学习的局部训练时间Tlocal,即g(q)=Tlocal
步骤3:云服务器构建任务并发布至边缘服务器。
步骤4:边缘服务器将任务发布至数字孪生体,数字孪生体利用与其配对的边缘服务器的资源进行联邦学习,并将其局部迭代训练得到的本地模型传输至边缘服务器。
本实施例中,用户(数字孪生体)与边缘服务器之间采用正交频分多址(OFDMA)进行无线传输。为了上传经过局部迭代训练的本地模型,所有用户(数字孪生体)共享C个子信道来传输它们的参数。则从用户(数字孪生体)到边缘服务器可实现的上行数据速率为:
Rq,m=αq,mwmlog2(1+Γq,m)
Figure BDA0003132132040000081
式中,Pq,m为边缘服务器q对用户m的发射功率,Hq,m为边缘服务器q对用户m的信道增益,N0为高斯白噪声功率。
Figure BDA0003132132040000082
表示相邻的边缘服务器q′使用同一子信道对用户m造成的干扰。αq,m为二进制关联变量,当用户m被选择与边缘服务器q关联时,αq,m=1,否则αq,m=0。
由于返回给用户的结果比更新后的数据要小得多,因此本实施例中只考虑上行通信延迟。
则本实施例中用户m向边缘服务器q上传数字孪生体Dm的传输时延Tm为:
Figure BDA0003132132040000083
本实施例中,数字孪生体利用与其配对的边缘服务器的资源进行联邦学习,其中数字孪生体进行局部迭代训练过程中,每个数字孪生体分别设置有对应于用户的局部数据质量的局部精度εm,则局部迭代次数为
Figure BDA0003132132040000084
数字孪生体与边缘服务器关联后,联邦学习的训练利用边缘服务器的计算资源进行训练,那么一次迭代时延
Figure BDA0003132132040000085
表示为:
Figure BDA0003132132040000086
式中,Dq,m表示用户m的本地数据集,uq,m表示用户m在边缘服务器q上训练局部模型时执行一个数据样本的CPU周期数,Cq,m表示边缘服务器q的CPU频率。
则局部迭代的时间可表示为:
Figure BDA0003132132040000091
本实施例中数字孪生体利用与其配对的边缘服务器的资源进行联邦学习的目标是在不传输原始训练数据的情况下训练一个本地机器学习模型,并为本地模型M寻找参数w,使损失函数f(w,x,y)最小。
所述数字孪生体在进行局部迭代训练过程中,采用通过梯度下降和随机梯度下降等基于梯度下降的方法最小化其局部数据的损失函数,并具有预定义的学习速率;所述边缘服务器通过联邦平均(FedAvg)和联邦随机梯度下降(FedSGD)等算法将本地梯度或本地模型传输到服务器,以更新全局模型。
其中,局部数据的损失函数表示为:
Figure BDA0003132132040000092
式中,f(w,xj,yj)表示损失函数,w表示局部模型的参数,xj表示第j个数字孪生体的局部模型的输入样本向量,yj表示与xj对应的输出标签向量;Dj表示第j个数字孪生体的本地数据。
步骤5:边缘服务器将与其配对的数字孪生体训练得到的模型进行聚合得到局部模型,并将所述局部模型上传至云服务器。
步骤6:云服务器将其接收的局部模型进行聚合得到全局模型,检验所述全局模型精度是否达到预设的阈值,若否,则将当前的全局模型下发至边缘服务器进行训练,跳转执行S4步骤;若是,则完成当前联邦学习。
本实施例中联邦学习的目标是在不传输原始训练数据的情况下,基于各个用户的数据DTi训练一个全局机器学习模型M,其学习目的是为全局模型M寻找参数w′,使全局损失函数f(w,x,y)最小,记为:
Figure BDA0003132132040000093
式中,f(w,xij,yij)表示损失函数,w′表示全局模型的参数,xij表示与第i个边缘服务器匹配的第j个数字孪生体的局部模型的输入样本向量,yij表示与xij对应的输出标签向量;N表示边缘服务器的数量。
本实施例中,从用户的角度考虑,将联邦学习和边缘计算结合起来,联邦学习可以在不收集用户原始数据情况下,通过采用用户训练得到的本地模型进行聚合,得到一个可靠的全局模型,边缘计算可以节省智能设备电量和加快计算的处理。同时,联邦学习技术既可以保护用户的隐私又可以提高数据的可用性,同时增强物联网设备的使用率并延长其寿命。
而本实施例所采用的数字孪生技术可以在虚拟的数字世界中构造一个与物理实体相同的数字体,在做某些决策时,不必直接操作物理实体,减少了物联网设备的损耗,也减少终端用户和边缘服务器之间不可靠和长距离的通信。
此外,本实施例中数字孪生体与边缘服务器的关联问题看作多对一配对问题,考虑用户侧和任务发布者的双边利益,得到一个最优的稳定配对。相比于即时接受的配对算法,多对一匹配算法是一种延迟配对算法,可以得到更加经济的配对结果。比较于新型智能算法,如强化学习算法,算法复杂度更低,比智能算法更加容易实现,且实验效果与智能算法的效果几乎一致,但多次实验得到的结果匹配算法更加稳定,消耗的能量资源也更少。
实施例2
本实施例提出一种基于边缘数字孪生关联的联邦学习系统,应用实施例1提出的联邦学习方法。如图2所示,为本实施例的联邦学习系统的原理图。
本实施例提出的基于边缘数字孪生关联的联邦学习系统中,包括终端用户层、数字孪生层、边缘服务器、云服务器,其中:
所述终端用户层包括若干终端用户,所述终端用户分别生成的数字孪生体组成所述数字孪生层;
所述数字孪生体与所述边缘服务器基于多对一匹配算法进行匹配,且所述数字孪生体使用与其匹配的边缘服务器的资源进行联邦学习;
所述边缘服务器将所述数字孪生体经过联邦学习得到的模型进行聚合得到局部模型,并传输至所述云服务器中;
所述云服务器用于构建任务并发布至边缘服务器,所述边缘服务器传输至所述数字孪生体进行联邦学习;以及用于将接收的局部模型进行聚合得到全局模型并对其精度进行检验。
本实施例中,终端用户层包含物联网设备或移动用户。所有参与联邦学习的终端用户放各自生成数字孪生体,并将数字孪生体与附近的边缘服务器关联匹配,每个边缘服务器可以与多个数字孪生体进行关联,而每个数字孪生体只能与一个边缘服务器关联。对数字孪生体与边缘服务器使用多对一匹配算法关联之后,所有数字孪生体使用边缘服务器的资源进行联邦学习的训练。云服务器(任务发布者MBS)发布任务模型给所有边缘服务器,而边缘服务器将任务下发给数字孪生体,数字孪生体利用与其配对的边缘服务器的资源进行联邦学习训练。
本实施例中将数字孪生技术应用到联邦学习中,使用数字孪生体来训练联邦学习,在保障数据安全的同时,增强了数据的使用性。数字孪生体的使用也可以延长物联网设备的寿命,更有经济效益。同时使用匹配算法将数字孪生体和边缘服务器进行关联,得到更加有效稳定的配对关系,提升数据传输速率,降低通信成本。
附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种基于边缘数字孪生关联的联邦学习方法,其特征在于,包括以下步骤:
S1:参与联邦学习的用户分别生成数字孪生体;
S2:使用多对一匹配算法将数字孪生体与边缘服务器配对,使传输时延最小化;所述数字孪生体与边缘服务器配对过程中,包括以下步骤:
对每个边缘服务器q∈Q设置其相应的容量Cq,其中Q为边缘服务器的集合;
每个用户m∈M分别对每个边缘服务器q的一个非空子集进行排序,得到用户偏好集合f(m);
每个边缘服务器q分别将对其进行排序的用户进行排序,得到边缘服务器偏好集合g(q);其中当存在边缘服务器没有对其进行排序的用户时,将该边缘服务器从集合Q中删除;
设定匹配Θ表示集合M与集合Q之间的任意映射,其中当(m,q)∈M×Q在Θ中匹配,则有表示Θ(m)=q或m∈Θ-1(q);
保留有效匹配对;其中,有效匹配对同时满足以下条件:
1)对于匹配的所有用户m∈M,有Θ(m)∈f(m);
2)对于匹配的所有边缘服务器q∈Q,有
Figure FDA0003934714490000011
3)对于所有边缘服务器q∈Q,有|M-1(Q)|≤Cq
各个用户m分别从其对应的用户偏好集合f(m)中选择一个最佳匹配的边缘服务器,完成数字孪生体与边缘服务器配对;
S3:云服务器构建任务并发布至边缘服务器;
S4:边缘服务器将任务发布至数字孪生体,数字孪生体利用与其配对的边缘服务器的资源进行联邦学习,并将其局部迭代训练得到的模型传输至边缘服务器;
S5:边缘服务器将与其配对的数字孪生体训练得到的模型进行聚合得到局部模型,并将所述局部模型上传至云服务器;
S6:云服务器将其接收的局部模型进行聚合得到全局模型,检验所述全局模型精度是否达到预设的阈值,若否,则将当前的全局模型下发至边缘服务器进行训练,跳转执行S4步骤;若是,则完成当前联邦学习。
2.根据权利要求1所述的基于边缘数字孪生关联的联邦学习方法,其特征在于,所述数字孪生体与边缘服务器配对过程中的匹配条件包括:边缘服务器的数字孪生体配对数量不超过其最大限制;一个数字孪生体只能与一个边缘服务器匹配;所有进行训练的模型传输速度不能低于预设的最低传输速度Rmin
3.根据权利要求1所述的基于边缘数字孪生关联的联邦学习方法,其特征在于,用户m从其对应的用户偏好集合f(m)中选择最佳匹配的边缘服务器的步骤包括(1)或(2):
(1)考虑用户的最佳匹配:
将所有用户和边缘服务器不进行匹配;
对任意非空偏好集合的不匹配用户m,将其用户偏好集合f(m)中排序第一的边缘服务器q进行匹配;
判断:
若|M-1(q)|>Cq,则找到分配给边缘服务器q的最差配对用户m′,并取消配对(m′,q);
若|M-1(q)|=Cq,则找到分配给边缘服务器q的最差配对用户m′,对于边缘服务器q的偏好集合g(q)中排序第一的用户m直到用户m=m′,从其用户偏好集合f(m)中移除边缘服务器q,并从边缘服务器偏好集合g(q)中移除用户m,在全体配对中删除匹配对(m,q);
重复上述步骤至不存在非空偏好集合的不匹配用户m;
(2)考虑边缘服务器最佳匹配:
将所有用户和边缘服务器不进行匹配;
对任意边缘服务器q,当其容量不足时边缘服务器偏好集合g(q)中包含有未分配的用户时,将其边缘服务器偏好集合g(q)中排序第一的用户m进行匹配;
当用户m当前与其他边缘服务器q′匹配,则取消二者的匹配关系,并将用户m与边缘服务器q匹配;
对于用户m的用户偏好集合f(m)中排序第一的边缘服务器至边缘服务器q的每个候选边缘服务器,从全部配对中删除匹配对(m,q);
重复上述步骤至所有边缘服务器完成配对。
4.根据权利要求1所述的基于边缘数字孪生关联的联邦学习方法,其特征在于,所述用户偏好集合f(m)基于边缘服务器的传输速率由大到小进行排序,所述边缘服务器偏好集合g(q)基于数字孪生体的联邦学习局部训练时间由大到小进行排序。
5.根据权利要求1所述的基于边缘数字孪生关联的联邦学习方法,其特征在于,所述用户与边缘服务器之间采用正交频分多址进行无线传输。
6.根据权利要求1所述的基于边缘数字孪生关联的联邦学习方法,其特征在于,所述数字孪生体中包括用户的硬件配置信息、历史运行数据、实时状态数据。
7.根据权利要求1所述的基于边缘数字孪生关联的联邦学习方法,其特征在于,所述数字孪生体进行局部迭代训练过程中,每个数字孪生体分别设置有对应于用户的局部数据质量的局部精度εm,则局部迭代次数为
Figure FDA0003934714490000031
8.根据权利要求1所述的基于边缘数字孪生关联的联邦学习方法,其特征在于,所述S3步骤中,在所述数字孪生体进行局部迭代训练过程中,采用基于梯度下降的方法最小化其局部数据的损失函数;所述边缘服务器通过联邦平均和联邦随机梯度下降算法将所述局部模型传输至云服务器;
其中,所述局部数据的损失函数表示为:
Figure FDA0003934714490000032
式中,f(w,xj,yj)表示损失函数,w表示局部模型的参数,xj表示第j个数字孪生体的局部模型的输入样本向量,yj表示与xj对应的输出标签向量;Dj表示第j个数字孪生体的本地数据。
9.一种基于边缘数字孪生关联的联邦学习系统,应用于权利要求1~8任一项所述的联邦学习方法,其特征在于,包括终端用户层、数字孪生层、边缘服务器、云服务器,其中:
所述终端用户层包括若干终端用户,所述终端用户分别生成的数字孪生体组成所述数字孪生层;
所述数字孪生体与所述边缘服务器基于多对一匹配算法进行匹配,且所述数字孪生体使用与其匹配的边缘服务器的资源进行联邦学习;
所述边缘服务器将所述数字孪生体经过联邦学习得到的模型进行聚合得到局部模型,并传输至所述云服务器中;
所述云服务器用于构建任务并发布至边缘服务器,所述边缘服务器传输至所述数字孪生体进行联邦学习;以及用于将接收的局部模型进行聚合得到全局模型并对其精度进行检验。
CN202110708056.2A 2021-06-24 2021-06-24 一种基于边缘数字孪生关联的联邦学习方法及系统 Active CN113419857B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110708056.2A CN113419857B (zh) 2021-06-24 2021-06-24 一种基于边缘数字孪生关联的联邦学习方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110708056.2A CN113419857B (zh) 2021-06-24 2021-06-24 一种基于边缘数字孪生关联的联邦学习方法及系统

Publications (2)

Publication Number Publication Date
CN113419857A CN113419857A (zh) 2021-09-21
CN113419857B true CN113419857B (zh) 2023-03-24

Family

ID=77716618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110708056.2A Active CN113419857B (zh) 2021-06-24 2021-06-24 一种基于边缘数字孪生关联的联邦学习方法及系统

Country Status (1)

Country Link
CN (1) CN113419857B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113971090B (zh) * 2021-10-21 2022-09-13 中国人民解放军国防科技大学 分布式深度神经网络的分层联邦学习方法及装置
CN114116198B (zh) * 2021-10-21 2024-07-19 西安电子科技大学 一种移动车辆的异步联邦学习方法、系统、设备及终端
CN114125785A (zh) * 2021-11-18 2022-03-01 清华大学 数字孪生网络低时延高可靠传输方法、装置、设备及介质
CN114302421B (zh) * 2021-11-29 2024-06-18 北京邮电大学 通信网络架构的生成方法、装置、电子设备及介质
CN114375050A (zh) * 2021-12-03 2022-04-19 华北电力大学 一种数字孪生辅助的5g配电网资源调度方法
CN114492179B (zh) * 2022-01-13 2024-09-17 工赋(青岛)科技有限公司 信息处理系统、方法、装置、设备及存储介质
CN115329989B (zh) * 2022-10-13 2023-02-14 合肥本源物联网科技有限公司 边缘计算场景下基于模型分割的同步联邦学习加速方法
CN115802389B (zh) * 2023-01-17 2023-04-25 南京邮电大学 一种利用数字孪生辅助模型训练的联邦学习方法
CN116258420B (zh) * 2023-05-11 2023-08-01 中南大学 一种产品质量检测方法、装置、终端设备及介质
CN116306323B (zh) * 2023-05-19 2023-08-08 中南大学 一种数字孪生模型的确定方法、装置、终端设备及介质
CN116384513A (zh) * 2023-05-30 2023-07-04 南京邮电大学 云边端协同学习系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3291180A1 (en) * 2016-08-31 2018-03-07 Siemens Aktiengesellschaft Method for creating a digital twin of a room
WO2020264095A1 (en) * 2019-06-28 2020-12-30 CohesionIB Iot contextually-aware digital twin with enhanced discovery

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11403541B2 (en) * 2019-02-14 2022-08-02 Rockwell Automation Technologies, Inc. AI extensions and intelligent model validation for an industrial digital twin
CN110334701B (zh) * 2019-07-11 2020-07-31 郑州轻工业学院 数字孪生环境下基于深度学习和多目视觉的数据采集方法
CN110532890B (zh) * 2019-08-05 2021-10-22 安徽大学 一种基于云端、边缘端和设备端的分布式孪生卷积神经网络行人重识别方法
CN112100155B (zh) * 2020-09-09 2023-05-23 北京航空航天大学 一种云边协同的数字孪生模型组装与融合方法
CN112700639B (zh) * 2020-12-07 2022-03-08 电子科技大学 一种基于联邦学习与数字孪生的智能交通路径规划方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3291180A1 (en) * 2016-08-31 2018-03-07 Siemens Aktiengesellschaft Method for creating a digital twin of a room
WO2020264095A1 (en) * 2019-06-28 2020-12-30 CohesionIB Iot contextually-aware digital twin with enhanced discovery

Also Published As

Publication number Publication date
CN113419857A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN113419857B (zh) 一种基于边缘数字孪生关联的联邦学习方法及系统
Luo et al. HFEL: Joint edge association and resource allocation for cost-efficient hierarchical federated edge learning
Zhang et al. Dynamic task offloading and resource allocation for mobile-edge computing in dense cloud RAN
Huang et al. A cloud–MEC collaborative task offloading scheme with service orchestration
Kiani et al. Edge computing aware NOMA for 5G networks
Yang et al. Deep-reinforcement-learning-based energy-efficient resource management for social and cognitive Internet of Things
Cui et al. Client scheduling and resource management for efficient training in heterogeneous IoT-edge federated learning
Guo et al. Dynamic scheduling for heterogeneous federated learning in private 5g edge networks
Wu et al. Multi-agent reinforcement learning for cooperative coded caching via homotopy optimization
Yao et al. Cooperative task offloading and service caching for digital twin edge networks: A graph attention multi-agent reinforcement learning approach
Saleem et al. Performance guaranteed partial offloading for mobile edge computing
CN114827191B (zh) 一种车路协同系统中融合noma的动态任务卸载方法
Xu et al. Task offloading for large-scale asynchronous mobile edge computing: An index policy approach
Tan et al. Resource allocation of fog radio access network based on deep reinforcement learning
CN115802389B (zh) 一种利用数字孪生辅助模型训练的联邦学习方法
Kopras et al. Task allocation for energy optimization in fog computing networks with latency constraints
Cheng et al. Energy-efficient resource allocation for UAV-empowered mobile edge computing system
Sohaib et al. Intelligent Resource Management for eMBB and URLLC in 5G and beyond Wireless Networks
Tang et al. Distributed slice selection-based computation offloading for intelligent vehicular networks
Heidarpour et al. Soft actor–critic-based computation offloading in multiuser MEC-enabled IoT—a lifetime maximization perspective
Chen et al. Computation Time Minimized Offloading in NOMA-enabled Wireless Powered Mobile Edge Computing
Zhang et al. An Efficient Caching and Offloading Resource Allocation Strategy in Vehicular Social Networks
Zhao et al. Personalized and differential privacy-aware video stream offloading in mobile edge computing
Yang et al. Asynchronous Wireless Federated Learning with Probabilistic Client Selection
Elgendy et al. Security-aware data offloading and resource allocation for MEC systems: a deep reinforcement learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Jiang Li

Inventor after: Miao Jiahui

Inventor after: Xie Zhenghao

Inventor after: Li Haoning

Inventor before: Miao Jiahui

Inventor before: Jiang Li

Inventor before: Xie Zhenghao

Inventor before: Li Haoning

GR01 Patent grant
GR01 Patent grant