CN115936109A - 一种混合分布式学习和集中式学习的边缘智能方法 - Google Patents

Abstract

本发明公开了一种混合分布式学习和集中式学习的边缘智能方法，涉及无线通信领域。其中，在每轮通信中，每个用户将部分采集到的数据发送至边缘服务器，同时被选中参与联邦学习的部分用户也会在本地进行学习模型训练。在完成数据发送和本地模型训练后，用空中计算方法将聚合后的联邦学习模型发给边缘服务器。边缘服务器收到用户数据和聚合模型后，通过使用用户数据进行训练生成集中学习的模型并与联邦学习的模型混合后得到最终的全局模型。本发明为充分利用用户终端采集的数据和边缘计算服务器的强大计算能力提供了一种有效的混合分布式学习和集中式学习的方法。

Description

一种混合分布式学习和集中式学习的边缘智能方法

技术领域

本发明涉及无线通信领域，尤其涉及一种混合分布式学习和集中式学习的边缘智能方法。

背景技术

随着5G技术的发展和物联网(IoT)的普及，由地理上的网络边分布广泛的移动终端和IoT设备所生成的数据比大型云数据中心生成的数据还要多。未来的无线网络将需要支持大规模设备的同时接入。另外，根据预测，到2025年，全球物联网产生数据的70％都要在网络边缘处理。同时，人们在日常生活中使用这些智能终端设备时对其服务质量的需求有了进一步的提高。在这种情形下，用传统的云集中式处理模式将无法高效率地处理这些网络边缘数据，也不能满足用户对智能终端高服务质量的需求。传统云计算在处理网络边缘数据时存在三点不足：实时性不够；带宽不足；能耗较大。为了解决以上问题，更适用的方式是直接在边缘网络侧处理用户需求，这催生了一种全新的计算范式——边缘计算(EdgeComputing)。边缘计算将云服务从网络核心推向更接近物联网设备和数据源的网络边缘。通过这种技术，数据可以在网络边缘进行实时处理，以实现数据流加速的目的。从本质上讲，与传统基于云的计算模式相比，边缘计算使得计算和数据源之间的物理距离更加接近，大大降低了数据传输的时延，缓解了网络带宽的压力，减少了数据通信的能耗，使得用户的服务质量大大提升。

另外随着人工智能的发展和普及，催生了人们将边缘计算与人工智能进行结合的想法，这也就产生了边缘智能(Edge Intelligence)。通过在网络边缘的终端用户产生的数据在边缘训练人工智能。

实现边缘智能的方法有在边缘服务器上通过收集终端用户数据进行集中式学习方法，以及用户在本地训练的分布式学习方法。联邦学习作为实现分布式学习的一种常用方法，它将每个用户的本地模型进行加权平均获得全局模型，联邦学习只需要每个用户将模型参数传输至服务器，不需要具体隐私数据。

空中计算技术利用无线多址信道的自然叠加特性，在信号传输的过程中完成目标函数的计算。该技术适合用于无线通信中实现联邦学习的模型聚合。为了充分利用边缘服务器的计算性能和终端用户的数据，将分布式学习和集中式学习结合实现边缘智能系统的人工智能训练，同时使用基于空中计算技术的联邦学习来实现分布式学习。

然而由于终端用户的计算能力和数据数量的差异，为了提高最终产生的全局人工智能模型的性能，只能选择部分设备参与联邦学习。同时为了减小边缘服务器接收到的聚合模型误差，必须要正确设计波束成形矢量和每个用户的发射功率。

发明内容

本发明的目的在于克服现有技术中的缺陷，以充分利用边缘服务器的计算性能和终端用户的数据提高边缘只能系统生成的全局人工智能模型的性能，提出了一种混合分布式学习和集中式学习的边缘智能方法。

本发明所采用的具体技术方案如下：

本发明提供了一种混合分布式学习和集中式学习的边缘智能方法，包括如下步骤：

1)基于拥有K个用户和一个边缘服务器的边缘智能系统，边缘服务器通过信道估计，获得第k个用户的信道状态信息

获得的信道状态信息与真实的信道状态信息之间有误差，真实的信道状态信息

其中，e_k为信道误差，ε_k为信道误差的上界；

2)每轮通信中，边缘服务器根据获得的信道状态信息

发送到边缘服务器的用户采集数据集大小|D^C|以及每个用户可用于联邦学习的数据集大小|D^F _k|，为边缘服务器设计接收波束z，为第k个用户设计发射功率p_k和选择因子α_k∈{0，1}，0代表不参与联邦学习，1代表参与联邦学习；

3)每个用户将本地的部分数据发送至边缘服务器，发送的同时第k个用户根据选择因子α_k，决定是否进行本地模型训练；在本地训练完成和本地数据发送完成后，边缘服务器用接收到的用户数据进行集中式学习，同时，满足α_k＝1的用户以发射功率p_k将本地训练得到的模型参数w_k发送至边缘服务器，这些模型参数以空中计算方式进行聚合，边缘服务器以设计好的接收波束z接收到聚合信号；

4)边缘服务器接收到聚合信号并完成集中式训练后，对联邦学习获得的模型和集中学习获得的模型进行加权平均，进而获得最终的全局模型。

作为优选，所述步骤2)的每轮通信中，边缘服务器接收波束、用户发射功率和用户选择因子的设计方法具体如下：

a)初始化设备选择向量α＝[α₁，α₂，...α_K]^T＝[1，1，...1]^T，初始化发射功率p_k＝P_max/2，P_max为用户最大发射功率；

b)全局模型的准确程度用期望模型与生成模型的损失函数间的均方误差来表示，均方误差

其中w^*是最优模型，F(·)是损失函数，训练完成后获得的全局模型

为上一轮产生的全局模型，

为边缘服务器获得的联邦学习模型，w^C为基站集中学习产生的模型，

均方误差的上边界表示为：

其中

表示基站实际接收到聚合后的联邦学习模型和理想的无误差的聚合后的联邦学习模型间的均方误差，G²为损失函数梯度的均方上限，损失函数的Lipschitz常数为L且为λ强凸；

其中，

为噪声功率；

简化后得到

的上界

最小化

可以通过最小化其上界来近似实现；建立优化问题：

P：

s.t.0≤p_k≤P_max，k＝1，2，...，K，

α_k∈{0，1}，k＝1，2，...，K；

c)将优化问题P拆解为两个子问题，通过交替优化迭代求解；根据初始化的[α₁，α₂，...α_K]^T＝[1，1，...1]^T，将问题P转化为第一个子问题P1，固定参与联邦学习的用户，优化接收波束z和发射功率p_k，即：

P1：

s.t.0≤p_k≤P_max，k＝1，2，...，K；

将问题P1拆解为两个子问题，通过交替优化求解；根据初始化的p_k＝P_max/2，问题P1转化为问题P2：

P2：

a_k≥0，k＝1，2，...，K，

φ_k≥0，k＝1，2，...，K，

其中a_k，φ_k为引入变量，通过CVX工具包求解问题P2得到z，将得到的z代入问题P1得到问题P3：

P3：

a_k≥0，k＝1，2，...，K，

φ_k≥0，k＝1，2，...，K，

0≤p_k≤P_max，k＝1，2，...，K，

P_k ²≤p_k

通过CVX工具包求解问题P2得到p_k；通过交替求解问题P2和问题P3并将得到的优化变量结果代入问题P1，得到新的问题P2和问题P3来迭代求解直至收敛，获得问题P1的解z，p_k；

将问题P1的解代入问题P得到问题P4：

P4：

s.t.α_k∈{0，1}，k＝1，2，...，K；

问题P4为0-1二次分式规划问题，将其转化为线性规划问题求解得到α_k；通过交替求解问题P1和问题P4，并将得到的优化变量结果代入问题P得到新的问题P1和问题P4来迭代求解直至收敛，获得问题P的解z，p_k，α_k。

进一步的，所述步骤c)中，每轮交替优化迭代过程中都调用CVX工具包求解。

进一步的，所述步骤3)中，空中计算方式进行聚合的方法为：α_k＝1的用户k采用步骤c)中优化得到的发射功率p_k发射信号

为方便表示，每个时隙发送的信号都记为s_k；为边缘服务器根据步骤c)中优化得到的接收波束z接收空中聚合信号

得到

n为噪声。

作为优选，所述步骤4)中获得全局模型的方法为：使用用户上传得数据进行学习得到模型参数w^C，再根据接收到的信号得到

)；全局模型

为上一轮产生的全局模型。

本发明相对于现有技术而言，具有以下有益效果：

本发明提出的混合分布式学习和集中式学习的边缘智能方法充分利用了边缘服务器的计算能力和用户采集的数据，同时用户的部分隐私数据可以以联邦学习的方式在不泄露的前提下充分利用。使用空中计算实现联邦学习模型聚合的方式也大大降低了通信计算成本。整个方法也能提高最终获得的全局模型性能。

附图说明

图1是本发明方法的框图；

图2是在本发明方法与只进行联邦学习、进行混合学习但不进行联邦学习的设备选择在不同信噪比下所获得的模型参数的损失函数与期望模型的损失函数间的均方误差；

图3是本发明与其他两种方法(即只进行联邦学习、进行混合学习但不进行联邦学习)在不同信噪比下获得的全局模型的准确率。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。

混合分布式学习和集中式学习的边缘智能方法框图如图1所示，边缘服务器有N根天线，每个用户配置1根天线。边缘服务器基于部分信道状态信息和每个用户训练用途和上传用途数据集大小选择哪些用户参与联邦学习以及该用户传输模型时的发射功率，同时为自己设计接收波束。本发明的一种在混合分布式学习和集中式学习的边缘智能方法，其步骤如下：

1)K个用户和一个边缘服务器构成一个边缘智能系统；

2)边缘服务器通过信道估计，获得第k个用户的信道状态信息

获得的信道状态信息与真实的信道状态信息之间有误差，真实的信道状态信息

其中，e_k为信道误差，ε_k为信道误差的上界；

3)每轮通信中，边缘服务器根据获得的信道状态信息

发送到边缘服务器的用户采集数据集大小|D^C|以及每个用户可用于联邦学习的数据集大小|D^F _k|，为边缘服务器设计接收波束z，为第k个用户设计发射功率p_k和选择因子α_k∈{0，1}，0代表不参与联邦学习，1代表参与联邦学习；

本步骤中的每轮通信边缘服务器接收波束、用户发射功率、用户选择设计方法为：

a)初始化设备选择向量α＝[α₁，α₂，...α_K]^T＝[1，1，...1]^T，初始化发射功率p_k＝P_max/2，P_max为用户最大发射功率；

b)全局模型的准确程度可以用期望模型与生成模型的损失函数间的均方误差来表示，均方误差

其中w^*是最优模型，F(·)是损失函数，训练完成后获得的全局模型

为上一轮产生的全局模型，

为边缘服务器获得的联邦学习模型，w^C为基站集中学习产生的模型。

均方误差的上边界可以表示为：

其中

表示基站接收到聚合模型和实际聚合模型间的均方误差，G²为损失函数梯度的均方上限，损失函数的Lipschitz常数为L且为λ强凸。

其中，

为噪声功率。

将不等式

和

带入

简化求得

的上界

最小化

可以通过最小化其上界来近似实现。建立优化问题P：

P：

s.t.0≤p_k≤P_max，k＝1，2，...，K，

α_k∈{0，1}，k＝1，2，...，K；

c)可将优化问题P拆解为两个子问题，通过交替优化迭代求解。根据初始化的[α₁，α₂，...α_K]^T＝[1，1，...1]^T，将问题转化为第一个子问题P1，固定参与联邦学习的用户，优化接收波束z和发射功率p_k，即：

P1：

s.t.0≤p_k≤P_max，k＝1，2，...，K。

问题P1也可以拆解为两个子问题，通过交替优化求解。根据初始化的p_k＝P_max/2，问题P1转化为：

P2：

a_k≥0，k＝1，2，...，K，

φ_k≥0，k＝1，2，...，K，

其中a_k，φ_k为引入变量，通过CVX工具包求解问题P2得到z，将得到的z代入问题P1得到问题P3：

P3：

a_k≥0，k＝1，2，...，K，

φ_k≥0，k＝1，2，...，K，

0≤p_k≤P_max，k＝1，2，...，K，

P_k ²≤p_k

通过CVX工具包求解问题P2得到p_k。通过交替求解P2，P3并将得到的优化变量结果代入P1得到新的P2，P3来迭代求解直至收敛，获得问题P1的解z，p_k。

将问题P1的解代入问题P得到问题P4：

P4：

s.t.α_k∈{0，1}，k＝1，2，...，K。

该问题为0-1二次分式规划问题，可以将其转化为线性规划问题求解得到α_k。通过交替求解P1，P4并将得到的优化变量结果代入P得到新的P1，P4来迭代求解直至收敛，获得问题P的解z，p_k，α_k。其中每轮迭代过程中都调用CVX工具包求解。

4)每个用户将本地的部分数据发送至边缘服务器，发送的同时第k个用户根据选择因子α_k，决定是否进行本地模型训练。在本地训练完成和本地数据发送完成后。边缘服务器用接收到的用户数据进行集中式学习，同时满足α_k＝1的用户以p_k将本地训练得到的模型参数w_k发送至边缘服务器，这些模型参数以空中计算方式进行聚合，边缘服务器以设计好的接收波束z接收到聚合信号；

本步骤中的空中计算模型聚合方法为：α_k＝1的用户k采用步骤c)中优化得到的发射功率p_k发射信号s_k＝|D^F _k|w_k，

为方便表示，每个时隙发送的信号都记为s_k。为边缘服务器根据步骤c)中优化得到的接收波束z接收空中聚合信号

得到

n为噪声。

5)边缘服务器接收到聚合信号并完成集中式训练后，对联邦学习获得的模型和集中学习获得模型进行加权平均获得最终的全局模型。

本步骤中获得全局模型得方法为：使用用户上传得数据进行学习得到模型参数wc，再根据接收到的信号得到

全局模型

为上一轮产生的全局模型。

为了验证本发明的效果，还与其余两种方法(即只进行联邦学习、进行混合学习但不进行联邦学习)进行了对比试验，结果如下：

如图2所示，所提出的算法获得的全局机器学习模型与理论最优模型间的均方误差上界明显小于其他两种方法获得的模型与理论最优模型间的均方误差上界，这说明所提出的算法获得的全局机器学习模型与理论最优模型更接近。

如图3所示，所提出的算法获得的全局机器学习模型在手写数字识别中的准确率高于其他两种方法获得的全局模型，这说明所提出的算法对于全局模型有明显的提升。

通过上述的计算机仿真表明，本发明提出的方法相较于其他两种方法获得的全局模型性能更好，且随信噪比增大而性能增强。因此，本发明提出的混合分布式学习和集中式学习的边缘智能方法为边缘智能系统的模型训练提供了一种可行且有效的方法。

本发明的方法可以基于集中式学习和分布式学习联合生成学习模型。它既能充分利用用户终端采集的数据，又能充分利用边缘计算服务器的强大计算能力。本方法中采用联邦学习的方法来实现分布式学习。边缘服务器以最优化全局模型的精度为目标，根据每个用户的信道状态信息和可用于本地模型训练的数据集大小优化设计边缘服务器的接收波束、选择哪些用户参与联邦学习以及用户传输模型和传输数据时的发射功率。在每轮通信中，每个用户将部分采集到的数据发送至边缘服务器，同时被选中参与联邦学习的部分用户也会在本地进行学习模型训练。在完成数据发送和本地模型训练后，用空中计算方法将聚合后的联邦学习模型发给边缘服务器。边缘服务器收到用户数据和聚合模型后，通过使用用户数据进行训练生成集中学习的模型并与联邦学习的模型混合后得到最终的全局模型。本发明为充分利用用户终端采集的数据和边缘计算服务器的强大计算能力提供了一种有效的混合分布式学习和集中式学习的方法。

以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (5)

1.一种混合分布式学习和集中式学习的边缘智能方法，其特征在于，包括如下步骤：

1)基于拥有K个用户和一个边缘服务器的边缘智能系统，边缘服务器通过信道估计，获得第k个用户的信道状态信息

获得的信道状态信息与真实的信道状态信息之间有误差，真实的信道状态信息

||e_k||≤ε_k；其中，e_k为信道误差，ε_k为信道误差的上界；

2)每轮通信中，边缘服务器根据获得的信道状态信息

发送到边缘服务器的用户采集数据集大小|D^C|以及每个用户可用于联邦学习的数据集大小|D^F _k|，为边缘服务器设计接收波束z，为第k个用户设计发射功率p_k和选择因子α_k∈{0,1}，0代表不参与联邦学习，1代表参与联邦学习；

3)每个用户将本地的部分数据发送至边缘服务器，发送的同时第k个用户根据选择因子α_k，决定是否进行本地模型训练；在本地训练完成和本地数据发送完成后，边缘服务器用接收到的用户数据进行集中式学习，同时，满足α_k＝1的用户以发射功率p_k将本地训练得到的模型参数w_k发送至边缘服务器，这些模型参数以空中计算方式进行聚合，边缘服务器以设计好的接收波束z接收到聚合信号；

4)边缘服务器接收到聚合信号并完成集中式训练后，对联邦学习获得的模型和集中学习获得的模型进行加权平均，进而获得最终的全局模型。

2.根据权利要求1所述的混合分布式学习和集中式学习的边缘智能方法，其特征在于，所述步骤2)的每轮通信中，边缘服务器接收波束、用户发射功率和用户选择因子的设计方法具体如下：

a)初始化设备选择向量α＝[α₁,α₂,…α_K]^T＝[1,1,…1]^T，初始化发射功率p_k＝P_max/2，P_max为用户最大发射功率；

b)全局模型的准确程度用期望模型与生成模型的损失函数间的均方误差来表示，均方误差

其中w^*是最优模型，F(·)是损失函数，训练完成后获得的全局模型

为上一轮产生的全局模型，

为边缘服务器获得的联邦学习模型，w^C为基站集中学习产生的模型，

均方误差的上边界表示为：

其中

表示基站实际接收到聚合后的联邦学习模型和理想的无误差的聚合后的联邦学习模型间的均方误差，G²为损失函数梯度的均方上限，损失函数的Lipschitz常数为L且为λ强凸；

其中，

为噪声功率；

简化后得到

的上界

最小化

可以通过最小化其上界来近似实现；建立优化问题：

s.t.0≤p_k≤P_max,k＝1,2,…,K,

α_k∈{0,1},k＝1,2,…,K；

c)将优化问题P拆解为两个子问题，通过交替优化迭代求解；根据初始化的[α₁,α₂,…α_K]^T＝[1,1,…1]^T，将问题P转化为第一个子问题P1，固定参与联邦学习的用户，优化接收波束z和发射功率p_k，即：

s.t.0≤p_k≤P_max,k＝1,2,…,K；

将问题P1拆解为两个子问题，通过交替优化求解；根据初始化的p_k＝P_max/2，问题P1转化为问题P2：

a_k≥0,k＝1,2,…,K,

φ_k≥0,k＝1,2,…,K,

其中a_k,φ_k为引入变量，通过CVX工具包求解问题P2得到z，将得到的z代入问题P1得到问题P3：

a_k≥0,k＝1,2,…,K,

φ_k≥0,k＝1,2,…,K,

0≤p_k≤P_max,k＝1,2,…,K,

P_k ²≤p_k

通过CVX工具包求解问题P2得到p_k；通过交替求解问题P2和问题P3并将得到的优化变量结果代入问题P1，得到新的问题P2和问题P3来迭代求解直至收敛，获得问题P1的解z,p_k；

将问题P1的解代入问题P得到问题P4：

s.t.α_k∈{0,1},k＝1,2,…,K；

问题P4为0-1二次分式规划问题，将其转化为线性规划问题求解得到α_k；通过交替求解问题P1和问题P4，并将得到的优化变量结果代入问题P得到新的问题P1和问题P4来迭代求解直至收敛，获得问题P的解z,p_k,α_k。

3.根据权利要求2所述的一种混合分布式学习和集中式学习的边缘智能方法，其特征在于，所述步骤c)中，每轮交替优化迭代过程中都调用CVX工具包求解。

4.根据权利要求2所述的一种混合分布式学习和集中式学习的边缘智能方法，其特征在于，所述步骤3)中，空中计算方式进行聚合的方法为：α_k＝1的用户k采用步骤c)中优化得到的发射功率p_k发射信号s_k＝|D^F _k|w_k，

为方便表示，每个时隙发送的信号都记为s_k；为边缘服务器根据步骤c)中优化得到的接收波束z接收空中聚合信号

得到

n为噪声。

5.根据权利要求1所述的一种在混合分布式学习和集中式学习的边缘智能方法，其特征在于，所述步骤4)中获得全局模型的方法为：使用用户上传得数据进行学习得到模型参数w^C，再根据接收到的信号得到

全局模型

为上一轮产生的全局模型。

Images