CN114051222A - 一种车联网环境下基于联邦学习的无线资源分配和通信优化方法 - Google Patents

Abstract

本发明公开了一种车联网环境下基于联邦学习的无线资源分配和通信优化方法，该方法基于车联网环境中基站与车辆用户设备的交互构建系统模型，利用Jonker Volgenant、遍历和随机梯度量化算法，对车联网环境下基于联邦学习的无线资源分配和通信过程进行优化。该方法首先利用Jonker Volgenant算法，根据车辆用户设备通信的信道状态和数据集大小迭代求出车辆用户与无线资源块的最佳匹配；然后，提出采用遍历算法选择训练性能高的车辆用户以高效和快速地构建全局模型；最后，提出采用随机梯度量化算法来优化联邦学习上行链路的通信过程，旨在减少车辆用户传输至基站模型参数的比特大小，以节省车辆用户的通信资源，提高收敛精度和最小化训练损失。

Description

一种车联网环境下基于联邦学习的无线资源分配和通信优化 方法

技术领域

本发明涉及通信技术领域，特别是涉及一种车联网环境下基于联邦学习(Federated Learning,FL)的无线资源分配和通信优化方法。

背景技术

随着移动通信技术的快速发展，物联网成为新一代信息技术的研究热点。车联网(Internet of Vehicles,IoV)作为物联网的一个重要分支，有望成为智能交通系统中的重要组成部分，用以改善道路交通安全问题和驾驶员的驾乘环境。由于车辆设备本身计算和通信资源的有限性，因此如何快捷且高效地分配资源愈发迫切，另外加之人们隐私保护意识的增强，联邦学习(Federated Learning,FL)成为解决上述问题的有效技术之一。

FL是一种分布式机器学习方法，用于建立车辆用户设备与服务器之间的共享模型，即各个车辆用户对本地模型数据进行训练，然后将获得的模型训练参数上传至基站(Base Station,BS)，再由BS进行聚合更新，然后不断迭代直至达到给定迭代次数的学习方法。与传统的机器学习相比，FL能够提高学习效率，并且保护数据隐私。

将FL引入车联网场景中，可以在节省车辆用户用于传输数据所消耗的通信资源，同时保护车辆用户的隐私。

发明内容

针对现有技术的不足，本发明提供了车联网环境下基于FL的无线资源分配和通信优化方法的设计。

一种车联网环境下基于联邦学习的无线资源分配和通信优化方法，包括以下步骤：

S1、基站与车辆用户设备交互时，基站收集车辆用户设备工作的基本信息，同时进行初始化过程；

S2、基站判断步骤S1收集车辆用户信息用于训练本地模型参数、传输本地模型训练参数至基站和接收全局模型参数的延迟及用于训练和传输参数至基站的能耗是否满足预设门限值，若是则执行步骤S3，否则返回S1；

S3、基站根据车辆用户通信的信道状态和数据集大小，对满足S2预设门限值条件的车辆用户利用Jonker Volgenant算法对当前满足要求的车辆用户设备分配无线资源块；

S4、基站采用遍历算法判断车辆用户设备用于训练和传输本地模型训练参数的延迟以及能耗是否满足预设门限值，若是则参与联邦学习的迭代过程，否则返回S1；

S5、参与迭代过程的车辆用户设备采用随机梯度量化算法对本地模型训练参数进行Elias编码压缩，然后将其传输至基站；

S6、基站对接收的模型参数进行Elias解码并加权聚合，将聚合更新后的全局模型参数广播至各个车辆用户设备；

S7、车辆用户设备根据基站传输的全局模型参数更新本地模型训练参数，返回所述步骤S1。

IoV场景下车辆用户基于FL的通信模型如图1所示。假设半径为r＝500m的车辆路段，其有一个BS(Base Station,BS)与N个车辆用户，BS位于该区域的中心位置，车辆用户随机地分布在该区域，车辆用户由集合U＝{1，2，...，N}表示。在工作过程中，BS与车辆用户设备相互配合，每个车辆用户设备根据本地数据训练模型，训练完成后将本地模型训练参数上传至BS进行聚合更新得到全局模型参数，然后BS将全局模型参数再广播至各个参与的车辆用户设备，就这样循环上述过程直至达到给定的迭代次数。

本发明所考虑的模型有两个通信阶段，分别为本地设备的局部模型训练参数上传至BS(上行链路通信)和BS将全局模型参数广播至各个车辆用户(下行链路通信)。对于上行链路通信，我们考虑采用时分多址协议进行参数传输。

BS收集车辆用户工作的基本信息指车辆用户设备工作的基本参数，包括车辆用户设备n的有效电容系数σ_n，用户设备n的CPU工作频率f_n和用户设备n处理一个参数所需要的CPU周期数c_n等，同时进行初始化过程，包括车辆用户设备的数据集、本地模型训练参数等，可得出车辆用户设备n和BS的参数传输速率，分别表示为：

其中B^u和B^d分别表示上行链路和下行链路的传输带宽，N₀表示噪声功率谱密度，p_n和p_B分别表示车辆用户设备n和BS传输模型参数的功率，h_n表示车辆用户n和BS之间的信道增益，I'_n和I'_B表示不参与FL算法的车辆用户和BS对参与FL算法的车辆用户和BS的干扰；

车辆用户用于训练本地模型、传输本地模型训练参数至基站和接收全局模型参数的延迟表示为：

其中

和

分别表示车辆用户在每一次迭代过程中的本地模型训练延迟、上行链路的参数传输延迟、下行链路接收参数的延迟，所以总延迟表示为

w表示车辆用户的本地模型训练参数，H(w)表示车辆用户传输至基站的本地模型训练参数大小，g表示全局模型参数，H(g)表示基站广播至各个车辆用户全局模型参数的大小，K_n表示车辆用户n本地训练数据集的大小；

车辆用户在每一次迭代过程中用于训练本地模型和传输本地模型训练参数至基站的能耗分别表示为：

因为基站是连续供电的，所以本发明未考虑基站的能量消耗，故每一次迭代过程的总能耗表示为

车辆用户设备通信的信道状态和数据集大小联合表示为：

Z＝K_n(q_n,D-1)

其中

表示无线信道中的分组错误率；

本发明采用JonkerVolgenant算法根据车辆用户设备传输参数的信道状态和数据集大小寻找车辆用户与无线资源块之间的最优匹配，使总成本最小。首先给定三组对象：A＝[u₁,u₂,…,u_N]，B＝[r₁,r₂,…,r_N]及C＝c[a，b]∈R^N×N，分别表示满足S2要求的车辆用户、无线资源块向量及寻找最优匹配时的成本矩阵。车联网环境下车辆用户与无线资源块向量的最优匹配问题可以表示为：

minimize∑_abc[a,b]·x[a,b]

s.t.

∑_bx[a,b]＝1(a＝1…N)

∑_ax[a,b]＝1(b＝1...N)

x[a,b]≥0(a,b＝1...N)

其中，c[a,b]为将无线资源块分配给车辆用户时的成本矩阵，x[a,b]为二进制矩阵，x[a,b]＝1，表示u_a对应于r_b，否则为0。

将无线资源分配问题视为最小化成本的求解问题表述如下：

maximumΣ_au[a]+Σ_bv[b]

s.t.

c[a,b]-u[a]-v[b]≥0(a,b＝1…N)

上述最小化成本问题的求解，是无线资源分配的关键步骤，即构建辅助网络，寻找增广路径，进行车辆用户设备与无线资源块的最优匹配。构建辅助网络后，更新最小化成本问题中u[a]和v[b]的值：

c[a,k]-u[a]-v[k]＝0ifx[a]＝k(a＝1...N) (1)

c[a,b]-u[a]-v[b]≥0(a,b＝1…N) (2)

将(1)和(2)结合可得：

c[a,k]-v[k]≤c[a,b]-v[b]

本发明将车辆用户在本地训练模型参数、传输本地模型参数至BS的延迟和能耗作为车辆用户能否加入FL迭代过程的标准，利用遍历算法来选择训练性能高的车辆用户设备参与FL的迭代过程，以加速FL聚合和更新全局模型参数的进程。

车辆用户设备用于本地训练和传输本地模型训练参数的总延迟表示为：

在每一迭代过程中，车辆用户设备用于本地模型训练和传输本地模型训练参数至基站的能耗表示为：

本发明提出采用随机梯度量化算法来减少车辆用户传输至BS的参数比特大小，以节省车辆用户的通信资源。量化作为模型压缩的一个重要分支，对于减少参数传输的比特大小是高效的，d维模型参数向量w的量化函数表示为：

Q_S(w_i)＝||w||₂·sgn(w_i)·ξ_i(w,s)w≠0

其中ξ_i(w,s)'s是独立的随机变量，表示为：

其中，s对应于量化级别的数量，l∈[0,s)是使|w_i|/||w||₂∈[l/s，(l+1)/s)的整数；

量化后，本地模型参数更新表示为：

其中t表示当前迭代过程，η表示学习速率，

表示车辆用户n在第t次迭代过程中使用本地数据执行模型训练时的梯度；

基站将接收到的车辆用户n的本地模型训练参数采用Elias解码，然后将其加权聚合，表示为：

其中N”表示满足步骤S4预设延迟和能耗阈值的车辆用户，←表示赋值关系即将右边的值赋给左边，左边的式子是右边的简单表示；

基站使用加权聚合后的参数更新全局模型参数，再将更新后的全局模型参数w”_t+1广播至参与迭代过程的车辆用户以进行下一迭代轮次的更新表示为：

基于上述分析，模型训练的全局损失函数在整个学习过程表示为：

其中

K表示车辆用户数据样本的总数，

本发明的优化目标是在提高收敛精度的同时，最大化损失函数的衰减，也即降低训练损失，该优化问题可以表述为：

minimize F(w)

s.t.

0≤P_n≤P_max (5)

∑_n∈Nu_n≤r_N (7)

其中(6)表示每个资源块向量只能分配给一个用户，(7)表示车辆用户设备的数量要小于资源块向量的数量。

为了实现上述目标，我们将在迭代过程中进一步分析并用学习效率来表示模型的训练效果：

s.t.

(3)-(7)

结合本发明的IoV场景，改进的基于FL的无线资源分配和通信过程优化算法的流程表如表1所示。

表1车联网环境下基于FL的无线资源分配和通信优化方法

附图说明

图1车联网环境下基于FL的车辆用户与基站之间的通信模型

图2基站与每个车辆用户之间的距离

图3不同量化比特下FL的全局收敛精度

图4不同无线资源分配算法影响下FL的全局收敛精度

图5不同车辆密度下的损失衰减

具体实施方式

本发明在Matlab2018a中进行设计仿真。假设有一个半径为r＝500m的车辆路段，该路段中心有一个BS和15个随机分布的车辆用户。

仿真参数设置如表2所示

表2仿真参数设置

为了验证本发明所述方法，本发明选取参数未量化的训练精度与参数量化为2bit、4bit和8bit作为对比基线，以证明本发明所述利用随机梯度量化算法优化上行链路通信的有效性。

图3是未量化局部模型参数的无线资源分配方法与量化局部模型参数之后的无线资源分配方法对比，将局部模型参数量化为2bit、4bit和8bit与未量化相比，精度分别降低了38.83％、7.62％和0.3％。可以看到在图中训练精度有明显的锯齿形状，致使在某些迭代轮次中参数未量化的训练精度低于参数量化为8bit的训练精度，这是因为局部模型参数上传至BS时容易受到数据包错误率的影响，而参数量化的训练精度相较于参数未量化较为平缓是因为随机梯度量化算法的编码功能，参数量化后再传输受数据包错误率的影响较小。此外考虑到与未量化的参数相比，量化一方面可以节省车辆用户设备传输本地模型训练参数至基站的通信资源消耗，另一方面参数量化可以增加恶意用户推断出局部参数的难度，提升保护车辆用隐私的能力。

图4是不同资源分配方法影响下(Jonker Volgenant算法、匈牙利算法和未优化用户选择的Jonker Volgenant算法)FL全局模型的收敛曲线。Jonker Volgenant算法进行迭代求解时相较于匈牙利算法优化了行和列的初始化及最短路径的实现方法减少了计算时间，而第二个对比基线没有采用遍历算法优化用户选择，所以本发明所采用的JonkerVolgenant算法优于两种对比基线。

图5是不同车辆密度下的损失衰减。随着车辆密度的增加，本发明所提出的方法可以使用更多的数据样本进行训练，训练损失逐渐减小，效果仍优于对比基线。

Claims (8)

1.一种车联网环境下基于联邦学习的无线资源分配和通信优化方法，其特征在于，包括以下步骤：

S1、基站与车辆用户设备交互时，基站收集车辆用户设备工作的基本信息，同时进行初始化过程；

S2、基站判断步骤S1收集车辆用户信息用于训练本地模型参数、传输本地模型训练参数至基站和接收全局模型参数的延迟及用于训练和传输参数至基站的能耗是否满足预设门限值，若是则执行步骤S3，否则返回S1；

S3、基站根据车辆用户通信的信道状态和数据集大小，对满足S2预设门限值条件的车辆用户利用Jonker Volgenant算法对当前满足要求的车辆用户设备分配无线资源块；

S4、基站采用遍历算法判断车辆用户设备用于训练和传输本地模型训练参数的延迟以及能耗是否满足预设门限值，若是则参与联邦学习的迭代过程，否则返回S1；

S5、参与迭代过程的车辆用户设备采用随机梯度量化算法对本地模型训练参数进行Elias编码压缩，然后将其传输至基站；

S6、基站对接收的模型参数进行Elias解码并加权聚合，将聚合更新后的全局模型参数广播至各个车辆用户设备；

S7、车辆用户设备根据基站传输的全局模型参数更新本地模型训练参数，返回所述步骤S1。

2.如权利要求1所述的一种车联网环境下基于联邦学习的无线资源分配和通信优化方法，其特征在于，所述步骤S1收集的车辆用户设备工作的基本信息包括车辆用户设备工作的基本参数，用户设备n的有效电容系数σ_n，用户设备n的CPU工作频率f_n和用户设备n处理一个参数所需要的CPU周期数c_n，同时进行初始化过程，包括车辆用户设备的数据集、本地模型参数，可得出车辆用户设备n和基站的参数传输速率，分别表示为：

其中B^u和B^d分别表示车辆用户传输本地模型训练参数至基站上行链路和基站传输全局模型参数至车辆用户下行链路的传输带宽，N₀表示噪声功率谱密度，p_n和p_B分别表示车辆用户设备n和基站传输模型参数的功率，h_n表示车辆用户设备n和基站之间的信道增益，I′_n和I′_B表示不参与FL算法的车辆用户和基站对参与FL算法的车辆用户和基站的干扰。

3.如权利要求2所述的一种车联网环境下基于联邦学习的无线资源分配和通信优化方法，其特征在与，所述步骤S2车辆用户n用于训练本地模型参数、传输本地模型训练参数至基站和接收全局模型参数的延迟表示为：

其中

和

分别表示车辆用户在每一次迭代过程中的本地模型训练延迟、上行链路的参数传输延迟、下行链路接收参数的延迟，总延迟表示为

w表示车辆用户的本地模型训练参数，H(w)表示车辆用户传输至基站的本地模型训练参数大小，g表示全局模型参数，H(g)表示基站广播至各个车辆用户全局模型参数的大小，K_n表示车辆用户n本地训练数据集的大小；

车辆用户在每一次迭代过程中用于训练本地模型和传输本地模型训练参数至基站的能耗分别表示为：

每一次迭代过程的总能耗表示为

4.如权利要求3所述的一种车联网环境下基于联邦学习的无线资源分配和通信优化方法，其特征在于，所述步骤S3包括以下分步骤：

S31、车辆用户设备通信的信道状态和数据集大小联合表示为：

Z＝K_n(q_n，D-1)

其中

表示无线信道中的分组错误率；

S32、采用Jonker Volgenant算法根据车辆用户设备通信的信道状态和数据集大小寻找车辆用户与无线资源块之间的最优匹配，使总成本最小；首先给定三组对象A＝[u₁，u₂，...，u_N]，B＝[r₁，r₂，...，r_N]及C＝c[a，b]∈R^N×N，分别表示满足S2要求的车辆用户、无线资源块向量及寻找最优匹配时的成本矩阵；车联网环境下车辆用户与无线资源块向量的最优匹配问题表示为：

minimize ∑_abc[a，b]·x[a，b]

s.t.

∑_bx[a，b]＝1(a＝1...N)

∑_ax[a，b]＝1(b＝1...N)

x[a，b]≥0 a，b＝(1...N)

其中，c[a，b]为将无线资源块分配给车辆用户时的成本矩阵，a表示成本矩阵C的行，b表示成本矩阵C的列，x[a，b]为二进制矩阵，x[a，b]＝1，表示车辆用户u_a对应于无线资源块向量r_b，否则为0；

S33、将无线资源分配问题视为最小化成本的求解问题表述如下：

maximum ∑_au[a]+∑_bv[b]

s.t.

c[a，b]-u[a]-v[b]≥0(a，b＝1...N)

上述最小化成本问题的求解，是无线资源分配的关键步骤，即构建辅助网络，寻找增广路径，迭代直至找到车辆用户设备与无线资源块的一一对应关系；构建辅助网络后，更新最小化成本问题中u[a]和v[b]的值：

c[a，k]-u[a]-v[k]＝0 if x[a]＝k(a＝1...N) (1)

c[a，b]-u[a]-v[b]≥0(a，b＝1...N) (2)

将(1)和(2)结合得：

c[a，k]-v[k]≤c[a，b]-v[b]。

5.如权利要求4所述的一种车联网环境下基于联邦学习的无线资源分配和通信优化方法，其特征在于，所述步骤S4中车辆用户设备n用于本地训练和传输本地模型训练参数的总延迟表示为：

在每一迭代过程中，车辆用户设备用于本地模型训练和传输本地模型训练参数至基站的能耗表示为：

。

6.如权利要求5所述的一种车联网环境下基于联邦学习的无线资源分配和通信优化方法，其特征在于，所述步骤S5中d维模型参数向量w的量化函数表示为：

Q_S(w_i)＝||w||₂·sgn(w_i)·ξ_i(w，s)w≠0

其中ξi(w，s)′s是独立的随机变量，表示为：

其中，s对应于量化级别的数量，l∈[0，s)是使|w_i|/||w||₂∈[l/s，(l+1)/s)的整数；

量化后，本地模型参数更新表示为：

其中t表示当前迭代过程，←表示赋值关系即将右边的值赋给左边，左边的式子是右边的简单表示，n表示学习速率，

表示车辆用户n在第t次迭代过程中使用本地数据执行模型训练时的梯度。

7.如权利要求6所述的一种车联网环境下基于联邦学习的无线资源分配和通信优化方法，其特征在于，所述步骤S6中参与迭代过程的车辆用户设备将本地模型参数发送至基站，基站先将接收的车辆用户n的本地模型训练参数采用E1ias解码，然后将其加权聚合，表示为：

其中N″表示满足步骤S4预设延迟和能耗门限值的车辆用户；

基站使用加权聚合后的参数来更新全局模型参数，再将更新后的全局模型参数w″_t+1广播至车辆用户以进行下一迭代轮次的更新，表示为：

基于上述分析，模型训练的损失函数在整个学习过程表示为：

s.t.

0≤P_n≤P_max (5)

∑_n∈Nu_n≤r_N (7)

其中，(6)表示每个资源块向量只能分配给一个用户，(7)表示车辆用户设备的数量要小于或等于无线资源块向量的数量。

8.如权利要求7所述的一种车联网环境下基于联邦学习的无线资源分配和通信优化方法，其特征在于，所述步骤S7中，车辆用户设备根据基站传输的全局模型参数w″_t+1更新本地模型训练参数。

Images