CN113283177A

CN113283177A - 一种基于异步联邦学习的移动感知缓存方法

Info

Publication number: CN113283177A
Application number: CN202110668580.1A
Authority: CN
Inventors: 吴琼; 赵宇
Original assignee: Jiangnan University
Current assignee: Jiangnan University
Priority date: 2021-06-16
Filing date: 2021-06-16
Publication date: 2021-08-20
Anticipated expiration: 2041-06-16
Also published as: CN113283177B

Abstract

本发明公开了一种基于异步联邦学习的移动感知缓存方法，该方法包括步骤：A、选择自动编码器作为异步联邦学习的模型框架，并创建全局模型；B、根据车辆在当前RSU覆盖范围内的停留时间选择与当前RSU进行异步联邦学习的车辆；C、被选中的车辆从当前RSU中下载全局模型参数；D、根据全局模型参数和最小化正则化损失函数对车辆本地模型进行训练；E、RSU接收训练后的车辆本地模型，并通过权重平均更新全局模型；F、根据更新后的全局模型对内容流行度进行预测，并根据预测结果制定RSU缓存策略。本发明基于异步联邦学习的移动感知缓存方法能够获得较高的缓存命中率、可提升缓存性能、有效保护客户隐私、降低通信成本。

Description

一种基于异步联邦学习的移动感知缓存方法

技术领域

本发明涉及移动通信技术领域，特别涉及一种基于异步联邦学习的移动感知缓存方法。

背景技术

随着无线通信和物联网的进步，自动驾驶被认为是智能交通系统中减少交通拥堵、提高交通效率和增强道路安全性的一项关键技术。自动驾驶车辆支持广泛的应用，从信息娱乐应用到安全相关应用。这些应用程序可能需要大量的计算、通信和存储资源，并且对网络带宽和响应时间有严格的性能要求。因此，支持这些应用给资源受限的车辆网络环境带来了很大的压力。车辆边缘计算(VEC)被认为是通过将边缘计算集成到车辆网络中来满足日益增长需求的一个有前途的范例。VEC允许在边缘节点处理和存储数据，例如路侧单元(RSU)和基站(BS)。

在边缘节点缓存内容使车辆能够在一个传输跳内获取其请求的内容，能够减少服务延迟并减轻回程网络负担。由于边缘节点的存储空间有限，缓存方案需要识别和缓存大多数车辆用户感兴趣的流行内容。车辆的高度移动性和复杂的车辆环境导致了高度的动态内容流行。在这种情况下，使用主动缓存预测内容流行度并且缓存预测流行的内容，这样车辆用户可以预先捕获流行内容，即使以前可能没有请求过。因此，主动缓存是一种合适的缓存方式，在主动缓存中，机器学习是一种有效缓存，预测内容流行度的方法。

使用机器学习在车联网边缘缓存中解决以下三个问题：1)高移动性：车辆行驶速度快，使行驶内容容易过时。为了改善这种情况，缓存方案应该具有移动性意识，根据内容流行度预测和车辆移动性做出缓存决策。2)隐私性:大多数ML算法以集中的方式训练模型，其中由多个车辆生成的数据必须被发送到边缘服务器进行分析。这些生成的数据可能涉及用于各种车辆应用的个人敏感信息。因此，集中上传和处理这些数据可能会引起隐私和安全问题。3)可扩展性:随着连接车辆数量的增长，车辆生成的数据也会增加。由于计算和通信成本过高，集中式ML算法可能很难处理数据。

发明内容

本发明要解决的技术问题是提供一种可提升缓存性能、保护客户隐私、降低通信成本的基于异步联邦学习的移动感知缓存方法。

为了解决上述问题，本发明提供了一种基于异步联邦学习的移动感知缓存方法，其包括以下步骤：

A、选择自动编码器作为异步联邦学习的模型框架，并创建全局模型；

B、根据车辆在当前RSU覆盖范围内的停留时间选择与当前RSU进行异步联邦学习的车辆；

C、被选中的车辆从当前RSU中下载全局模型参数；

D、根据全局模型参数和最小化正则化损失函数对车辆本地模型进行训练；

E、RSU接收训练后的车辆本地模型，并通过权重平均更新全局模型；

F、根据更新后的全局模型对内容流行度进行预测，并根据预测结果制定RSU缓存策略。

作为本发明的进一步改进，所述步骤F具体包括：

F1、依据每个连接的车辆用户内容检索历史，建立车辆请求内容评分矩阵X,X∈N^m ^×c；其中m是RSU连接的车辆数目，c代表每辆车请求的内容数；

F2、将评分矩阵X作为自动编码器的输入数据，自动编码器发现车辆用户之间、请求内容之间关联性的潜在的特征，考虑到潜在特征与车辆用户信息，分别计算出车辆用户、内容相似性矩阵；

F3、基于当前车辆用户的相似度矩阵，确定该车辆用户相邻K个的车辆用户，K个车辆用户的历史请求内容与当前车辆的历史请求内容结合构造一个历史检索矩阵K^*；

F4、通过请求内容相似矩阵来计算A^*与K^*之间相似性的均值，其中A^*为当前车辆用户的历史请求矩阵；

F5、选择相似度最高的N个内容作为当前车辆用户的推荐内容，每个连接的车辆用户将他们的推荐列表上传到RSU，RSU接收到推荐列表后，将所有上传列表车辆用户的推荐列表进行聚合比较，选择相似度最高的N个内容并缓存到RSU中。

作为本发明的进一步改进，所述正则化损失函数为：

其中，l_k(ω)为车辆k的本地损失函数，ρ为正则化参数，ω^k为车辆k的本地模型参数，ω为全局模型参数

作为本发明的进一步改进，更新后的全局模型为：

其中，γ∈(0,1)是一个值固定的超参数，ω_r+1 ^k是车辆k在下一通信回合的本地权重，每一辆车通过多次迭代进行本地更新，公式表达如下：

其中，χ_k是权重聚合的参数，取决于连接车辆在当前RSU通信范围内的位置：χ_k＝P_k/L_s，P_k是车辆k离RSU入口的距离，L_s是RSU的覆盖范围；η_k是车辆k本地学习率，取决于车辆k参与RSU全局更新的时间，用来缓和存储的本地模型和当前中心模型之间的时滞，从而提高异步联邦学习中心模型的收敛性，公式表达如下：

η_k＝ηTimestamp_k

其中，η是一个固定的值。

作为本发明的进一步改进，根据车辆行驶数据计算得到车辆在当前RSU覆盖范围内的停留时间。

作为本发明的进一步改进，所述车辆行驶数据包括速度、位置和轨迹。

作为本发明的进一步改进，RSU与MBS无线通信连接，每个MBS的通信范围内部署多个RSU。

作为本发明的进一步改进，MBS缓存之前连接车辆的行驶数据以及覆盖范围内RSU缓存内容列表，RSU缓存之后连接车辆可能会请求的内容。

作为本发明的进一步改进，所述RSU等间距设置于公路两侧。

作为本发明的进一步改进，所述编码器为堆叠式自动编码器。

本发明的有益效果：

本发明基于异步联邦学习的移动感知缓存方法可提升缓存性能、有效保护客户隐私、降低通信成本。该方法基于真实世界数据集MovieLens进行仿真，仿真结果表明，该方法和Random缓存、thompson sampling、m-e-greedy、oracle等算法进行比较，所提出的方案能够获得较高的缓存命中率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1是本发明优选实施例中基于异步联邦学习的移动感知缓存方法的示意图；

图2是本发明优选实施例中RSU、MBS和车辆的示意图；

图3和4是本发明优选实施例中基于异步联邦学习的移动感知缓存方法与它四种算法根据缓存容量大小绘制的缓存命中率的比较图；

图5和6是本发明优选实施例中基于异步联邦学习的移动感知缓存方法中RSU范围内车辆密度和缓存命中率的关系图；

图7和8是本发明优选实施例中基于异步联邦学习的移动感知缓存方法中缓存命中率和全局训练时间与通信轮次的关系图；

图9和10是本发明优选实施例中基于异步联邦学习的移动感知缓存方法(MCAF)与典型的联邦学习训练过程(FedAVG)在缓存命中率性能上这两者之间的差异图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

如图1所示，为本发明优选实施例中的基于异步联邦学习的移动感知缓存方法(MCAF)，其包括以下步骤：

A、选择自动编码器作为异步联邦学习的模型框架，并创建全局模型。

在一些实施例中，选择堆叠式自动编码器作为异步联邦学习的模型框架。堆叠式自动编码器由编码器和解码器组成，编码器是自编码器的前半部分，功能在于把输入样本变成一个隐藏的空间表示，解码器旨在从隐藏空间的表示重构输入。

对于一组给定的数据样本{x₁,x₂,x₃,...}，编码器将其映射到一个隐藏层，用y_(·)来表示，即y_(·)＝f(W^(e)x_(·)+b^(e))。随后，解码器计算输入样本的重构

即

其中，f(·)表示非线性激活函数和逻辑激活函数，通常使用sigmoid或者tanh函数。W，b分别是权重矩阵和偏置向量，这两个参数优化是通过最小化原始和重构样本的均方误差来实现：

堆叠式自动编码器参数从被选择参与异步联邦学习训练的车辆用户上传到当前的RSU服务器，与同步联邦学习不同的是，RSU从一个车辆用户接收到更新后通过加权平均更新全局模型，不用等其他车辆用户训练完成。

B、根据车辆在当前RSU覆盖范围内的停留时间选择与当前RSU进行异步联邦学习的车辆。

因为RSU的覆盖范围有限以及高速公路上的车辆都具有较高的速度，所以可能会存在一些车辆在穿过当前RSU时由于停留时间过短而不能完成异步联邦学习，这种情况的产生会导致在RSU联邦学习训练出来低效率的全局模型，从而使得缓存性能低下。在每个RSU服务器中对高质量的车辆模型进行更新聚合可以创建一个更加精确的全局模型，被选择的车辆会作为一个节点计算本地的数据用来更新全局模型。

在车辆选择的过程中主要考虑的因素是行驶过程中的车辆在RSU覆盖范围内的停留时间，这极大的取决于连接的车辆的位置和速度。在RSU覆盖范围内充足的停留时间可以实现完整训练过程并且训练出来的结果也可以传递到客户端车辆。假定RSU的覆盖范围是L_s，所以可以得到每一辆车在当前RSU覆盖范围内的停留时间如下：

其中P_i是第i辆车的位置代表着该车辆离RSU入口的距离。

假设每轮通信的平均训练时间和测试时间为T_training和T_inference，这取决于数据集的大小和深度学习模型。如果

说明这辆车满足参与异步联邦学习的条件，并且被选中进行异步FL训练。定义N_r为第r个通信回合被选中参与联邦学习训练的车辆总数。

C、被选中的车辆从当前RSU中下载全局模型参数。

在第r轮通信回合，被选择的车辆参与异步联邦学习训练，被选中的车辆从当前RSU中下载全局模型，具体来说，即下载全局模型的参数。每个通信回合RSU都会保存之前通信车辆参与联邦学习训练的模型，并在其基础上进行模型训练。使用先前的模型可以提高模型训练的效率并且可以节约训练时间。

在这种情况下，要通过之前RSU进行通信车辆的喜好来预测未来进入RSU进行训练车辆的喜好，这样有助于去训练一个移动感知的模型。

D、根据全局模型参数和最小化正则化损失函数对车辆本地模型进行训练。

可选的，定义

为每一轮通信回合中被选择的车辆所存储的数据。

是在第r轮通信回合时车辆N_r的数据，其数据长度为

d是所有被选择车辆所存数据的总和，即

类似于典型的异步联邦学习，我们所提出的异步联邦学习的目标也是最小化本地损失函数l_k(ω)：

其中d_u是车辆u的数据样本总数。

在车辆训练时，该车辆使用本地参数ω^k训练本地参数。为了减小本地模型与中心模型的偏差，从而提高异步联邦学习算法的收敛性，采用一种正则化损失函数的基于梯度的更新方法，正则化损失函数定义如下：

其中，l_k(ω)为车辆k的本地损失函数，ρ为正则化参数，ω^k为车辆k的本地模型参数，ω为全局模型参数。

E、RSU接收训练后的车辆本地模型，并通过权重平均更新全局模型。

其中，在r轮通信回合，RSU服务器接收来自车辆k的本地模型ω_r ^k，并且通过权重平均更新全局模型，表达如下：

η_k＝ηTimestamp_k

其中，η是一个固定的值。

经过多次迭代更新，训练出一个较为高效收敛的全局模型。

其中，堆叠式自动编码器能够将数据中潜在的相关性在这个转换链中挖掘出来，并作为模型中可训练的参数集被保存下来，可用来预测内容流行度。我们使用堆叠式自动编码器来计算车辆用户之间的相似性和请求内容间的相似性矩阵，使用相似性矩阵可以保持内容与内容之间，车辆用户与车辆用户之间的距离。计算车辆用户之间的相似性是因为相邻车辆用户请求的历史内容也在一定程度上反应当前车辆用户偏好。车辆用户请求的历史内容和相邻车辆请求的历史内容依据车辆用户之间的相似性和请求内容间的相似性生成该车辆用户推荐的流行的内容，换句话说，主要依据对内容感兴趣的程度和车辆用户个人信息来预测内容流行度。预测某个车辆用户的流行内容的过程具体如下：

在一些实施例中，考虑在高速公路场景的车辆网络，包括几个Macrocell BaseStation宏蜂窝基站(MBSs)、路侧单元(RSUs)和车辆，如图2所示。MBS位于车辆网络边缘不同的位置。每个MBS的通信范围同时部署着s个RSU S＝{S₁,S₂,S₃,...,S_s}，放置在高速公路的两边，同侧路相邻两个RSU之间等间距设置且距离为L_s，我们假设RSU的覆盖范围也是L_s。每个RSU为与其通信的一组车辆服务V＝{V₁,V₂,V₃,...,V_n}，n为连接车辆的数量。MBSs、RSUs和车辆间的通信都是通过无线连接，同时MBSs通过回程链路与核心网络相连接。MBSs和RSUs作为边缘服务器配备了有限的缓存空间。MBSs缓存之前连接车辆的行驶数据，包括速度、位置、轨迹和方向以及覆盖范围内RSU缓存内容列表。RSUs被用来缓存之后连接车辆可能会请求的内容。如果车辆请求的内容没有存储在当前连接的RSU，MBS将从核心网络下载车辆请求的内容发送至车辆用户。其实，根据车辆行驶数据可计算得到车辆在当前RSU覆盖范围内的停留时间。

RSU覆盖范围内车辆表达如下：

RSUs、MBSs和车辆间都是通过无线连接进行通信的。定义车辆的集合，表示如下：

V＝{V₁,V₂,V₃,...,V_n}

n是RSU覆盖范围内连接的车辆的数目。

假设车辆的速度是独立同分布的，由截断高斯分布产生，截断高斯分布与普通高斯分布或者是固定的速度相比，更加的灵活而且把车辆速度限制在一定的范围内。车辆速度集合表示如下：

U＝{U₁,U₂,U₃,...,U_n}

U_i代表第i辆连接的车辆，限制在一个固定的范围内(U_min≤U_i≤U_max)，假设U_i服从截断高斯分布，表示如下：

σ²是方差，μ是均值(-∞＜μ＜∞)。erf()是高斯误差函数。

每辆车在不同RSU的范围中位置与RSU覆盖范围大小的比例服从标准正态分布。P_i是第i辆车的位置代表着该车辆离RSU入口的距离。在每轮通信回合，车辆的速度与位置都有所改变，这样的设定也更加符合高度动态的车联网环境。

本发明中主要用来评估所提出方案MCAF性能的是缓存命中率，它衡量缓存在实现内容请求方面的有效性。缓存命中率的计算如下：缓存命中率＝缓存命中数/(缓存命中数+缓存未命中数)。当所请求的内容存储在当前RSU中，缓存命中，而当所请求的内容没有存储在当前RSU中时，缓存未命中。

该方法基于真实世界数据集MovieLens进行仿真，MovieLens 1M数据集包含6040个匿名用户对3883部电影的将近一亿条电影评分，MovieLens 100K数据集包含943个匿名用户对1682部电影的100000条电影评分，两个数据集的电影评分都是从0到5，其中每个用户至少评价20部电影。MovieLens还提供用户的个人信息，如性别、年龄、职业和邮政编码。图3、图4比较了本发明所提出的MCAF缓存方案与其他不同的缓存方案Random缓存、thompson sampling、m-e-greedy、oracle的比较，描绘了从50到500个内容的不同缓存大小的高速缓存命中率。Oracle算法提供了一个较高的缓存命中率，而random算法提供了一个最坏的缓存命中率。随着缓存大小的增加，所有缓存方案的缓存命中率都会上升。结果表明，对于MovieLens 1M和MovieLens 100K这两个数据集，本发明提出的MCAF优于其他参考缓存方案。因为Random和Thompson Sampling算法不会从车辆用户过去请求内容中学习，而MCAF和m-ε-greedy通过观察过去的请求内容决定缓存内容。MCAF算法性能优于m-ε-greedy，因为MCAF考虑用户的上下文信息，会从数据中捕捉有用的特征，并将数据聚集在潜在空间中。图5、图6显示了车辆密度对缓存命中率的影响，对于1M和100k数据集，我们观察到随着车辆密度从1增加到25vehicles/km，缓存命中率也随之增加。在RSU覆盖范围内，当车辆密度为1vehicles/km,1M数据集的缓存命中率为7.95％，100k数据集的缓存命中率为12％。但是，当车辆密度为2vehicles/km，1M数据集的缓存命中率增长到9.4％，100k数据集的缓存命中率增长到14％。这是因为随着越来越多的车辆进入到RSU的覆盖范围，这些车辆能够训练更多的数据从而车辆网络有更好的计算能力，所以就会有更准的内容预测。图7、图8为本发明方案中缓存命中率和全局训练时间与通信轮次的关系，在这次方案实验中，RSU通信范围内车辆数固定为10，从图中可以看出，使用MovieLens 1M数据集时我们提出的MCAF方法在第一轮通信缓存命中率就达到了11％，一直到第三十轮通信缓存命中率都是稳定在11％左右，在高速公路动态场景下，多轮通信回合训练出的全局模型性能都十分的稳定。第一回合的训练时间为16秒，一直到30回合训练时间都是呈近乎直线的状态增长。而如图8所示，MovieLens 100k数据集在第一轮通信缓存命中率为17％，之后每个轮次缓存命中率都比较稳定在17.5％，只有一点小波动。第一回合的训练时间为17秒，一直到30回合训练时间都是呈近乎直线的状态增长。因此，考虑一个在交流轮次、培训时间和缓存命中率，训练15轮的FL模型是最好的选择以实现最佳缓存命中率。图9和图10分别表示使用MovieLens1M和MovieLens 100k数据集情况下显示了典型的联合学习训练过程(FedAVG)和本发明提出的异步联合学习方法(MCAF)之间在缓存命中率方面的差异。仿真中，10辆车协同参与了一个全局模型训练，结果图显示当使用MovieLens 1M数据集时我们提出的MCAF方法在第一轮通信缓存命中率就达到了10.9％，一直到第三十轮通信缓存命中率都是稳定在11％左右，而FedAVG方法随着通信轮次的增加缓存命中率波动很大。当使用MovieLens 100k数据集时我们提出的MCAF方法第一轮缓存命中率为17.4％，一直到第三十轮通信缓存命中率稳定在17.7％左右，而FedAVG方法随着通信轮次的增加缓存命中波动异常。这些结果表明MCAF算法比其他同步算法更加适合于高度动态的车联网环境。

以上实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims

1.一种基于异步联邦学习的移动感知缓存方法，其特征在于，包括以下步骤：

C、被选中的车辆从当前RSU中下载全局模型参数；

2.如权利要求1所述的基于异步联邦学习的移动感知缓存方法，其特征在于，所述步骤F具体包括：

F1、依据每个连接的车辆用户内容检索历史，建立车辆请求内容评分矩阵X,X∈N^m×c；其中m是RSU连接的车辆数目，c代表每辆车请求的内容数；

3.如权利要求1所述的基于异步联邦学习的移动感知缓存方法，其特征在于，所述正则化损失函数为：

4.如权利要求1所述的基于异步联邦学习的移动感知缓存方法，其特征在于，更新后的全局模型为：

ω_r+1 ^k＝χ_k(ω_r ^k-η_k▽g_k(ω_r ^k))

η_k＝ηTimestamp_k

其中，η是一个固定的值。

5.如权利要求1所述的基于异步联邦学习的移动感知缓存方法，其特征在于，根据车辆行驶数据计算得到车辆在当前RSU覆盖范围内的停留时间。

6.如权利要求5所述的基于异步联邦学习的移动感知缓存方法，其特征在于，所述车辆行驶数据包括速度、位置和轨迹。

7.如权利要求1所述的基于异步联邦学习的移动感知缓存方法，其特征在于，RSU与MBS无线通信连接，每个MBS的通信范围内部署多个RSU。

8.如权利要求7所述的基于异步联邦学习的移动感知缓存方法，其特征在于，MBS缓存之前连接车辆的行驶数据以及覆盖范围内RSU缓存内容列表，RSU缓存之后连接车辆可能会请求的内容。

9.如权利要求1所述的基于异步联邦学习的移动感知缓存方法，其特征在于，所述RSU等间距设置于公路两侧。

10.如权利要求1所述的基于异步联邦学习的移动感知缓存方法，其特征在于，所述编码器为堆叠式自动编码器。