CN117221403A - 一种基于用户移动和联邦缓存决策的内容缓存方法 - Google Patents
一种基于用户移动和联邦缓存决策的内容缓存方法 Download PDFInfo
- Publication number
- CN117221403A CN117221403A CN202311151657.3A CN202311151657A CN117221403A CN 117221403 A CN117221403 A CN 117221403A CN 202311151657 A CN202311151657 A CN 202311151657A CN 117221403 A CN117221403 A CN 117221403A
- Authority
- CN
- China
- Prior art keywords
- user
- content
- edge server
- time
- caching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000033001 locomotion Effects 0.000 title claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims abstract description 5
- 230000009471 action Effects 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 10
- 230000007423 decrease Effects 0.000 claims description 6
- 238000005401 electroluminescence Methods 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000002045 lasting effect Effects 0.000 claims description 5
- 230000007774 longterm Effects 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000005251 gamma ray Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 230000002787 reinforcement Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种基于用户移动和联邦缓存决策的内容缓存方法，涉及边缘计算的内容缓存技术领域，包括以下步骤：用户向覆盖范围内的边缘服务器发出内容请求；边缘服务器预测用户在当前覆盖范围内的停留时间；边缘服务器将全局模型传输给用户，作为用户的本地模型；得到当前边缘服务器下感兴趣的内容的排名；边缘服务器根据环境信息和感兴趣的内容的排名进行内容缓存决策。本发明增强了边缘服务器的容错能力，考虑了服务器故障概率，并实现了与相邻服务器的协同内容更新。而且，本发明综合利用了用户的历史轨迹信息，引入联邦学习方法，确保在保护用户隐私的前提下，能够有效预测用户感兴趣的内容，进而预测每个边缘节点的优先缓存队列。
Description
技术领域
本发明涉及边缘计算的内容缓存技术领域，特别涉及一种基于用户移动和联邦缓存决策的内容缓存方法。
背景技术
边缘计算是一种分布式计算模型，其主要目标是将计算资源尽可能地靠近数据源和终端用户，以减少数据传输的延迟和网络拥塞，并提高系统响应速度和性能。在边缘计算中，计算任务可以在距离数据产生地更近的边缘节点上进行处理，而不是完全依赖传统的云计算中心。这种模式对于需要低延迟和高实时性的应用场景尤为重要，例如物联网(IoT)设备、智能城市、自动驾驶等。随着边缘计算的普及，越来越多的数据被收集和处理在离用户更近的边缘节点上。然而，对于许多应用来说，数据本身可能并不是唯一的关键，还有大量的内容需要快速传递到用户端。例如，视频流、实时游戏、社交媒体更新等内容需要快速、高效地传输到用户设备，以提供良好的用户体验。为了满足这些需求，边缘内容缓存应运而生。然而边缘内容缓存虽然能够提高内容传输效率，但也面临一些挑战：1)缓存替换策略：边缘节点的存储容量通常有限，需要制定有效的缓存替换策略，以便在存储空间不足时决定保留哪些内容，保证重要的内容能够得到优先缓存。2)安全性问题：边缘内容缓存涉及存储和传输大量的用户数据和敏感内容，安全性必须得到高度重视。合适的安全措施和加密手段必须实施，以防止数据泄露或篡改。3)延迟和故障容忍性：边缘计算环境通常是分布式和异构的，边缘节点可能存在不稳定的网络连接或可能出现故障。边缘内容缓存需要具备良好的延迟和故障容忍性，确保即使在不稳定的环境下，用户仍能获得良好的内容传输体验。
通过广泛深入的研究，我们发现当前边缘计算环境中的内容缓存存在许多问题：
(1)目前的边缘缓存方法很少考虑用户的长期移动性，仅仅关注用户的实时位置，忽略了用户的历史信息。(2)目前的方法在确定缓存内容时往往需要用户上传个人数据，这导致用户的隐私容易被泄露。(3)目前的方法大多假设用户的请求满足Zipf分布，忽视了长时间内容流行度可能出现的变化，即缺少对用户感兴趣的内容的预测能力。
鉴于此，需要一种基于用户移动和联邦缓存决策的内容缓存方法。
发明内容
针对现有技术中由于忽略用户历史信息、用户隐私易泄露以及缺少问题对用户感兴趣的内容的预测能力导致的目前边缘缓存方法不足以实现用户对隐私以及速率和容错率要求的问题，本发明提供了一种基于用户移动和联邦缓存决策的内容缓存方法，能够确保在保护用户隐私的前提下，更加智能地进行缓存内容的更新，提高系统的稳定性和可靠性，减少请求时延。具体技术方案如下：
一种基于用户移动和联邦缓存决策的内容缓存方法，包括以下步骤：
S1：用户向覆盖范围内的边缘服务器发出内容请求以获取缓存内容；
S2：边缘服务器根据用户的历史位置信息，采用用户停留时间预测算法，预测用户在当前边缘服务器覆盖范围内的停留时间；
S3：使用用户感知偏好预测算法，边缘服务器将全局模型传输给用户，作为用户的本地模型；用户使用本地模型提供的感兴趣的内容，并通过用户历史请求数据更新本地模型；随后，用户将更新后的本地模型上传至边缘服务器，以供全局模型更新；边缘服务器根据覆盖范围内预测的用户停留时间，对覆盖范围内用户提供的感兴趣的内容次数进行加权求和，然后根据求和结果和内容大小排序，从而得到当前边缘服务器下感兴趣的内容的排名；
S4：边缘服务器基于环境信息和感兴趣的内容的排名进行内容缓存决策，最终得到优化后的内容缓存策略，这里的环境信息包括邻近边缘服务器缓存情况和覆盖范围内用户数量。
优选的，执行完所述步骤S1后，若所述边缘服务器不存在所需内容的缓存，则向邻近边缘服务器获取缓存内容；若邻近边缘服务器中仍未找到所需内容，则用户将向云端服务器发起请求；在用户向所述边缘服务器请求内容的时隙内，若该边缘服务器发生故障，用户将转而向云端服务器请求数据。
优选的，所述步骤S1包括优化模型，用以最小化用户请求的请求延迟和最大化边缘服务器的命中率，具体如下所示：
F1：
F2：
其约束条件如下：
(b)
(b)
(c)
其中，为考虑故障率后，边缘服务器ej缓存了用户ui当前请求后的传输时间；rai(t)为边缘服务器ej在时刻t的服务命中率；tj为边缘服务器ej的存储大小；(t)代表当前边缘服务器ej是否缓存了内容；Sizei代表第i个内容大小；/>为用户Ui在t时刻的位置；ELj为边缘服务器ej的位置；γj,i(t)为布尔变量；(a)表示边缘服务器上缓存的所有内容不能超过它的存储空间；(b)表示用户与边缘服务器之间的距离不能超过边缘服务器的覆盖半径；(c)表示用户每个时隙最多能向一个边缘服务器请求数据。
优选的，所述步骤S2中的所述用户停留时间预测算法分为两部分：一是将岭回归和LSTM算法相结合，并根据不同的步长提取用户历史轨迹数据，进而预测出用户未来轨迹数据；二是利用用户预测轨迹得到用户预计的停留时长，具体内容如下：
首先利用岭回归算法对短期数据进行用户轨迹预测；然后使用LSTM算法对长期数据进行用户轨迹预测；接下来对预测结果中的中间缺失值进行插值处理，以填充轨迹的间隙；
在完成轨迹预测后，按照时间顺序计算预测的用户轨迹坐标与当前边缘服务器之间的距离，如果在时间t+1时刻预测的用户轨迹坐标与当前边缘服务器之间的距离超出了边缘服务器可提供服务的距离范围，则将时间t视为用户预计的停留时长。
优选的，在用户轨迹预测过程中，引入阈值常量和缩放因子常量，用以处理预测结果中可能存在的不合理距离，具体操作为：如果预测的用户轨迹中任意两点之间的距离大于设定的阈值，则会根据缩放因子进行步长的缩放。
优选的，所述步骤S3具体如下：
S301：边缘服务器选取能够参与联邦学习的用户集合，选取公式表示为：
tstay≥ttrans+ttrain
其中，tstay为用户在当前边缘服务器预计的停留时间，ttrans为模型上传和下载的时间，ttrain为本地模型的训练时间；
S302：边缘服务器将全局模型参数传输至能参与联邦学习的用户设备，用作本地模型，然后，将用户的历史请求记录作为输入，并通过迭代更新用户设备本地模型参数，利用全连接层作为编码器和解码器，并通过最小二乘法对本地模型进行更新，直到模型收敛为止；
S303：当本地模型收敛后，利用编码器计算用户和其他用户的公开历史请求记录的隐藏特征，隐藏特征能更好的反映用户的偏好，并利用余弦相似度计算法计算它们之间的相似度，然后，记录与用户相似度最高的其他用户中请求次数最多的内容，作为用户感兴趣的内容；
S304：用户将本地模型上传至边缘服务器，并利用FedAvg来更新边缘服务器全局模型；
S305：用户将用户感兴趣的内容在其他用户公开历史请求记录数据集中的请求次数上传到边缘服务器，并对请求次数进行加权处理，若停留时间较短则认为后续请求较少，因此权重较低，反之，权重较高，加权公式为：
其中，tmax为当前边缘服务器下用户停留的最长时间，Freq(ui)为其它用户历史请求次数向量，sgn为跃迁函数，当tstay小于阈值ζ时，不再考虑当前用户；
S306：边缘服务器对加权后的请求次数进行聚合后降序排列为Fc，作为当前边缘服务器下感兴趣的内容。
优选的，所述步骤S4具体为利用Dueling DQN模型得出当前内容缓存策略，Dueling DQN模型根据获取的奖励值对模型进行更新，以优化内容缓存策略，具体如下：
S401：初始化状态值、优势值网络和经验回放缓冲区；
S402：获取边缘服务器m在t时刻的系统状态，状态s(t)＝(Cm,t,Nm,t,Sm,t)，其中Cm,t代表t+1时隙服务器m覆盖范围内的用户数量，Nm,t代表t-1时隙邻近边缘服务器的缓存情况，Sm,t＝(s1,s2,…,sc)，其中sc代表t时隙第c感兴趣的内容；
S403：基于状态s(t)，利用状态值和优势值网络计算每个动作的Q值，根据策略π，选择当前动作a(t)，所述动作a(t)表示是否需要替换本地或邻近边缘服务器中的内容，所述a(t)的取值为0、1或2，a(t)＝0表示当前的内容缓存策略有效，无需进行替换操作；a(t)＝1表示本地内容需要替换；a(t)＝2表示本地和邻近边缘服务器中的内容都需要替换；
S404：根据动作a(t)，执行替换操作并观察奖励r(t)；
S405：将当前状态s(t)、动作a(t)、奖励r(t)、下一状态s(t+1)存储到经验回放缓冲区中，所述下一状态s(t+1)由s(t)执行了a(t)后得到；
S406：从经验回放缓冲区中随机采样一批经验数据，计算目标Q值并更新神经网络的参数，执行反向传播操作。
优选的，在所述Dueling DQN模型进行模型训练过程中学习率随着时间逐渐下降，表达式如下：
其中，A为超参数，Z为时间限制，当时隙k小于等于A×Z时，学习率的下降速度较慢；当时隙k大于A×Z时，学习率的下降速度加快；当时隙k大于Z后，a(k)定义为常数。
一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行如上所述的基于用户移动和联邦缓存决策的内容缓存方法。
一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行如上所述的基于用户移动和联邦缓存决策的内容缓存方法。
与现有技术相比，本发明的有益效果为：
(1)增强了边缘服务器的容错能力，考虑了服务器故障概率，并实现了与相邻服务器的协同内容更新，从而提高了系统的稳定性和可靠性。
(2)综合利用了用户的历史轨迹信息，通过对用户未来长时轨迹的预测，更加智能地进行缓存内容的更新，以满足用户可能的未来需求。
(3)引入联邦学习方法，确保在保护用户隐私的前提下，能够有效预测用户感兴趣的内容，进而预测每个边缘节点的优先缓存队列。
(4)采用Dueling DQN强化学习算法，应对不断变化的用户位置和需求，以提高请求命中率，减少请求时延。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明的整体流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
下面结合图1对本发明实施例作进一步介绍。
首先说明本方法所应用的系统，包括设备层、边缘层、云层，具体而言，系统包含一个中心云服务器Server、一组边缘服务器E＝{e1,e2,...en}、一组用户(用户)U＝{u1,u2,...um}。用户随用户不断移动，其中每个边缘服务器都配备了存储、通信能力。
边缘服务器的存储能力有限，无法同时缓存所有内容，因此边缘服务器只能选择缓存部分内容，且这些缓存内容是可以进行替换的。在时隙t，我们可以用布尔变量θj,i(t)代表当前服务器ej是否缓存了内容ci，θm,i(t)为1代表当前服务器成功缓存，公式表达为：
Cj(t)＝{θj,1(t),θj,2(t),…,θj,k(t)}
但是边缘服务器的缓存内容不能超过当前边缘服务器的总大小，即：
其中，Sizei代表第i个内容大小，Capj代表当前服务器的缓存容量。
根据香农公式，我们将t时刻用户ui和缓存节点ej之间的传输速率定义为：
其中，bj是用户ui和缓存节点ej之间的带宽，pj是边缘服务器ej的传输功率。gj,i是用户ui和缓存节点ej之间的信道增益。dj,i是缓存节点ej和用户ui之间的距离。τ是路径损耗指数。σ2为高斯噪声。
因此用户ui与边缘服务器ej之间的传输时间设置为：
其中，为用户ui请求的内容大小，当用户在本地无法获取数据时，将会从邻近边缘服务器/>获取缓存内容，邻近边缘服务器的传输时间定义为：
当邻近边缘服务器也没有缓存时，将会向云端获取数据，云端传输的时间定义为：
此外，当用户发送请求到边缘服务器ej时，服务器可能会发生故障，导致无法接受用户请求，我们假设故障率满足泊松分布，将故障率定义为：
其中：X表示边缘服务器ej故障次数，FEj(X)表示边缘服务器ej在某个时隙t的故障概率，e是自然对数的底数，k是故障率(故障事件的平均发生率)，fj表示服务器ej的故障数量，Ti是指发生fj故障的时间段。
因此考虑故障率后，当边缘服务器ej缓存了用户ui当前请求后，传输时间定义为：
Xi,j为布尔变量，Xi,j为1代表用户请求内容能在边缘服务器ej或邻近边缘服务器上找到，Xi,j为0代表请求设备需要向中心云服务器申请，代表在当前服务器或邻近边缘服务器上的传输时间。
此外，边缘服务器ej在时刻t的服务命中率定义为：
其中，n代表边缘服务器ej覆盖范围内用户的请求数。
本发明实施例提供一种基于用户移动和联邦缓存决策的内容缓存方法，包括以下步骤：
S1：用户向覆盖范围内的边缘服务器发出内容请求；
用户向覆盖范围内的边缘服务器ej请求内容。若该边缘服务器不存在所需内容的缓存，则向邻近边缘服务器获取缓存内容。若邻近边缘服务器中仍未找到所需内容，则用户将向云端服务器发起请求。整个传输过程符合香农公式，以保障数据传输的可靠性与高效性。在用户向边缘服务器ej请求内容的时隙内，若该边缘服务器发生故障，用户将转而向云端服务器请求数据。
为了尽可能提高用户的QoE，我们想要尽可能的提高边缘服务器的命中率和用户请求的请求延迟，因此优化模型确定如下：
F1：
F2：
其约束条件如下：
(c)
(b)
(c)
其中，为考虑故障率后，边缘服务器ej缓存了用户ui当前请求后的传输时间；rai(t)为边缘服务器ej在时刻t的服务命中率；tj为边缘服务器ej的存储大小；(t)代表当前边缘服务器ej是否缓存了内容；Sizei代表第i个内容大小；/>为用户Ui在t时刻的位置；ELj为边缘服务器ej的位置；γj,i(t)为布尔变量；(a)表示边缘服务器上缓存的所有内容不能超过它的存储空间；(b)表示用户与边缘服务器之间的距离不能超过边缘服务器的覆盖半径；(c)表示用户每个时隙最多能向一个边缘服务器请求数据。
S2：边缘服务器根据用户的历史位置信息，采用用户停留时间预测算法，预测用户在当前边缘服务器覆盖范围内的停留时间；
所述步骤S2中的所述用户停留时间预测算法分为两部分：一是将岭回归和LSTM算法相结合，并根据不同的步长提取用户历史轨迹数据，进而预测出用户未来轨迹数据；二是利用用户预测轨迹得到用户预计的停留时长，具体内容如下：
首先利用岭回归算法对短期数据进行用户轨迹预测；然后使用LSTM算法对长期数据进行用户轨迹预测；接下来对预测结果中的中间缺失值进行插值处理，以填充轨迹的间隙；
在完成轨迹预测后，按照时间顺序计算预测的用户轨迹坐标与当前边缘服务器之间的距离，如果在时间t+1时刻预测的用户轨迹坐标与当前边缘服务器之间的距离超出了边缘服务器可提供服务的距离范围，则将时间t视为用户预计的停留时长。
这个过程中，引入一个阈值常量和缩放因子常量，这两个参数的目的在于处理预测结果中可能存在的不合理距离。如果预测的用户轨迹中任意两点之间的距离大于设定的阈值，则会根据缩放因子进行步长的缩放，从而修正轨迹的不合理部分，使得预测结果更加准确
通过这种综合方法，旨在提高用户长时间轨迹预测的准确性和效率，同时克服LSTM算法复杂度高和岭回归仅适用于线性相关性较强情况的缺点。
S3：使用用户感知偏好预测算法，边缘服务器将全局模型传输给用户，作为用户的本地模型；用户使用本地模型提供的感兴趣的内容，并通过用户历史请求数据更新本地模型；随后，用户将更新后的本地模型上传至边缘服务器，以供全局模型更新；边缘服务器根据覆盖范围内预测的用户停留时间，对覆盖范围内用户提供的感兴趣的内容次数进行加权求和，然后根据求和结果和内容大小排序，从而得到当前边缘服务器下感兴趣的内容的排名；
这里采用利用联邦学习来预测用户感知偏好，移动用户在本地提前缓存了部分其它用户的公开历史请求记录，用于用户感知偏好预测。联邦学习模型分为局部模型和全局模型，二者包含编码器和解码器两个部分，编码器能够提取当前用户的隐藏特征，解码器用于将用户隐藏特征还原为用户历史记录。主要流程为：
(1)边缘服务器选取能够参与联邦学习的用户集合，选取公式表示为：
tstay≥ttrans+ttrain
其中，tstay为用户在当前边缘服务器预计的停留时间，由步骤5得到，ttrans为模型上传和下载的时间，根据香农公式得到，ttrain为本地模型的训练时间。
(2)边缘服务器将全局模型参数传输至用户设备，用作局部模型。然后，将用户的历史请求记录作为输入，并通过迭代更新模型参数，利用全连接层作为编码器和解码器，并通过最小二乘法对模型进行更新，直到模型收敛为止。
(3)当模型收敛后，计算编码器提取用户和其他用户的公开历史请求记录隐藏特征，并计算它们之间的相似度。然后，记录与用户相似度最高的其他用户中请求次数最多的内容，作为用户感兴趣的内容。
(4)移动设备将本地模型上传至边缘服务器，并利用FedAvg来更新全局模型。
(5)移动设备将用户感兴趣内容在其他用户公开历史请求记录数据集中的请求次数上传到边缘服务器，并对请求次数进行加权处理。权重的计算考虑了用户在当前边缘节点停留的时间，若停留时间较短则认为后续请求较少，因此权重较低；反之，权重较高，加权公式为：
其中，tmax为当前边缘服务器下最长用户的停留时间，Freq(ui)为其它用户历史请求次数向量，sgn为跃迁函数，当tstay小于阈值ζ时，不再考虑当前用户。
(6)边缘服务器对加权后的请求次数进行聚合后降序排列为Fc，作为当前边缘服务器下最受欢迎的内容。
S4：边缘服务器基于环境信息和感兴趣的内容的排名进行内容缓存决策，最终得到优化后的内容缓存策略，这里的环境信息包括邻近边缘服务器缓存情况和覆盖范围内用户数量。
具体为利用DuelingDQN模型得出当前内容缓存策略，Dueling DQN模型根据获取的奖励值对模型进行更新，以优化内容缓存策略，具体如下：
S401：初始化状态值、优势值网络和经验回放缓冲区；
S402：获取边缘服务器m在t时刻的系统状态，状态s(t)＝(Cm,t,Nm,t,Sm,t)，其中Cm,t代表t+1时隙服务器m覆盖范围内的用户数量，Nm,t代表t-1时隙邻近边缘服务器的缓存情况，Sm,t＝(s1,s2,…,sc)，其中sc代表t时隙第c感兴趣的内容；
S403：基于状态s(t)，利用状态值和优势值网络计算每个动作的Q值，根据策略π，选择当前动作a(t)，所述策略基于预测的感兴趣内容集合Fc中未在本地服务器中缓存的内容集合N得出，所述动作a(t)表示是否需要替换本地或邻近边缘服务器中的内容，所述a(t)的取值为0、1或2，a(t)＝0表示当前的内容缓存策略有效，无需进行替换操作，因为本地和邻近边缘服务器中的内容均不需要替换。a(t)＝1表示本地内容需要替换。在这种情况下，我们根据感兴趣内容排名选取n个内容，并从本地内容中随机选择不属于感兴趣的内容的部分进行替换，以获得新的内容配置s(t+1)。a(t)＝2表示本地和邻近边缘服务器中的内容都需要替换。在这种情况下，我们从Fc中选择e个内容(e<n)，这些内容在新的内容配置s(t+1)中不存在，并将它们缓存到邻近边缘服务器中；
S404：根据动作a(t)，执行替换操作并观察奖励r(t)；
当一个动作完成后，环境会立即给予奖励。考虑最大化命中率和最小化传输速率，我们将用户ui向ej请求延迟的奖励函数定义为：
μ1,μ2,μ3均为布尔向量，依次代表用户ui是否向边缘服务器、邻接服务器、云端服务器请求内容，λ1,λ2,λ3为权重向量，λ1<λ2＜＜λ3，意味着如果用户向云端请求次数越多，请求延迟奖励越低。
我们将t时隙边缘服务器获得的最终奖励定义为：
其中，是t时隙下ej覆盖范围内发出请求的用户数，Nj是ej的邻接服务器，hitj是ej的缓存命中率，γ为超参数，当边缘服务器的命中率大于γ时，r(t)为正。
S405：将当前状态s(t)、动作a(t)、奖励r(t)、下一状态s(t+1)存储到经验回放缓冲区中，所述下一状态s(t+1)由s(t)执行了a(t)后得到；
S406：从经验回放缓冲区中随机采样一批经验数据，计算目标Q值并更新神经网络的参数，执行反向传播操作。
Dueling DQN是一种强化学习算法，通过将动作值函数分解为状态值函数和优势函数来改进Q-learning。通过这种方式，Dueling DQN能够更好地估计每个动作的价值，并且能够在学习过程中自适应地决定选择动作。该算法的核心思想是将状态值函数和优势函数进行拆分，然后重新组合，以得到更准确的动作值函数估计。
考虑到模型会逐渐收敛，在模型后面的训练过程中往往不需要过大的学习率，因此强化学习中学习率应随着时间逐渐下降，表达式如下：
其中，A为超参数，Z为时间限制，当时隙k小于等于A×Z时，学习率的下降速度较慢；当时隙k大于A×Z时，学习率的下降速度加快；当时隙k大于Z后，a(k)定义为常数。
综上所述，本申请增强了边缘服务器的容错能力，考虑了服务器故障概率，并实现了与相邻服务器的协同内容更新，从而提高了系统的稳定性和可靠性。而且，综合利用了用户的历史轨迹信息，通过对用户未来停留时长的预测，更加智能地进行缓存内容的更新，以满足用户可能的未来需求。本申请还引入联邦学习方法，确保在保护用户隐私的前提下，能够有效预测用户感兴趣的内容，进而预测每个边缘节点的优先缓存队列。此外，本申请采用Dueling DQN强化学习算法，应对不断变化的用户位置和需求，以提高请求命中率，减少请求时延，解决了背景技术中提出的问题。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种基于用户移动和联邦缓存决策的内容缓存方法，其特征在于，包括以下步骤：
S1：用户向覆盖范围内的边缘服务器发出内容请求以获取缓存内容；
S2：边缘服务器根据用户的历史位置信息，采用用户停留时间预测算法，预测用户在当前边缘服务器覆盖范围内的停留时间；
S3：使用用户感知偏好预测算法，边缘服务器将全局模型传输给用户，作为用户的本地模型；用户使用本地模型提供的感兴趣的内容，并通过用户历史请求数据更新本地模型；随后，用户将更新后的本地模型上传至边缘服务器，以供全局模型更新；边缘服务器根据覆盖范围内预测的用户停留时间，对覆盖范围内用户提供的感兴趣的内容次数进行加权求和，然后根据求和结果和内容大小排序，从而得到当前边缘服务器下感兴趣的内容的排名；
S4：边缘服务器基于环境信息和感兴趣的内容的排名进行内容缓存决策，最终得到优化后的内容缓存策略，所述环境信息包括邻近边缘服务器缓存情况和覆盖范围内用户数量。
2.根据权利要求1所述的一种基于用户移动和联邦缓存决策的内容缓存方法，其特征在于，执行完所述步骤S1后，若所述边缘服务器不存在所需内容的缓存，则向邻近边缘服务器获取缓存内容；若邻近边缘服务器中仍未找到所需内容，则用户将向云端服务器发起请求；在用户向所述边缘服务器请求内容的时隙内，若该边缘服务器发生故障，用户将转而向云端服务器请求数据。
3.根据权利要求1-2任一项所述的一种基于用户移动和联邦缓存决策的内容缓存方法，其特征在于，所述步骤S1包括优化模型，用以最小化用户请求的请求延迟和最大化边缘服务器的命中率，具体如下所示：
F1：
F2：
其约束条件如下：
(a)
(b)
(c)
其中，为考虑故障率后，边缘服务器ej缓存了用户ui当前请求后的传输时间；rai(t)为边缘服务器ej在时刻t的服务命中率；tj为边缘服务器ej的存储大小；θj,i(t)代表当前边缘服务器ej是否缓存了内容；Sizei(t)代表第i个内容大小；/>为用户ui在t时刻的位置；ELj为边缘服务器ej的位置；γj,i(t)为布尔变量；(a)表示边缘服务器上缓存的所有内容不能超过它的存储空间；(b)表示用户与边缘服务器之间的距离不能超过边缘服务器的覆盖半径；(c)表示用户每个时隙最多能向一个边缘服务器请求数据。
4.根据权利要求1所述的一种基于用户移动和联邦缓存决策的内容缓存方法，其特征在于，所述步骤S2中的所述用户停留时间预测算法分为两部分：一是将岭回归和LSTM算法相结合，并根据不同的步长提取用户历史轨迹数据，进而预测出用户未来轨迹数据；二是利用用户预测轨迹得到用户预计的停留时长，具体内容如下：
首先利用岭回归算法对短期数据进行用户轨迹预测；然后使用LSTM算法对长期数据进行用户轨迹预测；接下来对预测结果中的中间缺失值进行插值处理，以填充轨迹的间隙；
在完成轨迹预测后，按照时间顺序计算预测的用户轨迹坐标与当前边缘服务器之间的距离，如果在时间t+1时刻预测的用户轨迹坐标与当前边缘服务器之间的距离超出了边缘服务器可提供服务的距离范围，则将时间t视为用户预计的停留时长。
5.根据权利要求4所述的一种基于用户移动和联邦缓存决策的内容缓存方法，其特征在于，在用户轨迹预测过程中，引入阈值常量和缩放因子常量，用以处理预测结果中可能存在的不合理距离，具体操作为：如果预测的用户轨迹中任意两点之间的距离大于设定的阈值，则会根据缩放因子进行步长的缩放。
6.根据权利要求1所述的一种基于用户移动和联邦缓存决策的内容缓存方法，其特征在于，所述步骤S3具体如下：
S301：边缘服务器选取能够参与联邦学习的用户集合，选取公式表示为：
tstαy≥ttrtms+ttrain
其中，tstay为用户在当前边缘服务器预计的停留时间，ttrans为模型上传和下载的时间，ttrain为本地模型的训练时间；
S302：边缘服务器将全局模型参数传输至能参与联邦学习的用户设备，用作本地模型，然后，将用户的历史请求记录作为输入，并通过迭代更新用户设备本地模型参数，利用全连接层作为编码器和解码器，并通过最小二乘法对本地模型进行更新，直到模型收敛为止；
S303：当本地模型收敛后，利用编码器计算用户和其他用户的公开历史请求记录的隐藏特征，隐藏特征能更好的反映用户的偏好，并利用余弦相似度计算法计算它们之间的相似度，然后，记录与用户相似度最高的其他用户中请求次数最多的内容，作为用户感兴趣的内容；
S304：用户将本地模型上传至边缘服务器，并利用FedAvg来更新边缘服务器全局模型；
S305：用户将用户感兴趣的内容在其他用户公开历史请求记录数据集中的请求次数上传到边缘服务器，并对请求次数进行加权处理，若停留时间较短则认为后续请求较少，因此权重较低，反之，权重较高，加权公式为：
其中，tmax为当前边缘服务器下用户停留的最长时间，Freq(ui)为其它用户历史请求次数向量，sgn为跃迁函数，当tstay小于阈值ζ时，不再考虑当前用户；
S306：边缘服务器对加权后的请求次数进行聚合后降序排列为Fc，作为当前边缘服务器下感兴趣的内容。
7.根据权利要求1所述的一种基于用户移动和联邦缓存决策的内容缓存方法，其特征在于，所述步骤S4为利用Dueling DQN模型得出当前内容缓存策略，Dueling DQN模型根据获取的奖励值对模型进行更新，以优化内容缓存策略，具体如下：
S401：初始化状态值、优势值网络和经验回放缓冲区；
S402：获取边缘服务器m在t时刻的系统状态，状态s(t)＝(Cm,t,Nm,t,Sm,t)，其中Cm,t代表t+1时隙服务器m覆盖范围内的用户数量，Nm,t代表t-1时隙邻近边缘服务器的缓存情况，Sm,t＝(s1,s2,…,sc)，其中sc代表t时隙第c感兴趣的内容；
S403：基于状态s(t)，利用状态值和优势值网络计算每个动作的Q值，根据策略π，选择当前动作a(t)，所述动作a(t)表示是否需要替换本地或邻近边缘服务器中的内容，所述a(t)的取值为0、1或2，a(t)＝0表示当前的内容策略有效，无需进行替换操作；a(t)＝1表示本地内容需要替换；a(t)＝2表示本地和邻近边缘服务器中的内容都需要替换；
S404：根据动作a(t)，执行替换操作并观察奖励r(t)；
S405：将当前状态s(t)、动作a(t)、奖励r(t)、下一状态s(t+1)存储到经验回放缓冲区中，所述下一状态s(t+1)由s(t)执行了a(t)后得到；
S406：从经验回放缓冲区中随机采样一批经验数据，计算目标Q值并更新神经网络的参数，执行反向传播操作。
8.根据权利要求7所述的一种基于用户移动和联邦缓存决策的内容缓存方法，其特征在于，在所述Dueling DQN模型进行模型训练过程中学习率随着时间逐渐下降，表达式如下：
其中，A为超参数，Z为时间限制，当时隙k小于等于A×Z时，学习率的下降速度较慢；当时隙k大于A×Z时，学习率的下降速度加快；当时隙k大于Z后，a(k)定义为常数。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1中所述的基于用户移动和联邦缓存决策的内容缓存方法。
10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1中所述的基于用户移动和联邦缓存决策的内容缓存方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311151657.3A CN117221403A (zh) | 2023-09-07 | 2023-09-07 | 一种基于用户移动和联邦缓存决策的内容缓存方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311151657.3A CN117221403A (zh) | 2023-09-07 | 2023-09-07 | 一种基于用户移动和联邦缓存决策的内容缓存方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117221403A true CN117221403A (zh) | 2023-12-12 |
Family
ID=89039939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311151657.3A Pending CN117221403A (zh) | 2023-09-07 | 2023-09-07 | 一种基于用户移动和联邦缓存决策的内容缓存方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117221403A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117528589A (zh) * | 2023-12-29 | 2024-02-06 | 江西师范大学 | 一种基于边缘计算的移动感知层次缓存容错方法 |
| CN117828199A (zh) * | 2024-03-05 | 2024-04-05 | 江西安图游科技有限公司 | 一种旅游导览数据的推送方法、系统及计算机设备 |
-
2023
- 2023-09-07 CN CN202311151657.3A patent/CN117221403A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117528589A (zh) * | 2023-12-29 | 2024-02-06 | 江西师范大学 | 一种基于边缘计算的移动感知层次缓存容错方法 |
| CN117528589B (zh) * | 2023-12-29 | 2024-03-22 | 江西师范大学 | 一种基于边缘计算的移动感知层次缓存容错方法 |
| CN117828199A (zh) * | 2024-03-05 | 2024-04-05 | 江西安图游科技有限公司 | 一种旅游导览数据的推送方法、系统及计算机设备 |
| CN117828199B (zh) * | 2024-03-05 | 2024-05-17 | 江西安图游科技有限公司 | 一种旅游导览数据的推送方法、系统及计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhong et al. | A deep reinforcement learning-based framework for content caching | |
| CN117221403A (zh) | 一种基于用户移动和联邦缓存决策的内容缓存方法 | |
| CN110430440B (zh) | 视频传输方法、系统、计算机设备和存储介质 | |
| CN109982104A (zh) | 一种移动边缘计算中移动感知的视频预取与缓存替换决策方法 | |
| CN115022684B (zh) | 一种quic协议下基于深度强化学习的视频流自适应传输方法 | |
| CN114553963B (zh) | 移动边缘计算中基于深度神经网络的多边缘节点协作缓存方法 | |
| CN112752308B (zh) | 一种基于深度强化学习的移动预测无线边缘缓存方法 | |
| CN113282786B (zh) | 一种基于深度强化学习的全景视频边缘协作缓存替换方法 | |
| CN110602653A (zh) | 基于轨迹预测的预缓存方法 | |
| CN110809167A (zh) | 一种视频播放方法、装置、电子设备及存储介质 | |
| Yang et al. | Collaborative edge caching and transcoding for 360° video streaming based on deep reinforcement learning | |
| CN114040257B (zh) | 一种自适应视频流传输播放方法、装置、设备及存储介质 | |
| CN116321307A (zh) | 一种无蜂窝网络中基于深度强化学习的双向缓存放置方法 | |
| Liu et al. | Mobility-aware video prefetch caching and replacement strategies in mobile-edge computing networks | |
| Xie et al. | Deep Curriculum Reinforcement Learning for Adaptive 360$^{\circ} $ Video Streaming With Two-Stage Training | |
| CN117749794A (zh) | 一种面向空天地一体化网络的边缘协同缓存方法和系统 | |
| Fan et al. | Pa-cache: Learning-based popularity-aware content caching in edge networks | |
| Chen et al. | Cooperative caching for scalable video coding using value-decomposed dimensional networks | |
| Zhang et al. | Accelerated deep reinforcement learning for wireless coded caching | |
| CN116016987B (zh) | 面向边缘蜂窝网络基于强化学习的视频码率自适应方法 | |
| Lin et al. | KNN-Q learning algorithm of bitrate adaptation for video streaming over HTTP | |
| CN115051996A (zh) | 一种多接入边缘计算下基于本地视频效用值的视频缓存管理方法 | |
| Hou et al. | Spatial-temporal graph attention-based multi-agent reinforcement learning in cooperative edge caching | |
| CN111901394A (zh) | 一种联合考虑用户偏好及活跃程度的移动边缘缓存的方法及系统 | |
| CN116016514B (zh) | 一种边缘计算服务的智能自适应编排方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |