CN116761152A - 路侧单元边缘缓存放置及内容交付方法 - Google Patents

Abstract

本发明涉及车辆信息缓存与请求技术领域，具体是路侧单元边缘缓存放置及内容交付方法，包括以下步骤：S1、在RSU覆盖范围内构建关联所有车辆的拓扑网络，并根据拓扑网络中的打分规则确定车辆用户的内容偏好；S2、根据车辆用户的内容偏好，将内容按照优先级以链式结构存入RSU缓存空间；S3、将车辆请求输入到因果强化学习算法中，以计算某一时段内RSU覆盖范围内车辆请求内容的最小交付成本；本发明能够提高RSU缓存内容对车辆内容请求的命中率，减少车辆与云端服务器的交互，降低内容交付的成本。

Description

路侧单元边缘缓存放置及内容交付方法

技术领域

本发明涉及车辆信息缓存与请求技术领域，具体是路侧单元边缘缓存放置及内容交付方法。

背景技术

车载自组织网络作为实现智能传输系统的关键技术之一，通过提供道路监控、交通信息、路况等车际通信，构建组织网络，在未来智能交通系统中具有广阔的前景。目前，车载自组织网络的主要服务可以分为道路安全类服务和娱乐信息类服务。在实际使用的过程中，由于车辆的频繁移动和基础设施的覆盖范围有限，传统的车载自组织网络已经无法满足用户日益增长的服务需求。

为了解决上述现有技术中的问题，技术人员采用了边缘缓存，通过将云端缓存部分迁移到边缘设备中，如路侧单元（RSU），来降低远程内容服务商获取内容的概率和用户获取内容时的延迟，缓解车辆网络的压力。然而，在实际的使用过程中发现，在高密度车辆场景中，RSU有限的缓存容量，导致难以在支持大规模内容交付任务的同时满足车辆网络的低延迟要求，进而降低了内容交付的速度，并且提高了内容交付的成本。

发明内容

为了避免和克服现有技术中存在的技术问题，本发明提供了路侧单元边缘缓存放置及内容交付方法。本发明能够有效减少内容交付的时间，同时降低内容交付的成本。

为实现上述目的，本发明提供如下技术方案：

路侧单元边缘缓存放置及内容交付方法，包括以下步骤：

S1、在RSU覆盖范围内构建关联所有车辆的拓扑网络，并根据拓扑网络中的打分规则确定车辆节点的内容偏好；

S2、根据车辆节点的内容偏好，按照优先级将车辆节点请求的内容以链式结构存入RSU的缓存空间内；

S3、将车辆节点请求的内容输入到因果强化学习算法中，以计算设定时段内在RSU覆盖范围内车辆请求的内容的最小交付成本。

作为本发明再进一步的方案：所述打分规则对应的打分计算公式如下：

其中，Score _an 表示车辆节点a请求的内容的分数；e表示拓扑网络中无向边的总数；W _ab 表示车辆节点a和车辆节点b之间无向边的权重；B表示与车辆节点a相邻的车辆节点构成的邻居集合；C _n 表示车辆节点a请求的内容。

作为本发明再进一步的方案：拓扑网络的构建步骤如下：

S1A1、首先获取RSU覆盖范围内所有的车辆节点；

S1A2、在具有相同历史缓存内容的车辆节点之间构建无向边，无向边的权重为两个车辆节点之间具有的相同历史缓存内容的项数；

S1A3、遍历RSU覆盖范围内所有的车辆节点，以构建对应的无向边，最终形成车辆节点与无向边彼此相连的拓扑网络。

作为本发明再进一步的方案：步骤S1的具体操作步骤如下：

S11、RSU覆盖范围内的车辆节点向RSU发出请求；

S12、RSU检测其缓存空间内是否缓存有车辆节点请求的内容，并计算该内容的分数；

S13、若缓存空间内缓存有车辆节点请求的内容，且该内容的分数大于分数阈值，则检测RSU缓存空间内的该内容是否完整；若完整，则直接交付给车辆节点；若不完整，则在RSU向车辆节点交付该内容的同时，通过云端将该内容的剩余部分传递并储存在RSU中，并由RSU将该内容的剩余部分交付给车辆节点；

若缓存空间内缓存有车辆节点请求的内容，但该内容的分数不大于分数阈值，则检测RSU缓存空间内的该内容是否完整；若完整，则直接交付给车辆节点；若不完整，则在RSU向车辆节点交付该内容的同时，通过云端将该内容的剩余部分传递到RSU的空闲块中，并由RSU将该内容的剩余部分交付给车辆节点，交付完成后将RSU空闲块中的该内容删除；

若缓存空间内没有缓存车辆节点请求的内容，且该内容的分数大于分数阈值，则RSU将车辆节点的请求转发到云端，云端将车辆节点请求的内容传输给车辆节点，随后RSU将该内容存储到缓存空间内；

若缓存空间内没有缓存车辆节点请求的内容，且该内容的分数不大于分数阈值，则RSU将车辆节点的请求转发到云端，云端将车辆节点请求的内容传输给车辆节点，RSU的缓存空间不做变动。

作为本发明再进一步的方案：车辆节点请求的内容缓存到RSU缓存空间内的步骤如下：

S1B1、RSU缓存空间内的缓存块是彼此独立的，当车辆节点请求的内容被转移到RSU的缓存空间内时，该内容被切割成设定数量的单位内容块，并将各个单位内容块存储在不相邻的缓存块中；属于同一个内容的缓存块通过链表结构进行连接；在RSU的缓存空间内设定一个用于辅助传输车辆节点请求的内容的空闲块；

S1B2、在RSU缓存内容的初始化阶段，将各个车辆节点请求的内容的首个单位内容块作为内容副本，并按各个内容优先级由高到低的顺序依次缓存到RSU的缓存空间内；

S1B3、当位于RSU覆盖范围之外的车辆节点进入RSU覆盖范围内时，对该车辆节点请求的内容按照打分规则进行打分，若内容的分数大于分数阈值Score ₀，则用该内容替换已经缓存在缓存空间中且优先级低于设定值的内容。

作为本发明再进一步的方案：步骤S2的具体操作步骤如下：

S21、将各个车辆节点请求的内容存储在数据集中，将数据集输入到采用因果强化学习框架Q-Cogni的因果强化学习算法中；

S22、因果强化学习框架Q-Cogni首先在环境中应用随机行走，以存储状态信息、行动信息和奖励信息；

S23、因果强化学习框架Q-Cogni使用NOTEARS算法对数据集进行因果结构推导，将学习到的因果结构编码为DAG；

S24、利用DAG选择最佳行动，该最佳行动即为车辆节点请求的内容的交付成本最小的交付方式。

作为本发明再进一步的方案：将车辆节点请求的内容记为q，则q被请求的概率为：

其中，p _q 表示内容q被请求的概率；Q表示云端中缓存的内容的总数；e _q 为内容q被请求的次数的排列序号；β为Zipf分布的参数。

与现有技术相比，本发明的有益效果是：

1、本发明为缓解RSU的缓存压力，利用链表结构对RSU缓存空间进行优化。考虑到缓存与流行度的匹配性，本发明利用了内容副本提升了RSU的缓存命中率。

2、本发明在内容交付阶段，使用了基于因果强化学习的最优内容交付策略，结合了因果推理和DDPG算法，在保证RSU缓存命中率的基础上减少交付开销。

3、本发明能够有效降低内容交付的时间，并降低内容交付的成本。

附图说明

图1为本发明的操作流程示意图。

图2为本发明中车辆节点构成的拓扑网络图。

图3为本发明中RSU缓存放置示意图。

图4为本发明中RSU接收车辆请求的流程图。

图5为本发明中参数β对RSU缓存平均命中率的影响图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1～图5，本发明的应用场景是城市道路下的车辆拥堵场景，RSU部署在路边，该RSU周围的车道上有多辆车在行驶。RSU的缓存空间的大小为M _R ，RSU覆盖范围的半径为L _R 。RSU覆盖范围内的车辆集合为V。车辆用户所有可能请求的内容都存储在云端服务器内。

将RSU覆盖范围内路段上的车辆视为车辆节点，在具有相同历史缓存内容的车辆节点之间构建无向边，无向边的权重是两个车辆节点之间具有的相同历史缓存内容的数量。历史缓存内容的意思是车辆的内容缓存历史，也就是它在到达该路段前缓存过的内容。如果两辆车之间存在相同的内容历史缓存，那么在这两个车辆节点之间构建无向边。当车辆到达RSU覆盖范围内时，它将作为一个新的车辆节点加入拓扑网络；相应地，当车辆驶出RSU覆盖范围时，车辆节点将从拓扑网络中移除。拓扑网络如图2所示。

新到达的车辆节点请求的内容可能未被RSU缓存的或只有副本被缓存。为了评估该内容的替换价值，本发明提出了一个打分规则。假设当前拓扑网络中无向边的总数为e，对于车辆节点a和车辆节点b，如果它们之间有一条无向边，那么车辆节点a和车辆节点b互为邻居节点，无向边的权重表示为W _ab 。打分规则如下：

如果Score _an 大于等于分数阈值Score ₀，则将车辆节点请求的内容与RSU的缓存空间中已缓存的低优先级的内容进行替换。优先级最开始由云端给出，图3中缓存块上标注的序号就是优先级，序号越小表明车辆用户越有可能请求该内容，则该内容的优先级越高。

对于RSU的缓存空间，首先利用云端Zipf分布对RSU的缓存内容放置进行初始化。在数学上，内容q被请求的概率为：

RSU缓存空间中的缓存块是独立的，当内容被转移到RSU缓存空间时，内容将被切割成单位大小，并存储在不相邻的缓存块中。本发明将内容副本定义为每个内容的首个单位内容块。在RSU缓存冷启动阶段，将云端请求概率较高的前n个请求内容的副本块缓存到RSU中。

为了合理利用RSU有限的缓存空间，采用将链表结构应用到RSU的缓存置换过程中。如图3所示，每个方格代表一个单位缓存块，数字表示内容的优先级，数字越小，优先级越高。每个内容都离散地缓存在RSU缓存空间中。具有高优先级的内容放置到RSU中时在缓存空间不足的情况下会替换掉低优先级的内容块。

在RSU缓存冷启动阶段，RSU将对车辆拓扑网络内所有携带新内容的车辆进行打分，来决定是否对当前缓存进行变动。当车辆用户向RSU发起内容请求时，RSU将首先查询是否缓存了相关内容，再根据车辆所得分数来进行决策。

在内容交付阶段，会产生时间开销和金钱开销。时间开销为内容传输到车辆所花费的时间，金钱开销则为车辆接收内容的大小与单位定价的乘积。

从RSU到车辆的内容交付的定价低于云端到车辆的内容交付定价。在一个时间间隙中，可能有多辆车同时向RSU发起内容请求，RSU采取的不同决策将会导致不同的时间开销和金钱开销。

在本发明中，使用因果强化学习算法，将寻找最优内容交付策略的问题建模为马尔可夫过程。在环境中收集状态信息、行动信息和奖励信息，建立强化学习的因果模型，推断状态-行动-奖励之间的因果关系。最后，通过在行动选择中实施干预措施来缩小搜索空间，以期待更快的收敛结果。

在强化学习算法的初始化阶段，使用因果强化学习框架Q-Cogni。Q-Cogni使用了一种自主的因果结构发现方法对Q-table进行修改，以改善强化学习方法的探索效率。Q-Cogni首先在环境中应用随机行走，存储状态信息、行动信息和奖励信息。随机行走采样的数据集包含了描述完整的状态-动作空间及其相关过渡的所有必要信息。随后Q-Cogni对数据集进行因果结构推导，将学习到的因果结构编码为DAG，利用因果DAGG，来选择最佳行动a ^*，并对Q-table进行修改。修改后的Q-table可以有效避免奖励稀疏性和提高学习性能。

本发明使用DDPG算法来进行顺序行动空间决策。DDPG算法将确定性策略梯度算法和DQN算法中的相关技术结合在一起。

随后本发明进行了仿真实验。在仿真实验的场景中，一个RSU被放置在路边，RSU的覆盖范围的半径L _R 为300米。车辆在RSU的覆盖范围内遵循泊松分布，在道路上匀速行驶。RSU的缓存空间默认缓存容量设置为80，每个内容的大小为1到8个单位缓存块。

RSU缓存空间的缓存大小是有限的，而车辆用户对娱乐内容的偏好是随时间变化的。因此，RSU应该采取策略来更新缓存的内容以便进一步使用。

在参数β设置为0.7的情况下，本发明的命中率随着请求数的增加而波动，但总体命中率保持在70%和80%之间。

如图5展示了参数β对RSU缓存平均命中率的影响。在实验中，云端内容Zipf分布的参数β与本地内容Zipf分布的参数β设置相同，但在内容与流行度的匹配上有一定差别。假设车辆用户发送500个请求，从实验结果可以看出，随着参数β值的增加，本发明的方案的平均命中率在增加。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.路侧单元边缘缓存放置及内容交付方法，其特征在于，包括以下步骤：

S1、在RSU覆盖范围内构建关联所有车辆的拓扑网络，并根据拓扑网络中的打分规则确定车辆节点的内容偏好；

S2、根据车辆节点的内容偏好，按照优先级将车辆节点请求的内容以链式结构存入RSU的缓存空间内；

S3、将车辆节点请求的内容输入到因果强化学习算法中，以计算设定时段内在RSU覆盖范围内车辆请求的内容的最小交付成本。

2.根据权利要求1所述的路侧单元边缘缓存放置及内容交付方法，其特征在于，所述打分规则对应的打分计算公式如下：

其中，Score _an 表示车辆节点a请求的内容的分数；e表示扑拓网络中无向边的总数；W _ab 表示车辆节点a和车辆节点b之间无向边的权重；B表示与车辆节点a相邻的车辆节点构成的邻居集合；C _n 表示车辆节点a请求的内容。

3.根据权利要求2所述的路侧单元边缘缓存放置及内容交付方法，其特征在于，拓扑网络的构建步骤如下：

S1A1、首先获取RSU覆盖范围内所有的车辆节点；

S1A2、在具有相同历史缓存内容的车辆节点之间构建无向边，无向边的权重为两个车辆节点之间具有的相同历史缓存内容的项数；

S1A3、遍历RSU覆盖范围内所有的车辆节点，以构建对应的无向边，最终形成车辆节点与无向边彼此相连的拓扑网络。

4.根据权利要求3所述的路侧单元边缘缓存放置及内容交付方法，其特征在于，步骤S1的具体操作步骤如下：

S11、RSU覆盖范围内的车辆节点向RSU发出请求；

S12、RSU检测其缓存空间内是否缓存有车辆节点请求的内容，并计算该内容的分数；

S13、若缓存空间内缓存有车辆节点请求的内容，且该内容的分数大于分数阈值，则检测RSU缓存空间内的该内容是否完整；若完整，则直接交付给车辆节点；若不完整，则在RSU向车辆节点交付该内容的同时，通过云端将该内容的剩余部分传递并储存在RSU中，并由RSU将该内容的剩余部分交付给车辆节点；

若缓存空间内缓存有车辆节点请求的内容，但该内容的分数不大于分数阈值，则检测RSU缓存空间内的该内容是否完整；若完整，则直接交付给车辆节点；若不完整，则在RSU向车辆节点交付该内容的同时，通过云端将该内容的剩余部分传递到RSU的空闲块中，并由RSU将该内容的剩余部分交付给车辆节点，交付完成后将RSU空闲块中的该内容删除；

若缓存空间内没有缓存车辆节点请求的内容，且该内容的分数大于分数阈值，则RSU将车辆节点的请求转发到云端，云端将车辆节点请求的内容传输给车辆节点，随后RSU将该内容存储到缓存空间内；

若缓存空间内没有缓存车辆节点请求的内容，且该内容的分数不大于分数阈值，则RSU将车辆节点的请求转发到云端，云端将车辆节点请求的内容传输给车辆节点，RSU的缓存空间不做变动。

5.根据权利要求4所述的路侧单元边缘缓存放置及内容交付方法，其特征在于，车辆节点请求的内容缓存到RSU缓存空间内的步骤如下：

S1B1、RSU缓存空间内的缓存块是彼此独立的，当车辆节点请求的内容被转移到RSU的缓存空间内时，该内容被切割成设定数量的单位内容块，并将各个单位内容块存储在不相邻的缓存块中；属于同一个内容的缓存块通过链表结构进行连接；在RSU的缓存空间内设定一个用于辅助传输车辆节点请求的内容的空闲块；

S1B2、在RSU缓存内容的初始化阶段，将各个车辆节点请求的内容的首个单位内容块作为内容副本，并按各个内容优先级由高到低的顺序依次缓存到RSU的缓存空间内；

S1B3、当位于RSU覆盖范围之外的车辆节点进入RSU覆盖范围内时，对该车辆节点请求的内容按照打分规则进行打分，若内容的分数大于分数阈值，则用该内容替换已经缓存在缓存空间中且优先级低于设定值的内容。

6.根据权利要求5所述的路侧单元边缘缓存放置及内容交付方法，其特征在于，步骤S2的具体操作步骤如下：

S21、将各个车辆节点请求的内容存储在数据集中，将数据集输入到采用因果强化学习框架Q-Cogni的因果强化学习算法中；

S22、因果强化学习框架Q-Cogni首先在环境中应用随机行走，以存储状态信息、行动信息和奖励信息；

S23、因果强化学习框架Q-Cogni使用NOTEARS算法对数据集进行因果结构推导，将学习到的因果结构编码为DAG；

S24、利用DAG选择最佳行动，该最佳行动即为车辆节点请求的内容的交付成本最小的交付方式。

7.根据权利要求1-6中任一项所述的路侧单元边缘缓存放置及内容交付方法，其特征在于，将车辆节点请求的内容记为q，则q被请求的概率为：

其中，p _q 表示内容q被请求的概率；Q表示云端中缓存的内容的总数；e _q 为内容q被请求的次数的排列序号；β为Zipf分布的参数。