CN113596160B - 一种基于迁移学习的无人机内容缓存决策方法 - Google Patents

Abstract

本发明公开了一种基于迁移学习的无人机内容缓存决策的方法，无人机需要解决在自身缓存能力的约束下决策缓存内容，优化用户获取内容总时延的问题，考虑到网络状态动态性，选择使用强化学习算法解决，并且面对全新的学习任务，选择迁移先前完成相似模型训练的无人机的交互数据，加以利用再进行智能算法的训练。本发明的方法将迁移学习概念应用于解决不同区域的无人机的内容缓存决策问题，通过迁移前一个完成交互的无人机经验数据，尽可能减小自身收集交互数据所消耗的时间、计算资源，达到更快收敛强化学习算法、进而解决实际问题的目的，提高了无人机自身的内容决策效率。

Description

一种基于迁移学习的无人机内容缓存决策方法

技术领域

本发明属于无线通讯技术领域，具体涉及一种基于迁移学习的无人机内容缓存决策方法。

背景技术

无人机缓存技术为无人机部署存储资源，将其作为空中基站进行内容缓存任务，改善地面通信因建筑物等环境特征导致的传输性能损失，更快地完成用户请求内容的交付。在无人机辅助的蜂窝网络中，无人机能够快速部署、动态调整，用户可以通过地对空通信方式直接与其通信，当用户产生某些内容请求时，若无人机刚好缓存了用户所需内容，则能够在分担基站的流量压力的同时，向用户提供更快速的请求交付，大大提升用户的内容访问体验。

在无人机辅助的蜂窝网络中，无人机可以在覆盖范围内周期巡回，其服务的用户相对固定，而用户对内容的需求特征往往是有规律可循的，这就为无人机提前主动缓存内容、降低用户请求交付时延提供了可能。考虑到无人机自身受硬件条件限制，其作为缓存节点的存储容量是较为有限的，则如何在满足缓存能力约束的条件下，选取合适的存储内容是亟待解决的问题。

传统的缓存内容决策思路是依据Zipf定律，大致估计出内容的请求概率，让无人机存储流行度高的内容，作为系统的内容缓存决策。但是无人机本身具有的高动态性，以及覆盖范围内用户需求的实时变化，使得固定的缓存策略难以适应网络高动态性的特点，现有研究大多考虑采用人工智能算法，实时地分析计算用户及网络状态的变化，决策所缓存的内容，更精准地匹配用户需求，提升用户体验。

迁移学习与从头开始学习每个任务的传统智能算法不同，当具有较少的训练数据时，迁移学习尝试将来自一些先前相关任务的知识转移到目标任务，使其不必从头开始数据收集、更新过程，而是直接应用过去的学习经验来服务自身，达到减少时间资源消耗、更快速地解决新问题的目的。

目前，针对无人机智能缓存策略的研究主要有以下两种：

(1)基于已知位置的无人机的缓存决策问题(参考文献：T.Zhang,Z.Wang,Y.Liu,W.Xu and A.Nallanathan,"Caching Placement and Resource Allocation for Cache-Enabling UAV NOMANetworks,"in IEEE Transactions on Vehicular Technology,vol.69,no.11,pp.12897-12911,Nov.2020)，该方法考虑了在无人机辅助的蜂窝网络中，内容缓存阶段的缓存选择与内容交付阶段的无线电资源分配对网络性能所起的重要作用，无人机作为主体采用Q-学习方法，在总通信、存储容量约束的条件下优化覆盖范围内缓存内容选择及通信资源分配，达到最小化长期的内容交付总时延的目的。

(2)基于未知位置的无人机放置、缓存决策的联合优化问题(参考文献：Z.Wang,T.Zhang,Y.Liu and W.Xu,"Deep Reinforcement Learning for Caching Placement andContent Delivery in UAV NOMA Networks,"2020International Conference onWireless Communications and Signal Processing(WCSP),2020,pp.406-411)该方法考虑了在实际场景中具有动态位置、接收动态内容请求的无人机NOMA网络特点，使用深度确定性策略梯度(DDPG)智能算法给出无人机的所在位置及缓存内容的决策，最小化系统内用户获取内容的平均延迟。

上述无人机缓存研究方法考虑在区域内使用人工智能算法动态地决策缓存内容，而忽略了不同区域分别训练此类学习模型往往需要消耗较多的时间与计算等资源。

发明内容

针对现有技术存在的上述问题，本发明提出了一种基于迁移学习的无人机内容缓存决策方法。

本发明的技术方案为：一种基于迁移学习的无人机内容缓存决策方法，具体包括以下步骤：

S1、无人机A依其服务范围s_a产生内容缓存问题，与环境交互产生数据放入缓冲区，利用所述数据训练强化学习模型，解决内容缓存问题；

S2、当无人机B到达并服务附近区域s_b时，产生与无人机A相似的缓存决策问题，此时通过宏基站向A求助；

S3、无人机A发送部分缓冲区的交互数据给无人机B；

S4、无人机B接受并处理交互数据，放入缓冲区后进行训练步骤，解决对应的缓存决策问题。

进一步地，步骤S1中的无人机A需要解决的问题是在自身存储能力c的约束下，选择存储内容供用户取用，最小化服务范围内用户的总体内容获取时延，同时考虑到用户需求及自身位置的动态性，使用深度强化学习(DRL)方法解决动态内容缓存决策问题。

进一步地，步骤S1具体包含以下分步骤：

S11、无人机A根据服务范围内用户请求、自身缓存能力，产生如何合理地选择部分缓存内容放置，减小用户获取内容时延的问题。

S12、无人机A作为DRL实体，多次根据系统状态，依据ε-贪心策略选择合理的动作并产生相应的奖励，作为交互数据放入缓冲区。

S13、无人机A作为DRL实体，循环选择缓冲区中的部分数据更新神经网络，完成强化学习模型训练，进而求解内容缓存决策问题。

进一步地，步骤S12中无人机A依据ε-贪心策略，在每个时段t，以概率ε随机做出动作，以1-ε的概率使用神经网络做出动作，并且将时延函数作为奖励的计算方式，以<状态，动作，奖励，后续状态>的形式作为交互数据存储下来。

进一步地，步骤S4具体包含以下分步骤：

S41、无人机B将来自A的缓冲区交互数据进行处理，使其状态空间、动作空间符合当前问题约束，并重新计算奖励。

S42、无人机B作为DRL实体，首先在缓冲区存储处理过的数据，之后同样依据ε-贪心策略，对每个时段t，以ε概率随机做出动作，以1-ε的概率使用神经网络做出动作，补充缓冲区数据。

S43、无人机B作为DRL实体，循环选择缓冲区中的部分数据更新神经网络，完成强化学习模型训练，进而求解内容缓存决策问题。

需要说明的是：

步骤S11中可供无人机选择缓存的内容共有M项，全部存储于宏基站中，无人机通过与宏基站间的回程链路进行获取；且当用户需要的内容未被无人机存储时，无人机也会通过回程链路为用户从宏基站取用。

步骤S11中假设系统中用户对内容的请求服从Zipf分布，并且假设用户n对内容m的请求概率在时间段内服从随机平均分布，即用户n对内容m在t时段内的请求概率P(r_nm(t)＝1)是确定的，用户对内容的需求是有所偏好的。

步骤S11中假设用户与无人机之间通信的路径损耗可由概率传输模型计算，且无人机位置的变化遵循既定规律，无人机可进而计算与用户之间的传输速率，进而计算用户获取内容的时延。

步骤S2中假定无人机B与A被同一宏基站服务，即可供二者选择的缓存内容相同，其承担的内容缓存任务相似，而且区域内用户对内容的请求分布相同；但是由于无人机B与A分别服务不同的区域，区域内用户的位置分布、具体内容请求都有差异。

步骤S3中考虑到B仍然需要结合自身问题特点训练学习模型，无人机A会只发送一部分缓冲区数据给B。

本发明的有益效果：在本发明中，无人机需要解决在自身缓存能力的约束下决策缓存内容，优化用户获取内容总时延的问题，考虑到网络状态动态性，选择使用强化学习算法解决，并且面对全新的学习任务，选择迁移先前完成相似模型训练的无人机的交互数据，加以利用再进行智能算法的训练。本发明的方法将迁移学习概念应用于解决不同区域的无人机的内容缓存决策问题，通过迁移前一个完成交互的无人机经验数据，尽可能减小自身收集交互数据所消耗的时间、计算资源，达到更快收敛强化学习算法、进而解决实际问题的目的，提高了无人机自身的内容决策效率。

附图说明

图1为本发明实施案例的场景示意图。

图2为本发明提供的基于迁移学习的无人机内容缓存决策方法流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

本发明的方法采用结合迁移学习的强化学习算法，分别为覆盖不同区域的无人机提供内容缓存方案，使其服务的用户能够更快速地获取需要的内容。该方法考虑到各无人机在自己的覆盖范围内，需要解决的缓存决策问题的结构较复杂却具有相似性，而重新开始的强化学习训练又需要耗费较长的时间与较多的资源，在考虑计算效率的条件下，该方法令已完成算法收敛的无人机节点通过共享训练知识的方式，辅助新接管临近区域缓存任务的无人机进行强化学习算法训练，使其能更迅速地适应边缘环境，进而求解边缘网络中的无人机节点内容缓存策略问题。

具体的，本发明应用的网络场景为：支持缓存的无人机辅助蜂窝网络中，无人机作为空中基站，部署有缓存资源以存储系统内部分内容，在服务范围内用户节点可以通过地对空通信方式从无人机获取需要的内容。若无人机没有存储用户请求的内容，则通过回程链路连接至宏基站去取，这将增加用户等待时延。为了尽量避免这样的情况发生，无人机选择训练强化学习模型去决策缓存哪些内容。各无人机分别服务不同的区域，需要独立地解决缓存内容决策问题。由于强化学习模型训练的复杂性，以及无人机面临的决策问题是相似的，可以采用迁移学习的方式复用部分强化学习交互数据，减小学习过程中的数据收集阶段的消耗。

基于上述场景，本发明提供了一种基于迁移学习的无人机内容缓存的决策方法，具体流程如图2所示，包括以下步骤：

S1、以地面宏基站为原点建立三维直角坐标系，则无人机A的位置可以由L_UAV(t):(x_UAV(t),y_UAV(t),h)来表示，其中，x_UAV(t)、y_UAV(t)分别表示t时刻无人机A的横坐标、纵坐标，h表示无人机A离地面的高度。在t时刻，用户n对内容m的请求可以描述为r_nm(t)∈{0,1}，当用户n请求了内容m时r_nm(t)＝1，否则为0。A收到的其覆盖范围内的总N个用户产生的对M项内容的需求为：R(t)＝{r_nm(t)}，其中，n∈{1,...,N},m∈{1,...,M}。此时无人机A对内容m的缓存状态为c_m(t)∈{0,1}，当A存储了内容m时，c_m(t)的值为1，否则为0；那么A对总M项内容的存储状态为：C(t)＝{c_m(t)}，其中，m∈{1,...,M}。考虑到用户需求及自身位置的动态性，无人机A决定使用深度Q网络(DQN)解决动态的内容缓存决策问题。

对于步骤S1内容缓存问题的建立及求解，具体过程为：

S11、无人机A根据服务范围内的用户请求，计算用户n获取请求内容的时延：

其中，R_n(t)是与无人机、用户n之间的距离、路径损耗相关的传输速率，R(t)是无人机与宏基站通信的传输速率。无人机A需要在自身存储能力c的约束下，决策缓存动作I(t)＝{i_m(t)},m∈{1,...,M}，其中，i_m(t)∈{0,1}，当无人机决定存储内容m时，i_m(t)值为1，否则为0，得以最小化总体用户的内容获取时延：

同时，当前的缓存动作I(t)会影响下一时刻的缓存状态C(t+1)，即有C(t+1)＝I(t)。

用户n的传输速率R_n(t)可计算为：

其中，B_n为系统分给用户n的带宽，P_UAV为无人机发送信号的功率，

为根据概率传输模型及用户与无人机之间距离计算而得的平均路损，σ²为噪声功率。

S12、无人机A作为DRL实体，建立状态空间s(t)＝{C(t)}，以及动作空间a(t)＝{I(t)}，即时奖励

对每个时段t，无人机A依据ε-贪心策略，以概率ε随机选择满足存储能力c约束的动作a(t)执行，以1-ε的概率使用神经网络做出动作，之后计算即时奖励r(t)，将s(t)转换为下一时段状态s(t+1)，以＜s(t),a(t),s(t+1),r(t)＞的形式作为交互数据放入缓冲区存储。

S13、无人机A作为DRL实体，循环选择缓冲区中的部分数据＜s(t),a(t),s(t+1),r(t)＞，将(a(t),s(t))作为输入，r(t)作为输出对神经网络进行更新。循环多次进行上述步骤，直到算法收敛，完成强化学习模型训练，得以求解内容缓存决策问题。

S2、当无人机B到达并服务附近区域s_b并开始提供缓存服务，覆盖范围内用户n产生对内容m的请求r′_nm(t)，即无人机B收到不尽相同的内容请求R′(t)＝{r′_nm(t)}，且n∈{1,...,N},m∈{1,...,M}。无人机B同样需要决策缓存动作I′(t)＝{i_m′(t)},m∈{1,...,M},其中i′_m(t)∈{0,1}指示B决定是否缓存内容m，并影响下一时刻B的缓存状态C′(t+1)＝I′(t)，得以最小化覆盖范围内总体用户的内容获取时延：

由于区域不同，s_b中的用户分布位置以及具体内容请求有差别，导致无人机B对用户n获取请求内容时延D′_n(t)的计算值与s_a中并不相同，但获取时延的计算方法、决策变量是一致的，即需要决策的缓存问题是与s_a相似的，因而无人机B通过宏基站向A请求其缓冲区数据。

S3、无人机B仍然选择采用DQN算法来决策缓存问题，请求无人机A迁移部分交互数据至自身，达到加速模型训练的目的，并且考虑到s_b中的缓存问题与s_a略有差别，B仍需要结合自身问题特点训练学习模型，因而无人机A发送70％的部分缓冲区数据给B。

S4、无人机B接受并处理交互数据，放入缓冲区后进行训练步骤，解决对应的缓存决策问题。

对于步骤S4的模型训练求解过程，具体分步骤如下：

S41、无人机B将来自A的缓冲区交互数据进行处理，考虑B的缓存能力与A相同的情况，即缓存能力约束的存储状态s′(t)、缓存动作a′(t)的空间中可以保持源数据不变，只需要重新计算即时奖励

并转化至下一时刻存储状态s′(t+1)，便得到处理过的数据组＜s′(t),a′(t),s′(t+1),r′(t)＞，并进行存储。

S42、之后无人机B作为DRL实体，同样依据ε-贪心策略，对每个时段t，以概率ε随机地选择满足受存储能力c约束的动作a′(t)执行，以1-ε的概率使用神经网络做出动作，之后计算即时奖励r′(t)，转化至下一时刻状态，将交互数据放入缓冲区进行补充。

S43、无人机B作为DRL实体，同样需要从缓冲区中选择部分数据更新神经网络。循环多次进行上述步骤，算法能更快地达到收敛，即更快地完成强化学习模型训练，内容缓存决策问题便得以求解。

可以看出，在无人机缓存内容决策场景中，本发明的方法在已有其他区域的无人机先完成模型训练、解决了缓存决策问题的条件下，考虑各区域无人机缓存决策问题相似性，复用先前的经验训练数据、减少后者模型训练消耗的问题。本发明的方法将迁移学习应用于无人机缓存网络的构建，转移已获得的经验数据至新任务再进行学习，能够充分发挥迁移学习的优势，将其应用于不同区域的学习方法训练过程中，使用先前的经验知识帮助后者提高模型训练效率，大大降低了学习时间、资源消耗，达到快速解决新问题的目的，有效地提升了整体计算效率。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (3)

1.一种基于迁移学习的无人机内容缓存决策方法，包括以下步骤：

S1、无人机A依其服务范围s_a产生内容缓存问题，与环境交互产生数据放入缓冲区，利用所述数据训练强化学习模型，解决内容缓存问题；

以地面宏基站为原点建立三维直角坐标系，则无人机A的位置由L_UAV(t):(x_UAV(t),y_UAV(t),h)来表示，其中，x_UAV(t)、y_UAV(t)分别表示t时刻无人机A的横坐标、纵坐标，h表示无人机A离地面的高度，在t时刻，用户n对内容m的请求可以描述为r_nm(t)∈{0,1}，当用户n请求了内容m时r_nm(t)＝1，否则为0；A收到的其覆盖范围内的总N个用户产生的对M项内容的需求为：R(t)＝{r_nm(t)}，其中，n∈{1,...,N},m∈{1,...,M}；此时无人机A对内容m的缓存状态为c_m(t)∈{0,1}，当A存储了内容m时，c_m(t)的值为1，否则为0；那么A对总M项内容的存储状态为：C(t)＝{c_m(t)}，其中，m∈{1,...,M}；考虑到用户需求及自身位置的动态性，无人机A决定使用深度Q网络(DQN)解决动态的内容缓存决策问题；

对内容缓存问题的建立及求解，具体过程为：

S11、无人机A根据服务范围内的用户请求，计算用户n获取请求内容的时延：

其中，R_n(t)是与无人机、用户n之间的距离、路径损耗相关的传输速率，R(t)是无人机与宏基站通信的传输速率；无人机A需要在自身存储能力c的约束下，决策缓存动作I(t)＝{i_m(t)},m∈{1,...,M}，其中，i_m(t)∈{0,1}，当无人机决定存储内容m时，i_m(t)值为1，否则为0，得以最小化总体用户的内容获取时延：

同时，当前的缓存动作I(t)会影响下一时刻的缓存状态C(t+1)，即有C(t+1)＝I(t)；

用户n的传输速率R_n(t)可计算为：

其中，B_n为系统分给用户n的带宽，P_UAV为无人机发送信号的功率，

为根据概率传输模型及用户与无人机之间距离计算而得的平均路损，σ²为噪声功率；

S12、无人机A作为DRL实体，建立状态空间s(t)＝{C(t)}，以及动作空间a(t)＝{I(t)}，即时奖励

；对每个时段t，无人机A依据ε-贪心策略，以概率ε随机选择满足存储能力c约束的动作a(t)执行，以1-ε的概率使用神经网络做出动作，之后计算即时奖励r(t)，将s(t)转换为下一时段状态s(t+1)，以＜s(t),a(t),s(t 1),+(r)t＞的形式作为交互数据放入缓冲区存储；

S13、无人机A作为DRL实体，循环选择缓冲区中的部分数据＜s(t),a(t),s(t+1),r(t)＞，将(a(t),s(t))作为输入，r(t)作为输出对神经网络进行更新；循环多次进行上述步骤，直到算法收敛，完成强化学习模型训练，得以求解内容缓存决策问题；

S2、当无人机B到达并服务附近区域s_b时，产生与无人机A相似的缓存决策问题，此时通过宏基站向A求助；

S3、无人机A发送部分缓冲区的交互数据给无人机B；

S4、无人机B接受并处理交互数据，放入缓冲区后进行训练步骤，解决对应的缓存决策问题。

2.根据权利要求1所述的基于迁移学习的无人机内容缓存决策方法，其特征在于，步骤S12中无人机A采用ε-贪心策略，在每个时段t，以概率ε随机做出动作，以1-ε的概率使用神经网络做出动作，并且将时延函数作为奖励的计算方式，以<状态，动作，奖励，后续状态>的形式作为交互数据存储下来。

3.根据权利要求2所述的基于迁移学习的无人机内容缓存决策方法，其特征在于，步骤S4具体包含以下分步骤：

S41、无人机B将来自A的缓冲区交互数据进行处理，使其状态空间、动作空间符合当前问题约束，并重新计算奖励；

S42、无人机B作为DRL实体，首先在缓冲区存储处理过的数据，之后同样依据ε-贪心策略，对每个时段t，以ε概率随机做出动作，以1-ε的概率使用神经网络做出动作，补充缓冲区数据；

S43、无人机B作为DRL实体，循环选择缓冲区中的部分数据更新神经网络，完成强化学习模型训练，进而求解内容缓存决策问题。

Images