CN112996058B - 基于多无人机网络的用户QoE优化方法、无人机及系统 - Google Patents

Abstract

本发明公开了一种基于多无人机网络的用户QoE优化方法、无人机及系统，其中，所述方法包括：根据区域对用户进行分簇，对每一簇选择簇中心、并在簇中心位置部署无人机提供网络服务；根据用户活跃度更新簇中心，调整无人机位置至更新后的簇中心；无人机从内容服务器获取缓存内容进行缓存；根据缓存决策调整无人机内的缓存内容。实施本发明的基于多无人机网络的用户QoE优化方法，根据簇内用户活跃度计算并更新簇中心，并将无人机位置调整至靠近活跃用户的簇中心，可降低数据传输距离，降低用户获取数据的平均需求时延。其次，在动态内容库场景下，将无人机的缓存问题依据缓存决策来放置缓存内容，可提高用户获取热门内容的获取效率，提升用户QoE。

Description

基于多无人机网络的用户QoE优化方法、无人机及系统

技术领域

本申请涉及边缘缓存领域，特别是涉及一种基于多无人机网络的用户QoE优化方法、无人机及系统。

背景技术

伴随着5G的快速发展和各种新型移动设备和应用的普及，无线数据流量急剧增加，用户对体验质量(QoE)的需求也日渐提升。研究表明大部分流量的增长是来源于一些流行内容的重复下载。因此使用移动边缘计算(MEC)技术将流行的内容项缓存在边缘服务器(如网关、路由器)中，以显著提高用户体验质量(QoE)，并节省回程和核心网络的传输资源消耗。近年来，由于无人机低成本，易部署和高移动性的特点，其被广泛应用于边缘网络中来解决传统通信中如部署基站成本高，难度大等问题。无人机不仅能作为一个具有有限处理能力的边缘计算平台来为IoT设备提供灵活弹性的服务，也可以缓存一些流行的内容减少回程高峰期的工作量和传输延迟。在配备缓存的无人机网络中，无人机具有移动性，与用户之间存在大概率的视距通信，可以减少用户获取内容的时延，提升用户的体验质量。其次无人机可以放置流行内容，减少流量高峰期时的回程压力。因此有两个问题对于提升用户QoE来说至关重要，即无人机的位置放置和缓存内容的放置。

发明内容

本申请提供一种基于多无人机网络的用户QoE优化方法、无人机及系统，通过用户活跃度水平优化无人机部署位置，并优化无人机缓存内容，提高用户获取数据内容的效率，降低平均需求时延，来提升用户QoE。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种基于多无人机网络的用户QoE优化方法，所述方法包括：

根据区域对用户进行分簇，对每一簇选择簇中心、并在簇中心位置部署无人机提供网络服务；

根据用户活跃度更新簇中心，调整无人机位置至更新后的簇中心；

无人机从内容服务器获取缓存内容进行缓存；

根据缓存决策调整无人机内的缓存内容。

进一步的，在根据用户活跃度更新簇中心的步骤之前，所述方法还包括：

计算用户到每个簇中心的加权距离；

根据加权距离将用户匹配给加权距离最小的簇中心点所对应的簇。

进一步的，所述根据用户活跃度更新簇中心的具体方法为：

根据属于簇m的所有用户u重新计算簇中心，

其中，μ_m表示簇m的簇中心，v_u是用户u的活跃度水平，W_u是用户u的位置。

进一步的，在调整无人机位置至更新后的簇中心的步骤之后，所述方法还包括：

重复计算簇中心，直至簇中心的变化在收敛范围内；

确定最终的簇中心；

控制无人机移动至最终的簇中心。

进一步的，所述根据缓存决策调整无人机内的缓存内容的方法具体包括：

基于Q-learning的方法进行缓存内容的学习；

通过计算不同内容的Q值对不同内容进行排序；

根据Q值大小由高到低选取内容进行缓存。

进一步的，所述Q值的计算方法或更新方法为：

其中，Q_m,f(x_m,f)表示无人机m缓存内容f所获得的平均奖励，Q_m,f(x_m,f)即为Q值，

表示行为x_m,f直到时隙t被选择的次数，

为缓存文件f所带来的即时奖励。

进一步的，所述即时奖励

为用户从无人机获取内容f相比从内容服务器获取内容f的时延减少量，其计算方法为：

其中，

表示时隙t簇m内需求内容f的用户集合。

进一步的，所述Q值的计算方法或更新方法为还包括：

其中，

所述根据Q值大小由高到低选取内容进行缓存的具体方法为：

根据每个内容的Q值对所有内容进行非增排序，即

内容在无人机m的缓存约束下依次缓存进无人机；

其中f_i∈F^t表示排名第i的内容，在时隙t的内容库为F^t＝{1,2,...,F^t}其中F^t∈[F^init,F^max]F^init和F^max分别表示初始内容库和最大内容库的数量。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种网络服务无人机，所述无人机包括：

网络模块，用于向用户提供网络服务；

计算模块，根据用户活跃度更新簇中心，调整无人机位置至更新后的簇中心；

存储模块，从内容服务器获取缓存内容进行缓存，并根据缓存决策调整无人机内的缓存内容。

为解决上述技术问题，本申请采用的再一个技术方案是：提供一种无人机网络服务系统，所述系统包括如上述的无人机、以及内容服务器，所述系统用于实施如上述的基于多无人机网络的用户QoE优化方法。

本申请的有益效果是：实施本发明的基于多无人机网络的用户QoE优化方法，根据簇内用户活跃度计算并更新簇中心，并将无人机位置调整至靠近活跃用户的簇中心，可降低数据传输距离，降低用户获取数据的平均需求时延。其次，在动态内容库场景下，将无人机的缓存问题依据缓存决策来放置缓存内容，可提高用户获取热门内容的获取效率，提升用户QoE。

附图说明

图1是本发明第一实施例的基于多无人机网络的用户QoE优化方法的流程示意图；

图2是本发明第二实施例的基于多无人机网络的用户QoE优化方法的流程示意图；

图3是本发明第三实施例的基于多无人机网络的用户QoE优化方法的子流程示意图；

图4是本发明第四实施例的网络服务无人机的框架示意图；

图5是本发明第五实施例的无人机网络服务系统的框架示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

图1是本发明第一实施例的基于多无人机网络的用户QoE优化方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括步骤：

步骤S101：根据区域对用户进行分簇，对每一簇选择簇中心、并在簇中心位置部署无人机提供网络服务。

步骤S102：根据用户活跃度更新簇中心，调整无人机位置至更新后的簇中心。

步骤S103：无人机从内容服务器获取缓存内容进行缓存。

步骤S104：根据缓存决策调整无人机内的缓存内容。

具体的，可将整个区域的用户被划分成M个簇，每一簇都放置一个缓存容量为C的无人机。将无人机的集合和用户的集合定义为M＝{1,2,...,M},U＝{1,2,...,U}。每个无人机采用频分多址(FDMA)的传输方式与簇内用户通信，因此无人机之间的干扰可以忽略。

无人机m的位置为w_m＝[x_m,y_m,h_m]，其中[x_m,y_m]表示无人机的水平位置，h_m表示无人机的高度。假设所有无人机的高度固定为H，用户u的位置为w_u＝[x_u,y_u]。时间划分为T个时隙。在时隙t的内容库为F^t＝{1,2,...,F^t}其中F^t∈[F^init,F^max]F^init和F^max分别表示初始内容库和最大内容库的数量。每个内容f的大小相同为S比特。即使对于内容大小异构的系统，也可以把内容分割成相同大小的片段，每个片段可以看作一个子内容，本系统仍然适用。时隙t的内容流行度为

用V＝{v₁,v₂,...,v_U}表示用户的活跃度，其中v_u∈[0,1]表示用户u请求一个内容的概率。用户u在时隙t时隙所需求的内容集合为

其中

表示用户u在时隙t是否需求内容f。因此所有用户在时隙t所产生的总需求数目为

其中

表示向量中非零元素的个数。

实施本发明的基于多无人机网络的用户QoE优化方法，根据簇内用户活跃度计算并更新簇中心，并将无人机位置调整至靠近活跃用户的簇中心，可降低数据传输距离，降低用户获取数据的平均需求时延。其次，在动态内容库场景下，将无人机的缓存问题依据缓存决策来放置缓存内容，可提高用户获取热门内容的获取效率，提升用户QoE。

图2是本发明第二实施例的基于多无人机网络的用户QoE优化方法的流程示意图。如图2所示，该方法包括步骤：

步骤S201：根据区域对用户进行分簇，对每一簇选择簇中心、并在簇中心位置部署无人机提供网络服务。

步骤S202：计算用户到每个簇中心的加权距离。

步骤S203：根据加权距离将用户匹配给加权距离最小的簇中心点所对应的簇。

步骤S204：根据用户活跃度更新簇中心，调整无人机位置至更新后的簇中心。

步骤S205：无人机从内容服务器获取缓存内容进行缓存。

步骤S206：根据缓存决策调整无人机内的缓存内容。

不同于现有技术仅考虑用户的地理位置来对用户进行分簇从而部署无人机，本发明联合考虑了用户的地理位置及活跃度水平，这也更符合实际场景。每一簇部署一个无人机来服务用户，当无人机缓存了簇内用户所需求的内容时，无人机可以直接将内容传送给对应用户。因此，无人机应该更靠近活跃用户来减少平均需求时延。因为用户有异构的活跃度水平，加权K-means方法被用于用户分簇。首先，随机选择M个二维的点μ＝{μ₁,μ₂,...,μ_M}作为初始的簇中心，其中μ_m表示簇m的簇中心。然后计算用户u到每个簇中心μ_m的加权距离v_u|w_u-μ_m|来将用户匹配给加权距离最小的中心点所对应的簇，其中v_u是用户u的活跃度水平。然后根据属于簇m的用户U_m重新计算簇的中心，即

获取新的簇中心点以后，继续重复上述过程直到簇中心的变化在收敛范围内。最终得到的簇中心则为无人机的二维位置，同时用户的分簇结果也随之确定。通过上述方法，无人机会更靠近高活跃度水平的用户从而更有效地服务用户需求。

图3是本发明第三实施例的基于多无人机网络的用户QoE优化方法的子流程示意图。第三实施例在上述实施例的基础上，其中，步骤S104或步骤S206包括以下子步骤：

步骤S301：基于Q-learning的方法进行缓存内容的学习；

步骤S302：通过计算不同内容的Q值对不同内容进行排序；

步骤S303：根据Q值大小由高到低选取内容进行缓存。

具体的，无人机与用户之间的传输链路主要考虑视距(LoS)和非视距(NLoS)两种传输模型。它们的路径损耗可以表示为：

其中d_m,u表示无人机与用户之间的距离，f表示载波的频率，η_LoS和η_NLoS分别表示LoS传输和NloS传输所带来的附加损耗。LoS传输和NloS传输的概率取决于所处的环境，用户与无人机之间的仰角。因此可以表示为：

Pr_NLoS＝1-Pr_LoS,

其中X和Y是取决于环境的常数，θ_m,u是用户与无人机之间的仰角。根据上述两种传输，无人机m与用户u之间的平均路径损耗为：

PL＝Pr_LoS×PL_LoS+Pr_NLoS×PL_NLoS,

因此，无人机m与用户u之间的传输率为:

其中B_m,u表示无人机m与用户u之间的传输带宽，P_m,u表示无人机m与用户u之间的传输功率。

在本模型中，用

表示无人机m在时隙t的缓存决策。其中

表示无人机m在时隙t是否缓存了内容f。因此当用户u请求内容时，用户u获取内容有两种方式：(a)当无人机的缓存命中时，即用户的需求内容在无人机的缓存空间中。用户直接从无人机获取内容。(b)当无人机的缓存未命中时，用户直接从内容服务器获取内容。因此，用户在时隙t获取内容的时延可以表示为：

其中

表示用户u在t时隙是否需求内容，

表示用户u在时隙t是否从无人机m获取了内容。δ₀表示从内容服务器中获取内容的时延。

在放置了无人机以后优化缓存决策来最小化平均需求时延。基于强化学习的方法可以解决动态内容库带来的不确定性，通过与环境交互最大化智能体的累积奖励来缓存内容。因此可以将每个无人机看作一个智能体，使用基于Q-learning的方法进行缓存内容的学习，用Q值来评估缓存决策。因此，时隙t的缓存决策定义为

用户从无人机获取内容相比从内容服务器获取内容的时延减少量作为缓存奖励。但还存在以下两个问题。首先

的行为空间是关于F^t个文件的缓存决策，因此Q表的复杂度是

与F^t呈指数关系。当F^t比较大时，复杂度比较高。其次，由于考虑了动态的内容库，这会导致行为空间的大小不断变化，计算Q值的过程会更复杂。

因此考虑评估每个文件的Q值即Q_m,f(x_m,f)，将Q表的复杂度降低。Q_m,f(x_m,f)表示无人机m缓存内容f所获得的平均奖励。然后根据缓存文件f所带来的即时奖励(表示为

)来进行Q值的更新，其中

表示用户从无人机获取内容f相比从内容服务器获取内容f的时延减少量。表示为：

其中

表示时隙t簇m内需求内容f的用户集合。然后进行Q值的更新：

其中

表示行为x_m,f直到时隙t被选择的次数。需要注意每个无人机中每个内容Q值是基于内容的历史观测奖励进行更新的。这会导致动态内容库场景中的一个问题，当一个新内容产生时，它不会被任何无人机缓存，因为每个无人机根据其累积的Q值的经验来进行缓存的决策。因此，存在探索(缓存一个新内容足够次数来更准确地学习其Q值)与利用(利用旧内容Q值的历史经验)。基于此，考虑对Q值添加一个偏置项：

其中

根据公式，当t很小时，探索被提升，而利用的部分随t增大而逐渐提升。因此，可以达到探索和利用一个更好的折中。根据得到的Q值，每个无人机优化其缓存内容来最大化其总缓存奖励。对于每个无人机m来说，每个时隙的缓存决策如下。首先，根据每个内容的Q值对所有内容进行非增排序，即

其中f_i∈F^t表示排名第i的内容。然后内容在无人机m的缓存约束下依次被放进无人机。

通过计算每个内容的Q值，然后根据Q至大小依次进行缓存，可大大提高无人机缓存内容被命中的概率，并由无人机直接向用户提供数据服务，降低需求时延。

图4是本发明第四实施例的网络服务无人机的框架示意图。如图4所示，该无人机400包括：

网络模块401，用于向用户提供网络服务；

计算模块402，根据用户活跃度更新簇中心，调整无人机位置至更新后的簇中心；

存储模块403，从内容服务器获取缓存内容进行缓存，并根据缓存决策调整无人机内的缓存内容。

进一步的，该无人机在实施时，实现如上述的基于多无人机网络的用户QoE优化方法。

如图5所示，本发明还提供一种无人机网络服务系统，所述系统包括如上述的无人机、以及内容服务器，所述系统用于实施如上述的基于多无人机网络的用户QoE优化方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (6)

1.一种基于多无人机网络的用户QoE优化方法，其特征在于，所述方法包括：

计算用户到每个簇中心的加权距离；

根据加权距离将用户匹配给加权距离最小的簇中心点所对应的簇；

根据区域对用户进行分簇，对每一簇选择簇中心、并在簇中心位置部署无人机提供网络服务；

根据用户活跃度更新簇中心，调整无人机位置至更新后的簇中心，具体方法为：

根据属于簇m的所有用户u重新计算簇中心，

其中，μ_m表示簇m的簇中心，v_u是用户u的活跃度水平，W_u是用户u的位置；

无人机从内容服务器获取缓存内容进行缓存；

根据缓存决策调整无人机内的缓存内容。

2.根据权利要求1所述的方法，其特征在于，在调整无人机位置至更新后的簇中心的步骤之后，所述方法还包括：

重复计算簇中心，直至簇中心的变化在收敛范围内；

确定最终的簇中心；

控制无人机移动至最终的簇中心。

3.根据权利要求1所述的方法，其特征在于，所述根据缓存决策调整无人机内的缓存内容的方法具体包括：

基于Q-learning的方法进行缓存内容的学习；

通过计算不同内容的Q值对不同内容进行排序；

根据Q值大小由高到低选取内容进行缓存。

4.根据权利要求3所述的方法，其特征在于，所述Q值的计算方法或更新方法为：

其中，Q_m,f(x_m,f)表示无人机m缓存内容f所获得的平均奖励，Q_m,f(x_m,f)即为Q值，

表示行为x_m,f直到时隙t被选择的次数，

为缓存文件f所带来的即时奖励。

5.根据权利要求4所述的方法，其特征在于，所述即时奖励

为用户从无人机获取内容f相比从内容服务器获取内容f的时延减少量，其计算方法为：

其中，

表示时隙t簇m内需求内容f的用户集合，

表示用户在时隙t获取内容的时延，δ₀表示从内容服务器中获取内容的时延。

6.根据权利要求5所述的方法，其特征在于，所述Q值的计算方法或更新方法为还包括：

其中，

所述根据Q值大小由高到低选取内容进行缓存的具体方法为：

根据每个内容的Q值对所有内容进行非增排序，即

内容在无人机m的缓存约束下依次缓存进无人机；

其中f_i∈F^t表示排名第i的内容，在时隙t的内容库为F^t＝{1,2,...,F^t}其中F^t∈[F^init,F^max]F^init和F^max分别表示初始内容库和最大内容库的数量。

Images