CN113163409A - 基于人工智能的移动边缘计算服务放置策略 - Google Patents

Abstract

本发明涉及基于人工智能的移动边缘计算服务放置策略，包括以下步骤：首先对全网络系统进行建模，需要建立宏基站模型、小基站模型、用户模型；然后将用户的延迟模型分为切换延迟模型和非切换延迟模型，非切换延迟模型分为排队延迟模型、传输延迟模型、计算延迟模型；接着建立用户的排队模型；完成上述步骤后，计算出用户感知的总延迟。最后使用强化学习方法对问题进行建模，建立状态空间、动作空间、收益信号、贝尔曼方程，至此可以通过基于人工智能的算法解决问题。本发明所述策略基于人工智能的移动边缘计算服务放置策略能够提供基站选择和服务放置的决策，在成本可控的基础上实现网络选择与服务放置解耦合。

Description

基于人工智能的移动边缘计算服务放置策略

技术领域

本发明涉及移动边缘计算服务管理领域，具体而言，涉及一种移动边缘计算服务放置策略。

背景技术

随着社会的进步和5G网络的加速部署，增强现实、虚拟现实等新型应用场景不断涌现，这些应用往往具有低延迟和大带宽的需求，给计算、存储能力不足且电量受限的移动设备带来了极大的挑战。根据思科的预测，2023年5G用户将达到14亿，平均5G连接速度将达到575Mbps。以往的云计算场景能够满足部分场景例如沉浸式游戏的需求，但是对于增强现实这类对于延迟要求极高的应用则无法满足，2013年欧洲电信标准化协会提出移动边缘计算，通过在无线接入网附近部署基站和边缘服务器，从而为这些应用需求提供支持。用户的服务放置在附近的边缘云节点而不是远程云中心，从而减少云托管服务到终端设备的延迟。如何为移动设备提供低延迟服务是制约移动边缘计算持续发展的瓶颈之一。

在移动边缘计算网络中，由于存在边缘计算服务器的通信、计算、缓存等资源受限，且用户需求多样性、区域热点差异性等问题的存在，导致边缘计算服务器负载不均衡，从而使接入到高负载边缘服务器的用户服务质量大大下降，根据用户的移动性动态放置和迁移服务是一个重大挑战。边缘服务放置技术是解决这一问题的关键技术之一，合理的边缘服务放置能够保证移动用户的服务质量要求，并且平衡部分高负载服务器的工作负担。如何根据用户的位置信息、服务需求等信息进行边缘服务放置成为移动边缘计算网络动态服务迁移中亟待解决的关键问题之一。如附图1，假设第一个时隙用户位于边缘云1和2的覆盖范围，而在下一个时隙中，用户从边缘云1、2的覆盖范围移至边缘云4的覆盖范围。在发生移动之前，用户服务放置在边缘云1上提供服务。当用户移至下一个区域时，其周围边缘云的覆盖范围将发生变化，系统必须为用户的服务做出以下决定：(1)是否随用户移动切换服务；(2)如果适应切换，何时切换；(3)如果适应切换，将服务位置切换到哪里，应用服务提供商需要为用户做出这些决定。网络环境是影响边缘服务质量的另一重要因素，如果用户的接入网络环境不佳，则可能存在较大的通信延迟问题。考虑一个典型的边缘云服务场景，其中有两个边缘云。每个边缘云由一个基站和一个云服务器组成。边缘云1和边缘云2所连接的基站已经连接了大量的用户，这导致连接到这两个边缘云的用户排队延迟很长。如果移动到此位置的用户需要选择要访问的网络，则最好在边缘云1附近选择具有较低排队延迟的网络进行访问，例如边缘云3。考虑附图1中的情况，此时，用户周围的边缘云放置了大量的服务，从而导致边缘的计算压力很大，可能产生计算能力过载的情况。此时可以选择将服务放置在用户覆盖范围之外的边缘云3上，但是这么做将产生边缘云1和边缘云3之间的额外通信开销。从以上分析可以看出，优化用户网络选择过程和服务放置过程可以提高用户的服务质量，因此对于移动边缘计算系统而言，应用服务提供商必须共同优化网络选择和服务放置策略，以使用户获得系统级的服务质量提升，因此接入基站选择也是保证服务质量的关键因素。现存的算法大多数无法同时优化网络选择与服务放置双决策，本发明将针对这一问题提出相应解决方案。

发明内容

本发明的目的在于提供一种新的移动边缘计算服务放置策略，确保所有移动用户能够合理接入基站和边缘服务器，使得用户感知的端到端总延迟最小化，从而保证用户能够体验到高质量的网络服务。本发明将宏基站作为智能体，宏基站智能体与环境的交互工作方式见附图2。当用户接入到基站和边缘云后，边缘开始为用户提供软件即服务，并且通过基站将用户的任务结果进行回传。本发明的流程图见附图3。

本发明提出的基于人工智能的移动边缘计算服务放置策略特征如下：

针对云计算网络距离远带来的高延迟问题，移动边缘计算通过将计算、存储等功能下沉到接入网侧，拉近了用户和服务节点间的网络位置，从而减少用户感知延迟。由于边缘云的服务能力限制，边缘云的服务质量易受到网络环境的影响，持续接入到高延迟的基站将会大大影响边缘云服务质量，因此如何为用户分配合适的基站和边缘服务器是一个关键的问题。本发明研究了蜂窝场景下基站选择与服务放置的联合优化问题，提出了基于人工智能的的移动边缘计算服务放置策略，通过在线的强化学习和离线的深度神经网络训练解决了基站与边缘计算节点选择的联合优化问题，能够显著减少用户感知延迟，并实现运营商成本可控。

本发明通过以下技术方案来实现：

基于人工智能的移动边缘计算服务放置策略，包括以下步骤：

步骤1：首先对全网络系统进行建模，需要建立宏基站模型、小基站模型、用户模型。

步骤2：将用户的延迟模型分为切换延迟模型和非切换延迟模型。切换延迟模型分为排队延迟模型、传输延迟模型、计算延迟模型。首先根据接入基站的通信能力和用户任务的上传数据量计算出用户的排队模型。

步骤3：将传输模型分为三种类型。第一种是用户任务从本地传输到小基站或宏基站直接处理。第二种是用户从小基站接入，而任务从本地传输到小基站后，再通过小基站将任务放置到宏基站进行处理。第三种是用户接入到小基站，任务从本地传输到小基站后，再通过宏基站中继传输到其他小基站处理。

步骤4：根据任务所需的计算能力和边缘服务器能够提供的中央处理器周期数计算用户的计算延迟。

步骤5：计算出用户的迁移延迟，迁移延迟可能是将任务从小基站向宏基站迁移产生的延迟，或者任务从小基站向其他小基站迁移产生的延迟，或者任务从宏基站传输到小基站产生的延迟。至此通过以上模型可以计算出一个时隙内用户的总传输延迟。通过切换延迟和非切换延迟加权，可以实现成本控制。

步骤6：使用强化学习方法对本策略研究的问题建模，建立状态空间、动作空间、收益信号、贝尔曼方程。

步骤7：利用DNN网络解决强化学习的动作和状态空间爆炸问题。

以上所述的基站选择设定为对宏基站和全部小基站的选择，基站主要负责数据的上下行传输，实现用户将任务通过基站上传到边缘服务器或者通过基站间的连接上传到别的服务器，以及边缘服务器计算完成后基站将任务结果进行无线回传，或者通过别的基站实现中继的任务结果回传；

以上所述的边缘服务器直接与每一个基站相连，宏基站和小基站均带有边缘服务器，形成了二级的边缘服务器模型，其中宏基站的计算能力更强，小基站的计算能力相对较弱。边缘服务器负责任务托管以及计算处理，是边缘计算实现核心功能的重要工具；

附图说明

以下附图仅示出了本发明中技术方案实施中相关流程与结构图，不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本发明系统结构

图2为本发明使用的强化学习结构

图3为本发明具体流程示意图

具体实施方式

本发明提出了基于人工智能的移动边缘计算服务放置策略，实现了基站选择与服务放置解耦合。下面根据附图进一步详细描述本发明技术方案的具体实施方式：

如图3所示，基于人工智能的移动边缘计算服务放置策略，具体实施流程为：

步骤1：首先对全网络系统进行建模，需要建立宏基站模型、小基站模型、用户模型。该步骤需要对基站(包括宏基站和小基站)、边缘云(包括宏基站和小基站分别连接的边缘云)、以及所有用户建立集合，并且对集合进行编号，以便于后续策略使用符号识别。该步骤也需要确认一个时间周期包含多少个离散化时隙，从而确定策略一次循环的周期。

步骤2：将用户的延迟模型分为切换延迟模型和非切换延迟模型。切换延迟模型分为排队延迟模型、传输延迟模型、计算延迟模型。首先根据接入基站的通信能力和用户任务的上传数据量计算出用户的排队模型。该步骤需要明确基站可提供的上行信道容量以及用户所需的上行信道容量，根据这些信息可以计算出某一个用户将任务放置到一个特定基站时的排队延迟，通过排队延迟能够判断出基站的负载情况。

步骤3：将传输模型分为三种类型。第一种是用户任务从本地传输到小基站或宏基站直接处理。第二种是用户从小基站接入，而任务从本地传输到小基站后，再通过小基站将任务放置到宏基站进行处理。第三种是用户接入到小基站，任务从本地传输到小基站后，再通过宏基站中继传输到其他小基站处理。用户发起服务请求后，将任务从本地传输到目标边缘服务器所在基站将产生传输延迟。在本发明的系统模型中，服务放置与网络接入是解耦合的，因此任务无需放置在基站直连的云节点中，将热点地区的服务器部分任务分配到网络位置相对较远的边缘服务器中，可以实现负载均衡，但将产生额外的通信延迟。本发明建立的延迟模型是系统级的，考虑的是时隙中所有用户的延迟总和。

步骤4：根据任务所需的计算能力和边缘服务器能够提供的中央处理器周期数计算用户的计算延迟。将用户计算任务所需的中央处理器周期数与边缘云每秒钟可以为用户提供的CPU周期数相除，可以得到用户单个任务的计算延迟，在同一时隙内将所有用户的全部任务计算延迟相加可以得到总计算延迟。

步骤5：计算出用户的迁移延迟，迁移延迟可能是将任务从小基站向宏基站迁移产生的延迟，或者任务从小基站向其他小基站迁移产生的延迟，或者任务从宏基站传输到小基站产生的延迟。至此通过以上模型可以计算出一个时隙内用户的总传输延迟。通过切换延迟和非切换延迟加权，可以实现成本控制。当两个权重系数相等时代表切换延迟与非切换延迟占同等比重，这时候系统成本是最高的，也就是当非切换延迟稍微更高时，系统将立刻采取新的服务放置决策。当非切换延迟的权重更高时，相当于放大了非切换延迟的影响，为了获得更小的总延迟收益，系统会看重非切换延迟的降低，代表运营商更看重经济效益，切换延迟的权重更高在本发明中是不合理的，因为当非切换延迟更低时就采取任务迁移动作，必将产生比原系统决策情况下更大的延迟。

步骤6：使用强化学习方法对本策略研究的问题建模，建立状态空间，动作空间，收益信号，贝尔曼方程。状态空间中需要状态空间包含了本发明所需要的全部状态参数，因为在宏基站进行强化学习，因此可以保证计算速度，并且宏基站可以更方便的了解各个状态参数。动作空间表示的是宏基站为每一个用户可能作出的动作选择全部集合，收益信号是指系统长期的延迟降低奖励值累积。贝尔曼方程是强化学习中的重要方程也是必要要素，把一个多步决策问题简化为一系列较简单的一步决策问题，降低了处理难度。

步骤7：利用DNN网络解决强化学习的动作和状态空间爆炸问题。

以上步骤1所述的系统结构，其结构如图1所示。该系统保证了本发明所提策略的有效性，并且由于该结构的灵活性，能够保证较低的边缘计算延迟，从而提升用户的服务质量。

以上步骤1所述的强化学习结构，其结构如图2所示。

以上步骤的全部流程，其结构如图3所示。

本发明提出的基于人工智能的移动边缘计算服务放置策略，研究了异构蜂窝场景下基站选择与服务放置的联合优化问题，提出了基于人工智能的的移动边缘计算服务放置策略，实现了服务放置与基站选择解耦合，从而灵活的为用户提供服务放置决策，并同时解决可能存在的网络环境不佳的问题。通过合理的系统建模，以及在线的强化学习和离线的深度神经网络训练解决了基站与边缘计算节点选择的联合优化问题，能够显著减少用户感知延迟，并实现运营商成本可控。

Claims (4)

1.基于人工智能的移动边缘计算服务放置策略，其特征在于，包括以下步骤：

步骤1：首先对全网络系统进行建模，需要建立宏基站模型、小基站模型、用户模型。

步骤2：将用户的延迟模型分为切换延迟模型和非切换延迟模型。切换延迟模型分为排队延迟模型、传输延迟模型、计算延迟模型。首先根据接入基站的通信能力和用户任务的上传数据量计算出用户的排队模型。

步骤3：将传输模型分为三种类型。第一种是用户任务从本地传输到小基站或宏基站直接处理。第二种是用户从小基站接入，而任务从本地传输到小基站后，再通过小基站将任务放置到宏基站进行处理。第三种是用户接入到小基站，任务从本地传输到小基站后，再通过宏基站中继传输到其他小基站处理。

步骤4：根据任务所需的计算能力和边缘服务器能够提供的中央处理器周期数计算用户的计算时延。

步骤5：计算出用户的迁移时延，迁移时延可能是将任务从小基站向宏基站迁移产生的时延，或者任务从小基站向其他小基站迁移产生的时延，或者任务从宏基站传输到小基站产生的时延。至此通过以上模型可以计算出一个时隙内用户的总传输时延。通过切换时延和非切换时延加权，可以实现成本控制。

步骤6：使用强化学习方法对本策略研究的问题建模，建立状态空间、动作空间、收益信号、贝尔曼方程。

步骤7：利用DNN网络解决强化学习的动作和状态空间爆炸问题。

2.根据权利要求1中所述的网络环境感知的移动边缘计算服务放置策略，其应用场景为：异构网络环境下多移动用户、多任务的移动边缘网络场景，通过对基站选择和服务放置解耦合，分别对两个要素进行决策，实现了更低的用户感知时延。

3.根据权利要求1中所述的基于人工智能的移动边缘计算服务放置策略，其特征在于，能够适应复杂的异构网络环境，在有限的成本下实现高效的服务放置策略，并且能够实现成本可调的服务迁移决策，从而为用户提供更高的服务质量。

4.根据权利要求1中所述的基于人工智能的移动边缘计算服务放置策略，其特征在于，利用深度强化学习方法优化了解决方案，相比较传统方法，更加智能化，能应对网络的实时变化而做出自我调节，并且不需要预先的数据集标记，符合人工智能的未来潮流。通过深度Q网络解决该问题，相比传统方法，能够更快速地实现收敛，并且同时解决了在利用强化学习方法处理类似问题的情况下，由于动作空间爆炸而无法快速收敛甚至无法收敛的问题。

Images