CN113364630A - 一种服务质量QoS差异化优化方法、装置 - Google Patents

一种服务质量QoS差异化优化方法、装置 Download PDF

Info

Publication number
CN113364630A
CN113364630A CN202110663039.1A CN202110663039A CN113364630A CN 113364630 A CN113364630 A CN 113364630A CN 202110663039 A CN202110663039 A CN 202110663039A CN 113364630 A CN113364630 A CN 113364630A
Authority
CN
China
Prior art keywords
user
task
qos
agent
computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110663039.1A
Other languages
English (en)
Inventor
蔡君
付鸿添
刘燕
罗建桢
廖丽平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Priority to CN202110663039.1A priority Critical patent/CN113364630A/zh
Publication of CN113364630A publication Critical patent/CN113364630A/zh
Priority to US17/729,318 priority patent/US11616702B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041—Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
    • H04L41/5051—Service on demand, e.g. definition and deployment of services in real time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5094—Allocation of resources, e.g. of the central processing unit [CPU] where the allocation takes into account power or heat criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/509—Offload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)

Abstract

本发明公开一种服务质量QoS差异化优化方法、装置，其中，所述方法包括：建立多任务卸载框架的系统模型；获取用户执行计算任务的模式，根据所述用户执行计算任务的模式，来执行所述多任务卸载框架的系统模型；基于多智能体深度强化学习的多目标优化方法，优化服务质量QoS。本发明基于多智能体深度强化学习的多用户差异化QoS计算卸载策略，考虑了系统中不同用户之间差异化的QoS需求，根据任务性能需求与网络资源状态进行全局卸载决策，对不同用户需求进行差异化性能优化，有效提高系统资源利用率以及用户服务质量。

Description

一种服务质量QoS差异化优化方法、装置
技术领域
本发明涉及通信技术领域，特别涉及一种服务质量QoS差异化优化方法、装置。
背景技术
近年来，以虚拟现实、增强现实为代表的计算密集型应用程序的广泛使用，对有限计算能力与电池容量的终端提出了极大的挑战。现有的计算卸载相关研究大多是对系统整体时延或整体能耗进行优化，忽略了不用的用户之间存在不同的QoS(Quality ofService，服务质量)需求，在权衡时延与能耗的研究中，大多通过设置权重的方式将时延与能耗进行结合，应用场景局限，当任务需求发生改变时，需要重新设置权值以及重新训练决策网络，操作复杂并且效率低下。
发明内容
本发明的主要目的是提出一种服务质量QoS差异化优化方法，旨在解决现有的当用户计算任务需求发生改变时，需要重新设置权值以及重新训练决策网络，操作复杂并且效率低下技术问题。
为实现上述目的，本发明一方面提出一种服务质量QoS差异化优化方法，包括：
建立多任务卸载框架的系统模型；
获取用户执行计算任务的模式，根据所述用户执行计算任务的模式，来执行所述多任务卸载框架的系统模型；
基于多智能体深度强化学习的多目标优化方法，优化服务质量QoS。
优选地，所述多任务卸载框架的系统模型包括：
MEC基站、云服务器和多个移动用户，其中所述多个移动用户在所述MEC基站信号覆盖范围内。
优选地，所述MEC基站设置边缘计算服务器和决策智能体。
优选地，所述用户执行计算任务的模式包括：
本地执行模式，即用户使用本地资源处理计算任务；
D2D执行模式，即用户通过D2D链路将任务卸载至邻近资源丰富的终端中执行；
D2E执行模式，即用户通过蜂窝链路将任务卸载至边缘服务器中执行；
D2C执行模式，即用户通过蜂窝链路将任务传输至MEC基站，再由MEC基站进一步将任务发送至云服务器中执行。
优选地，所述多任务卸载框架的系统模型包括：
用户模型、通信模型和计算模型。
优选地，所述根据所述用户执行计算任务的模式，来执行所述多任务卸载框架的系统模型包括：
当用户i产生计算任务时，根据用户对QoS的需求以及网络资源状态选择最佳节点执行计算任务
令二进制向量
Figure BDA0003115857680000021
表示计算任务卸载决策，ai，j∈{0，1}表示节点j是否执行用户i产生的计算任务；
当ai，i＝1时，表示任务i在本地执行，ai，0＝1表示任务i被卸载到MEC服务器执行，ai，N+1＝1表示任务i被卸载到云中心执行；
由于任务不可拆分，故有
Figure BDA0003115857680000022
用户i产生的计算任务完成时延为：
Figure BDA0003115857680000023
能耗为：
Figure BDA0003115857680000024
优选地，所述基于多智能体深度强化学习的多目标优化方法，优化服务质量QoS包括：
设置状态空间、动作空间和奖励函数；
根据所述状态空间、动作空间和奖励函数，基于MADDPG的多用户差异化进行QoS优化。
优选地，所述设置状态空间包括：
定义时延智能体Delay Agent和能耗智能体Energy Agent，其中时延智能体DelayAgent对时延敏感型任务做卸载决策，能耗智能体Energy Agent对能耗敏感型任务做卸载决策；
使用
Figure BDA0003115857680000031
表示t时隙内时延智能体Delay Agent与能耗智能体Energy Agent的状态，定义如下
Figure BDA0003115857680000032
Figure BDA0003115857680000033
其中d(t)＝{d1(t)，...，dN(t)}，其中
Figure BDA0003115857680000034
表示t时隙用户n与服务器和其他用户的距离，其中dn，0表示用户n与边缘计算服务器之间的距离；u(t)＝{u0(t)，...，uN(t)，uN+1(t)}表示t时隙用户及服务器可用计算资源，u0(t)表示边缘服务器可用计算资源,uN+1(t)表示云服务器可用计算资源；v(t)＝{v1(t)，...，vN(t)}表示t时隙用户产生的计算任务的数据量大小，其中vn(t)＝0表示t时隙用户n没有产生计算任务，c(t)＝{c1(t)，...，cN(t)}表示t时隙用户产生的计算任务的计算密度大小，即每比特计算数据所需的CPU循环数，τ(t)＝{τ1(t)，...，τN(t)}表示t时隙用户产生计算任务的约束时延，e(t)＝{e1(t)，...，eN(t)}表示t时隙用户产生计算任务的用户能耗约束。
优选地，所述设置动作空间包括：
时延智能体Delay Agent与能耗智能体Energy Agent根据t时隙的状态
Figure BDA0003115857680000035
为用户选择最佳的任务卸载节点，使用
Figure BDA0003115857680000036
表示时隙t内Delay Agent与Energy Agent的卸载决策，表示如下：
Figure BDA0003115857680000037
Figure BDA0003115857680000038
其中，an(t)＝[an，0(t)，...，an，N，an，N+1(t)]为二进制向量，表示用户n产生计算任务的卸载位置，且
Figure BDA0003115857680000039
即任务不可拆分，全部卸载到选中节点执行。
优选地，所述设置奖励函数包括：
定义即时延奖励
Figure BDA0003115857680000041
与能量奖励
Figure BDA0003115857680000042
表示如下：
Figure BDA0003115857680000043
Figure BDA0003115857680000044
若卸载决策不满足约束条件，则时延智能体或能耗智能体接收到惩罚值，-η表示该动作不可接受，其中η为设计参数，且η＞0。
另一方面，本发明还提出一种服务质量QoS优化装置，包括：
系统模型建立模块，用于建立多任务卸载框架的系统模型；
系统模型执行模块，用于获取用户执行计算任务的模式，根据所述用户执行计算任务的模式，来执行所述多任务卸载框架的系统模型；
服务质量QoS优化模块，用于基于多智能体深度强化学习的多目标优化方法，优化服务质量QoS。
本发明服务质量QoS差异化优化方法、装置，通过基于多智能体深度强化学习的多用户差异化QoS计算卸载策略，考虑了系统中不同用户之间差异化的QoS需求，根据任务性能需求与网络资源状态进行全局卸载决策，对不同用户需求进行差异化性能优化，有效提高系统资源利用率以及用户服务质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明服务质量QoS差异化优化方法一实施例的方法流程图；
图2为图1中采用的多任务卸载框架的系统模型结构示意图；
图3为图1中采用的算法模型结构示意图；
图4为本发明服务质量QoS优化装置一实施例的结构示意图。
附图标号说明：
Figure BDA0003115857680000051
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
QoS(Quality of Service，服务质量)指一个网络能够利用各种基础技术，为指定的网络通信提供更好的服务能力，是网络的一种安全机制，是用来解决网络延迟和阻塞等问题的一种技术。QoS的保证对于容量有限的网络来说是十分重要的，特别是对于流多媒体应用，例如VoIP和IPTV等，因为这些应用常常需要固定的传输率，对延时也比较敏感。
本发明提出一种服务质量QoS差异化优化方法。服务质量QoS差异化优化方法用于虚拟现实、增强现实为代表的计算密集型应用程序等，本发明以基于多智能体强化学习的多用户差异化QoS优化方法为例解释本发明。
实施例一
图1为本发明服务质量QoS差异化优化方法一实施例的方法流程图；图2为图1中采用的多任务卸载框架的系统模型结构示意图；图3为图1中采用的算法模型结构示意图。在本发明一实施例中，如图1—图3所示，一种服务质量QoS差异化优化方法，包括步骤：
S1、建立多任务卸载框架的系统模型。
从模型构成上来说，多任务卸载框架的系统模型包括：
MEC基站、云服务器和多个移动用户，其中所述多个移动用户在所述MEC基站信号覆盖范围内。MEC基站设置边缘计算服务器和决策智能体。本实施例中，决策智能体包括时延智能体Delay Agent和能耗智能体Energy Agent。其中，时延智能体Delay Agent用于时延敏感型任务的卸载决策，能耗智能体Energy Agent用于能耗敏感型任务的卸载决策。此外MEC基站通过有线连接与云服务进行通信。把整个网络分成间隔为μ的离散时间槽，记为
Figure BDA0003115857680000071
考虑在一个时隙内终端的位置与系统特性保持不变的准静态情况。
考虑对不用计算需求的用户进行差异化QoS性能优化。假设时隙内有供电系统的用户产生的任务为时延敏感型任务，无供电系统的用户产生的任务为能耗敏感型任务。针对时延敏感型任务，通过计算卸载决策，最小化时隙所有时延敏感型任务的总时延，提升用户服务质量。针对能耗敏感型任务，通过计算卸载决策，保障用户能够在剩余电量内完成计算任务，杜绝用户电量耗尽任务仍未处理完的情况发生。假设MEC基站具备全局视野，在每个时隙能够获取用户状态与系统状态。MEC基站能够将时隙内所有时延敏感型任务分发至Delay Agent进行决策，将时隙内能耗敏感型任务交由Energy Agent决策。
从模型方式上来说，多任务卸载框架的系统模型包括：用户模型、通信模型和计算模型。
用
Figure BDA0003115857680000072
表示移动用户的集合。每个移动终端都能通过蜂窝链路与MEC基站通信，处于D2D通信范围ξ内的用户能通过D2D通信链路进行通信。使用
Figure BDA0003115857680000073
表示产生时延敏感型任务的用户集合，使用
Figure BDA0003115857680000074
表示产生能耗敏感型任务的用户集合，且G+H＝N.使用一个四元组ψn＝{vn，cn，τn，en}来表示用户n计算任务的信息，其中，vn，cn表示计算任务的数据量大小以及计算单位bit数据所需的CPU循环，τn，en表示计算任务的约束时延与约束能耗。无供电系统的用户能耗约束为时隙内电池电量值
Figure BDA0003115857680000081
以确保任务能在电量耗尽前完成。
通信模型：假设蜂窝网络和D2D链路都是基于多用户正交频分多址接入技术(OFDMA,orthogonal frequency division multiple access)，由于每个信道都是正交分离的，所以信道之间不会相互干扰。
定义
Figure BDA0003115857680000082
为系统给用户分配的带宽，
Figure BDA0003115857680000083
表示用户n与MEC基站的蜂窝链路信道功率增益。让N0表示传输背景噪声功率，
Figure BDA0003115857680000084
表示用户n的D2E传输功率，dn，e表示用户n到MEC服务器的距离，β为路径损耗因子。用户将任务数据传输至边缘服务器的传输速率可表示为
Figure BDA0003115857680000085
同样的，使用
Figure BDA0003115857680000086
表示用户n与用户m，
Figure BDA0003115857680000087
之间的D2D链路信道功率增益，dn，m表示用户n到终端m的距离，β为路径损耗因子。因此，用户将任务数据传输至邻近用户的传输速率可表示为
Figure BDA0003115857680000088
考虑到MEC基站与云服务器通过有线连接通信，带宽资源充足，我们使用常数Δre2c来表示MEC基站到云服务器的传输速率。
S2、获取用户执行计算任务的模式，根据所述用户执行计算任务的模式，来执行所述多任务卸载框架的系统模型。
用户执行计算任务的模式包括：本地执行模式、D2D执行模式、D2E执行模式和D2C执行模式。
本地执行模式，即用户使用本地资源处理计算任务。当用户在本地执行计算任务时，任务完成时延与用户的能量消耗取决于任务处理所需的计算资源以及本地可用的计算资源。任务n在本地计算时的时延
Figure BDA0003115857680000089
以及能耗
Figure BDA00031158576800000810
可表示为
Figure BDA00031158576800000811
Figure BDA00031158576800000812
其中，vn，cn表示计算任务n的数据量大小以及单位比特计算数据所需的CPU循环数，fn表示用户n分配给任务的计算资源，κ是器件的有效电容数量，这取决于器件的芯片结构。
D2D执行模式，即用户通过D2D链路将任务卸载至邻近资源丰富的终端中执行。当用户将计算任务通过D2D链路卸载到邻近资源丰富的用户m，
Figure BDA0003115857680000091
中执行时，计算任务的完成时延
Figure BDA0003115857680000092
为任务的传输时间和任务在用户m的处理时间之和，即：
Figure BDA0003115857680000093
当用户将任务卸载到其他节点中计算时，需要考虑用户等待结果回传所消耗的能量，因此用户n的消耗的能量可以表示为：
Figure BDA0003115857680000094
其中，
Figure BDA0003115857680000095
表示D2D通信数据率，
Figure BDA0003115857680000096
表示服务终端m分配给任务n的计算资源，
Figure BDA0003115857680000097
表示用户n的d2d传输功率以及空闲状态下的等待功率。根据Chai等人的假设，用户的D2D传输功率略小于D2E传输功率，在条件允许下选择D2D卸载能够有效降低用户能耗。
D2E执行模式，即用户通过蜂窝链路将任务卸载至边缘服务器中执行。当用户将计算任务卸载到MEC基站中执行时，计算任务的完成时延分成两个部分：数据的传输时延以及任务在MEC服务器中的处理时延。则D2E时延定义为：
Figure BDA0003115857680000098
用户所消耗的能量可表示为：
Figure BDA0003115857680000099
其中，
Figure BDA0003115857680000101
表示D2E通信数据率，
Figure BDA0003115857680000102
表示边缘计算服务分配给任务n的计算资源，
Figure BDA0003115857680000103
表示用户n的d2e传输功率以及空闲状态下的能耗。
D2C执行模式，即用户通过蜂窝链路将任务传输至MEC基站，再由MEC基站进一步将任务发送至云服务器中执行。当用户将计算任务卸载云服务器中执行，任务的完成时间包含三个部分：任务数据传输到MEC基站的时间、MEC基站将任务数据传输到云服务器的时间以及任务在云服务器中处理的时间。则D2C时延定义为：
Figure BDA0003115857680000104
与D2D卸载、D2E卸载类似，D2C卸载的用户能耗可以表示为：
Figure BDA0003115857680000105
其中，
Figure BDA0003115857680000106
表示云服务器分配给任务n的计算资源，
Figure BDA0003115857680000107
表示用户n的传输功率以及空闲状态下的能耗,常数Δre2c来表示MEC基站到云服务器的传输数率。
根据所述用户执行计算任务的模式，来执行所述多任务卸载框架的系统模型包括：
当用户i产生计算任务时，根据用户对QoS的需求以及网络资源状态选择最佳节点执行计算任务
令二进制向量
Figure BDA0003115857680000108
表示计算任务卸载决策，ai，j∈{0，1}表示节点j是否执行用户i产生的计算任务；
当ai，i＝1时，表示任务i在本地执行，ai，0＝1表示任务i被卸载到MEC服务器执行，ai，N+1＝1表示任务i被卸载到云中心执行；
由于任务不可拆分，故有
Figure BDA0003115857680000111
用户i产生的计算任务完成时延为：
Figure BDA0003115857680000112
能耗为：
Figure BDA0003115857680000113
S3、基于多智能体深度强化学习的多目标优化方法，优化服务质量QoS。
对系统内的多个优化目标进行同时优化，传统的单智能体深度强化学习只能对多个优化目标进行加权构造一个总的优化函数，但是优化效果往往是由权重决定的，系统状态改变，性能权重就需要改变，此类方法操作繁琐，效率不高。因此，本发明提出了一种基于MADDPG的多智能体计算卸载方法，每个智能体对应一个优化目标，对系统内多个目标进行差异化优化，为了提高所有用户的服务质量。
MADDPG：Multi-Agent Deep Deterministic Policy Gradient，基于DDPG：深度确定性策略梯度算法的多智能体强化学习框架。MADDPG，基于DDPG的多智能体深度强化学习算法。MADDPG是对DDPG算法为适应多Agent环境的改进，最核心的部分就是每个Agent的Critic部分能够获取其余所有Agent的动作信息，进行中心化训练和非中心化执行，即在训练的时候，引入可以观察全局的critic来指导actor训练，而测试的时候只使用有局部观测的actor采取行动。模型由多个DDPG网络组成，每个网络学习policyπ(Actor)和actionvalue Q(Critic)。
具体实施时，基于多智能体深度强化学习的多目标优化方法，优化服务质量QoS包括：
设置状态空间、动作空间和奖励函数；
根据所述状态空间、动作空间和奖励函数，基于MADDPG的多用户差异化进行QoS优化。
MEC基站具备全局视野，能在每个时隙内获取系统内的用户信息与网络资源情况。考虑对不同QoS需求的任务进行差异化性能优化，设置状态空间包括：
定义时延智能体Delay Agent和能耗智能体Energy Agent，其中时延智能体DelayAgent对时延敏感型任务做卸载决策，能耗智能体Energy Agent对能耗敏感型任务做卸载决策；
使用
Figure BDA0003115857680000121
表示t时隙内时延智能体Delay Agent与能耗智能体Energy Agent的状态，定义如下
Figure BDA0003115857680000122
Figure BDA0003115857680000123
其中d(t)＝{d1(t)，…，dN(t)}，其中
Figure BDA0003115857680000124
表示t时隙用户n与服务器和其他用户的距离，其中dn，0表示用户n与边缘计算服务器之间的距离；u(t)＝{u0(t)，...，uN(t)，uN+1(t)}表示t时隙用户及服务器可用计算资源，u0(t)表示边缘服务器可用计算资源,uN+1(t)表示云服务器可用计算资源；v(t)＝{v1(t)，...，vN(t)}表示t时隙用户产生的计算任务的数据量大小，其中vn(t)＝0表示t时隙用户n没有产生计算任务，c(t)＝{c1(t)，...，cN(t)}表示t时隙用户产生的计算任务的计算密度大小，即每比特计算数据所需的CPU循环数，τ(t)＝{τ1(t)，...，τN(t)}表示t时隙用户产生计算任务的约束时延，e(t)＝{e1(t)，…，eN(t)}表示t时隙用户产生计算任务的用户能耗约束。
设置动作空间包括：
时延智能体Delay Agent与能耗智能体Energy Agent根据t时隙的状态
Figure BDA0003115857680000125
为用户选择最佳的任务卸载节点，使用
Figure BDA0003115857680000126
表示时隙t内Delay Agent与Energy Agent的卸载决策，表示如下：
Figure BDA0003115857680000127
Figure BDA0003115857680000128
其中，an(t)＝[an，0(t)，...，an，N，an，N+1(t)]为二进制向量，表示用户n产生计算任务的卸载位置，且
Figure BDA0003115857680000129
即任务不可拆分，全部卸载到选中节点执行。
当用户执行完动作后，会从环境中获得瞬时奖励。考虑对不同QoS需求的用户进行差异化性能优化，即对时延敏感型任务进行时延优化，对能耗敏感型任务进行能耗优化。因此我们分别定义了两种相应的奖励设置，奖励函数包括：
定义即时延奖励
Figure BDA0003115857680000131
与能量奖励
Figure BDA0003115857680000132
表示如下：
Figure BDA0003115857680000133
Figure BDA0003115857680000134
若卸载决策不满足约束条件，则时延智能体或能耗智能体接收到惩罚值，-η表示该动作不可接受，其中η为设计参数，且η＞0。
实施本实施例，基于多智能体深度强化学习的多用户差异化QoS计算卸载策略，考虑了系统中不同用户之间差异化的QoS需求，根据任务性能需求与网络资源状态进行全局卸载决策，对不同用户需求进行差异化性能优化，有效提高系统资源利用率以及用户服务质量。
实施例二
图4为本发明服务质量QoS优化装置一实施例的结构示意图。如图4所示，一种服务质量QoS优化装置，包括：
系统模型建立模块10，用于建立多任务卸载框架的系统模型；
从模型构成上来说，多任务卸载框架的系统模型包括：
MEC基站、云服务器和多个移动用户，其中所述多个移动用户在所述MEC基站信号覆盖范围内。MEC基站设置边缘计算服务器和决策智能体。本实施例中，决策智能体包括时延智能体Delay Agent和能耗智能体Energy Agent。其中，时延智能体Delay Agent用于时延敏感型任务的卸载决策，能耗智能体Energy Agent用于能耗敏感型任务的卸载决策。此外MEC基站通过有线连接与云服务进行通信。把整个网络分成间隔为μ的离散时间槽，记为
Figure BDA0003115857680000135
考虑在一个时隙内终端的位置与系统特性保持不变的准静态情况。
考虑对不用计算需求的用户进行差异化QoS性能优化。假设时隙内有供电系统的用户产生的任务为时延敏感型任务，无供电系统的用户产生的任务为能耗敏感型任务。针对时延敏感型任务，通过计算卸载决策，最小化时隙所有时延敏感型任务的总时延，提升用户服务质量。针对能耗敏感型任务，通过计算卸载决策，保障用户能够在剩余电量内完成计算任务，杜绝用户电量耗尽任务仍未处理完的情况发生。假设MEC基站具备全局视野，在每个时隙能够获取用户状态与系统状态。MEC基站能够将时隙内所有时延敏感型任务分发至Delay Agent进行决策，将时隙内能耗敏感型任务交由Energy Agent决策。
从模型方式上来说，多任务卸载框架的系统模型包括：用户模型、通信模型和计算模型。
用
Figure BDA0003115857680000141
表示移动用户的集合。每个移动终端都能通过蜂窝链路与MEC基站通信，处于D2D通信范围ξ内的用户能通过D2D通信链路进行通信。使用
Figure BDA0003115857680000142
表示产生时延敏感型任务的用户集合，使用
Figure BDA0003115857680000143
表示产生能耗敏感型任务的用户集合，且G+H＝N.使用一个四元组ψn＝{vn，cn，τn，en}来表示用户n计算任务的信息，其中，vn，cn表示计算任务的数据量大小以及计算单位bit数据所需的CPU循环，τn，en表示计算任务的约束时延与约束能耗。无供电系统的用户能耗约束为时隙内电池电量值
Figure BDA0003115857680000144
以确保任务能在电量耗尽前完成。
通信模型：假设蜂窝网络和D2D链路都是基于多用户正交频分多址接入技术(OFDMA,orthogonal frequency division multiple access)，由于每个信道都是正交分离的，所以信道之间不会相互干扰。
定义Bn，
Figure BDA0003115857680000145
为系统给用户分配的带宽，
Figure BDA0003115857680000146
表示用户n与MEC基站的蜂窝链路信道功率增益。让N0表示传输背景噪声功率，
Figure BDA0003115857680000147
表示用户n的D2E传输功率，dn，e表示用户n到MEC服务器的距离，β为路径损耗因子。用户将任务数据传输至边缘服务器的传输速率可表示为
Figure BDA0003115857680000148
同样的，使用
Figure BDA0003115857680000151
表示用户n与用户m，
Figure BDA0003115857680000152
之间的D2D链路信道功率增益，dn，m表示用户n到终端m的距离，β为路径损耗因子。因此，用户将任务数据传输至邻近用户的传输速率可表示为
Figure BDA0003115857680000153
考虑到MEC基站与云服务器通过有线连接通信，带宽资源充足，我们使用常数Δre2c来表示MEC基站到云服务器的传输速率。
系统模型执行模块20，用于获取用户执行计算任务的模式，根据所述用户执行计算任务的模式，来执行所述多任务卸载框架的系统模型；
用户执行计算任务的模式包括：本地执行模式、D2D执行模式、D2E执行模式和D2C执行模式。
本地执行模式，即用户使用本地资源处理计算任务。当用户在本地执行计算任务时，任务完成时延与用户的能量消耗取决于任务处理所需的计算资源以及本地可用的计算资源。任务n在本地计算时的时延
Figure BDA0003115857680000154
以及能耗
Figure BDA0003115857680000155
可表示为
Figure BDA0003115857680000156
Figure BDA0003115857680000157
其中，vn，cn表示计算任务n的数据量大小以及单位比特计算数据所需的CPU循环数，fn表示用户n分配给任务的计算资源，κ是器件的有效电容数量，这取决于器件的芯片结构。
D2D执行模式，即用户通过D2D链路将任务卸载至邻近资源丰富的终端中执行。当用户将计算任务通过D2D链路卸载到邻近资源丰富的用户m，
Figure BDA0003115857680000158
中执行时，计算任务的完成时延
Figure BDA0003115857680000159
为任务的传输时间和任务在用户m的处理时间之和，即：
Figure BDA00031158576800001510
当用户将任务卸载到其他节点中计算时，需要考虑用户等待结果回传所消耗的能量，因此用户n的消耗的能量可以表示为：
Figure BDA0003115857680000161
其中，
Figure BDA0003115857680000162
表示D2D通信数据率，
Figure BDA0003115857680000163
表示服务终端m分配给任务n的计算资源，
Figure BDA0003115857680000164
表示用户n的d2d传输功率以及空闲状态下的等待功率。根据Chai等人的假设，用户的D2D传输功率略小于D2E传输功率，在条件允许下选择D2D卸载能够有效降低用户能耗。
D2E执行模式，即用户通过蜂窝链路将任务卸载至边缘服务器中执行。当用户将计算任务卸载到MEC基站中执行时，计算任务的完成时延分成两个部分：数据的传输时延以及任务在MEC服务器中的处理时延。则D2E时延定义为：
Figure BDA0003115857680000165
用户所消耗的能量可表示为：
Figure BDA0003115857680000166
其中，
Figure BDA0003115857680000167
表示D2E通信数据率，
Figure BDA0003115857680000168
表示边缘计算服务分配给任务n的计算资源，
Figure BDA0003115857680000169
表示用户n的d2e传输功率以及空闲状态下的能耗。
D2C执行模式，即用户通过蜂窝链路将任务传输至MEC基站，再由MEC基站进一步将任务发送至云服务器中执行。当用户将计算任务卸载云服务器中执行，任务的完成时间包含三个部分：任务数据传输到MEC基站的时间、MEC基站将任务数据传输到云服务器的时间以及任务在云服务器中处理的时间。则D2C时延定义为：
Figure BDA00031158576800001610
与D2D卸载、D2E卸载类似，D2C卸载的用户能耗可以表示为：
Figure BDA0003115857680000171
其中，
Figure BDA0003115857680000172
表示云服务器分配给任务n的计算资源，
Figure BDA0003115857680000173
表示用户n的传输功率以及空闲状态下的能耗,常数Δre2c来表示MEC基站到云服务器的传输数率。
根据所述用户执行计算任务的模式，来执行所述多任务卸载框架的系统模型包括：
当用户i产生计算任务时，根据用户对QoS的需求以及网络资源状态选择最佳节点执行计算任务
令二进制向量
Figure BDA0003115857680000174
表示计算任务卸载决策，ai，j∈{0，1}表示节点j是否执行用户i产生的计算任务；
当ai，i＝1时，表示任务i在本地执行，ai，0＝1表示任务i被卸载到MEC服务器执行，ai，N+1＝1表示任务i被卸载到云中心执行；
由于任务不可拆分，故有
Figure BDA0003115857680000175
用户i产生的计算任务完成时延为：
Figure BDA0003115857680000176
能耗为：
Figure BDA0003115857680000177
服务质量QoS优化模块30，用于基于多智能体深度强化学习的多目标优化方法，优化服务质量QoS。
对系统内的多个优化目标进行同时优化，传统的单智能体深度强化学习只能对多个优化目标进行加权构造一个总的优化函数，但是优化效果往往是由权重决定的，系统状态改变，性能权重就需要改变，此类方法操作繁琐，效率不高。因此，本发明提出了一种基于MADDPG的多智能体计算卸载方法，每个智能体对应一个优化目标，对系统内多个目标进行差异化优化，为了提高所有用户的服务质量。
MADDPG：Multi-Agent Deep Deterministic Policy Gradient，基于DDPG：深度确定性策略梯度算法的多智能体强化学习框架。MADDPG，基于DDPG的多智能体深度强化学习算法。MADDPG是对DDPG算法为适应多Agent环境的改进，最核心的部分就是每个Agent的Critic部分能够获取其余所有Agent的动作信息，进行中心化训练和非中心化执行，即在训练的时候，引入可以观察全局的critic来指导actor训练，而测试的时候只使用有局部观测的actor采取行动。模型由多个DDPG网络组成，每个网络学习policyπ(Actor)和actionvalue Q(Critic)。
具体实施时，基于多智能体深度强化学习的多目标优化方法，优化服务质量QoS包括：
设置状态空间、动作空间和奖励函数；
根据所述状态空间、动作空间和奖励函数，基于MADDPG的多用户差异化进行QoS优化。
MEC基站具备全局视野，能在每个时隙内获取系统内的用户信息与网络资源情况。考虑对不同QoS需求的任务进行差异化性能优化，设置状态空间包括：
定义时延智能体Delay Agent和能耗智能体Energy Agent，其中时延智能体DelayAgent对时延敏感型任务做卸载决策，能耗智能体Energy Agent对能耗敏感型任务做卸载决策；
使用
Figure BDA0003115857680000181
表示t时隙内时延智能体Delay Agent与能耗智能体Energy Agent的状态，定义如下
Figure BDA0003115857680000182
Figure BDA0003115857680000183
其中d(t)＝{d1(t)，...，dN(t)}，其中
Figure BDA0003115857680000184
表示t时隙用户n与服务器和其他用户的距离，其中dn，0表示用户n与边缘计算服务器之间的距离；u(t)＝{u0(t)，...，uN(t)，uN+1(t)}表示t时隙用户及服务器可用计算资源，u0(t)表示边缘服务器可用计算资源,uN+1(t)表示云服务器可用计算资源；v(t)＝{v1(t)，...，vN(t)}表示t时隙用户产生的计算任务的数据量大小，其中vn(t)＝0表示t时隙用户n没有产生计算任务，c(t)＝{c1(t)，...，cN(t)}表示t时隙用户产生的计算任务的计算密度大小，即每比特计算数据所需的CPU循环数，τ(t)＝{τ1(t)，...，τN(t)}表示t时隙用户产生计算任务的约束时延，e(t)＝{e1(t)，...，eN(t)}表示t时隙用户产生计算任务的用户能耗约束。
设置动作空间包括：
时延智能体Delay Agent与能耗智能体Energy Agent根据t时隙的状态
Figure BDA0003115857680000191
为用户选择最佳的任务卸载节点，使用
Figure BDA0003115857680000192
表示时隙t内Delay Agent与Energy Agent的卸载决策，表示如下：
Figure BDA0003115857680000193
Figure BDA0003115857680000194
其中，an(t)＝[an，0(t)，...，an，N，an，N+1(t)]为二进制向量，表示用户n产生计算任务的卸载位置，且
Figure BDA0003115857680000195
即任务不可拆分，全部卸载到选中节点执行。
当用户执行完动作后，会从环境中获得瞬时奖励。考虑对不同QoS需求的用户进行差异化性能优化，即对时延敏感型任务进行时延优化，对能耗敏感型任务进行能耗优化。因此我们分别定义了两种相应的奖励设置，奖励函数包括：
定义即时延奖励
Figure BDA0003115857680000196
与能量奖励
Figure BDA0003115857680000197
表示如下：
Figure BDA0003115857680000198
Figure BDA0003115857680000199
若卸载决策不满足约束条件，则时延智能体或能耗智能体接收到惩罚值，-η表示该动作不可接受，其中η为设计参数，且η＞0。
实施本实施例，基于多智能体深度强化学习的多用户差异化QoS计算卸载策略，考虑了系统中不同用户之间差异化的QoS需求，根据任务性能需求与网络资源状态进行全局卸载决策，对不同用户需求进行差异化性能优化，有效提高系统资源利用率以及用户服务质量。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (11)

1.一种服务质量QoS差异化优化方法，其特征在于，包括：
建立多任务卸载框架的系统模型；
获取用户执行计算任务的模式，根据所述用户执行计算任务的模式，来执行所述多任务卸载框架的系统模型；
基于多智能体深度强化学习的多目标优化方法，优化服务质量QoS。
2.如权利要求1所述的服务质量QoS差异化优化方法，其特征在于，所述多任务卸载框架的系统模型包括：
MEC基站、云服务器和多个移动用户，其中所述多个移动用户在所述MEC基站信号覆盖范围内。
3.如权利要求2所述的服务质量QoS差异化优化方法，其特征在于，所述MEC基站设置边缘计算服务器和决策智能体。
4.如权利要求3所述的服务质量QoS差异化优化方法，其特征在于，所述用户执行计算任务的模式包括：
本地执行模式，即用户使用本地资源处理计算任务；
D2D执行模式，即用户通过D2D链路将任务卸载至邻近资源丰富的终端中执行；
D2E执行模式，即用户通过蜂窝链路将任务卸载至边缘服务器中执行；
D2C执行模式，即用户通过蜂窝链路将任务传输至MEC基站，再由MEC基站进一步将任务发送至云服务器中执行。
5.如权利要求1所述的服务质量QoS差异化优化方法，其特征在于，所述多任务卸载框架的系统模型包括：
用户模型、通信模型和计算模型。
6.如权利要求1至6任意一项所述的服务质量QoS差异化优化方法，其特征在于，所述根据所述用户执行计算任务的模式，来执行所述多任务卸载框架的系统模型包括：
当用户i产生计算任务时，根据用户对QoS的需求以及网络资源状态选择最佳节点执行计算任务
令二进制向量
Figure FDA0003115857670000021
表示计算任务卸载决策，ai，j∈{0，1}表示节点j是否执行用户i产生的计算任务；
当ai，i＝1时，表示任务i在本地执行，ai，0＝1表示任务i被卸载到MEC服务器执行，ai，N+1＝1表示任务i被卸载到云中心执行；
由于任务不可拆分，故有
Figure FDA0003115857670000022
用户i产生的计算任务完成时延为：
Figure FDA0003115857670000023
能耗为：
Figure FDA0003115857670000024
7.如权利要求1至6中任意一项所述的服务质量QoS差异化优化方法，其特征在于，所述基于多智能体深度强化学习的多目标优化方法，优化服务质量QoS包括：
设置状态空间、动作空间和奖励函数；
根据所述状态空间、动作空间和奖励函数，基于MADDPG的多用户差异化进行QoS优化。
8.如权利要求7所述的服务质量QoS差异化优化方法，其特征在于，所述设置状态空间包括：
定义时延智能体Delay Agent和能耗智能体Energy Agent，其中时延智能体DelayAgent对时延敏感型任务做卸载决策，能耗智能体Energy Agent对能耗敏感型任务做卸载决策；
使用
Figure FDA0003115857670000031
表示t时隙内时延智能体Delay Agent与能耗智能体EnergyAgent的状态，定义如下
Figure FDA0003115857670000032
Figure FDA0003115857670000033
其中d(t)＝{d1(t)，...，dN(t)}，其中
Figure FDA0003115857670000034
表示t时隙用户n与服务器和其他用户的距离，其中dn，0表示用户n与边缘计算服务器之间的距离；u(t)＝{u0(t)，...，uN(t)，uN+1(t)}表示t时隙用户及服务器可用计算资源，u0(t)表示边缘服务器可用计算资源，uN+1(t)表示云服务器可用计算资源；v(t)＝{v1(t)，...，vN(t)}表示t时隙用户产生的计算任务的数据量大小，其中vn(t)＝0表示t时隙用户n没有产生计算任务，c(t)＝{c1(t)，...，cN(t)}表示t时隙用户产生的计算任务的计算密度大小，即每比特计算数据所需的CPU循环数，τ(t)＝{τ1(t)，...，τN(t)}表示t时隙用户产生计算任务的约束时延，e(t)＝{e1(t)，...，eN(t)}表示t时隙用户产生计算任务的用户能耗约束。
9.如权利要求8所述的服务质量QoS差异化优化方法，其特征在于，所述设置动作空间包括：
时延智能体Delay Agent与能耗智能体Energy Agent根据t时隙的状态
Figure FDA0003115857670000035
为用户选择最佳的任务卸载节点，使用
Figure FDA0003115857670000036
表示时隙t内Delay Agent与EnergyAgent的卸载决策，表示如下：
Figure FDA0003115857670000037
Figure FDA0003115857670000038
其中，an(t)＝[an0(t)，...，an，N，an，N+1(t)]为二进制向量，表示用户n产生计算任务的卸载位置，且
Figure FDA0003115857670000039
即任务不可拆分，全部卸载到选中节点执行。
10.如权利要求8所述的服务质量QoS差异化优化方法，其特征在于，所述设置奖励函数包括：
定义即时延奖励
Figure FDA0003115857670000041
与能量奖励
Figure FDA0003115857670000042
表示如下：
Figure FDA0003115857670000043
Figure FDA0003115857670000044
若卸载决策不满足约束条件，则时延智能体或能耗智能体接收到惩罚值，-η表示该动作不可接受，其中η为设计参数，且η＞0。
11.一种服务质量QoS优化装置，其特征在于，包括：
系统模型建立模块，用于建立多任务卸载框架的系统模型；
系统模型执行模块，用于获取用户执行计算任务的模式，根据所述用户执行计算任务的模式，来执行所述多任务卸载框架的系统模型；
服务质量QoS优化模块，用于基于多智能体深度强化学习的多目标优化方法，优化服务质量QoS。
CN202110663039.1A 2021-06-15 2021-06-15 一种服务质量QoS差异化优化方法、装置 Pending CN113364630A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110663039.1A CN113364630A (zh) 2021-06-15 2021-06-15 一种服务质量QoS差异化优化方法、装置
US17/729,318 US11616702B2 (en) 2021-06-15 2022-04-26 Method and apparatus for differentially optimizing quality of service QoS

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110663039.1A CN113364630A (zh) 2021-06-15 2021-06-15 一种服务质量QoS差异化优化方法、装置

Publications (1)

Publication Number Publication Date
CN113364630A true CN113364630A (zh) 2021-09-07

Family

ID=77534398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110663039.1A Pending CN113364630A (zh) 2021-06-15 2021-06-15 一种服务质量QoS差异化优化方法、装置

Country Status (2)

Country Link
US (1) US11616702B2 (zh)
CN (1) CN113364630A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114189877A (zh) * 2021-12-06 2022-03-15 天津大学 一种面向5g基站的复合式能耗优化控制方法
CN114390057A (zh) * 2022-01-13 2022-04-22 南昌工程学院 Mec环境下基于强化学习的多接口自适应数据卸载方法
CN114745396A (zh) * 2022-04-12 2022-07-12 广东技术师范大学 一种基于多智能体的端边云3c资源联合优化方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116016514B (zh) * 2022-12-28 2024-04-19 北京工业大学 一种边缘计算服务的智能自适应编排方法
CN116069414B (zh) * 2023-03-06 2023-06-09 湖北工业大学 一种电力物联网计算任务卸载激励优化方法和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108848561A (zh) * 2018-04-11 2018-11-20 湖北工业大学 一种基于深度强化学习的异构蜂窝网络联合优化方法
CN110798842A (zh) * 2019-01-31 2020-02-14 湖北工业大学 一种基于多用户深度强化学习的异构蜂窝网络流量卸载方法
CN111124666A (zh) * 2019-11-25 2020-05-08 哈尔滨工业大学 一种移动物联网中的高效、安全的多用户多任务卸载方法
CN111148134A (zh) * 2019-12-19 2020-05-12 南京大学 一种基于移动边缘计算的多用户多任务卸载方法
CN111507601A (zh) * 2020-04-12 2020-08-07 北京工业大学 基于深度强化学习与区块链共识的资源优化分配决策方法
CN111786713A (zh) * 2020-06-04 2020-10-16 大连理工大学 一种基于多智能体深度强化学习的无人机网络悬停位置优化方法
CN112700663A (zh) * 2020-12-23 2021-04-23 大连理工大学 基于深度强化学习策略的多智能体智能信号灯路网控制方法
US20210160888A1 (en) * 2019-11-25 2021-05-27 University-Industry Cooperation Group Of Kyung Hee University Apparatus for constructing energy-efficient communication and computation resource allocation framework for multiple communication service and method thereof

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2782317A1 (en) * 2013-03-18 2014-09-24 Koninklijke KPN N.V. Redirecting a client device from a first gateway to a second gateway for accessing a network node function
US10554738B1 (en) * 2018-03-02 2020-02-04 Syncsort Incorporated Methods and apparatus for load balance optimization based on machine learning
US11552857B2 (en) * 2019-08-28 2023-01-10 Honeywell International Inc. Methods, systems and appratuses for optimizing the bin selection of a network scheduling and configuration tool (NST) by bin allocation, demand prediction and machine learning

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108848561A (zh) * 2018-04-11 2018-11-20 湖北工业大学 一种基于深度强化学习的异构蜂窝网络联合优化方法
CN110798842A (zh) * 2019-01-31 2020-02-14 湖北工业大学 一种基于多用户深度强化学习的异构蜂窝网络流量卸载方法
CN111124666A (zh) * 2019-11-25 2020-05-08 哈尔滨工业大学 一种移动物联网中的高效、安全的多用户多任务卸载方法
US20210160888A1 (en) * 2019-11-25 2021-05-27 University-Industry Cooperation Group Of Kyung Hee University Apparatus for constructing energy-efficient communication and computation resource allocation framework for multiple communication service and method thereof
CN111148134A (zh) * 2019-12-19 2020-05-12 南京大学 一种基于移动边缘计算的多用户多任务卸载方法
CN111507601A (zh) * 2020-04-12 2020-08-07 北京工业大学 基于深度强化学习与区块链共识的资源优化分配决策方法
CN111786713A (zh) * 2020-06-04 2020-10-16 大连理工大学 一种基于多智能体深度强化学习的无人机网络悬停位置优化方法
CN112700663A (zh) * 2020-12-23 2021-04-23 大连理工大学 基于深度强化学习策略的多智能体智能信号灯路网控制方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114189877A (zh) * 2021-12-06 2022-03-15 天津大学 一种面向5g基站的复合式能耗优化控制方法
CN114189877B (zh) * 2021-12-06 2023-09-15 天津大学 一种面向5g基站的复合式能耗优化控制方法
CN114390057A (zh) * 2022-01-13 2022-04-22 南昌工程学院 Mec环境下基于强化学习的多接口自适应数据卸载方法
CN114390057B (zh) * 2022-01-13 2024-04-05 南昌工程学院 Mec环境下基于强化学习的多接口自适应数据卸载方法
CN114745396A (zh) * 2022-04-12 2022-07-12 广东技术师范大学 一种基于多智能体的端边云3c资源联合优化方法
CN114745396B (zh) * 2022-04-12 2024-03-08 广东技术师范大学 一种基于多智能体的端边云3c资源联合优化方法

Also Published As

Publication number Publication date
US20220400062A1 (en) 2022-12-15
US11616702B2 (en) 2023-03-28

Similar Documents

Publication Publication Date Title
CN113364630A (zh) 一种服务质量QoS差异化优化方法、装置
CN113950066B (zh) 移动边缘环境下单服务器部分计算卸载方法、系统、设备
Shu et al. Multi-user offloading for edge computing networks: A dependency-aware and latency-optimal approach
CN111414252B (zh) 一种基于深度强化学习的任务卸载方法
CN110377353B (zh) 计算任务卸载系统与方法
Lin et al. A survey on computation offloading modeling for edge computing
CN109951821B (zh) 基于移动边缘计算的最小化车辆能耗任务卸载方案
Zou et al. A3C-DO: A regional resource scheduling framework based on deep reinforcement learning in edge scenario
CN111093203B (zh) 一种基于环境感知的服务功能链低成本智能部署方法
CN111400001B (zh) 一种面向边缘计算环境的在线计算任务卸载调度方法
CN114138373B (zh) 一种基于强化学习的边缘计算任务卸载方法
Xie et al. Dynamic computation offloading in IoT fog systems with imperfect channel-state information: A POMDP approach
CN113220356B (zh) 一种移动边缘计算中的用户计算任务卸载方法
CN110662238A (zh) 一种针对边缘网络下突发请求的强化学习调度方法及设备
CN110708713B (zh) 一种采用多维博弈的移动边缘计算移动端能效优化方法
CN114205353B (zh) 一种基于混合动作空间强化学习算法的计算卸载方法
CN113064671A (zh) 基于多智能体的边缘云可扩展任务卸载方法
CN113626104B (zh) 边云架构下基于深度强化学习的多目标优化卸载策略
CN114567895A (zh) 一种mec服务器集群的智能协同策略的实现方法
CN113760511B (zh) 一种基于深度确定性策略的车辆边缘计算任务卸载方法
Wang et al. Computation migration and resource allocation in heterogeneous vehicular networks: a deep reinforcement learning approach
CN114938381B (zh) 一种基于深度强化学习的d2d-mec卸载方法
Gao et al. Com-DDPG: A multiagent reinforcement learning-based offloading strategy for mobile edge computing
CN113821346B (zh) 基于深度强化学习的边缘计算中计算卸载与资源管理方法
Huda et al. Deep reinforcement learning-based computation offloading in uav swarm-enabled edge computing for surveillance applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210907