CN113747507B - 一种面向5g超密集网络的计算资源管理方法及装置 - Google Patents

一种面向5g超密集网络的计算资源管理方法及装置 Download PDF

Info

Publication number
CN113747507B
CN113747507B CN202110937706.0A CN202110937706A CN113747507B CN 113747507 B CN113747507 B CN 113747507B CN 202110937706 A CN202110937706 A CN 202110937706A CN 113747507 B CN113747507 B CN 113747507B
Authority
CN
China
Prior art keywords
edge server
time slot
task
user
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110937706.0A
Other languages
English (en)
Other versions
CN113747507A (zh
Inventor
陈昕
郭东超
马卓
刘智勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Information Science and Technology University
Original Assignee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Information Science and Technology University filed Critical Beijing Information Science and Technology University
Priority to CN202110937706.0A priority Critical patent/CN113747507B/zh
Publication of CN113747507A publication Critical patent/CN113747507A/zh
Application granted granted Critical
Publication of CN113747507B publication Critical patent/CN113747507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
    • H04W28/18—Negotiating wireless communication parameters
    • H04W28/22—Negotiating communication rate
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本申请提供一种面向5G超密集网络的计算资源管理方法及装置，方法包括：获取当前时隙的系统状态；系统状态包括所有用户设备的计算任务数据量和当前边缘服务器剩余计算资源总量；将系统状态输入至深度强化学习模型中，得到系统动作；系统动作包括用户设备的卸载决策和边缘服务器协作的计算资源分配策略；卸载决策用于确定用户卸载到边缘服务器的任务数据量大小，边缘服务器协作的计算资源分配策略表示边缘服务器根据系统当前时隙所剩余的计算资源总量，为其服务的用户设备分配的计算资源。有效解决了在多服务器密集部署的超密集网络环境下的资源管理问题，最小化任务处理时延，进一步提高了用户的体验质量。

Description

一种面向5G超密集网络的计算资源管理方法及装置
技术领域
本申请涉及边缘计算资源分配领域，具体涉及一种面向5G超密集网络的计算资源管理方法及装置。
背景技术
在智能设备和第五代移动通信技术5G(fifith-generation)快速发展的推动下，工业物联网、无人驾驶和智慧消防等各种复杂的服务与新兴业务不断涌现。在愈加复杂的网络场景中，用户设备会不断地产生不同类型的任务，导致大量数据流量。所产生的任务数据需要得到及时、可靠和高效的处理。一般来说，用户设备的计算能力与电池容量等资源是非常有限的。为解决用户设备资源受限的问题，可将任务卸载到边缘服务器以高效执行。在更高计算能力需求的促使下，边缘服务器的部署方式与5G超密集网络的结合更为紧密，集中式的边缘服务器部署正朝分布式部署的方向演进。对于各种计算密集型应用程序来说，将部分任务卸载到网络边缘，可以有效地降低延迟，提升用户体验。
目前，在结合移动边缘计算的5G超密集网络中，由于各种设备的致密性和系统资源的多样性，使得网络环境变得更加复杂。然而，传统的边缘服务器资源分配方案只考虑当前边缘服务器的计算能力，当其剩余的计算资源无法支持当前的任务计算时，所造成的任务边缘计算时延将无法满足用户的需求。
发明内容
由于现有方法存在上述问题，本申请实施例提供一种面向5G超密集网络的计算资源管理方法及装置。
具体的，本申请实施例提供了以下技术方案：
第一方面，本申请实施例提供了一种面向5G超密集网络的计算资源管理方法，包括：
获取当前时隙的系统状态；所述系统状态包括所有用户设备的计算任务数据量和当前边缘服务器剩余计算资源总量；
将所述系统状态输入至深度强化学习模型中，得到系统动作；所述系统动作包括用户设备的卸载决策和边缘服务器协作的计算资源分配策略；其中，所述卸载决策用于确定用户卸载到边缘服务器的任务数据量大小，所述边缘服务器协作的计算资源分配策略表示边缘服务器根据系统当前时隙所剩余的计算资源总量，为其服务的用户设备分配的计算资源；
其中，所述深度强化学习模型的训练过程如下：
步骤1，针对当前时隙的系统状态，包括所有用户设备的计算任务数据量和当前边缘服务器剩余计算资源总量，根据当前深度神经网络参数决策出系统动作，并计算得到当前状态的即时奖励，以及下一时隙边缘服务器剩余计算资源总量；
步骤2，将当前时隙的系统状态、做出的动作决策、即时奖励和下一时隙的系统状态存储到经验回放池中；所述下一时隙的系统状态包括所有用户设备的计算任务数据量和下一时隙边缘服务器剩余计算资源总量；
步骤3，随机从经验回放池中抽取一小批数据输入到深度神经网络中进行训练，更新深度神经网络参数，修正做出的动作决策；
步骤4，当计算得到的即时奖励完成收敛时，得到每个时隙的资源管理方案，结束模型训练。
可选的，所述即时奖励为所有用户设备完成计算任务的平均时延，所完成计算任务的平均时延根据下面第一公式计算得到：
其中，r(t)为完成计算任务的平均时延，为任务在用户u本地的计算时延，为用户u卸载的任务量传输至边缘服务器n的传输时延，/>为边缘服务器n处理用户u的卸载任务的边缘计算时延。
可选的，根据下面第二公式计算任务在用户本地的计算时延，所述第二公式为：
其中，au,n(t)为用户u的卸载决策，即用户u卸载到边缘服务器计算的任务量大小，Su,n(t)为用户u在t时隙生成的计算任务数据量，为计算单位比特任务所需的CPU周期数，为边缘服务器n服务的第u个用户单位时间的CPU周期数。
可选的，根据下面第三公式计算任务在用户本地卸载后传输至边缘服务器的传输时延，所述第三公式为：
其中，au,n(t)为用户u的卸载决策，ru,n(t)为用户的上行传输速率。
可选的，根据下面第四公式计算任务的边缘计算时延，所述第四公式为：
其中，au,n(t)为用户u的卸载决策，fu,n(t)为边缘服务器根据系统当前时隙所剩余的计算资源总量，为用户设备分配的计算资源。
可选的，根据下面第五公式计算执行当前所述系统动作后系统所剩余的计算资源总量，所述第五公式为：
其中，f(t+1)为下一时隙开始时系统所剩余的计算资源总量，fre(t)为当前时隙内完成计算任务所释放的计算资源，fu,n(t)为边缘服务器根据系统当前时隙所剩余的计算资源总量，为用户设备分配的计算资源，f(t)为当前时隙开始时系统所剩余的计算资源总量。
第二方面，本申请实施例提供了一种面向5G超密集网络的计算资源管理装置，包括：
获取模块，用于获取当前时隙的系统状态；所述系统状态包括所有用户设备的计算任务数据量和当前边缘服务器剩余计算资源总量；
处理模块，用于将所述系统状态输入至深度强化学习模型中，得到系统动作；所述系统动作包括用户设备的卸载决策和边缘服务器协作的计算资源分配策略；其中，所述任务卸载策略用于确定用户卸载到边缘服务器的任务数据量大小，所述边缘服务器协作的计算资源分配策略表示边缘服务器根据系统当前时隙所剩余的计算资源总量，为其服务的用户设备分配的计算资源；
其中，所述深度强化学习模型的训练过程如下：
针对当前时隙的系统状态，包括所有用户设备的计算任务数据量和当前边缘服务器剩余计算资源总量，根据当前深度神经网络参数决策出系统动作，并计算得到当前状态的即时奖励，以及下一时隙边缘服务器剩余计算资源总量；
将当前时隙的系统状态、做出的动作决策、即时奖励和下一时隙的系统状态存储到经验回放池中；所述下一时隙的系统状态包括所有用户设备的计算任务数据量和下一时隙边缘服务器剩余计算资源总量；
随机从经验回放池中抽取一小批数据输入到深度神经网络中进行训练，更新深度神经网络参数，修正做出的动作决策；
当计算得到的即时奖励完成收敛时，得到每个时隙的资源管理方案，结束模型训练。
第三方面，本申请实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所述面向5G超密集网络的计算资源管理方法的步骤。
第四方面，本申请实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述面向5G超密集网络的计算资源管理方法的步骤。
第五方面，本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述面向5G超密集网络的计算资源管理方法的步骤。
由上面技术方案可知，本申请实施例根据当前边缘服务器剩余计算资源总量以及用户设备的计算任务量，制定边缘服务器协同进行任务计算的最优决策，有效解决了在多服务器密集部署的超密集网络环境下的资源管理问题，最小化任务处理时延，进一步提高了用户的体验质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1是本申请实施例提供的面向5G超密集网络的计算资源管理方法的步骤流程图；
图2是本申请实施例提供的面向5G超密集网络系统的示意图；
图3是本申请实施例提供的面向5G超密集网络的计算资源管理装置的结构示意图；
图4是本申请实施例的电子设备的结构示意图。
具体实施方式
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1是本申请实施例提供的面向5G超密集网络的计算资源管理方法的步骤流程图，图2是本申请实施例提供的面向5G超密集网络系统的示意图。下面结合图1和图2对本申请实施例提供的面向5G超密集网络的计算资源管理方法进行详细解释和说明。
如图1所示，本申请实施例提供的面向5G超密集网络的计算资源管理方法，包括：
步骤101：获取当前时隙的系统状态；所述系统状态包括所有用户设备的计算任务数据量和当前边缘服务器剩余计算资源总量；
在本步骤中，需要说明的是，本申请实施例提供的面向边缘计算的5G超密集网络系统如图2所示，包括：由多台边缘服务器组成的协同计算边缘云，以及多个用户处于边缘云服务范围内提供计算密集型任务。首先获取当前时隙5G超密集网络系统状态，包括但不限于信道增益、计算任务数据量和当前边缘服务器剩余计算资源总量。可以理解的是，相比于现有技术获取单一边缘服务器的计算资源，本申请基于多边缘服务器协同进行任务计算方式，获取的当前边缘服务器剩余计算资源总量为每个边缘服务器的计算能力之和。
步骤102：将所述系统状态输入至深度强化学习模型中，得到系统动作；所述系统动作包括用户设备的卸载决策和边缘服务器协作的计算资源分配策略；其中，所述卸载决策用于确定用户卸载到边缘服务器的任务数据量大小，所述边缘服务器协作的计算资源分配策略表示边缘服务器根据系统当前时隙所剩余的计算资源总量，为其服务的用户设备分配的计算资源；
其中，所述深度强化学习模型的训练过程如下：
步骤1，针对当前时隙的系统状态，包括所有用户设备的计算任务数据量和当前边缘服务器剩余计算资源总量，根据当前深度神经网络参数决策出系统动作，并计算得到当前状态的即时奖励，以及下一时隙边缘服务器剩余计算资源总量；
步骤2，将当前时隙的系统状态、做出的动作决策、即时奖励和下一时隙的系统状态存储到经验回放池中；所述下一时隙的系统状态包括所有用户设备的计算任务数据量和下一时隙边缘服务器剩余计算资源总量；
步骤3，随机从经验回放池中抽取一小批数据输入到深度神经网络中进行训练，更新深度神经网络参数，修正做出的动作决策；
步骤4，当计算得到的即时奖励完成收敛时，得到每个时隙的资源管理方案，结束模型训练。
在本步骤中，需要说明的是，将步骤101获取的当前时隙的系统状态输入至训练好的深度强化模型中，即可到相应的系统动作，其包括用户设备的卸载决策和边缘服务器协作的计算资源分配策略/>其中，卸载决策/>用于确定用户卸载到边缘服务器的任务数据量大小，边缘服务器协作的计算资源分配策略/>表示边缘服务器根据系统当前时隙所剩余的计算资源总量，为用户设备分配计算资源。由此可见，本申请实施例通过考虑当前全部的边缘服务器计算资源，以时延最小化为目标制定任务卸载策略和计算资源分配决策，从而实现整个网络的计算资源管理。相比于传统的边缘服务器资源分配方案只考虑当前边缘服务器的计算能力，能够更好地满足用户需求，提高用户的体验质量。
在本步骤中，对深度强化学习模型进行训练的具体过程为：将当前时隙的系统状态、与系统状态对应的系统动作、执行系统动作所获得的即时奖励值和执行当前系统动作后下一时隙的系统状态作为经验样本存放入回放经验池中。其中，执行系统动作所获得的即时奖励值即为任务的平均完成时间，包括用户本地计算时延、任务卸载的传输时延和边缘服务器计算时延。随机抽取所述回放经验池中的经验样本，将所述经验样本输入至深度强化学习模型中，进行神经网络训练，更新神经网络参数，修正所做出的资源管理决策。当计算所有时隙下的任务平均完成时延也即平均奖励值完成收敛时，模型训练结束。
由上面技术方案可知，本申请实施例根据当前边缘服务器剩余计算资源总量以及用户设备的计算任务量，制定边缘服务器协同进行任务计算的最优决策，有效解决了在多服务器密集部署的超密集网络环境下的资源管理问题，最小化任务处理时延，进一步提高了用户的体验质量。
基于上述实施例的内容，在本实施例中，所述即时奖励为所有用户设备完成计算任务的平均时延，所完成计算任务的平均时延根据下面第一公式计算得到：
其中，r(t)为完成计算任务的平均时延，为任务在用户u本地的计算时延，为用户u卸载的任务量传输至边缘服务器n的传输时延，/>为边缘服务器n处理用户u的卸载任务的边缘计算时延。
基于上述实施例的内容，在本实施例中，根据下面第二公式计算任务在用户本地的计算时延，所述第二公式为：
其中，au,n(t)为用户u的卸载决策，即用户u卸载到边缘服务器计算的任务量大小，Su,n(t)为用户u在t时隙生成的计算任务数据量，为计算单位比特任务所需的CPU周期数，为边缘服务器n服务的第u个用户单位时间的CPU周期数。
基于上述实施例的内容，在本实施例中，根据下面第三公式计算任务在用户本地卸载后传输至边缘服务器的传输时延，所述第三公式为：
其中，au,n(t)为用户u的卸载决策，ru,n(t)为用户的上行传输速率。
基于上述实施例的内容，在本实施例中，根据下面第四公式计算任务的边缘计算时延，所述第四公式为：
其中，au,n(t)为用户u的卸载决策，fu,n(t)为边缘服务器根据系统当前时隙所剩余的计算资源总量，为用户设备分配的计算资源。
基于上述实施例的内容，在本实施例中，根据下面第五公式计算执行当前所述系统动作后系统所剩余的计算资源总量，所述第五公式为：
其中，f(t+1)为下一时隙开始时系统所剩余的计算资源总量，fre(t)为当前时隙内完成计算任务所释放的计算资源，fu,n(t)为边缘服务器根据系统当前时隙所剩余的计算资源总量，为用户设备分配的计算资源，f(t)为当前时隙开始时系统所剩余的计算资源总量。
下面通过具体实施例进行说明：
实施例一：
在本实施例中，需要说明的是，本申请实施例提供的面向边缘计算的5G超密集网路系统是一个多基站多用户多边缘服务器的5G超密集网络系统。系统中，每个基站都配备了一台边缘服务器，基站和边缘服务器的集合都可表示为由基站和边缘服务器n服务的用户设备(UE)集合可表示为/>每个UE每个时隙生成一个可拆分的计算密集型任务，其中一部分任务可在设备本地进行计算，剩余的部分可卸载到边缘服务器执行，任务处理的时间可以超过时隙的间隔长度τ。任务的数据量为Su,n(t)，单位为bit，计算单位bit任务所需的CPU周期数为/>由基站和边缘服务器n服务的第u个UE单位时间的CPU周期数为/>边缘服务器n单位时间的CPU周期数为/>用户可行策略集为/> 中包含所有任务卸载的可能策略，由基站和边缘服务器n服务UE的策略集可表示为/>其中au,n(t)表示由基站和边缘服务器n服务的第u个UE卸载的数据量。边缘服务器的可行策略集为/> 中包含所有计算资源分配的可能策略，第n个边缘服务器的策略集可表示为/>其中fu,n(t)表示第n个边缘服务器为所服务的第u个UE分配的计算资源。
在本实施例中，假设用户做出的卸载策略为au,n(t)，则在任务在本地计算的数据量为Su,n(t)-au,n(t)。任务的本地时延为
为保证本地设备任务不产生积压，限制本地计算的时延不超过时隙间隔时间，即
在本实施例中，假设用户做出的卸载策略为au,n(t)。在任务传输过程中，时隙t，用户的上行传输速率为ru,n(t)，则任务的传输时延为：
在本实施例中，系统中的多个边缘服务器协同进行任务的计算，系统中的计算资源总量为每个边缘服务器计算能力之和。每个小基站之间的连接方式为光纤传输，带宽较高，因此基站间的通信时延可以忽略。传输任务的边缘计算时延可以超过时隙间隔时间，任务在执行期间会占用计算资源，在进行边缘服务器决策时，边缘服务器根据系统当前时隙所剩余的计算资源总量，为UE分配计算资源fu,n(t)，则任务的边缘计算时延为：
任务计算完成后，会释放所占用的计算资源，若当前时隙内完成任务所释放的计算资源为fre(t)，则系统中下一时隙开始时所剩余计算资源总量为：
在本实施例中，每个任务的总完成时间为本地计算时延、任务传输时延和边缘计算时延之和，同时为当前时隙的即时奖励值，即
则所有时隙下所有任务平均完成时延为：
在本实施例中，针对当前时隙5G超密集网络系统包括信道增益、任务量和当前边缘服务器剩余计算资源总量等状态空间，根据当前深度神经网络参数进行任务卸载和计算资源分配的资源管理决策，基于上述公式得到当前状态下的即时奖励，并计算出下一时隙剩余计算资源总量。将当前系统状态、做出的决策、即时奖励和下一时隙的系统状态存储到回放经验池中。随机从回放经验池中抽取一小批数据输入到深度神经网络中进行训练，更新深度神经网络参数，修正所做出的资源管理决策。当计算得到的任务平均完成时间收敛时，得到每个时隙的资源管理方案，并按照所述每个时隙的资源管理方案进行资源管理。
基于相同的发明构思，本发明另一实施例提供了一种面向5G超密集网络的计算资源管理装置，如图3所示，所述装置包括：
获取模块1，用于获取当前时隙的系统状态；所述系统状态包括所有用户设备的计算任务数据量和当前边缘服务器剩余计算资源总量；
处理模块2，用于将所述系统状态输入至深度强化学习模型中，得到系统动作；所述系统动作包括用户设备的卸载决策和边缘服务器协作的计算资源分配策略；其中，所述任务卸载策略用于确定用户卸载到边缘服务器的任务数据量大小，所述边缘服务器协作的计算资源分配策略表示边缘服务器根据系统当前时隙所剩余的计算资源总量，为其服务的用户设备分配的计算资源；
其中，所述深度强化学习模型的训练过程如下：
针对当前时隙的系统状态，包括所有用户设备的计算任务数据量和当前边缘服务器剩余计算资源总量，根据当前深度神经网络参数决策出系统动作，并计算得到当前状态的即时奖励，以及下一时隙边缘服务器剩余计算资源总量；
将当前时隙的系统状态、做出的动作决策、即时奖励和下一时隙的系统状态存储到经验回放池中；所述下一时隙的系统状态包括所有用户设备的计算任务数据量和下一时隙边缘服务器剩余计算资源总量；
随机从经验回放池中抽取一小批数据输入到深度神经网络中进行训练，更新深度神经网络参数，修正做出的动作决策；
当计算得到的即时奖励完成收敛时，得到每个时隙的资源管理方案，结束模型训练。
在本实施例中，需要说明的是，本申请实施例提供的面向边缘计算的5G超密集网络系统如图2所示，包括：由多台边缘服务器组成的协同计算边缘云，以及多个用户处于边缘云服务范围内提供计算密集型任务。首先获取当前时隙5G超密集网络系统状态，包括但不限于信道增益、计算任务数据量和当前边缘服务器剩余计算资源总量。可以理解的是，相比于现有技术获取单一边缘服务器的计算资源，本申请基于多边缘服务器协同进行任务计算方式，获取的当前边缘服务器剩余计算资源总量为每个边缘服务器的计算能力之和。
在本实施例中，需要说明的是，将获取的当前时隙的系统状态输入至训练好的深度强化模型中，即可到相应的系统动作，其包括用户设备的任务卸载策略和边缘服务器协作的计算资源分配策略/>其中，，任务卸载策略/>用于确定用户卸载到边缘服务器的任务数据量大小，边缘服务器协作的计算资源分配策略/>表示边缘服务器根据系统当前时隙所剩余的计算资源总量，为用户设备分配计算资源。由此可见，本申请实施例通过考虑当前全部的边缘服务器计算资源，以时延最小化为目标制定任务卸载策略和计算资源分配决策，从而实现整个网络的计算资源管理。相比于传统的边缘服务器资源分配方案只考虑当前边缘服务器的计算能力，能够更好地满足用户需求，提高用户的体验质量。
在本实施例中，对深度强化学习模型进行训练的具体过程为：将当前时隙的系统状态、与系统状态对应的系统动作、执行系统动作所获得的即时奖励值和执行当前系统动作后下一时隙的系统状态作为经验样本存放入回放经验池中。其中，执行系统动作所获得的即时奖励值即为任务的平均完成时延，包括用户本地计算时延、任务卸载的传输时延和边缘服务器计算时延。随机抽取所述回放经验池中的经验样本，将所述经验样本输入至深度强化学习模型中，进行神经网络训练，更新神经网络参数，修正所做出的资源管理决策。当计算所有时隙下的任务平均完成时延也即平均奖励值完成收敛时，模型训练结束。
由上面技术方案可知，本申请实施例根据当前边缘服务器剩余计算资源总量以及用户设备的计算任务量，制定边缘服务器协同进行任务计算的最优决策，有效解决了在多服务器密集部署的超密集网络环境下的资源管理问题，最大化降低了任务处理时延，进一步提高了用户的体验质量。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行面向5G超密集网络的计算资源管理方法，该方法包括：获取当前时隙的系统状态；所述系统状态包括所有用户设备的计算任务数据量和当前边缘服务器剩余计算资源总量；将所述系统状态输入至深度强化学习模型中，得到系统动作；所述系统动作包括用户设备的卸载决策和边缘服务器协作的计算资源分配策略；其中，所述卸载决策用于确定用户卸载到边缘服务器的任务数据量大小，所述边缘服务器协作的计算资源分配策略表示边缘服务器根据系统当前时隙所剩余的计算资源总量，为其服务的用户设备分配的计算资源；其中，所述深度强化学习模型的训练过程如下：步骤1，针对当前时隙的系统状态，包括所有用户设备的计算任务数据量和当前边缘服务器剩余计算资源总量，根据当前深度神经网络参数决策出系统动作，并计算得到当前状态的即时奖励，以及下一时隙边缘服务器剩余计算资源总量；步骤2，将当前时隙的系统状态、做出的动作决策、即时奖励和下一时隙的系统状态存储到经验回放池中；所述下一时隙的系统状态包括所有用户设备的计算任务数据量和下一时隙边缘服务器剩余计算资源总量；步骤3，随机从经验回放池中抽取一小批数据输入到深度神经网络中进行训练，更新深度神经网络参数，修正做出的动作决策；步骤4，当计算得到的即时奖励完成收敛时，得到每个时隙的资源管理方案，结束模型训练。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的面向5G超密集网络的计算资源管理方法，该方法包括：获取当前时隙的系统状态；所述系统状态包括所有用户设备的计算任务数据量和当前边缘服务器剩余计算资源总量；将所述系统状态输入至深度强化学习模型中，得到系统动作；所述系统动作包括用户设备的卸载决策和边缘服务器协作的计算资源分配策略；其中，所述卸载决策用于确定用户卸载到边缘服务器的任务数据量大小，所述边缘服务器协作的计算资源分配策略表示边缘服务器根据系统当前时隙所剩余的计算资源总量，为其服务的用户设备分配的计算资源；其中，所述深度强化学习模型的训练过程如下：步骤1，针对当前时隙的系统状态，包括所有用户设备的计算任务数据量和当前边缘服务器剩余计算资源总量，根据当前深度神经网络参数决策出系统动作，并计算得到当前状态的即时奖励，以及下一时隙边缘服务器剩余计算资源总量；步骤2，将当前时隙的系统状态、做出的动作决策、即时奖励和下一时隙的系统状态存储到经验回放池中；所述下一时隙的系统状态包括所有用户设备的计算任务数据量和下一时隙边缘服务器剩余计算资源总量；步骤3，随机从经验回放池中抽取一小批数据输入到深度神经网络中进行训练，更新深度神经网络参数，修正做出的动作决策；步骤4，当计算得到的即时奖励完成收敛时，得到每个时隙的资源管理方案，结束模型训练。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的面向5G超密集网络的计算资源管理方法，该方法包括：获取当前时隙的系统状态；所述系统状态包括所有用户设备的计算任务数据量和当前边缘服务器剩余计算资源总量；将所述系统状态输入至深度强化学习模型中，得到系统动作；所述系统动作包括用户设备的卸载决策和边缘服务器协作的计算资源分配策略；其中，所述卸载决策用于确定用户卸载到边缘服务器的任务数据量大小，所述边缘服务器协作的计算资源分配策略表示边缘服务器根据系统当前时隙所剩余的计算资源总量，为其服务的用户设备分配的计算资源；其中，所述深度强化学习模型的训练过程如下：步骤1，针对当前时隙的系统状态，包括所有用户设备的计算任务数据量和当前边缘服务器剩余计算资源总量，根据当前深度神经网络参数决策出系统动作，并计算得到当前状态的即时奖励，以及下一时隙边缘服务器剩余计算资源总量；步骤2，将当前时隙的系统状态、做出的动作决策、即时奖励和下一时隙的系统状态存储到经验回放池中；所述下一时隙的系统状态包括所有用户设备的计算任务数据量和下一时隙边缘服务器剩余计算资源总量；步骤3，随机从经验回放池中抽取一小批数据输入到深度神经网络中进行训练，更新深度神经网络参数，修正做出的动作决策；步骤4，当计算得到的即时奖励完成收敛时，得到每个时隙的资源管理方案，结束模型训练。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种面向5G超密集网络的计算资源管理方法，其特征在于，包括：
获取当前时隙的系统状态；所述系统状态包括所有用户设备的计算任务数据量和当前边缘服务器剩余计算资源总量；
将所述系统状态输入至深度强化学习模型中，得到系统动作；所述系统动作以所有用户设备完成计算任务的平均时延最小为目标，包括用户设备的卸载决策和边缘服务器协作的计算资源分配策略；其中，所述卸载决策用于确定用户卸载到边缘服务器的任务数据量大小，所述边缘服务器协作的计算资源分配策略表示边缘服务器根据系统当前时隙所剩余的计算资源总量，为其服务的用户设备分配的计算资源；
其中，所述深度强化学习模型的训练过程如下：
步骤1，针对当前时隙的系统状态，包括所有用户设备的计算任务数据量和当前边缘服务器剩余计算资源总量，根据当前深度神经网络参数决策出系统动作，并计算得到当前状态的即时奖励，以及下一时隙边缘服务器剩余计算资源总量；
步骤2，将当前时隙的系统状态、做出的动作决策、即时奖励和下一时隙的系统状态存储到经验回放池中；所述下一时隙的系统状态包括所有用户设备的计算任务数据量和下一时隙边缘服务器剩余计算资源总量；
步骤3，随机从经验回放池中抽取一小批数据输入到深度神经网络中进行训练，更新深度神经网络参数，修正做出的动作决策；
步骤4，当计算得到的即时奖励完成收敛时，得到每个时隙的资源管理方案，结束模型训练；
其中，所述即时奖励为所有用户设备完成计算任务的平均时延，所完成计算任务的平均时延根据下面第一公式计算得到：
其中，r(t)为完成计算任务的平均时延，为任务在用户u本地的计算时延，/>为用户u卸载的任务量传输至边缘服务器n的传输时延，/>为边缘服务器n处理用户u的卸载任务的边缘计算时延；
根据下面第二公式计算任务在用户本地的计算时延，所述第二公式为：
其中，au,n(t)为用户u的卸载决策，即用户u卸载到边缘服务器计算的任务量大小，Su,n(t)为用户u在t时隙生成的计算任务数据量，为计算单位比特任务所需的CPU周期数，/>为边缘服务器n服务的第u个用户单位时间的CPU周期数。
2.根据权利要求1所述的面向5G超密集网络的计算资源管理方法，其特征在于，根据下面第三公式计算任务在用户本地卸载后传输至边缘服务器的传输时延，所述第三公式为：
其中，au,n(t)为用户u的卸载决策，ru,n(t)为用户的上行传输速率。
3.根据权利要求1所述的面向5G超密集网络的计算资源管理方法，其特征在于，根据下面第四公式计算任务的边缘计算时延，所述第四公式为：
其中，au,n(t)为用户u的卸载决策，fu,n(t)为边缘服务器根据系统当前时隙所剩余的计算资源总量，为用户设备分配的计算资源。
4.根据权利要求1所述的面向5G超密集网络的计算资源管理方法，其特征在于，根据下面第五公式计算执行当前所述系统动作后系统所剩余的计算资源总量，所述第五公式为：
其中，f(t+1)为下一时隙开始时系统所剩余的计算资源总量，fre(t)为当前时隙内完成计算任务所释放的计算资源，fu,n(t)为边缘服务器根据系统当前时隙所剩余的计算资源总量，为用户设备分配的计算资源，f(t)为当前时隙开始时系统所剩余的计算资源总量。
5.一种面向5G超密集网络的计算资源管理装置，其特征在于，包括：
获取模块，用于获取当前时隙的系统状态；所述系统状态包括所有用户设备的计算任务数据量和当前边缘服务器剩余计算资源总量；
处理模块，用于将所述系统状态输入至深度强化学习模型中，得到系统动作；所述系统动作以所有用户设备完成计算任务的平均时延最小为目标，包括用户设备的卸载决策和边缘服务器协作的计算资源分配策略；其中，所述任务卸载策略用于确定用户卸载到边缘服务器的任务数据量大小，所述边缘服务器协作的计算资源分配策略表示边缘服务器根据系统当前时隙所剩余的计算资源总量，为其服务的用户设备分配的计算资源；
其中，所述深度强化学习模型的训练过程如下：
针对当前时隙的系统状态，包括所有用户设备的计算任务数据量和当前边缘服务器剩余计算资源总量，根据当前深度神经网络参数决策出系统动作，并计算得到当前状态的即时奖励，以及下一时隙边缘服务器剩余计算资源总量；
将当前时隙的系统状态、做出的动作决策、即时奖励和下一时隙的系统状态存储到经验回放池中；所述下一时隙的系统状态包括所有用户设备的计算任务数据量和下一时隙边缘服务器剩余计算资源总量；
随机从经验回放池中抽取一小批数据输入到深度神经网络中进行训练，更新深度神经网络参数，修正做出的动作决策；
当计算得到的即时奖励完成收敛时，得到每个时隙的资源管理方案，结束模型训练；
其中，所述即时奖励为所有用户设备完成计算任务的平均时延，所完成计算任务的平均时延根据下面第一公式计算得到：
其中，r(t)为完成计算任务的平均时延，为任务在用户u本地的计算时延，/>为用户u卸载的任务量传输至边缘服务器n的传输时延，/>为边缘服务器n处理用户u的卸载任务的边缘计算时延；
根据下面第二公式计算任务在用户本地的计算时延，所述第二公式为：
其中，au,n(t)为用户u的卸载决策，即用户u卸载到边缘服务器计算的任务量大小，Su,n(t)为用户u在t时隙生成的计算任务数据量，为计算单位比特任务所需的CPU周期数，/>为边缘服务器n服务的第u个用户单位时间的CPU周期数。
6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述面向5G超密集网络的计算资源管理方法的步骤。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述面向5G超密集网络的计算资源管理方法的步骤。
CN202110937706.0A 2021-08-16 2021-08-16 一种面向5g超密集网络的计算资源管理方法及装置 Active CN113747507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110937706.0A CN113747507B (zh) 2021-08-16 2021-08-16 一种面向5g超密集网络的计算资源管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110937706.0A CN113747507B (zh) 2021-08-16 2021-08-16 一种面向5g超密集网络的计算资源管理方法及装置

Publications (2)

Publication Number Publication Date
CN113747507A CN113747507A (zh) 2021-12-03
CN113747507B true CN113747507B (zh) 2024-01-09

Family

ID=78731287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110937706.0A Active CN113747507B (zh) 2021-08-16 2021-08-16 一种面向5g超密集网络的计算资源管理方法及装置

Country Status (1)

Country Link
CN (1) CN113747507B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114520772B (zh) * 2022-01-19 2023-11-14 广州杰赛科技股份有限公司 一种5g切片资源调度方法
CN115174584B (zh) * 2022-06-30 2023-05-05 北京信息科技大学 边云协同计算管理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109302709A (zh) * 2018-09-14 2019-02-01 重庆邮电大学 面向移动边缘计算的车联网任务卸载与资源分配策略
CN110798849A (zh) * 2019-10-10 2020-02-14 西北工业大学 一种超密网边缘计算的计算资源分配与任务卸载方法
EP3826368A1 (en) * 2019-11-19 2021-05-26 Commissariat à l'énergie atomique et aux énergies alternatives Energy efficient discontinuous mobile edge computing with quality of service guarantees

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10031785B2 (en) * 2015-04-10 2018-07-24 International Business Machines Corporation Predictive computing resource allocation for distributed environments

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109302709A (zh) * 2018-09-14 2019-02-01 重庆邮电大学 面向移动边缘计算的车联网任务卸载与资源分配策略
CN110798849A (zh) * 2019-10-10 2020-02-14 西北工业大学 一种超密网边缘计算的计算资源分配与任务卸载方法
EP3826368A1 (en) * 2019-11-19 2021-05-26 Commissariat à l'énergie atomique et aux énergies alternatives Energy efficient discontinuous mobile edge computing with quality of service guarantees

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘智勇.5G超密集网络中面向移动边缘计算资源分配策略研究.《中国优秀硕士学位论文全文库》.2021,正文第3-4部分. *

Also Published As

Publication number Publication date
CN113747507A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
Yu et al. Computation offloading for mobile edge computing: A deep learning approach
CN111414252B (zh) 一种基于深度强化学习的任务卸载方法
CN110262845B (zh) 区块链使能的分布式计算任务卸载方法及系统
CN111240701B (zh) 一种端-边-云协同计算的任务卸载优化方法
CN111405569A (zh) 基于深度强化学习的计算卸载和资源分配方法及装置
CN110418416B (zh) 移动边缘计算系统中基于多智能体强化学习的资源分配方法
CN111405568B (zh) 基于q学习的计算卸载和资源分配方法及装置
CN113747507B (zh) 一种面向5g超密集网络的计算资源管理方法及装置
CN110392079A (zh) 面向雾计算的节点计算任务调度方法及其设备
CN111918339A (zh) 移动边缘网络中基于强化学习的ar任务卸载和资源分配方法
CN113220356B (zh) 一种移动边缘计算中的用户计算任务卸载方法
CN112181655A (zh) 一种移动边缘计算中基于混合遗传算法的计算卸载方法
CN108632861B (zh) 一种基于深度强化学习的移动边缘计算分流决策方法
CN108304256B (zh) 一种边缘计算中低开销的任务调度方法及装置
CN112954736A (zh) 基于策略的无线携能物联网设备的计算卸载
CN110780986B (zh) 一种基于移动边缘计算的物联网任务调度方法及系统
CN115473896A (zh) 基于dqn算法的电力物联网卸载策略和资源配置优化方法
CN116233927A (zh) 一种在移动边缘计算中负载感知的计算卸载节能优化方法
CN113687876B (zh) 信息处理方法、自动驾驶控制方法和电子设备
CN114090108B (zh) 算力任务执行方法、装置、电子设备及存储介质
CN109863791B (zh) 用于在无线通信系统中选择接入网络的方法和装置
CN110392377B (zh) 一种5g超密集组网资源分配方法及装置
CN116996938A (zh) 车联网任务卸载方法、终端设备及存储介质
CN113543225A (zh) 一种电力无线专网安全动态资源分配的方法和系统
CN113709886B (zh) 基于匹配理论的移动边缘计算中的动态资源分配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant