CN112822055B - 一种基于dqn的边缘计算节点部署方法 - Google Patents

一种基于dqn的边缘计算节点部署方法 Download PDF

Info

Publication number
CN112822055B
CN112822055B CN202110081255.5A CN202110081255A CN112822055B CN 112822055 B CN112822055 B CN 112822055B CN 202110081255 A CN202110081255 A CN 202110081255A CN 112822055 B CN112822055 B CN 112822055B
Authority
CN
China
Prior art keywords
node
network
computing
edge
energy consumption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110081255.5A
Other languages
English (en)
Other versions
CN112822055A (zh
Inventor
彭姣
辛锐
吴军英
赵建斌
卢宁
陈曦
郑涛
张鹏飞
常永娟
孙思思
刘明硕
杨力平
贺月
张博
蔺鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Vectinfo Technologies Co ltd
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd
Original Assignee
Beijing Vectinfo Technologies Co ltd
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Vectinfo Technologies Co ltd, State Grid Corp of China SGCC, Information and Telecommunication Branch of State Grid Hebei Electric Power Co Ltd filed Critical Beijing Vectinfo Technologies Co ltd
Priority to CN202110081255.5A priority Critical patent/CN112822055B/zh
Publication of CN112822055A publication Critical patent/CN112822055A/zh
Application granted granted Critical
Publication of CN112822055B publication Critical patent/CN112822055B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/35—Utilities, e.g. electricity, gas or water
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y30/00—IoT infrastructure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/502—Proximity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/509—Offload
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于DQN的边缘计算节点部署算法，包括以下步骤：101)、构建边缘计算网络架构的网络模型；102)、构建能耗模型、网络流量模型、目标函数；103)、定义DQN理论中的状态、动作和回报；104)、提出基于DQN算法求解边缘计算节点的最优部署策略；从网络规模、计算请求数量规模两个维度对算法性能进行分析可知，本发明提出的基于DQN算法求解边缘计算节点的最优部署策略具有较好的应用效果和性能，较好的解决了配电物联网环境下边缘计算节点的网络能耗和网络流量较大的问题。

Description

一种基于DQN的边缘计算节点部署方法
技术领域
本发明涉及电力通信网的性能管理技术领域，特别涉及一种基于DQN的边缘计算节点部署算法。
背景技术
随着配电物联网技术的快速发展，配电物联网中的智能节点数量快速增加，每个智能节点的计算任务请求数量快速增加。仅仅以云服务器提供计算服务的网络架构，逐渐不能满足智能节点对时延敏感任务的计算需求。为解决此问题，边缘计算技术被融入到配电物联网的网络架构中，为智能节点提供快速的计算服务。边缘计算技术采用边缘节点分布式部署策略，将边缘计算节点部署到距离智能节点较近的位置，从而减小智能节点计算任务的计算时长，降低计算任务对网络流量和网络能耗的需求。但是，边缘计算节点的数量有限，如何部署最优的边缘计算节点，才能快速响应时延敏感的智能节点的计算请求任务，从而降低智能节点计算任务的网络能耗和网络流量，是一个重要的研究内容。
已有研究种，文献[Ouyang T,Zhou Z,Chen X.Follow me at the edge:Mobility-aware dynamic service placement for mobile edge computing[J].IEEEJournal on Selected Areas in Communications,2018,36(10):2333-2345.]采用动态迁移技术，提出启发式动态迁移策略，提升边缘计算资源利用率。文献 [Skarlat O,NardelliM,Schulte S,et al.Towards qos-aware fog service placement[C]//2017IEEE 1stinternational conference on Fog and Edge Computing(ICFEC).IEEE,2017:89-96.]采用分布式多中心的设计思路，提出分区域的边缘节点资源部署策略，提升了网络资源利用率。文献[Xu J,Chen L,Zhou P.Joint service caching and task offloading formobile edge computing in dense networks[C]//IEEE INFOCOM 2018-IEEE Conferenceon Computer Communications.IEEE,2018:207-215.]提出云计算平台和边缘节点相互协同的资源部署策略，降低了网络能耗。文献[Müller S,Atan O,van der Schaar M,etal.Context-aware proactive content caching with service differentiation inwireless networks[J].IEEE Transactions on Wireless Communications,2016,16(2):1024-1036.]采用机器学习算法，提出具有自学习能力的边缘节点资源部署策略，提高了边缘节点资源的利用率。通过对已有研究分析可知，已有研究在边缘节点的部署策略方面已经取得了较多的研究成果。但是，已有研究主要解决网络规模固定情况下的边缘节点部署问题，当边缘节点网络环境发生变化时，如何求解最优的边缘节点部署策略，是一个急需解决的问题。为解决此问题，本文将边缘节点部署问题建模为DQN网络，提出基于DQN的边缘计算节点部署算法，较好的解决了最优化边缘计算节点的部署问题，通过实验验证了本文算法较好的降低了智能节点计算任务消耗的网络流量和网络能量。
发明内容
本发明的目的在于提供使用一种基于DQN的边缘计算节点部署算法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于DQN的边缘计算节点部署算法，包括以下步骤：
101)、构建边缘计算网络架构的网络模型；
102)、构建能耗模型、网络流量模型、目标函数；
103)、定义DQN理论中的状态、动作和回报；
104)、提出基于DQN算法求解边缘计算节点的最优部署策略。
在步骤(101)中网络模型的架构是在配电物联网环境下实现的，该网络模型包括计算请求节点、网络节点、网络链路、边缘计算节点：
计算请求节点：是指边缘网络覆盖范围下配电物联网环境的智能节点，每个计算请求节点可以对边缘计算节点提出多个计算服务请求，使用q∈Qr表示计算服务请求，而每个计算服务请求q的属性包括计算任务量、通信带宽量，使用(oq,cq)表示计算服务请求q的属性，其中，oq表示计算服务请求q对边缘节点提出的计算任务量，cq表示计算服务请求q向边缘节点提交计算服务任务时需要消耗的通信量；
网络节点和网络链路：均是指计算请求节点将计算服务请求上传到边缘计算节点需要通过的网络资源，且每个网络节点和网络链路都具有定量的网络带宽，而基于现有的网络技术发展，带宽限制已经解除，继而只需考虑计算请求节点将计算任务上传到边缘节点消耗的能量，使用ptr,link表示每单位的计算任务通过每条网络链路时的能耗数量，使用ptr,node表示每单位的计算任务通过每个网络节点时的能耗数量；
边缘计算节点：其任务为完成计算请求节点的任务，假设有N个边缘计算节点，每个边缘计算节点使用表示，每个边缘计算节点的计算能力阈值使用os表示，基于边缘计算节点采用虚拟化技术，使得每个边缘计算节点都会包含多个虚拟机，虚拟机数量使用VM表示，使用pactive表示每单位的计算任务在虚拟机上执行时的能耗，使用pstatic表示边缘计算节点不执行计算任务时需要消耗的基本运行能耗。
在步骤(102)中，构建的能耗模型所采用的能耗为计算任务在虚拟机上执行时的能耗，其包括计算能耗、传输能耗两种：
计算能耗是边缘计算节点在执行计算任务时的能源消耗、边缘计算节点运行时的基本能耗：
边缘计算节点执行计算任务能源消耗使用公式(1)计算，表示边缘计算节点执行计算任务的动态能耗
边缘计算节点运行时的基本能耗使用公式(2)计算，表示边缘计算节点不执行计算任务的静态能耗，其中，mq个q是边缘计算节点不执行计算任务时静态虚拟机的能量消耗：
传输能耗是计算任务从智能节点传输到边缘计算节点过程中消耗的网络节点和网络链路的能耗，计算任务数据的传输能耗使用Etr表示，使用公式(3) 计算，其中包括链路传输能耗ptr,link和节点传输能耗ptr,node，dq表示计算任务请求q到边缘计算节点的平均跳数：
Etr＝cq·[ptr,link·dq+ptr,node·(dq+1)] (3)
计算任务请求从智能节点上传到边缘计算节点需要消耗的网络流量使用 Tq表示，使用公式(4)进行求解，表示计算任务请求q∈Qr的网络流量：
Tq＝cq·dq (4)；
采用将目标函数定义为公式(5)的最大化目标函数，其中，和γ表示能耗和网络流量的平衡系数，/>表示计算任务总能耗，使得在最小化网络流量和网络能耗前提下完成智能节点的计算任务，使用公式(7)计算，/>表示总的网络流量，使用公式(8)计算。约束条件(6)表示边缘节点s上承载的计算请求节点的计算任务之和，不能超过其计算能力阈值os。/>表示将计算任务卸载在边缘节点s上的计算请求节点q：
在步骤(103)中，在DQN算法中，采用神经网络代替Q-Learning算法中的Q表，用于解决大规模连续状态空间中Q表占用空间大、计算复杂度高的问题，而后首先将边缘计算节点部署问题建模为DQN算法可解决的问题，再提出基于DQN的边缘计算节点部署算法。
在步骤(104)中，提出的基于DQN的边缘计算节点的最优部署策略是基于电力物联网实施的，其整个及部署基础算法包括初始化训练DQN网络的关键参数、训练DQN网络、使用DQN网络求解最优部署策略三个步骤：
初始化训练DQN网络的关键参数步骤中，关键参数包括记忆池规模D、训练池规模d、DQN网络权重、贪心算法概率ε、状态空间DPi；
训练DQN网络步骤中，包括采用贪心算法选择最大Q值的动作、执行动作获得回报、获得新状态、存储状态转换结果到记忆池、当记忆池中的状态转换结果数量大于D时对DQN网络进行训练五个子过程；
在使用DQN网络求解最优部署策略步骤中，基于训练好的DQN网络，求解当前状态下可以得到最大Q值的动作，对状态进行调整，得到的新状态就是最优的边缘计算节点部署策略DPi。
采用DQN算法求解边缘计算节点的部署算法，首先需要定义状态State、动作Action和回报Reward，之后才能采用DQN算法求解边缘计算节点的最优部署策略：
在状态State方面，将求解最优的计算节点部署策略定义为状态，将所有可行的部署策略DPi作为状态空间共2n-1种策略，其中 n表示可以部署计算节点的节点数量；
在动作Action方面，将计算节点部署策略的调整系数定义为动作，即从可部署计算节点的节点集合中，任意选择a个节点，将其部署状态取反，动作取值为a∈[6,5,4,3,2,1]；
在回报Reward方面，将部署的每个边缘计算节点的能耗倒数和网络流量倒数之和定义为当前边缘计算节点的回报，使用公式(9)计算，此时，所有部署为边缘计算节点的网络节点的总收益使用公式(10)计算，其中，K表示部署为边缘计算节点的网络节点的数量，ψ、ζ表示能耗和网络流量的调节因子：
回报Reward是当前状态下采取某个动作后得到的奖励，由于边缘计算节点部署策略会影响多个时间片的计算任务执行效果，故需要定义值函数用于评价边缘计算节点部署策略的长期回报，值函数定义为当前回报和未来回报的最大值之和，使用公式(11)计算，其中γ表示未来回报的折扣因子，用于减小未来回报对当前动作执行结果的影响：
Q(st,at)＝rt+γmax(Q(s′,a′)) (11)
边缘节点部署策略的状态环境与网络规模相关，当网络规模增加，状态环境将快速增加，采用基于神经网络理论的DQN算法对问题进行求解，基于公式(12)的损失函数L对神经网络进行优化，获得最优的Q值：
与现有技术相比，本发明的有益效果是：从网络规模、计算请求数量规模两个维度对算法性能进行分析可知，本发明提出的基于DQN算法求解边缘计算节点的最优部署策略具有较好的应用效果和性能，较好的解决了配电物联网环境下边缘计算节点的网络能耗和网络流量较大的问题。
附图说明
图1为本发明的一种基于DQN的边缘计算节点部署算法的流程示意图；
图2为不同网络规模下网络收益比较示意图；
图3为不同请求资源量下网络收益比较示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
请参阅图1-3本发明提供一种技术方案：一种基于DQN的边缘计算节点部署算法，包括以下步骤：
101)、构建边缘计算网络架构的网络模型；
102)、构建能耗模型、网络流量模型、目标函数；
103)、定义DQN理论中的状态、动作和回报；
104)、提出基于DQN算法求解边缘计算节点的最优部署策略。
在步骤(101)中网络模型的架构是在配电物联网环境下实现的，该网络模型包括计算请求节点、网络节点、网络链路、边缘计算节点：
计算请求节点：是指边缘网络覆盖范围下配电物联网环境的智能节点，每个计算请求节点可以对边缘计算节点提出多个计算服务请求，使用q∈Qr表示计算服务请求，而每个计算服务请求q的属性包括计算任务量、通信带宽量，使用(oq,cq)表示计算服务请求q的属性，其中，oq表示计算服务请求q对边缘节点提出的计算任务量，cq表示计算服务请求q向边缘节点提交计算服务任务时需要消耗的通信量；
网络节点和网络链路：均是指计算请求节点将计算服务请求上传到边缘计算节点需要通过的网络资源，且每个网络节点和网络链路都具有定量的网络带宽，而基于现有的网络技术发展，带宽限制已经解除，继而只需考虑计算请求节点将计算任务上传到边缘节点消耗的能量，使用ptr,link表示每单位的计算任务通过每条网络链路时的能耗数量，使用ptr,node表示每单位的计算任务通过每个网络节点时的能耗数量；
边缘计算节点：其任务为完成计算请求节点的任务，假设有N个边缘计算节点，每个边缘计算节点使用表示，每个边缘计算节点的计算能力阈值使用os表示，基于边缘计算节点采用虚拟化技术，使得每个边缘计算节点都会包含多个虚拟机，虚拟机数量使用VM表示，使用pactive表示每单位的计算任务在虚拟机上执行时的能耗，使用pstatic表示边缘计算节点不执行计算任务时需要消耗的基本运行能耗。
在步骤(102)中，构建的能耗模型所采用的能耗为计算任务在虚拟机上执行时的能耗，其包括计算能耗、传输能耗两种：
计算能耗是边缘计算节点在执行计算任务时的能源消耗、边缘计算节点运行时的基本能耗：
边缘计算节点执行计算任务能源消耗使用公式(1)计算，表示边缘计算节点执行计算任务的动态能耗
边缘计算节点运行时的基本能耗使用公式(2)计算，表示边缘计算节点不执行计算任务的静态能耗，其中，mq个q是边缘计算节点不执行计算任务时静态虚拟机的能量消耗：
传输能耗是计算任务从智能节点传输到边缘计算节点过程中消耗的网络节点和网络链路的能耗，计算任务数据的传输能耗使用Etr表示，使用公式(3) 计算，其中包括链路传输能耗ptr,link和节点传输能耗ptr,node，dq表示计算任务请求q到边缘计算节点的平均跳数：
Etr＝cq·[ptr,link·dq+ptr,node·(dq+1)] (3)
计算任务请求从智能节点上传到边缘计算节点需要消耗的网络流量使用 Tq表示，使用公式(4)进行求解，表示计算任务请求q∈Qr的网络流量：
Tq＝cq·dq (4)；
采用将目标函数定义为公式(5)的最大化目标函数，其中，和γ表示能耗和网络流量的平衡系数，/>表示计算任务总能耗，使得在最小化网络流量和网络能耗前提下完成智能节点的计算任务，使用公式(7)计算，/>表示总的网络流量，使用公式(8)计算。约束条件(6)表示边缘节点s上承载的计算请求节点的计算任务之和，不能超过其计算能力阈值os。/>表示将计算任务卸载在边缘节点s上的计算请求节点q：
在步骤(103)中，在DQN算法中，采用神经网络代替Q-Learning算法中的Q表，用于解决大规模连续状态空间中Q表占用空间大、计算复杂度高的问题，而后首先将边缘计算节点部署问题建模为DQN算法可解决的问题，再提出基于DQN的边缘计算节点部署算法。
在步骤(104)中，提出的基于DQN的边缘计算节点的最优部署策略是基于电力物联网实施的，其整个及部署基础算法包括初始化训练DQN网络的关键参数、训练DQN网络、使用DQN网络求解最优部署策略三个步骤：
初始化训练DQN网络的关键参数步骤中，关键参数包括记忆池规模D、训练池规模d、DQN网络权重、贪心算法概率ε、状态空间DPi；
训练DQN网络步骤中，包括采用贪心算法选择最大Q值的动作、执行动作获得回报、获得新状态、存储状态转换结果到记忆池、当记忆池中的状态转换结果数量大于D时对DQN网络进行训练五个子过程；
在使用DQN网络求解最优部署策略步骤中，基于训练好的DQN网络，求解当前状态下可以得到最大Q值的动作，对状态进行调整，得到的新状态就是最优的边缘计算节点部署策略DPi，而整个边缘计算节点部署算法如表1所示：
表1 基于DQN的边缘计算节点部署算法
采用DQN算法求解边缘计算节点的部署算法，首先需要定义状态State、动作Action和回报Reward，之后才能采用DQN算法求解边缘计算节点的最优部署策略：
在状态State方面，将求解最优的计算节点部署策略定义为状态，将所有可行的部署策略DPi作为状态空间共2n-1种策略，其中 n表示可以部署计算节点的节点数量；
在动作Action方面，将计算节点部署策略的调整系数定义为动作，即从可部署计算节点的节点集合中，任意选择a个节点，将其部署状态取反，动作取值为a∈[6,5,4,3,2,1]；
在回报Reward方面，将部署的每个边缘计算节点的能耗倒数和网络流量倒数之和定义为当前边缘计算节点的回报，使用公式(9)计算，此时，所有部署为边缘计算节点的网络节点的总收益使用公式(10)计算，其中，K表示部署为边缘计算节点的网络节点的数量，ψ、ζ表示能耗和网络流量的调节因子：
回报Reward是当前状态下采取某个动作后得到的奖励，由于边缘计算节点部署策略会影响多个时间片的计算任务执行效果，故需要定义值函数用于评价边缘计算节点部署策略的长期回报，值函数定义为当前回报和未来回报的最大值之和，使用公式(11)计算，其中γ表示未来回报的折扣因子，用于减小未来回报对当前动作执行结果的影响：
Q(st,at)＝rt+γmax(Q(s′,a′)) (11)
边缘节点部署策略的状态环境与网络规模相关，当网络规模增加，状态环境将快速增加，采用基于神经网络理论的DQN算法对问题进行求解，基于公式(12)的损失函数L对神经网络进行优化，获得最优的Q值：
在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
本发明使用到的标准零件均可以从市场上购买，异形件根据说明书和附图的记载均可以进行订制，各个零件的具体连接方式均采用现有技术中成熟的螺栓、铆钉、焊接等常规手段，机械、零件和设备均采用现有技术中，常规的型号，加上电路连接采用现有技术中常规的连接方式，在此不再详述。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于DQN的边缘计算节点部署方法，其特征在于，包括以下步骤：
(101)、基于配电物联网环境构建边缘计算网络架构的网络模型，该网络模型包括计算请求节点、网络节点、网络链路、边缘计算节点；
(102)、构建能耗模型、网络流量模型、目标函数，其中能耗模型基于计算任务在虚拟机上执行时的能耗构建，其包括计算能耗、传输能耗两种，网络流量模型基于计算任务请求从智能节点上传到边缘计算节点需要消耗的网络流量构建，目标函数定义为公式(5)的最大化目标函数：
计算能耗是边缘计算节点在执行计算任务时的能源消耗与边缘计算节点运行时的基本能耗总和：
边缘计算节点执行计算任务能源消耗使用公式(1)计算，表示边缘计算节点执行计算任务的动态能耗其中oq表示计算服务请求q对边缘节点提出的计算任务量，使用pactive表示每单位的计算任务在虚拟机上执行时的能耗；
边缘计算节点运行时的基本能耗使用公式(2)计算，表示边缘计算节点不执行计算任务的静态能耗，其中，mq是边缘计算节点不执行计算任务时静态虚拟机的能量消耗，使用pstatic表示边缘计算节点不执行计算任务时需要消耗的基本运行能耗：
传输能耗是计算任务从智能节点传输到边缘计算节点过程中消耗的网络节点和网络链路的能耗，计算任务数据的传输能耗使用表示，使用公式(3)计算，其中包括链路传输能耗ptr,link和节点传输能耗ptr,node，dq表示计算任务请求q到边缘计算节点的平均跳数，cq表示计算服务请求q向边缘节点提交计算服务任务时需要消耗的通信量：
计算任务请求从智能节点上传到边缘计算节点需要消耗的网络流量使用Tq表示，使用公式(4)进行求解，表示计算任务请求q∈Qr的网络流量：
Tq＝cq·dq (4)；
采用将目标函数定义为公式(5)的最大化目标函数，其中，和γ表示能耗和网络流量的平衡系数，/>表示计算任务总能耗，使得在最小化网络流量和网络能耗前提下完成智能节点的计算任务，使用公式(7)计算，/>表示总的网络流量，使用公式(8)计算，约束条件公式(6)表示边缘节点s上承载的计算请求节点的计算任务之和，不能超过其计算能力阈值os，/>表示将计算任务卸载在边缘节点s上的计算请求节点q，使用q∈Qr表示计算服务请求：
(103)、定义DQN理论中的状态、动作和回报；
(104)、提出基于DQN算法求解边缘计算节点的最优部署策略，基于电力物联网实施的，其整个及部署基础算法包括初始化训练DQN网络的关键参数、训练DQN网络、使用DQN网络求解最优部署策略三个步骤，具体如下：
初始化训练DQN网络的关键参数步骤中，关键参数包括记忆池规模D、训练池规模d、DQN网络权重、贪心算法概率ε、状态空间DPi；
训练DQN网络步骤中，包括采用贪心算法选择最大Q值的动作、执行动作获得回报、获得新状态、存储状态转换结果到记忆池、当记忆池中的状态转换结果数量大于D时对DQN网络进行训练五个子过程；
在使用DQN网络求解最优部署策略步骤中，基于训练好的DQN网络，求解当前状态下可以得到最大Q值的动作，对状态进行调整，得到的新状态就是最优的边缘计算节点部署策略DPi。
2.根据权利要求1所述的一种基于DQN的边缘计算节点部署方法，其特征在于，在步骤(101)中的计算请求节点、网络节点、网络链路、边缘计算节点具体如下：
计算请求节点：是指边缘网络覆盖范围下配电物联网环境的智能节点，每个计算请求节点可以对边缘计算节点提出多个计算服务请求，而每个计算服务请求q的属性包括计算任务量、通信带宽量，使用(oq,cq)表示计算服务请求q的属性；
网络节点和网络链路：均是指计算请求节点将计算服务请求上传到边缘计算节点需要通过的网络资源，且每个网络节点和网络链路都具有定量的网络带宽，继而只需考虑计算请求节点将计算任务上传到边缘节点消耗的能量，使用ptr,link表示每单位的计算任务通过每条网络链路时的能耗数量，使用ptr,node表示每单位的计算任务通过每个网络节点时的能耗数量；
边缘计算节点：其任务为完成计算请求节点的任务，假设有N个边缘计算节点，每个边缘计算节点使用表示，每个边缘计算节点的计算能力阈值使用os表示，基于边缘计算节点采用虚拟化技术，使得每个边缘计算节点都会包含多个虚拟机，虚拟机数量使用VM表示。
3.根据权利要求1所述的一种基于DQN的边缘计算节点部署方法，其特征在于，在步骤(103)中，在DQN算法中，采用神经网络代替Q-Learning算法中的Q表，而后首先将边缘计算节点部署问题建模为DQN算法可解决的问题，再提出基于DQN的边缘计算节点部署算法。
4.根据权利要求3所述的一种基于DQN的边缘计算节点部署方法，其特征在于：采用DQN算法求解边缘计算节点的部署算法，首先需要定义状态State、动作Action和回报Reward，之后才能采用DQN算法求解边缘计算节点的最优部署策略：
在状态State方面，将求解最优的计算节点部署策略定义为状态，将所有可行的部署策略DPi作为状态空间共2n-1种策略，其中n表示可以部署计算节点的节点数量；
在动作Action方面，将计算节点部署策略的调整系数定义为动作，即从可部署计算节点的节点集合中，任意选择a个节点，将其部署状态取反，动作取值为a∈[6,5,4,3,2,1]；
在回报Reward方面，将部署的每个边缘计算节点的能耗倒数和网络流量倒数之和定义为当前边缘计算节点的回报，使用公式(9)计算，此时，所有部署为边缘计算节点的网络节点的总收益使用公式(10)计算，其中，K表示部署为边缘计算节点的网络节点的数量，ψ、ζ表示能耗和网络流量的调节因子：
回报Reward是当前状态下采取某个动作后得到的奖励，由于边缘计算节点部署策略会影响多个时间片的计算任务执行效果，故需要定义值函数用于评价边缘计算节点部署策略的长期回报，值函数定义为当前回报和未来回报的最大值之和，使用公式(11)计算，其中γ表示未来回报的折扣因子，用于减小未来回报对当前动作执行结果的影响：
边缘节点部署策略的状态环境与网络规模相关，当网络规模增加，状态环境将快速增加，采用基于神经网络理论的DQN算法对问题进行求解，基于公式(12)的损失函数L对神经网络进行优化，获得最优的Q值：
CN202110081255.5A 2021-01-21 2021-01-21 一种基于dqn的边缘计算节点部署方法 Active CN112822055B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110081255.5A CN112822055B (zh) 2021-01-21 2021-01-21 一种基于dqn的边缘计算节点部署方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110081255.5A CN112822055B (zh) 2021-01-21 2021-01-21 一种基于dqn的边缘计算节点部署方法

Publications (2)

Publication Number Publication Date
CN112822055A CN112822055A (zh) 2021-05-18
CN112822055B true CN112822055B (zh) 2023-12-22

Family

ID=75858455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110081255.5A Active CN112822055B (zh) 2021-01-21 2021-01-21 一种基于dqn的边缘计算节点部署方法

Country Status (1)

Country Link
CN (1) CN112822055B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114567895A (zh) * 2022-02-23 2022-05-31 重庆邮电大学 一种mec服务器集群的智能协同策略的实现方法
CN115686779B (zh) * 2022-10-14 2024-02-09 兰州交通大学 基于dqn的自适应边缘计算任务调度方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107919986A (zh) * 2017-11-09 2018-04-17 北京邮电大学 超密集网络中mec节点间vm迁移优化方法
CN112084026A (zh) * 2020-09-02 2020-12-15 国网河北省电力有限公司石家庄供电分公司 基于粒子群的低能耗边缘计算资源部署系统及方法
CN112134916A (zh) * 2020-07-21 2020-12-25 南京邮电大学 一种基于深度强化学习的云边协同计算迁移方法
CN112218337A (zh) * 2020-09-04 2021-01-12 暨南大学 一种移动边缘计算中的缓存策略决策方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762424B2 (en) * 2017-09-11 2020-09-01 Sas Institute Inc. Methods and systems for reinforcement learning
US11265369B2 (en) * 2019-04-30 2022-03-01 Verizon Patent And Licensing Inc. Methods and systems for intelligent distribution of workloads to multi-access edge compute nodes on a communication network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107919986A (zh) * 2017-11-09 2018-04-17 北京邮电大学 超密集网络中mec节点间vm迁移优化方法
CN112134916A (zh) * 2020-07-21 2020-12-25 南京邮电大学 一种基于深度强化学习的云边协同计算迁移方法
CN112084026A (zh) * 2020-09-02 2020-12-15 国网河北省电力有限公司石家庄供电分公司 基于粒子群的低能耗边缘计算资源部署系统及方法
CN112218337A (zh) * 2020-09-04 2021-01-12 暨南大学 一种移动边缘计算中的缓存策略决策方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Resource Allocation Based on Deep Reinforcement learning in IoT Edge Computing;Xiong Xiong etc;《IEEE》;20200408;全文 *
面向时延优化的移动边缘计算资源调度算法研究;周文晨;《中国优秀硕士学位论文全文数据库-信息科技辑》;20191215;全文 *

Also Published As

Publication number Publication date
CN112822055A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
Lu et al. Edge QoE: Computation offloading with deep reinforcement learning for Internet of Things
Yu et al. Computation offloading for mobile edge computing: A deep learning approach
CN113225377B (zh) 物联网边缘任务卸载方法及装置
Ding et al. A deep reinforcement learning for user association and power control in heterogeneous networks
Maia et al. An improved multi-objective genetic algorithm with heuristic initialization for service placement and load distribution in edge computing
CN112822055B (zh) 一种基于dqn的边缘计算节点部署方法
CN112395090B (zh) 一种移动边缘计算中服务放置的智能混合优化方法
Masoumzadeh et al. An intelligent and adaptive threshold-based schema for energy and performance efficient dynamic VM consolidation
Gu et al. Service management and energy scheduling toward low-carbon edge computing
Li et al. Deep reinforcement learning and game theory for computation offloading in dynamic edge computing markets
Li et al. An optimized content caching strategy for video stream in edge-cloud environment
Li et al. DQN-enabled content caching and quantum ant colony-based computation offloading in MEC
Mu et al. Energy-efficient and interference-aware vnf placement with deep reinforcement learning
Akki et al. Energy efficient resource scheduling using optimization based neural network in mobile cloud computing
Li et al. Dynamic virtual machine consolidation algorithm based on balancing energy consumption and quality of service
Chiang et al. Deep Q-learning-based dynamic network slicing and task offloading in edge network
Chen et al. Twin delayed deep deterministic policy gradient-based intelligent computation offloading for IoT
Gong et al. Slicing-based resource optimization in multi-access edge network using ensemble learning aided DDPG algorithm
Li et al. A multi-objective task offloading based on BBO algorithm under deadline constrain in mobile edge computing
Cao et al. Reinforcement learning based tasks offloading in vehicular edge computing networks
Xiong et al. An energy aware algorithm for edge task offloading
Wu et al. PECCO: A profit and cost‐oriented computation offloading scheme in edge‐cloud environment with improved Moth‐flame optimization
Dlamini et al. Remote and rural connectivity: Infrastructure and resource sharing principles
Gan et al. Adaptive auto-scaling in mobile edge computing: A deep reinforcement learning approach
Sang et al. RALaaS: Resource-aware learning-as-a-service in edge-cloud collaborative smart connected communities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant