CN113360245A - 基于移动云计算深度强化学习的物联网设备任务下载方法 - Google Patents

基于移动云计算深度强化学习的物联网设备任务下载方法 Download PDF

Info

Publication number
CN113360245A
CN113360245A CN202110553074.8A CN202110553074A CN113360245A CN 113360245 A CN113360245 A CN 113360245A CN 202110553074 A CN202110553074 A CN 202110553074A CN 113360245 A CN113360245 A CN 113360245A
Authority
CN
China
Prior art keywords
server
algorithm
cluster
task
servers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110553074.8A
Other languages
English (en)
Inventor
亓慧
史颖
穆晓芳
吴晨旭
王笑斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan Normal University
Original Assignee
Taiyuan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan Normal University filed Critical Taiyuan Normal University
Priority to CN202110553074.8A priority Critical patent/CN113360245A/zh
Publication of CN113360245A publication Critical patent/CN113360245A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer And Data Communications (AREA)

Abstract

基于移动云计算深度强化学习的物联网设备任务下载方法。本发明属于移动云计算领域，针对云计算环境下的物联网设备任务下载问题，提出了一种基于最优选择的任务下载方法。采用深度强化学习算法对任务下载问题进行建模，算法引入权重，通过调整其返回值来权衡云资源的利用率和下载任务的延迟。本发明首先使用具有加权密度的k‑means聚类算法对云平台中的服务器集群进行聚类，然后利用深度强化学习算法从中选择最佳的服务器集群，在此集群上，采用PSO算法选择最优服务器路径，并用帕雷托算法来提高收敛速度，从而达到优化物联网设备的任务下载问题。实验结果表明，每个具有相似带宽和任务等待时间的服务器集群，使用算法改进后，在增加服务器资源利用率、减少任务延迟等方面，都有良好的效果。

Description

基于移动云计算深度强化学习的物联网设备任务下载方法
技术领域
本发明涉及移动云计算领域，针对云计算环境下的任务下载模式提出了一种采用深度强化学习的物联网设备任务下载方法。
背景技术
移动设备中存在许多需要大量计算的资源和消耗大量能量的任务。将这些任务下载到远程云计算中心，可以有效降低移动设备的能耗，达到扩大移动设备容量的目的。在相关研究中，许多学者提出了许多不同的任务下载方法。这些任务下载方法考虑的因素包括：移动设备能耗、网络通信带宽、延迟、云服务器容量等。通过考虑这些因素，现有的任务下载策略将在移动设备上执行的总成本与在云端执行的总成本进行比较，从而决定是否将任务下载到云端。
云计算为移动云计算环境下的任务下载提供了技术基础。虚拟化是云计算的核心技术之一，通过虚拟化，云中的服务器器可以同时运行多个操作系统，在每个操作系统中运行的程序相互隔离。对于那些对计算资源要求高、能耗高的任务，将其下载到云上可以有效降低移动设备的能耗。下载到云中的任务将分配给相应的虚拟机执行。由于服务器的地理位置或网络位置不同，分配给不同服务器器的任务将有不同的延迟，这是影响任务执行的一个重要因素，特别是对于实时性要求高的任务。不仅如此，在将任务下载到云上执行的过程中，还需要考虑云服务器的资源利用率，以避免由于云服务器利用率低而造成的云资源的浪费。通过理论分析可以看出，减少下载任务的时间延迟和提高云中心服务器的资源利用率通常是相互冲突的。因此，本发明将重点解决此问题。
发明内容
本发明提供了基于移动云计算深度强化学习的物联网设备任务下载方法，用以解决现有技术中存在的问题。
选择不同的服务器器来运行下载任务将直接影响任务下载到云上所造成的延迟。在任务下载过程中，保持较高的云资源利用率，减少任务下载造成的延迟是本发明的重点内容，寻找下载的最优策略，以平衡提高云资源的利用率和最小化任务下载的延迟。
为了有效地平衡资源利用和任务延迟这两个因素，采用了强化学习方法对问题进行建模。然后，基于改进的k-means聚类算法和强化学习算法，从当前下载任务中选择最优的服务器集群。利用改进的粒子群算法，从最优聚类中选择最优服务器完成下载任务。
本发明通过以下技术方案予以实现。
基于移动云计算深度强化学习的物联网设备任务下载方法，其特征在于使每个任务在下载过程中都可以选择最佳的服务器线路，提高云资源的利用率和最小化任务下载延迟。基于改进的k-means聚类算法和强化学习算法，从当前下载任务中选择最优的服务器集群，再利用改进的粒子群算法，从最优聚类中选择最优服务器完成下载任务。
具体步骤如下：
(1)采用k-means聚类算法对服务器集群进行聚类
根据服务器的分布密度和最小距离指标确定初始聚类中心和聚类数量，然后对服务器进行聚类；服务器越接近，它们就越有可能相互干扰。因此，应该将邻近的服务器器划分为一个集群，并分配正交资源块，以避免集群内的干扰。因此，本发明引入一种由服务器分布密度和服务器最小距离指标共同定义的新指标来评价服务器之间的接近度。
定义1:服务器PMp的分布密度ρp是服务器PMp到其他服务器的总距离与任意两个服务器距离之和的比值，见式(1)；
Figure BDA0003075994680000021
式中dm,n为PMm与PMn之间的欧氏距离；N为服务器总数；
定义2:服务器PMp到分布密度较大的服务器的最小距离为服务器PMp的最小距离指标ρp，见式(2)；
δp＝min{dp,q|p,q∈{1,N},q≠p,ρq＞ρp} (2)
式中dp,q为PMp与PMq之间的欧氏距离，对于分布密度最大的服务器，定义最小距离指标为其与其他服务器的最近距离；
定义3:服务器PMp的加权密度θp是其分布密度与最小距离指标的乘积，即θp＝ρpδp,p∈[1,N]；所有服务器的平均加权密度见式(3):
Figure BDA0003075994680000031
基于上述定义，采用改进的k-means聚类算法，以实现对服务器器的高效聚类，算法描述如下：
1)选择初始集群中心，计算每台服务器的加权密度θp和1≤p≤N，以及所有服务器的平均加权密度
Figure BDA0003075994680000032
选取
Figure BDA0003075994680000033
的服务器作为初始聚类中心；
2)确定最终的集群中心，检查是否任意两个服务器器的初始聚类中心集的欧几里得距离dm,n小于给定的阈值距离，如果是，它表明服务器器之间的距离在两个初始簇中相对较近，很容易产生干扰，此时，从初始集群的中心集中删除一个服务器器；当比较所有初始集群的中心时，最终的集群中心集
Figure BDA0003075994680000034
Q是最终集群中心数量，Q<T，采用加权聚类覆盖半径G 作为距离阈值，见式(4)：
Figure BDA0003075994680000035
形成最终的聚类结果，根据步骤2得到的聚类中心，使用标准的k-means算法将剩余的服务器聚类到不同的集群中，从而得到最终的聚类结果；
(2)选择最优的服务器集群
利用深度强化学习从当前下载任务中选择最优的服务器集群，根据当前系统状态和下载任务，选择最优的服务器集群，定义k个集群的等待时间见式(5)：
Figure BDA0003075994680000036
其中
Figure BDA0003075994680000037
表示集群中第Pk服务器的最大等待时间，在决策步骤t中，运行在第k个服务器集群上的虚拟机总数为
Figure BDA0003075994680000038
则云中心服务器集群状态见式(6)，行动见式(7)：
Figure BDA0003075994680000039
Figure BDA00030759946800000310
然后定义执行动作
Figure BDA0003075994680000041
后的返回值，即将当前的卸载任务分配给第k个服务器集群，见式(8):
Figure BDA0003075994680000042
第k个服务器集群的通信带宽用
Figure BDA0003075994680000043
表示，“带宽”的值为集群中心的服务器带宽，服务器集群的带宽是根据该带宽值估算的；
(3)选择最优服务器并通过pareto算法提高收敛速度
利用改进的粒子群算法从最优聚类中选择最优服务器，并利用Pareto算法提高收敛速度，粒子群优化算法(PSO)是一种随机的全局优化算法，通常能得到较好的结果，但随着问题规模的增加，计算量和资源使用量也迅速增加；本发明重新定义了经典粒子群算法中粒子速度和位置的更新，并引入了利用该算法求解问题的帕累托方法。
定义1位置L＝[ai,pi]的粒子i在算法中表明，最优服务器器ai在聚类中心 pi上，
定义2在算法中，粒子i的速度vi＝[w(a),a]，权重w(a)表示任务分配的概率。
定义3粒子i的速度和位置的更新见式(9)、(10):
Figure BDA0003075994680000044
Figure BDA0003075994680000045
式中：
Figure BDA0003075994680000046
是粒子i的速度在k+1次的迭代；
Figure BDA0003075994680000047
为粒子i在第k次迭代中的位置；Δ∈(0,1)是具体实例的惯性阈值；c1和c2是学习因子；Lbest和L′best分别是个体最优值和全局最优值；
Figure BDA0003075994680000048
是粒子位置L的互补运算；
Figure BDA0003075994680000049
是w(a)获得a 的加权操作；⊙是
Figure BDA00030759946800000410
和
Figure BDA00030759946800000411
的同或操作；
在粒子群优化算法中，粒子的种群就是应用解中的所有粒子。在每一代粒子优化过程中，通过适应度函数来评估粒子的适应度，使粒子获得其最优位置Lbest和整个种群的最优位置L′best，因此粒子在搜索过程中总是倾向于向更好的搜索区域移动，在每次迭代中，粒子通过跟踪上述两个位置来更新自己，并根据公式更新速度和位置；
在有目标约束的调度策略中，任务延迟和资源利用率的目标函数为，见式 (11)、见式(12)：
objt(TD)＝ttotal(TD) (11)
objC(UR)＝Ctotal(UR) (12)
因此，优化算法中的适应度函数表示，见式(13)：
F(Q)＝βttotal(TD)+(1-β)Ctotal(UR)。 (13)
求解粒子群优化算法与客观限制，在尽可能找到由其他解主导的最优解的前提下，该算法比较了帕累托最优解集中的解，但是为了防止陷入局部最优和影响全球解决方案，最优解通常是随机选择的，以提高粒子的全局搜索能力。
本发明具有以下有益效果：
1.根据服务器的分布密度和最小距离指标，采用改进的k-means聚类算法确定初始聚类中心和聚类数量，然后对服务器进行聚类；
2.采用深度强化学习方法，选择最佳的服务器集群；
3.采用改进的粒子群算法从最优聚类中选择最优服务器，采用Pareto算法提高收敛速度。
附图说明
为了更清楚地说明本发明的实施或现有技术中的技术方案，下面将对实施过程或现有技术描述中所需要使用的附图作简单地介绍。
图1服务器资源分配示意图；
图2等待下载任务的时间示意图；
图3任务下载至云示意图；
图4任务下载算法结构示意图；
图5调整权重因子的服务器利用率的变化过程；
图6调整权重因子下载任务延迟的变化过程；
图7本算法与其他算法的服务器利用率与下载任务延迟的比较图1；
图8本算法与其他算法的服务器利用率与下载任务延迟的比较图2；
图9算法收敛速度比较图。
具体实施方式
在任务下载过程中，需要保持较高的云资源利用率，减少任务下载造成的延迟。如图1所示，PMi代表云中心的第i台服务器(PM)，用于运行下载任务的虚拟机(VM)将在其上运行。假定每个服务器器可以运行的虚拟机的最大数量是相同的，但在不同的服务器器上运行的虚拟机在同一时间是不同的，而且相应的资源利用率将会由于不同的下载任务分配方法而改变。定义当前云中心中运行的服务器数为Ncp，对应的Ncp服务器中可以运行的最大虚拟机数为Ntv。当前Ncp服务器上实际运行的虚拟机数为Ncv，每台服务器上可运行的最大虚拟机数为Nv，因此本发明云资源利用率见式(1)、最大虚拟机数见式(2):
Figure BDA0003075994680000061
Ntv＝Nv*Ncp (2)
根据公式(1)和公式(2)，当移动设备的任务下载到云中心执行时，为了获得更高的资源利用率UR，下载任务的方法应使Ncp最小化，Ncv增加。因此，应该将下载任务分配给已经运行该虚拟机的服务器，以尽量减少新服务器的激活。但是，这种方法可能会增加下载任务的延迟。任务下载造成的延迟见式(3)：
Figure BDA0003075994680000062
其中Tc为下载任务在云中心的执行时间，S为移动设备与云中心之间需要传输的总数据量。Tw表示下载任务在云中心开始执行前的等待时间，与当前虚拟机上正在运行的任务有关。
如图2所示，任务1运行在虚拟机VM1上，对应的运行时间从0到t1开始，在此期间只有当前虚拟机运行在服务器上。所以task 1的执行时间为Tc＝T1。如果t0中有一个新的下载任务task2，则有两种方式运行该任务。一种是将task 2 分配给虚拟机VM1运行，然后task2将等待到task 1完成执行的t1时刻。因此，task 2的等待时间为Tw＝t1-t0。另一种方法是将task 2分配给新启动的虚拟机 VM2，使task2可以立即执行，无需等待，Tw＝0。此外，运行在不同服务器上的虚拟机可能处于不同的运行状态，这些虚拟机的选择也会影响下载任务的等待时间。同时，移动设备与不同服务器器之间的通信带宽通常是不同的，这将影响它们之间传输数据所需的时间S/BW。任务下载算法为下载任务选择最优的策略，由服务器执行任务，以减少任务下载造成的延迟。
所提出的算法将部署到云上运行，一个任务将下载到远程云上，如图3所示。首先，图中步骤1下载任务的详细信息将发送到算法运行模块。根据这些信息，提出的算法将给出一个最优的服务器作为下载任务的运行环境。因此，在步骤2 中，算法获得的最优服务器ID将作为回复消息返回给请求的移动设备。然后，在步骤3中，将需要下载到云上的任务和获取到的服务器ID发送到云资源管理模块。最后，资源管理模块将任务安排到相应的云服务器。
采用强化学习的方法，将云中心的服务器集作为动作空间。这些服务器器通常分布在不同的位置，数量较多，以满足大规模设备的接入，这使得强化学习任务具有较大的动作空间。状态空间由服务器的等待时间和运行在服务器上的虚拟机数量来定义。假设在云中心有P台服务器来执行下载任务，P台服务器被记录为PMp。在当前的决策步骤t中，运行在p服务器上的虚拟机数量被记录为
Figure BDA0003075994680000071
Figure BDA0003075994680000072
表示准备在第p台服务器器上运行的任务引起的等待时间。因此，使用以下公式来定义强化学习任务的状态，见式(4)；
Figure BDA0003075994680000073
所提问题的状态维数为2*P，在实际的云中心中，P的值通常非常大。因此，该问题具有高维的状态空间。
在进行深度强化学习的在线学习过程之前，第一步是根据相关训练数据建立DNN，或者随机初始化DNN的相关参数。DNN的建立或更新是基于经验回放的过程。对于每个决策步骤，经验库m包含四个状态转换数据元组。DNN的输入为云中心服务器的运行状态，状态的定义如式(4)所示，DNN的输出为每台服务器被选中时对应的Q值。因此DNN的输入维数为2*P，输出维数为P。
具体步骤如下:
(1)根据服务器的分布密度和最小距离指标确定初始聚类中心和聚类数量，然后对服务器进行聚类。服务器越接近，它们就越有可能相互干扰。因此，应该将邻近的服务器器划分为一个集群，并分配正交资源块，以避免集群内的干扰。因此，本发明引入一种由服务器分布密度和服务器最小距离指标共同定义的新指标来评价服务器之间的接近度。
定义1:服务器PMp的分布密度ρp是服务器PMp到其他服务器的总距离与任意两个服务器距离之和的比值，见式(5)；
Figure BDA0003075994680000081
式中dm,n为PMm与PMn之间的欧氏距离；N为服务器总数。
定义2:服务器PMp到分布密度较大的服务器的最小距离为服务器PMp的最小距离指标ρp，见式(6)；
δp＝min{dp,q|p,q∈{1,N},q≠p,ρq＞ρp} (6)
式中dp,q为PMp与PMq之间的欧氏距离。对于分布密度最大的服务器，定义最小距离指标为其与其他服务器的最近距离。
定义3:服务器PMp的加权密度θp是其分布密度与最小距离指标的乘积，即θp＝ρpδp,p∈[1,N]。所有服务器的平均加权密度见式(7):
Figure BDA0003075994680000082
基于上述定义，采用改进的k-means聚类算法，以实现对服务器器的高效聚类。算法描述如下：
1)选择初始集群中心，计算每台服务器的加权密度θp和1≤p≤N，以及所有服务器的平均加权密度
Figure BDA0003075994680000083
选取
Figure BDA0003075994680000084
的服务器作为初始聚类中心。
2)确定最终的集群中心。检查是否任意两个服务器器的初始聚类中心集的欧几里得距离dm,n小于给定的阈值距离。如果是，它表明服务器器之间的距离在两个初始簇中相对较近，很容易产生干扰。此时，从初始集群的中心集中删除一个服务器器。当比较所有初始集群的中心时，最终的集群中心集
Figure BDA0003075994680000091
Q是最终集群中心数量，Q<T。本发明采用加权聚类覆盖半径G作为距离阈值，见式(8)：
Figure BDA0003075994680000092
形成最终的聚类结果，根据步骤2得到的聚类中心，使用标准的k-means算法将剩余的服务器聚类到不同的集群中，从而得到最终的聚类结果。
(2)利用深度强化学习从当前下载任务中选择最优的服务器集群。根据当前系统状态和下载任务，选择最优的服务器集群。因此，定义k个集群的等待时间见式(9)：
Figure BDA0003075994680000093
其中
Figure BDA0003075994680000094
表示集群中第Pk服务器的最大等待时间。在决策步骤t中，运行在第k个服务器集群上的虚拟机总数为
Figure BDA0003075994680000095
则云中心服务器集群状态见式(10)，行动见式(11)：
Figure BDA0003075994680000096
Figure BDA0003075994680000097
然后定义执行动作
Figure BDA0003075994680000098
后的返回值，即将当前的卸载任务分配给第k个服务器集群，见式(12):
Figure BDA0003075994680000099
第k个服务器集群的通信带宽用
Figure BDA00030759946800000910
表示。“带宽”的值为集群中心的服务器带宽，服务器集群的带宽是根据该带宽值估算的。
(3)利用改进的粒子群算法从最优聚类中选择最优服务器，并利用Pareto算法提高收敛速度。粒子群优化算法(PSO)是一种随机的全局优化算法，通常能得到较好的结果，但随着问题规模的增加，计算量和资源使用量也迅速增加。本发明重新定义了经典粒子群算法中粒子速度和位置的更新，并引入了利用该算法求解问题的帕累托方法。
定义1位置L＝[ai,pi]的粒子i在算法中表明，最优服务器器ai在聚类中心 pi上。
定义2在算法中，粒子i的速度vi＝[w(a),a]，权重w(a)表示任务分配的概率。
定义3粒子i的速度和位置的更新见式(13)、(14):
Figure BDA0003075994680000101
Figure BDA0003075994680000102
这里：
Figure BDA0003075994680000103
是粒子i的速度在k+1次的迭代；
Figure BDA0003075994680000104
为粒子i在第k次迭代中的位置；Δ∈(0,1)是具体实例的惯性阈值；c1和c2是学习因子；Lbest和L′best分别是个体最优值和全局最优值；
Figure BDA0003075994680000105
是粒子位置L的互补运算；
Figure BDA0003075994680000106
是w(a)获得a 的加权操作；⊙是
Figure BDA0003075994680000107
和
Figure BDA0003075994680000108
的同或操作。
在粒子群优化算法中，粒子的种群就是应用解中的所有粒子。在每一代粒子优化过程中，通过适应度函数来评估粒子的适应度，使粒子获得其最优位置Lbest和整个种群的最优位置L′best。因此，粒子在搜索过程中总是倾向于向更好的搜索区域移动。在每次迭代中，粒子通过跟踪上述两个位置来更新自己，并根据公式更新速度和位置。
在有目标约束的调度策略中，任务延迟和资源利用率的目标函数为，见式 (15)、见式(16)：
objt(TD)＝ttotal(TD) (15)
objC(UR)＝Ctotal(UR) (16)
因此，优化算法中的适应度函数表示，见式(17)：
F(Q)＝βttotal(TD)+(1-β)Ctotal(UR) (17)
求解粒子群优化算法与客观限制，在尽可能找到由其他解主导的最优解的前提下，该算法比较了帕累托最优解集中的解，但是为了防止陷入局部最优和影响全球解决方案，最优解通常是随机选择的，以提高粒子的全局搜索能力。

Claims (1)

1.基于移动云计算深度强化学习的物联网设备任务下载方法，其特征在于包括以下步骤：
(1)采用k-means聚类算法对服务器集群进行聚类
根据服务器的分布密度和最小距离指标确定初始聚类中心和聚类数量，然后对服务器进行聚类；
定义1:服务器PMp的分布密度ρp是服务器PMp到其他服务器的总距离与任意两个服务器距离之和的比值，见式(1)；
Figure FDA0003075994670000011
式中dm,n为PMm与PMn之间的欧氏距离；N为服务器总数；
定义2:服务器PMp到分布密度较大的服务器的最小距离为服务器PMp的最小距离指标ρp，见式(2)；
δp＝min{dp,q|p,q∈{1,N},q≠p,ρq＞ρp} (2)
式中dp,q为PMp与PMq之间的欧氏距离，对于分布密度最大的服务器，定义最小距离指标为其与其他服务器的最近距离；
定义3:服务器PMp的加权密度θp是其分布密度与最小距离指标的乘积，即θp＝ρpδp,p∈[1,N]；所有服务器的平均加权密度见式(3):
Figure FDA0003075994670000012
基于上述定义，采用改进的k-means聚类算法，以实现对服务器器的高效聚类，算法描述如下：
1)选择初始集群中心，计算每台服务器的加权密度θp和1≤p≤N，以及所有服务器的平均加权密度
Figure FDA0003075994670000013
选取
Figure FDA0003075994670000014
的服务器作为初始聚类中心；
2)确定最终的集群中心，检查是否任意两个服务器器的初始聚类中心集的欧几里得距离dm,n小于给定的阈值距离，如果是，它表明服务器器之间的距离在两个初始簇中相对较近，很容易产生干扰，此时，从初始集群的中心集中删除一个服务器器；当比较所有初始集群的中心时，最终的集群中心集
Figure FDA0003075994670000021
Q是最终集群中心数量，Q<T，采用加权聚类覆盖半径G作为距离阈值，见式(4)：
Figure FDA0003075994670000022
形成最终的聚类结果，根据步骤2得到的聚类中心，使用标准的k-means算法将剩余的服务器聚类到不同的集群中，从而得到最终的聚类结果；
(2)选择最优的服务器集群
利用深度强化学习从当前下载任务中选择最优的服务器集群，根据当前系统状态和下载任务，选择最优的服务器集群，定义k个集群的等待时间见式(5)：
Figure FDA0003075994670000023
其中
Figure FDA0003075994670000024
表示集群中第Pk服务器的最大等待时间，在决策步骤t中，运行在第k个服务器集群上的虚拟机总数为
Figure FDA0003075994670000025
则云中心服务器集群状态见式(6)，行动见式(7)：
Figure FDA0003075994670000026
Figure FDA0003075994670000027
然后定义执行动作
Figure FDA0003075994670000028
后的返回值，即将当前的卸载任务分配给第k个服务器集群，见式(8):
Figure FDA0003075994670000029
第k个服务器集群的通信带宽用
Figure FDA00030759946700000210
表示，“带宽”的值为集群中心的服务器带宽，服务器集群的带宽是根据该带宽值估算的；
(3)选择最优服务器并通过pareto算法提高收敛速度
利用改进的粒子群算法从最优聚类中选择最优服务器，并利用Pareto算法提高收敛速度，粒子群优化算法(PSO)是一种随机的全局优化算法，通常能得到较好的结果，但随着问题规模的增加，计算量和资源使用量也迅速增加；
定义1位置L＝[ai,pi]的粒子i在算法中表明，最优服务器器ai在聚类中心pi上，
定义2在算法中，粒子i的速度vi＝[w(a),a]，权重w(a)表示任务分配的概率。
定义3粒子i的速度和位置的更新见式(9)、(10):
Figure FDA0003075994670000031
Figure FDA0003075994670000032
式中：
Figure FDA0003075994670000033
是粒子i的速度在k+1次的迭代；
Figure FDA0003075994670000034
为粒子i在第k次迭代中的位置；Δ∈(0,1)是具体实例的惯性阈值；c1和c2是学习因子；Lbest和L′best分别是个体最优值和全局最优值；
Figure FDA0003075994670000035
是粒子位置L的互补运算；
Figure FDA0003075994670000036
是w(a)获得a的加权操作；⊙是
Figure FDA0003075994670000037
和
Figure FDA0003075994670000038
的同或操作；
在粒子群优化算法中，粒子的种群就是应用解中的所有粒子。在每一代粒子优化过程中，通过适应度函数来评估粒子的适应度，使粒子获得其最优位置Lbest和整个种群的最优位置L′best，因此粒子在搜索过程中总是倾向于向更好的搜索区域移动，在每次迭代中，粒子通过跟踪上述两个位置来更新自己，并根据公式更新速度和位置；
在有目标约束的调度策略中，任务延迟和资源利用率的目标函数为，见式(11)、见式(12)：
objt(TD)＝ttotal(TD) (11)
objC(UR)＝Ctotal(UR) (12)
因此，优化算法中的适应度函数表示，见式(13)：
F(Q)＝βttotal(TD)+(1-β)Ctotal(UR) (13)。
CN202110553074.8A 2021-05-20 2021-05-20 基于移动云计算深度强化学习的物联网设备任务下载方法 Withdrawn CN113360245A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110553074.8A CN113360245A (zh) 2021-05-20 2021-05-20 基于移动云计算深度强化学习的物联网设备任务下载方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110553074.8A CN113360245A (zh) 2021-05-20 2021-05-20 基于移动云计算深度强化学习的物联网设备任务下载方法

Publications (1)

Publication Number Publication Date
CN113360245A true CN113360245A (zh) 2021-09-07

Family

ID=77527009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110553074.8A Withdrawn CN113360245A (zh) 2021-05-20 2021-05-20 基于移动云计算深度强化学习的物联网设备任务下载方法

Country Status (1)

Country Link
CN (1) CN113360245A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114143814A (zh) * 2021-12-13 2022-03-04 华北电力大学（保定） 一种基于异构边缘云架构的多任务卸载方法及系统
CN114779467A (zh) * 2022-04-27 2022-07-22 吉林大学 一种基于探测器特性的新型光谱仪膜系组合的选择方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114143814A (zh) * 2021-12-13 2022-03-04 华北电力大学（保定） 一种基于异构边缘云架构的多任务卸载方法及系统
CN114143814B (zh) * 2021-12-13 2024-01-23 华北电力大学（保定） 一种基于异构边缘云架构的多任务卸载方法及系统
CN114779467A (zh) * 2022-04-27 2022-07-22 吉林大学 一种基于探测器特性的新型光谱仪膜系组合的选择方法

Similar Documents

Publication Publication Date Title
Liu et al. Deep reinforcement learning based approach for online service placement and computation resource allocation in edge computing
CN109818786B (zh) 一种云数据中心应用可感知的分布式多资源组合路径最优选取方法
Xu et al. Cnn partitioning and offloading for vehicular edge networks in web3
CN103220337B (zh) 基于自适应弹性控制的云计算资源优化配置方法
Zhang et al. A new task offloading algorithm in edge computing
CN110231976B (zh) 一种基于负载预测的边缘计算平台容器部署方法及系统
CN109257429A (zh) 一种基于深度强化学习的计算卸载调度方法
CN110058924A (zh) 一种多目标优化的容器调度方法
Tian et al. User preference-based hierarchical offloading for collaborative cloud-edge computing
Gu et al. A multi-objective fog computing task scheduling strategy based on ant colony algorithm
CN113360245A (zh) 基于移动云计算深度强化学习的物联网设备任务下载方法
CN112214301B (zh) 面向智慧城市基于用户偏好的动态计算迁移方法及装置
Dong et al. Quantum particle swarm optimization for task offloading in mobile edge computing
Dai et al. A learning algorithm for real-time service in vehicular networks with mobile-edge computing
Li et al. Dynamic computation offloading based on graph partitioning in mobile edge computing
Soula et al. Intelligent tasks allocation at the edge based on machine learning and bio-inspired algorithms
Xu et al. A meta reinforcement learning-based virtual machine placement algorithm in mobile edge computing
Lu et al. Computation offloading for partitionable applications in dense networks: An evolutionary game approach
Li Optimization of task offloading problem based on simulated annealing algorithm in MEC
CN113190342A (zh) 用于云-边协同网络的多应用细粒度卸载的方法与系统架构
CN117858109A (zh) 基于数字孪生的用户关联、任务卸载和资源分配优化方法
CN117202264A (zh) Mec环境中面向5g网络切片的计算卸载方法
Qi et al. Cluster-PSO based resource orchestration for multi-task applications in vehicular cloud
Qi et al. A task unloading strategy of IoT devices using deep reinforcement learning based on mobile cloud computing environment
CN115617526A (zh) 基于云数据中心构建和虚拟机整合的云数据中心节能方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210907

WW01 Invention patent application withdrawn after publication