CN114936078A - 一种微网群边缘调度与智能体轻量化裁剪方法 - Google Patents
一种微网群边缘调度与智能体轻量化裁剪方法 Download PDFInfo
- Publication number
- CN114936078A CN114936078A CN202210549822.XA CN202210549822A CN114936078A CN 114936078 A CN114936078 A CN 114936078A CN 202210549822 A CN202210549822 A CN 202210549822A CN 114936078 A CN114936078 A CN 114936078A
- Authority
- CN
- China
- Prior art keywords
- task
- representing
- edge
- model
- power terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000005520 cutting process Methods 0.000 title claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 59
- 230000002787 reinforcement Effects 0.000 claims abstract description 18
- 230000008901 benefit Effects 0.000 claims abstract description 15
- 238000013468 resource allocation Methods 0.000 claims abstract description 15
- 230000007774 longterm Effects 0.000 claims abstract description 10
- 230000002776 aggregation Effects 0.000 claims abstract description 7
- 238000004220 aggregation Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 27
- 150000001875 compounds Chemical class 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 238000003475 lamination Methods 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 15
- 238000013138 pruning Methods 0.000 description 18
- 230000009471 action Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000010248 power generation Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- General Factory Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种微网群边缘调度与智能体轻量化裁剪方法，包括：构建包括电力终端和边缘设备的微网群，计算能力最强的边缘设备k中设有任务分配模型；设置总训练轮次、初始训练轮数，初始化每个电力终端的本地训练模型、稀疏度范围、本地训练模型的聚合权重、经验重放内存；电力终端基于深度强化学习方法对任务分配模型进行训练，并基于模型剪裁对本地训练模型进行剪裁，边缘设备k对训练后的模型进行聚合并更新任务分配模型；根据更新后的任务分配模型，并以最大化长期效益期望为目标预测资源分配策略；电力终端根据资源分配策略执行任务。本发明可以在保证决策准确高效的同时避免大量原始数据的传输、降低模型训练时传输的数据量和传输时延。
Description
技术领域
本发明属于计算机网络技术领域，具体涉及一种微网群边缘调度与智能体轻量化裁剪方法。
背景技术
随着社会经济的快速发展和人口的增长，能源供应问题越来越突出。为实现社会可持续发展的需求，分布于用户附近的分布式能源和可再生能源逐渐成为能源技术领域关注的研究热点。分布式发电以光伏系统和风力发电为代表，由于其经济、环保、灵活等优点，近年来得到了广泛的应用。但是，分布式发电输出是间歇性的、随机的，大规模的分布式发电渗透会对电力系统的安全和稳定造成不利影响，如电力质量问题，给电力系统的稳定运行和安全控制带来前所未有的挑战。为了协调分布式发电与大电网之间的矛盾，降低分布式发电的弃电率，提高供电可靠性和电能质量，提出了微网群的概念。然而即使是微网群，要完全消纳并充分利用大规模可再生能源也依然存在障碍，在该模式下如何在边缘构建高效完善的计算资源动态迁移体系，如何进一步轻量化边缘智能体成为一个急需解决的问题。
发明内容
针对以上技术问题，本发明提出了一种微网群边缘调度与智能体轻量化裁剪方法，通过支持在微网群场景中应用边缘智能体微型智能算法轻量化剪裁技术，可以实现微网群运行计算资源的动态迁移调度，并进一步对边缘智能体进行轻量化剪裁设计。为解决以上技术问题，本发明所采用的技术方案如下：
一种微网群边缘调度与智能体轻量化裁剪方法，包括如下步骤：
S1，构建包括电力终端和边缘设备的微网群，且边缘设备k中设有任务分配模型；
S2，设置总训练轮次T、初始训练轮数t＝0，初始化每个电力终端的本地训练模型、稀疏度范围、本地训练模型的聚合权重、电力终端的经验重放内存；
S3，电力终端基于深度强化学习方法对任务分配模型进行训练，并基于模型剪裁的方法对本地训练模型进行剪裁，边缘设备k对训练后的模型进行聚合并更新任务分配模型；
S4，根据更新后的任务分配模型，并以最大化长期效益期望为目标预测资源分配策略，所述资源分配策略包括任务卸载决策和能量分配决策；
S5，电力终端根据步骤S4所预测的资源分配策略执行任务。
所述步骤S3包括如下步骤：
S3.1，执行t＝t+1，将M个电力终端的随机集合赋值到集合St；
S3.2，集合St中的每个电力终端分别从边缘设备k中下载任务分配模型，并将其赋值给电力终端的本地训练模型；
S3.3，电力终端对经验重放内存进行感知并更新；
S3.4，电力终端对利用深度强化学习的方法对本地训练模型进行训练，并基于模型剪裁的方法对训练出的模型参数进行剪裁；
S3.5，将步骤S3.4剪裁后的本地训练模型的参数和电力终端进行本地训练的次数上传到边缘设备k；
S3.6，边缘设备k对每个电力终端的本地训练次数分别进行统计；
S3.7，边缘设备k根据统计后的本地训练次数对接收到的模型参数进行聚合；
S3.8，判断t＜T，如果是，返回步骤S3.1，否则执行步骤S4。
所述步骤S3.4包括如下步骤：
S3.4.1，将集合St中的每个电力终端的神经网络进行初始化，所述神经网络包括若干个全连接层和若干个卷积层；
S3.4.2，对神经网络的全连接层的参数进行减裁；
S3.4.3，根据稀疏度范围设置全连接层每层的稀疏度；
S3.4.4，将每层全连接层的参数按照由小到大的顺序进行排列，然后将前
个参数较小的参数值设置为0，其中，
表示全连接层的第ifc层的稀疏度，
的全连接层的第ifc层的参数个数；
S3.4.5，根据稀疏度范围设置积层每层的稀疏度；
S3.4.6，对每层卷积层的滤波器的个数进行修剪。
在步骤S4中，所述最大化长期效益期望的表达式为：
式中，U(X，Φ)表示最大化长期效益期望，I表示时间片的总数，u(·)表示直接效用，X1表示初始网络状态变量，X0表示初始网络状态的值，Φ(Xi)表示网络状态Xi的决策函数，X表示网络状态的集合。
所述网络状态Xi的表达式为：
式中，
表示i时间片下的任务队列，
表示i时间片下的能量队列，si表示i时间片下电力终端与边缘设备的连接关系，gi表示i时间片下的信道增益，
表示信道增益集合，N表示边缘设备的个数，
表示任务队列的最大长度，
表示能量序列的最大长度。
直接效用的u(Xi，Φ(Xi))的计算公式为：
式中，w1表示任务执行延迟di的权重，w2表示任务排队延迟ρi的权重，w3表示任务丢弃数ηi的权重，w4表示占用边缘节点花销φi的权重。
所述任务执行延迟di的计算公式为：
式中，
表示i时间片下本地执行任务的时间消耗，hi表示i时间片下的切换延迟，
表示i时间片下任务从本地传输到对应的边缘设备的时间开销，ds表示任务卸载到边缘设备执行时所产生的延迟，ei表示i时间片下分配的能量单元数量，ci表示i时间片下任务卸载的决策，
表示边缘设备的集合。
所述i时间片下的切换延迟hi的表达式为：
式中，σ表示连接切换延迟，si表示i时间片下电力终端与边缘设备的连接关系。
所述i时间片下本地执行任务的时间消耗
的计算公式为：
式中，fi表示i时间片下微网群分配的CPU频率。
所述占用边缘节点花销φi的计算公式为：
式中，π表示占用边缘节点单位时间的价格，hi表示i时间片下的切换延迟，
表示i时间片下任务从本地传输到对应的边缘设备的时间开销，ds表示任务卸载到边缘设备执行时所产生的延迟，δ表示时间片的持续时长。
所述任务丢弃数ηi的计算公式为：
式中，
表示i时间片下的任务队列，δ表示时间片的持续时长，
表示i时间片下的产生的任务数量，
表示任务队列的最大长度。
所述任务排队延迟ρi的计算公式为：
式中，
表示i时间片下的任务队列。
本发明的有益效果：
通过构建包括电力终端和边缘设备的智能体，根据各个电力终端上的观测数据进行模型训练，把更新后的模型参数上传到边缘设备上进行接下来的模型聚合，并且在本地训练过程中进行模型剪裁，可以实现减轻训练负担与达到模型优化的需求，并且尽量减少精度损失；优化后的任务分配模型可以使微网群更好更有效地节省能量和资源，轻量化后的模型将不必要的参数进行剪裁降低了其对于模型的影响，轻量化后的模型大小减少10％左右，更适合在实际应用场合中进行部署采用，很好地解决了传统算法由于在原始时期模型数据庞大，需要的资源过多，会给主干网络带来沉重的资源压力，不利于算法模型的部署的问题，更能支撑微网群在复杂环境中的高效运行；在保证决策准确高效的同时避免了大量原始数据的传输、降低了模型训练时传输的数据量、降低了数据的传输时延，充分发挥了边缘智能技术的自适应、分布式决策优势。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为微网群的场景示意图。
图2为任务执行方式对比图。
图3为本发明的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
深度强化学习(Deep Reinforcement Learning，DRL)：深度强化学习提供了一种自动训练决策模型的方法。它是一种传统的强化学习与深度神经网络概念的结合，可以将强化学习技术通常应用于规模较大的数据空间之中。深度强化学习的一个重要分支是基于行动值估计的方法，它学习动作的值，然后根据其估计值选择动作。在这个分支中，最常见的方法是Q-learning，它被广泛应用于许多研究领域。深度强化学习技术适用于许多场景，比如控制物理系统，玩游戏和用户进行交互等等。强化学习在最开始会先进行探索，也就是我们常说的试错。它会对不同的动作决策进行尝试，将动作作用于环境之后获取动作的收益，根据效果不断自我进行调整。而深度学习采用的则是一种通过多层神经网络对数据进行特征表达的方法，通过神经网络来学习数据的特征信息。深度强化学习两者结合的产物，在保留了深度学习的感知能力的情况下加入了强化学习的决策能力，从而在某些领域发挥更大的优势，表现出更好的效果。
模型剪枝(Pruning)：虽然大型神经网络模型非常强大，但它们具有计算密集型和内存密集型两大特点，会消耗相当大的存储、内存带宽和计算资源。对于嵌入式移动应用程序，这些资源需求常常令人望而却步，在系统上往往很难部署。因此为了解决这个问题，我们需要对模型进行优化压缩。模型压缩加速的常用方法包括：低秩分解、模型剪枝、量化、轻量级模型设计和知识蒸馏，而模型轻量化中广泛应用的就是剪枝。剪枝是将神经网络所需的存储和计算减少一个数量级，而不影响其准确性的一种方法。在剪枝中最重要的是尽量保证精度和复杂度的平衡，减少冗余的部分留下最重要的部分。剪枝主要分为两种方式，剪权重和剪神经元，前者不会破坏原来的网络结构，后者会使得模型的结构发生较大变化。因此剪神经元对模型的影响较大，剪权重对模型的精度影响较小。而剪枝问题实际上是如何判断参数重要性的问题，随后把不重要的参数剪掉，它们对于效果的影响可以忽略不计，从而达到模型轻量化的目的。
一种微网群边缘调度与智能体轻量化裁剪方法，如图3所示，包括如下步骤：
S1，构建包括电力终端和边缘设备的微网群，且边缘设备k中设有任务分配模型；
如图1所示，所述微网群是由若干个电力终端和若干个边缘设备组成，且所有电力终端均可与所有边缘设备连接。所述边缘设备的集合采用
表示，
且k∈N，所有的边缘设备组成边缘集群，每个边缘设备均为一个边缘节点，每个边缘节点均可以服务于微网群中的任何电力终端，其中，可以选用边缘集群中计算能力最强的一个边缘设备也即作为边缘设备k存储任务分配模型，以对该微网群中所有电力终端所训练的模型进行聚合。电力终端的集合采用
表示，
电力终端产生的计算任务采用(μ，v)表示，μ表示加载计算任务所需的传输数据大小，v表示处理计算任务所需的CPU周期数，如图2所示，这些计算任务通过以下两种方法来完成：一种是在电力终端上由本地执行，这样可避免由数据传输引起的延迟；另一种是加载到信道带宽为WHz的边缘设备来执行，这样可以利用边缘设备更丰富的能力来执行计算任务也即任务，具体采用哪种方法需要根据情况进行权衡。
微网群中有一个最大长度为
的任务队列，任务队列以先入先出(FIFO)的方式暂存任务，当任务队列已满时，将无法保存新创建的任务；同时，还设有一个最大长度为
的能量序列以保存能量单元。微网群需要在i时间片下进行决策(ci，ei)，每个时间片的持续时长为δ秒，其中，ci代表i时间片下任务卸载的决策，如下式所示：
ei表示i时间片下分配的能量单元数量，会对微网群内设备的CPU频率和数据传输速率产生影响。如果ei＝0，计算任务将不被执行，仍保存在任务队列中，只有ei>0，任务才会被执行。
S2，设置总训练轮次T、初始训练轮数t＝0，初始化每个电力终端的本地训练模型、稀疏度范围(γmin，γmax)、本地训练模型的聚合权重、经验重放内存；
S3，电力终端基于深度强化学习方法对任务分配模型进行训练，并基于模型剪裁的方法对本地训练模型进行剪裁，边缘设备k对训练后的模型进行聚合并更新任务分配模型，包括如下步骤：
S3.1，执行t＝t+1，将M个电力终端的随机集合赋值到集合St；
S3.2，集合St中的每个电力终端分别从计算能力最强的边缘设备k中下载任务分配模型，并将其赋值给本地训练模型；
S3.3，电力终端对经验重放内存进行感知并更新；
所述经验重放内存的最大大小为Mmax，如果积累的数据量大于Mmax，则旧的数据被删除以保证新的数据可以留存。将当前网络状态、选择动作、收益以及执行动作后的新形成的网络状态存放在经验重放内存中，便于模型训练时使用。
S3.4，电力终端利用深度强化学习的方法对本地训练模型进行训练，并基于模型剪裁的方法对训练出的模型参数进行剪裁，包括如下步骤：
S3.4.1，将集合St中的每个电力终端的神经网络进行初始化，所述神经网络包括若干个全连接层和若干个卷积层；
S3.4.2，对神经网络的全连接层的参数进行减裁；
神经网络中的全连接层共m1层，每层参数集合为
减枝后为
每层参数个数为
剪裁需要满足的最终条件为：
式中，
表示剪裁后的全连接层的第ifc层的参数集合，
表示全连接层的第ifc层的参数集合，且1≤ifc≤m1，m1表示全连接层的层数，
表示剪裁后的全连接层的第m1层的参数集合，
表示全连接层的第m1层的参数集合。
S3.4.3，设置全连接层每层的稀疏度，其设置公式为：
式中，
表示全连接层的第ifc层的稀疏度，γmax表示最大稀疏度，γmin表示最小稀疏度。
S3.4.4，将每层全连接层的参数按照由小到大的顺序进行排列，然后将前
个参数较小的参数值设置为0；
S3.4.5，设置卷积层每层的稀疏度，其设置公式为：
式中，
表示卷积层的第ic层的稀疏度。
S3.4.6，对每层卷积层的滤波器的个数进行修剪；
修剪要求为：
式中，nl表示滤波器的内核数量，Fu表示被修剪的每层卷积层的滤波器的集合，||K||表示K的L2范数，K表示过滤器中的内核，l表示卷积层的标号。
由于神经网络的每个卷积层会提供f个三维滤波器
是nl×k×k的三维矩阵；每个三维滤波器F由nl个2D内核K∈Rk×k组成，Rk×k是k×k的二维矩阵。通过式(2)计算滤波器的绝对权重之和来衡量每一层中过滤器的相对重要性，通过对卷积层减枝，可以删除不太有用的过滤器，以提高计算效率，同时最小化精度下降。
由于智能体模型训练时需要两个网络，两个网络之间需要传递参数，所以要保证两个网络的结构始终不变，否则参数的传递会出现问题，所以在神经元剪枝和权重剪枝之间，权重剪枝更优。权重剪枝，就是消除权重张量中不必要的值，丢弃不严重影响模型表现的权重，减少计算中涉及的参数，从而降低操作次数，达到减小模型大小的作用。本申请通过将模型中的一部分神经网络层的参数变小，一部分神经网络层去掉多余过滤器，可以在减小模型的大小的同时维持模型精度不变，实现更方便的部署。
S3.5，将步骤S3.4剪裁后的本地训练模型的参数和电力终端进行本地训练的次数上传到计算能力最强的边缘设备k；
S3.6，计算能力最强的边缘设备k对每个电力终端的本地训练次数分别进行统计；
S3.7，计算能力最强的边缘设备k根据统计后本地训练次数对接收到的模型参数进行聚合；
所述计算能力最强的边缘设备k聚合的公式为：
式中，θt+1表示第t轮聚合后的任务分配模型，
表示电力终端d在当前t轮周期内训练的次数，且d∈St，At表示M个电力终端在当前t轮周期内训练次数的加和，
表示第t轮训练后本地训练模型的参数。
S3.8，判断t＜T，如果是，返回步骤S3.1，否则执行步骤S4；
S4，根据更新后的任务分配模型，并以最大化长期效益期望为目标预测资源分配策略，所述资源分配策略包括任务卸载决策和能量分配决策；
所述最大化长期效益期望的表达式为：
式中，U(X，Φ)表示最大化长期效益期望，I表示时间片的总数，u(·)表示i时间片下的直接效用，X1表示初始网络状态变量，X0表示初始网络状态的值，Φ(Xi)表示网络状态Xi的决策函数，X表示网络状态的集合。
所述网络状态Xi的表达式为：
式中，
表示i时间片下的任务队列，
表示i时间片下的能量队列，si表示i时间片下电力终端与边缘设备的连接关系，gi表示i时间片下的信道增益，
表示信道增益集合。
在每个时间片下，当有任务被取出或生成时，任务队列会进行更新，更新后的任务对列的表达式为：
式中，di表示任务执行延迟，
表示i时间片下的产生的任务数量，在每一时间片时按照伯努利分布随机产生，
表示i+1时间片下的任务队列。
同样地，在每个时间片下，能量队列也会进行更新，更新后的能量队列的表达式为：
式中，
表示i+1时间片下的能量队列，
表示i时间片下电力终端获取的能量单元数量，在每一时间片按照泊松分布随机产生。
所述i时间片下电力终端与边缘设备的连接关系si可表示为：
式中，ci-1表示i-1时间片下任务卸载的决策，si-1表示i-1时间片下电力终端与边缘设备的连接关系。
所述i时间片下的直接效用由任务执行延迟di、任务丢弃数ηi、任务排队延迟ρi和占用边缘节点花销φi几项指标共同决定，可以针对不同的目标进行定制化设计，例如：如果系统最注重任务执行延迟di，则可以提升任务执行延迟di的权重，进而提高其在整个效用中的比例。作为对资源分配策略性能的评价，其表达式为：
式中，w1表示任务执行延迟di的权重，w2表示任务排队延迟ρi的权重，w3表示任务丢弃数ηi的权重，w4表示占用边缘节点花销φi的权重。w1、w2、w3、w4为目标设备也即产生请求的设备对不同指标的需求偏好权重，取值由目标设备的设备类型以及所搭载的应用服务决定。
所述任务执行延迟di的计算公式为：
式中，di表示i时间片下任务的运行时延，
表示i时间片下本地执行任务的时间消耗，hi表示i时间片下的切换延迟，
表示i时间片下任务从本地传输到对应的边缘设备的时间开销，ds表示任务卸载到边缘设备执行时所产生的延迟。
所述i时间片下的切换延迟hi的表达式为：
式中，σ表示连接切换延迟，si表示i时间片下电力终端与边缘设备的连接关系。
所述i时间片下本地执行任务的时间消耗
的计算公式为：
式中，fi表示i时间片下微网群分配的CPU频率。
所述i时间片下微网群分配的CPU频率fi的计算公式为：
式中，τ为常数，取决于芯片结构，
表示CPU芯片的最大频率上限。
所述i时间片下任务从本地传输到对应的边缘设备的时间开销
的计算公式为：
式中，ri表示i时间片下的数据传输速率。
所述i时间片下的数据传输速率ri的计算公式为：
式中，
表示i时间片下电力终端与边缘设备的信道增益，
表示i时间片下的传输功率，i表示干扰与噪声的功率和，W表示信道带宽。
所述i时间片下的传输功率
的计算公式为：
式中，
表示最大传输功率。
根据式(17)、式(18)、式(19)可得，最小传输时间满足：
式中，
表示i时间片下任务卸载的决策ci所对应的信道增益，
表示i时间片下的最小传输时间。
由于边缘节点计算资源的有限性，本申请进一步定义了占用边缘节点所需的花销来避免对边缘节点的过度使用，定义π∈R+作为占用边缘节点单位时间的价格，其中，R+为正实数集合，占用边缘节点花销φi的计算公式为：
所述任务排队延迟ρi的计算公式为：
由于当任务队列已满时，会使新产生的任务无法存入任务队列，从而导致任务丢失，任务丢弃数ηi的计算公式为：
所述资源分配策略的表达式为：
式中，
表示资源分配策略集合。
S5，电力终端根据步骤S4所预测的资源分配策略执行。
本申请实施例还提供了一种微网群边缘调度与智能体轻量化裁剪装置，包括电力终端和边缘设备，所述电力终端上设有训练模块和裁剪模块，边缘设备上设有聚合模块和决策模块；
训练模块，用于电力终端根据从边缘设备k接收到的任务分配模型参数利用强化学习方法对本地训练模型进行训练，训练后的模型和本地训练次数发送到裁剪模块；
裁剪模块：用于对接收到的训练后的本地训练模型的参数进行剪裁，并将剪裁后的本地训练模型参数和本地训练次数发送到聚合模块；
聚合模块：根据接收到的本地训练次数对剪裁后的本地训练模型参数进行聚合，更新任务分配模型；
决策模块：用于根据更新后的任务分配模型生成包括任务卸载决策和能量分配决策的资源分配策略。
本申请实施例还提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器存储有计算机程序，计算机程序被处理器执行时，执行上述微网群边缘调度与智能体轻量化裁剪方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，执行上述微网群边缘调度与智能体轻量化裁剪方法的步骤。具体地，该存储介质可以为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述微网群边缘调度与智能体轻量化裁剪方法的实施例。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种微网群边缘调度与智能体轻量化裁剪方法，其特征在于，包括如下步骤：
S1，构建包括电力终端和边缘设备的微网群，且边缘设备k中设有任务分配模型；
S2，设置总训练轮次T、初始训练轮数t＝0，初始化每个电力终端的本地训练模型、稀疏度范围、本地训练模型的聚合权重、电力终端的经验重放内存；
S3，电力终端基于深度强化学习方法对任务分配模型进行训练，并基于模型剪裁的方法对本地训练模型进行剪裁，边缘设备k对训练后的模型进行聚合并更新任务分配模型；
S4，根据更新后的任务分配模型，并以最大化长期效益期望为目标预测资源分配策略，所述资源分配策略包括任务卸载决策和能量分配决策；
S5，电力终端根据步骤S4所预测的资源分配策略执行任务。
2.根据权利要求1所述的微网群边缘调度与智能体轻量化裁剪方法，其特征在于，所述步骤S3包括如下步骤：
S3.1，执行t＝t+1，将M个电力终端的随机集合赋值到集合St；
S3.2，集合St中的每个电力终端分别从边缘设备k中下载任务分配模型，并将其赋值给电力终端的本地训练模型；
S3.3，电力终端对经验重放内存进行感知并更新；
S3.4，电力终端对利用深度强化学习的方法对本地训练模型进行训练，并基于模型剪裁的方法对训练出的模型参数进行剪裁；
S3.5，将步骤S3.4剪裁后的本地训练模型的参数和电力终端进行本地训练的次数上传到边缘设备k；
S3.6，边缘设备k对每个电力终端的本地训练次数分别进行统计；
S3.7，边缘设备k根据统计后的本地训练次数对接收到的模型参数进行聚合；
S3.8，判断t＜T，如果是，返回步骤S3.1，否则执行步骤S4。
3.根据权利要求2所述的微网群边缘调度与智能体轻量化裁剪方法，其特征在于，所述步骤S3.4包括如下步骤：
S3.4.1，将集合St中的每个电力终端的神经网络进行初始化，所述神经网络包括若干个全连接层和若干个卷积层；
S3.4.2，对神经网络的全连接层的参数进行减裁；
S3.4.3，根据稀疏度范围设置全连接层每层的稀疏度；
S3.4.4，将每层全连接层的参数按照由小到大的顺序进行排列，然后将前
个参数较小的参数值设置为0，其中，
表示全连接层的第ifc层的稀疏度，
的全连接层的第ifc层的参数个数；
S3.4.5，根据稀疏度范围设置积层每层的稀疏度；
S3.4.6，对每层卷积层的滤波器的个数进行修剪。
4.根据权利要求1所述的微网群边缘调度与智能体轻量化裁剪方法，其特征在于，在步骤S4中，所述最大化长期效益期望的表达式为：
式中，U(X，Φ)表示最大化长期效益期望，I表示时间片的总数，u(·)表示直接效用，X1表示初始网络状态变量，X0表示初始网络状态的值，Φ(Xi)表示网络状态Xi的决策函数，X表示网络状态的集合。
5.根据权利要求4所述的微网群边缘调度与智能体轻量化裁剪方法，其特征在于，所述网络状态Xi的表达式为：
式中，
表示i时间片下的任务队列，
表示i时间片下的能量队列，si表示i时间片下电力终端与边缘设备的连接关系，gi表示i时间片下的信道增益，
表示信道增益集合，N表示边缘设备的个数，
表示任务队列的最大长度，
表示能量序列的最大长度。
6.根据权利要求4所述的微网群边缘调度与智能体轻量化裁剪方法，其特征在于，直接效用的u(Xi，Φ(Xi))的计算公式为：
式中，w1表示任务执行延迟di的权重，w2表示任务排队延迟ρi的权重，w3表示任务丢弃数ηi的权重，w4表示占用边缘节点花销φi的权重。
7.根据权利要求6所述的微网群边缘调度与智能体轻量化裁剪方法，其特征在于，所述任务执行延迟di的计算公式为：
式中，
表示i时间片下本地执行任务的时间消耗，hi表示i时间片下的切换延迟，
表示i时间片下任务从本地传输到对应的边缘设备的时间开销，ds表示任务卸载到边缘设备执行时所产生的延迟，ei表示i时间片下分配的能量单元数量，ci表示i时间片下任务卸载的决策，
表示边缘设备的集合；
所述i时间片下的切换延迟hi的表达式为：
式中，σ表示连接切换延迟，si表示i时间片下电力终端与边缘设备的连接关系；
所述i时间片下本地执行任务的时间消耗
的计算公式为：
式中，fi表示i时间片下微网群分配的CPU频率。
8.根据权利要求6所述的微网群边缘调度与智能体轻量化裁剪方法，其特征在于，所述占用边缘节点花销φi的计算公式为：
式中，π表示占用边缘节点单位时间的价格，hi表示i时间片下的切换延迟，
表示i时间片下任务从本地传输到对应的边缘设备的时间开销，ds表示任务卸载到边缘设备执行时所产生的延迟，δ表示时间片的持续时长。
9.根据权利要求6所述的微网群边缘调度与智能体轻量化裁剪方法，其特征在于，所述任务丢弃数ηi的计算公式为：
式中，
表示i时间片下的任务队列，δ表示时间片的持续时长，
表示i时间片下的产生的任务数量，
表示任务队列的最大长度。
10.根据权利要求6所述的微网群边缘调度与智能体轻量化裁剪方法，其特征在于，所述任务排队延迟ρi的计算公式为：
式中，
表示i时间片下的任务队列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210549822.XA CN114936078A (zh) | 2022-05-20 | 2022-05-20 | 一种微网群边缘调度与智能体轻量化裁剪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210549822.XA CN114936078A (zh) | 2022-05-20 | 2022-05-20 | 一种微网群边缘调度与智能体轻量化裁剪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114936078A true CN114936078A (zh) | 2022-08-23 |
Family
ID=82863730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210549822.XA Pending CN114936078A (zh) | 2022-05-20 | 2022-05-20 | 一种微网群边缘调度与智能体轻量化裁剪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114936078A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109685205A (zh) * | 2018-12-26 | 2019-04-26 | 上海大学 | 一种基于稀疏矩阵的深度网络模型加速方法 |
| CN110955463A (zh) * | 2019-12-03 | 2020-04-03 | 天津大学 | 支持边缘计算的物联网多用户计算卸载方法 |
| CN112183746A (zh) * | 2020-09-30 | 2021-01-05 | 深兰人工智能(深圳)有限公司 | 敏感度分析和强化学习的神经网络剪枝方法、系统及装置 |
| WO2022027776A1 (zh) * | 2020-08-03 | 2022-02-10 | 威胜信息技术股份有限公司 | 边缘计算网络任务调度与资源分配方法和边缘计算系统 |
| CN114154646A (zh) * | 2021-12-07 | 2022-03-08 | 南京华苏科技有限公司 | 一种移动边缘网络中联邦学习的效率优化方法 |
| CN114265631A (zh) * | 2021-12-09 | 2022-04-01 | 浙江工业大学 | 一种基于联邦元学习的移动边缘计算智能卸载方法及装置 |
| CN114418085A (zh) * | 2021-12-01 | 2022-04-29 | 清华大学 | 一种基于神经网络模型剪枝的个性化协作学习方法和装置 |
-
2022
- 2022-05-20 CN CN202210549822.XA patent/CN114936078A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109685205A (zh) * | 2018-12-26 | 2019-04-26 | 上海大学 | 一种基于稀疏矩阵的深度网络模型加速方法 |
| CN110955463A (zh) * | 2019-12-03 | 2020-04-03 | 天津大学 | 支持边缘计算的物联网多用户计算卸载方法 |
| WO2022027776A1 (zh) * | 2020-08-03 | 2022-02-10 | 威胜信息技术股份有限公司 | 边缘计算网络任务调度与资源分配方法和边缘计算系统 |
| CN112183746A (zh) * | 2020-09-30 | 2021-01-05 | 深兰人工智能(深圳)有限公司 | 敏感度分析和强化学习的神经网络剪枝方法、系统及装置 |
| CN114418085A (zh) * | 2021-12-01 | 2022-04-29 | 清华大学 | 一种基于神经网络模型剪枝的个性化协作学习方法和装置 |
| CN114154646A (zh) * | 2021-12-07 | 2022-03-08 | 南京华苏科技有限公司 | 一种移动边缘网络中联邦学习的效率优化方法 |
| CN114265631A (zh) * | 2021-12-09 | 2022-04-01 | 浙江工业大学 | 一种基于联邦元学习的移动边缘计算智能卸载方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111835827B (zh) | 物联网边缘计算任务卸载方法及系统 | |
| CN113950066B (zh) | 移动边缘环境下单服务器部分计算卸载方法、系统、设备 | |
| CN108920280B (zh) | 一种单用户场景下的移动边缘计算任务卸载方法 | |
| CN109753751B (zh) | 一种基于机器学习的mec随机任务迁移方法 | |
| CN112882815B (zh) | 基于深度强化学习的多用户边缘计算优化调度方法 | |
| CN109829332B (zh) | 一种基于能量收集技术的联合计算卸载方法及装置 | |
| CN110798849A (zh) | 一种超密网边缘计算的计算资源分配与任务卸载方法 | |
| CN111722910B (zh) | 一种云作业调度及资源配置的方法 | |
| CN107911478A (zh) | 基于化学反应优化算法的多用户计算卸载方法及装置 | |
| Nath et al. | Multi-user multi-channel computation offloading and resource allocation for mobile edge computing | |
| CN113543156A (zh) | 基于多智能体深度强化学习的工业无线网络资源分配方法 | |
| CN114567895A (zh) | 一种mec服务器集群的智能协同策略的实现方法 | |
| CN111970154B (zh) | 基于深度增强学习和凸优化的卸载决策及资源分配方法 | |
| CN114205353B (zh) | 一种基于混合动作空间强化学习算法的计算卸载方法 | |
| CN113573363B (zh) | 基于深度强化学习的mec计算卸载与资源分配方法 | |
| CN114938372B (zh) | 一种基于联邦学习的微网群请求动态迁移调度方法及装置 | |
| CN115499875B (zh) | 一种卫星互联网任务卸载方法、系统以及可读存储介质 | |
| CN115514769B (zh) | 卫星弹性互联网资源调度方法、系统、计算机设备及介质 | |
| CN114706631B (zh) | 基于深度q学习的移动边缘计算中卸载决策方法及系统 | |
| CN113590279A (zh) | 一种面向多核边缘计算服务器的任务调度和资源分配方法 | |
| CN114219074A (zh) | 一种按需动态调整的无线通信网络资源分配算法 | |
| CN116112488A (zh) | 一种面向mec网络的细粒度任务卸载及资源分配方法 | |
| CN114116061B (zh) | 一种移动边缘计算环境下的工作流任务卸载方法及系统 | |
| CN116820621A (zh) | 一种基于图论和小样本近端策略优化的计算任务卸载方法 | |
| CN114025359B (zh) | 基于深度强化学习的资源分配与计算卸载方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |