CN111064633B - 一种云边协同电力信息通信设备自动化测试资源分配方法 - Google Patents

一种云边协同电力信息通信设备自动化测试资源分配方法 Download PDF

Info

Publication number
CN111064633B
CN111064633B CN201911194715.4A CN201911194715A CN111064633B CN 111064633 B CN111064633 B CN 111064633B CN 201911194715 A CN201911194715 A CN 201911194715A CN 111064633 B CN111064633 B CN 111064633B
Authority
CN
China
Prior art keywords
resource
computing
resources
test
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911194715.4A
Other languages
English (en)
Other versions
CN111064633A (zh
Inventor
张驯
赵博
白万荣
王维洲
魏峰
朱小琴
马宏忠
杨勇
高丽娜
杨凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STATE GRID GASU ELECTRIC POWER RESEARCH INSTITUTE
State Grid Corp of China SGCC
State Grid Gansu Electric Power Co Ltd
Original Assignee
STATE GRID GASU ELECTRIC POWER RESEARCH INSTITUTE
State Grid Corp of China SGCC
State Grid Gansu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by STATE GRID GASU ELECTRIC POWER RESEARCH INSTITUTE, State Grid Corp of China SGCC, State Grid Gansu Electric Power Co Ltd filed Critical STATE GRID GASU ELECTRIC POWER RESEARCH INSTITUTE
Priority to CN201911194715.4A priority Critical patent/CN111064633B/zh
Publication of CN111064633A publication Critical patent/CN111064633A/zh
Application granted granted Critical
Publication of CN111064633B publication Critical patent/CN111064633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/50Testing arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种云边协同电力信息通信设备自动化测试资源分配方法。该方法首次采用生成对抗深度强化学习理论,在测试执行时间、通信资源、计算资源以及能量消耗受限情况下,电力信息通信设备测试中云计算和多接入边缘计算综合资源分配方法,从而提高了测试的准确率、减少了测试执行时间并且节约了通信和计算资源。

Description

一种云边协同电力信息通信设备自动化测试资源分配方法
技术领域
本发明属于通信领域,尤其涉及电力信息通信设备自动化测试计算方法。
背景技术
随着智能电网,特别是泛在电力物联网的发展,电力通信设备对于信息的传输、处理起到了关键的作用,其性能的优劣直接影响电力网络的安全以及稳定;在部署应用前,通信设备需要严格的测试,传统的人工测试不但消耗了大量的人力,而且速度慢,同时测量结果不准确。
发明内容
(一)要解决的技术问题
为了提高电力通信设备的测试效率,本发明公开了一种云边协同电力信息通信设备自动化测试资源分配方法。该方法首次采用生成对抗深度强化学习理论,在测试执行时间、通信资源、计算资源以及能量消耗受限情况下,电力信息通信设备测试中云计算和多接入边缘计算综合资源分配方法,从而提高了测试的准确率、减少了测试执行时间并且节约了通信和计算资源。
(二)技术方案
为解决上述技术问题,本发明公开了一种云边协同电力信息通信设备自动化测试资源分配方法,包括如下步骤:
步骤A,根据电力信息通信设备需要测试的要求,构建测试任务,根据测试任务,构建测试云计算和边缘计算的测试平台模型;
步骤B,根据步骤A给出的云计算和边缘计算测试平台模型,构建可以调度的资源模型和通信模型;
步骤C,根据步骤A的测试平台模型,步骤B的资源模型应用,设计生成对抗深度强化学习资源调度方法,并按照此资源调度方法进行计算资源和通信资源调度;
步骤D,根据资源调度方法将测试任务进行分配,并通知测试点完成测试任务的时间限制;
步骤E,各个分散节点进行计算,完成各自计算任务,并将计算结果上传到云计算平台。
其中,步骤A具体包括:
A1,根据要测试的通信设备分析云计算和多接入边缘计算的电力信息通信设备自动化测试平台结构,其可分为用户节点、边缘计算节点簇资源层和云计算资源三层结构,确定其拓扑机构;
A2,将云计算测试资源表示Cc={Cc1,Cc2,...Ccn},多接入边缘计算节点测试资源可以表示为Mc={Mc1,Mc2,...,Mcn},其中,每个云计算节点和多接入边缘节点用于执行测试的资源可以表示为Cci={sci,cci,bci}和Mci={smi,cmi,bmi},其中sci和smi分别表示云计算节点和边缘计算节点存储资源,cci和cmi分别表示云计算节点和边缘计算节点计算资源,bci和bmi分别表示云计算节点和边缘计算节点的通信带宽资源;
A3,根据A2的逻辑资源,建立物理设备计算资源列表,其物理对应的计算处理节点表示为
Figure BDA0002294402130000021
Figure BDA0002294402130000022
物理层所拥有的物理机,其每个云计算物理服务器对应的物理资源表为
Figure BDA0002294402130000023
其中PSci表示物理存储资源,PCci表示物理计算资源,PBci表示实际的物理链路带宽,每个多接入边缘计算服务器对应的物理资源表为
Figure BDA0002294402130000024
其中MSci表示物理存储资源,MCci表示物理存储资源,MBci表示实际的物理链路带宽;
A4,建立电力通信信息设备自动化测试任务,其可以表示为Tc={tc1,tc2,...tcl},设通信设备测试需要有l个测试任务能够完成。根据任务所需的计算、存储以及通信资源需求,建立测试任务与逻辑资源虚拟机分配模型为
Figure BDA0002294402130000031
其中acln表示对于完成测试任务l分配给逻辑资源云服务器虚拟机Ccn,如果测试任务在此逻辑云服务器虚拟机上执行,则aln=1,否则为aln=0,同样根据任务所需的计算、存储以及通信资源需求,建立测试任务与逻辑资源边缘计算虚拟机分配模型为
Figure BDA0002294402130000032
其中amln表示对于完成测试任务l分配给逻辑资源边缘接入服务器虚拟机Mc,如果测试任务在此逻辑边缘接入服务器虚拟机上执行,则aln=1,否则为aln=0,
其中,步骤B具体包括:
B1,根据步骤A的总体资源调度模型,将测试任务进行计算量以及完成时间的估算(以尽量本地的原则);
B2,根据估算的计算量和完成时间,考虑测试任务的时间要求,确定可供调度的通信资源;
B3,根据需要调度节点通信资源,确定每个调度节点可供完成本次测试所需的最大计算资源;
B4,根据B2和B3的调度的通信资源和最大计算资源,以及任务需要调度的数据资源,确定智能计算单元的个数。
其中,步骤C具体包括:
C1,根据测试任务(包括多个测试任务同时进行),给出资源配置的具体状态集合,即虚拟计算节点以及存储器还有占用通信信道资源,其表示为St={ti,Mci,Cci,Pci,Pmi,Aci,Ami},其中ti表示状态更新的时间;
C2,设置动作空间,由于采用分布式的强化学习方式,故采用分布式的动作空间,其可以表示为ati={Sln|π},其中i为分布式强化学习第i个计算单元,也可以认为是云计算和边缘计算节点组成的计算单元,即在动作选取概率策略π(s)下采取的资源映射行为,而资源映射行为用Sln
C3,建立云计算节点奖励函数,在奖励函数是在强化学习中,应用C2的动作后获得的奖励,其奖励函数采用用户的体验质量函数,其可以表示为
Figure BDA0002294402130000041
其中第i个云物理机,j代表物理机上资源块;
Figure BDA0002294402130000042
为第i台云物理机使用的总的存储资源;
Figure BDA0002294402130000043
为第i台云物理机使用的分配给此次测试任务的存储资源;
Figure BDA0002294402130000044
为第i台云物理机使用的总的计算资源;
Figure BDA0002294402130000045
为第i台云物理机使用的分配给此次测试任务的计算资源;
Figure BDA0002294402130000046
为第i台云物理机使用的总的带宽资源;
Figure BDA0002294402130000047
为第i台云物理机使用的分配给此次测试任务的带宽资源;λj为存储资源加权系数;βj为计算资源加权系数;γj为带宽资源加权系数;delays为存储时延,delayc为计算时延,delayb为传输时延。
C4,建立边缘计算节点奖励函数,在奖励函数是在强化学习中,应用C2的动作后获得的奖励,其奖励函数采用用户的体验质量函数,其可以表示为
Figure BDA0002294402130000048
其中第i个边缘计算物理机,j代表物理机上资源块;
Figure BDA0002294402130000051
为第i台边缘计算物理机使用的总的存储资源;
Figure BDA0002294402130000052
为第i台边缘计算物理机使用的分配给此次测试任务的存储资源;
Figure BDA0002294402130000053
为第i台边缘计算物理机使用的总的计算资源;
Figure BDA0002294402130000054
为第i台边缘计算物理机使用的分配给此次测试任务的计算资源;
Figure BDA0002294402130000058
为第i台边缘计算物理机使用的总的带宽资源;
Figure BDA0002294402130000059
为第i台边缘计算物理机使用的分配给此次测试任务的带宽资源;λj为存储资源加权系数;βj为计算资源加权系数;γj为带宽资源加权系数;delays为存储时延,delayc为计算时延,delayb为传输时延。
其中,步骤D具体包括:
D1,计算各个计算节点的状态和动作函数,计算方式为:
Qπ(s,a)=Eπ,P[R(s,a)+γQπ(s′,a′)]
其中,s为各个节点的状态值,a为各个节点的动作值;概率策略π(s)下采取的资源映射行为;R(s,a)是奖励函数,γ为(0,1]的衰减因子;E(·)代表取均值;
D2,各个计算节点的动作值,即资源分配的具体值,计算方法如下:
Figure BDA0002294402130000055
其中,
Figure BDA0002294402130000056
为生成对抗网络的训练函数,θi为加权函数,κi为生成对抗网络目标动作函数的分布值;
D3,根据D2各个计算节点的资源分配值,组成生成对抗网络,进行博弈,最终得到最优的全局分配值:
Figure BDA0002294402130000057
其中,D{·}为生成对抗网络的对抗深度卷积网络,μ为加权系数,而
Figure BDA0002294402130000061
为求梯度;|| ||2为矩阵的二阶距。
其中,步骤E具体包括:
E1,测试任务拟定后将任务提交在线的通信软件自动化测试平台,平台根据任务确定计算的云节点和边缘计算节点;
E2,根据确定的云节点和边缘计算节点,确定各个节点的状态空间以及奖励空间;
E3,根据状态空间和奖励空间,优化动作空间;
E4,各个节点根据生成对抗网络,博弈优化整体的动作空间;
E7,获得最优资源存储、计算和带宽分配方案。
(三)有益效果
为了提高电力信息通信设备的测试效率,缩短时延,提高计算、存储和通信资源的利用效率,本发明提出了一种云边协同电力信息通信设备自动化测试资源分配方法,该方法基于生成对抗网络的深度强化学习的自动化测试资源分配方法。在综合计算资源、存储资源以及通信带宽等因素下,减少了测试任务的计算、存储和通信时延,提高自动化测试效率,降低自动化测试成本。
附图说明
图1本发明实施例的方法流程图。
具体实施方式
随着通信系统的发展,为在线测试平台的建立提供了可能。目前针对云计算的通信设备测试较多,发明人考虑到,有些通信设备测试,大量的数据都在网络边缘,所以,本发明应用云计算和边缘计算进行联合的通信设备测试,能够缩短时延,提高测试效率;对于云-边协同的测试方法,目前其计算、存储以及带宽资源分配问题是直接影响测试效率的;同时应用传统的优化方法如蚁群算法、蜂群算法、遗传算法无法解决资源分配的复杂问题,故应用深度强化学习方法,在训练过程中增加对抗网络的博弈,加速收敛,大幅提高通信设备的测试效率。
为了提高电力信息通信设备的测试效率,缩短时延,提高计算、存储和通信资源的利用效率,本发明提出了一种云边协同电力信息通信设备自动化测试资源分配方法,该方法基于生成对抗网络的深度强化学习的自动化测试资源分配方法。在综合计算资源、存储资源以及通信带宽等因素下,减少了测试任务的计算、存储和通信时延,提高自动化测试效率,降低自动化测试成本。
该方法首次采用生成对抗深度强化学习理论,在测试执行时间、通信资源、计算资源以及能量消耗受限情况下,电力信息通信设备测试中云计算和多接入边缘计算综合资源分配方法,从而提高了测试的准确率、减少了测试执行时间并且节约了通信和计算资源。
如图1所示,本发明公开了一种云边协同电力信息通信设备自动化测试资源分配方法,包括如下步骤:
步骤A,根据电力信息通信设备需要测试的要求,构建测试任务,根据测试任务,构建测试云计算和边缘计算的测试平台模型;
步骤B,根据步骤A给出的云计算和边缘计算测试平台模型,构建可以调度的资源模型和通信模型;
步骤C,根据步骤A的测试平台模型,步骤B的资源模型应用,设计生成对抗深度强化学习资源调度方法,并按照此资源调度方法进行计算资源和通信资源调度;
步骤D,根据资源调度方法将测试任务进行分配,并通知测试点完成测试任务的时间限制;
步骤E,各个分散节点进行计算,完成各自计算任务,并将计算结果上传到云计算平台。
其中,步骤A具体包括:
A1,根据要测试的通信设备分析云计算和多接入边缘计算的电力信息通信设备自动化测试平台结构,其可分为用户节点、边缘计算节点簇资源层和云计算资源三层结构,确定其拓扑机构;
A2,将云计算测试资源表示Cc={Cc1,Cc2,...Ccn},多接入边缘计算节点测试资源可以表示为Mc={Mc1,Mc2,...,Mcn},其中,每个云计算节点和多接入边缘节点用于执行测试的资源可以表示为Cci={sci,cci,bci}和Mci={smi,cmi,bmi},其中sci和smi分别表示云计算节点和边缘计算节点存储资源,cci和cmi分别表示云计算节点和边缘计算节点计算资源,bci和bmi分别表示云计算节点和边缘计算节点的通信带宽资源;
A3,根据A2的逻辑资源,建立物理设备计算资源列表,其物理对应的计算处理节点表示为
Figure BDA0002294402130000081
Figure BDA0002294402130000082
物理层所拥有的物理机,其每个云计算物理服务器对应的物理资源表为
Figure BDA0002294402130000083
其中PSci表示物理存储资源,PCci表示物理计算资源,PBci表示实际的物理链路带宽,每个多接入边缘计算服务器对应的物理资源表为
Figure BDA0002294402130000084
其中MSci表示物理存储资源,MCci表示物理存储资源,MBci表示实际的物理链路带宽;
A4,建立电力通信信息设备自动化测试任务,其可以表示为Tc={tc1,tc2,...tcl},设通信设备测试需要有l个测试任务能够完成。根据任务所需的计算、存储以及通信资源需求,建立测试任务与逻辑资源虚拟机分配模型为
Figure BDA0002294402130000085
其中acln表示对于完成测试任务l分配给逻辑资源云服务器虚拟机Ccn,如果测试任务在此逻辑云服务器虚拟机上执行,则aln=1,否则为aln=0,同样根据任务所需的计算、存储以及通信资源需求,建立测试任务与逻辑资源边缘计算虚拟机分配模型为
Figure BDA0002294402130000091
其中amln表示对于完成测试任务l分配给逻辑资源边缘接入服务器虚拟机Mc,如果测试任务在此逻辑边缘接入服务器虚拟机上执行,则aln=1,否则为aln=0,
其中,步骤B具体包括:
B1,根据步骤A的总体资源调度模型,将测试任务进行计算量以及完成时间的估算(以尽量本地的原则);
B2,根据估算的计算量和完成时间,考虑测试任务的时间要求,确定可供调度的通信资源;
B3,根据需要调度节点通信资源,确定每个调度节点可供完成本次测试所需的最大计算资源;
B4,根据B2和B3的调度的通信资源和最大计算资源,以及任务需要调度的数据资源,确定智能计算单元的个数。
其中,步骤C具体包括:
C1,根据测试任务(包括多个测试任务同时进行),给出资源配置的具体状态集合,即虚拟计算节点以及存储器还有占用通信信道资源,其表示为St={ti,Mci,Cci,Pci,Pmi,Aci,Ami},其中ti表示状态更新的时间;
C2,设置动作空间,由于采用分布式的强化学习方式,故采用分布式的动作空间,其可以表示为ati={Sln|π},其中i为分布式强化学习第i个计算单元,也可以认为是云计算和边缘计算节点组成的计算单元,即在动作选取概率策略π(s)下采取的资源映射行为,而资源映射行为用Sln
C3,建立云计算节点奖励函数,在奖励函数是在强化学习中,应用C2的动作后获得的奖励,其奖励函数采用用户的体验质量函数,其可以表示为
Figure BDA0002294402130000101
其中第i个云物理机,j代表物理机上资源块;
Figure BDA0002294402130000102
为第i台云物理机使用的总的存储资源;
Figure BDA0002294402130000103
为第i台云物理机使用的分配给此次测试任务的存储资源;
Figure BDA0002294402130000104
为第i台云物理机使用的总的计算资源;
Figure BDA0002294402130000105
为第i台云物理机使用的分配给此次测试任务的计算资源;
Figure BDA0002294402130000106
为第i台云物理机使用的总的带宽资源;
Figure BDA0002294402130000107
为第i台云物理机使用的分配给此次测试任务的带宽资源;λj为存储资源加权系数;βj为计算资源加权系数;γj为带宽资源加权系数;delays为存储时延,delayc为计算时延,delayb为传输时延。
C4,建立边缘计算节点奖励函数,在奖励函数是在强化学习中,应用C2的动作后获得的奖励,其奖励函数采用用户的体验质量函数,其可以表示为
Figure BDA0002294402130000108
其中第i个边缘计算物理机,j代表物理机上资源块;
Figure BDA0002294402130000109
为第i台边缘计算物理机使用的总的存储资源;
Figure BDA00022944021300001010
为第i台边缘计算物理机使用的分配给此次测试任务的存储资源;
Figure BDA00022944021300001011
为第i台边缘计算物理机使用的总的计算资源;
Figure BDA00022944021300001012
为第i台边缘计算物理机使用的分配给此次测试任务的计算资源;
Figure BDA00022944021300001013
为第i台边缘计算物理机使用的总的带宽资源;
Figure BDA00022944021300001014
为第i台边缘计算物理机使用的分配给此次测试任务的带宽资源;λj为存储资源加权系数;βj为计算资源加权系数;γj为带宽资源加权系数;delays为存储时延,delayc为计算时延,delayb为传输时延。
其中,步骤D具体包括:
D1,计算各个计算节点的状态和动作函数,计算方式为:
Qπ(s,a)=Eπ,P[R(s,a)+γQπ(s′,a′)]
其中,s为各个节点的状态值,a为各个节点的动作值;概率策略π(s)下采取的资源映射行为;R(s,a)是奖励函数,γ为(0,1]的衰减因子;E(·)代表取均值;
D2,各个计算节点的动作值,即资源分配的具体值,计算方法如下:
Figure BDA0002294402130000111
其中,
Figure BDA0002294402130000112
为生成对抗网络的训练函数,θi为加权函数,κi为生成对抗网络目标动作函数的分布值;
D3,根据D2各个计算节点的资源分配值,组成生成对抗网络,进行博弈,最终得到最优的全局分配值:
Figure BDA0002294402130000113
其中,D{·}为生成对抗网络的对抗深度卷积网络,μ为加权系数,而
Figure BDA0002294402130000114
为求梯度;|| ||2为矩阵的二阶距。
其中,步骤E具体包括:
E1,测试任务拟定后将任务提交在线的通信软件自动化测试平台,平台根据任务确定计算的云节点和边缘计算节点;
E2,根据确定的云节点和边缘计算节点,确定各个节点的状态空间以及奖励空间;
E3,根据状态空间和奖励空间,优化动作空间;
E4,各个节点根据生成对抗网络,博弈优化整体的动作空间;
E7,获得最优资源存储、计算和带宽分配方案。
为了提高电力信息通信设备的测试效率,缩短时延,提高计算、存储和通信资源的利用效率,本发明提出了一种云边协同电力信息通信设备自动化测试资源分配方法,该方法基于生成对抗网络的深度强化学习的自动化测试资源分配方法。在综合计算资源、存储资源以及通信带宽等因素下,减少了测试任务的计算、存储和通信时延,提高自动化测试效率,降低自动化测试成本。
以上实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。

Claims (1)

1.一种云边协同电力信息通信设备自动化测试资源分配方法,其特征在于,该方法具体包括如下步骤:
步骤A,根据电力信息通信设备需要测试的要求,构建测试任务,根据测试任务,构建测试云计算和边缘计算的测试平台模型;
步骤B,根据步骤A给出的云计算和边缘计算测试平台模型,构建可以调度的资源模型和通信模型;
步骤C,根据步骤A的测试平台模型,步骤B的资源模型应用,设计生成对抗深度强化学习资源调度方法,并按照此资源调度方法进行计算资源和通信资源调度;
步骤D,根据资源调度方法将测试任务进行分配,并通知测试点完成测试任务的时间限制;
步骤E,各个分散节点进行计算,完成各自计算任务,并将计算结果上传到云计算平台;
其中,步骤A具体包括:
A1,根据要测试的通信设备分析云计算和多接入边缘计算的电力信息通信设备自动化测试平台结构,其可分为用户节点、边缘计算节点簇资源层和云计算资源三层结构,确定其拓扑机构;
A2,将云计算测试资源表示Cc={Cc1,Cc2,...Ccn},多接入边缘计算节点测试资源可以表示为Mc={Mc1,Mc2,...,Mcn},其中,每个云计算节点和多接入边缘计算节点用于执行测试的资源可以表示为Cci={sci,cci,bci}和Mci={smi,cmi,bmi},其中sci和smi分别表示云计算节点和边缘计算节点存储资源,cci和cmi分别表示云计算节点和边缘计算节点计算资源,bci和bmi分别表示云计算节点和边缘计算节点的通信带宽资源;
A3,根据A2的逻辑资源,建立物理设备计算资源列表,其物理对应的计算处理节点表示为
Figure FDA0003194120870000021
Figure FDA0003194120870000022
物理层所拥有的物理机,其每个云计算物理服务器对应的物理资源表为
Figure FDA0003194120870000023
其中PSci表示物理存储资源,PCci表示物理计算资源,PBci表示实际的物理链路带宽,每个多接入边缘计算服务器对应的物理资源表为
Figure FDA0003194120870000024
其中MSci表示物理存储资源,MCci表示物理计算资源,MBci表示实际的物理链路带宽;
A4,建立电力信息通信设备自动化测试任务,其可以表示为Tc={tc1,tc2,...tcl},设通信设备测试需要有l个测试任务能够完成;根据任务所需的计算、存储以及通信资源需求,建立测试任务与逻辑资源虚拟机分配模型为
Figure FDA0003194120870000025
其中acln表示对于完成测试任务l分配给逻辑资源云服务器虚拟机Ccn,如果测试任务在此逻辑云服务器虚拟机上执行,则acln=1,否则为acln=0,同样根据任务所需的计算、存储以及通信资源需求,建立测试任务与逻辑资源边缘计算虚拟机分配模型为
Figure FDA0003194120870000026
其中amln表示对于完成测试任务l分配给逻辑资源边缘接入服务器虚拟机Mcn,如果测试任务在此逻辑边缘接入服务器虚拟机上执行,则amln=1,否则为amln=0,
其中,步骤B具体包括:
B1,根据步骤A的总体资源调度模型,以尽量本地的原则将测试任务进行计算量以及完成时间的估算;
B2,根据估算的计算量和完成时间,考虑测试任务的时间要求,确定可供调度的通信资源;
B3,根据需要调度节点通信资源,确定每个调度节点可供完成本次测试所需的最大计算资源;
B4,根据B2和B3的调度的通信资源和最大计算资源,以及任务需要调度的数据资源,确定智能计算单元的个数;
其中,步骤C具体包括:
C1,根据同时进行的多个测试任务,给出资源配置的具体状态集合,即虚拟计算节点以及存储器还有占用通信信道资源,其表示为St={ti,Mci,Cci,Pci,Pmi,Aci,Ami},其中ti表示状态更新的时间;
C2,设置动作空间,由于采用分布式的强化学习方式,故采用分布式的动作空间,其可以表示为ati={Sln|π},其中i为分布式强化学习第i个计算单元和边缘计算节点组成的计算单元,即在动作选取概率策略π(s)下采取的资源映射行为,Sln表示转换状态;
C3,建立云计算节点奖励函数,应用C2的动作后获得的奖励,其奖励函数采用用户的体验质量函数,其可以表示为
Figure FDA0003194120870000031
其中第i个云物理机,j代表物理机上资源块;
Figure FDA0003194120870000032
为第i台云物理机使用的总的存储资源;
Figure FDA0003194120870000033
为第i台云物理机使用的分配给此次测试任务的存储资源;
Figure FDA0003194120870000034
为第i台云物理机使用的总的计算资源;
Figure FDA0003194120870000035
为第i台云物理机使用的分配给此次测试任务的计算资源;
Figure FDA0003194120870000036
为第i台云物理机使用的总的带宽资源;
Figure FDA0003194120870000037
为第i台云物理机使用的分配给此次测试任务的带宽资源;λj为存储资源加权系数;βj为计算资源加权系数;γj为带宽资源加权系数;delays为存储时延,delayc为计算时延,delayb为传输时延;
C4,建立边缘计算节点奖励函数,应用C2的动作后获得的奖励,其奖励函数采用用户的体验质量函数,其可以表示为
Figure FDA0003194120870000041
其中第i个边缘计算物理机,j代表物理机上资源块;
Figure FDA0003194120870000042
为第i台边缘计算物理机使用的总的存储资源;
Figure FDA0003194120870000043
为第i台边缘计算物理机使用的分配给此次测试任务的存储资源;
Figure FDA0003194120870000044
为第i台边缘计算物理机使用的总的计算资源;
Figure FDA0003194120870000045
为第i台边缘计算物理机使用的分配给此次测试任务的计算资源;
Figure FDA0003194120870000046
为第i台边缘计算物理机使用的总的带宽资源;
Figure FDA0003194120870000047
为第i台边缘计算物理机使用的分配给此次测试任务的带宽资源;λj为存储资源加权系数;βj为计算资源加权系数;γj为带宽资源加权系数;delays为存储时延,delayc为计算时延,delayb为传输时延;
其中,步骤D具体包括:
D1,计算各个计算节点的状态和动作函数,计算方式为:
Qπ(s,a)=Eπ,P[R(s,a)+γQπ(s′,a′)]
其中,s为各个节点的状态值,a为各个节点的动作值;概率策略π(s)下采取的资源映射行为;R(s,a)是奖励函数,γ为(0,1]的衰减因子;E(·)代表取均值;
D2,各个计算节点的动作值,即资源分配的具体值,计算方法如下:
Figure FDA0003194120870000048
其中,
Figure FDA0003194120870000049
为生成对抗网络的训练函数,θi为加权函数,κi为生成对抗网络目标动作函数的分布值;
D3,根据D2各个计算节点的资源分配值,构建为生成对抗网络,进行博弈,最终得到最优的全局分配值:
Figure FDA0003194120870000051
其中,D{·}为生成对抗网络的对抗深度卷积网络,μ为加权系数,而
Figure FDA0003194120870000052
为求梯度;||||2为矩阵的二阶距;N为生成对抗网络训练函数的个数;
其中,步骤E具体包括:
E1,测试任务拟定后将任务提交在线的通信软件自动化测试平台,平台根据任务确定计算的云计算节点和边缘计算节点;
E2,根据确定的云计算节点和边缘计算节点,确定各个节点的状态空间以及奖励空间;
E3,根据状态空间和奖励空间,优化动作空间;
E4,各个节点根据生成对抗网络,博弈优化整体的动作空间;
E7,获得最优资源存储、计算和带宽分配方案。
CN201911194715.4A 2019-11-28 2019-11-28 一种云边协同电力信息通信设备自动化测试资源分配方法 Active CN111064633B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911194715.4A CN111064633B (zh) 2019-11-28 2019-11-28 一种云边协同电力信息通信设备自动化测试资源分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911194715.4A CN111064633B (zh) 2019-11-28 2019-11-28 一种云边协同电力信息通信设备自动化测试资源分配方法

Publications (2)

Publication Number Publication Date
CN111064633A CN111064633A (zh) 2020-04-24
CN111064633B true CN111064633B (zh) 2021-09-24

Family

ID=70299581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911194715.4A Active CN111064633B (zh) 2019-11-28 2019-11-28 一种云边协同电力信息通信设备自动化测试资源分配方法

Country Status (1)

Country Link
CN (1) CN111064633B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611062B (zh) * 2020-05-06 2022-10-25 南京邮电大学 云边协同分层计算方法及云边协同分层计算系统
CN111800310B (zh) * 2020-06-17 2021-11-26 北京智网信测科技有限公司 物联网测试云平台任务管理模块排期方法
CN111861793B (zh) * 2020-07-29 2021-10-08 广东电网有限责任公司电力调度控制中心 基于云边协同计算架构的配用电业务分配方法及装置
CN112118135A (zh) * 2020-09-14 2020-12-22 南昌市言诺科技有限公司 云边协同架构工业互联网平台的最小资源配置方法和装置
CN112769796B (zh) * 2020-12-30 2021-10-19 华北电力大学 一种基于端侧边缘计算的云网端协同防御方法及系统
CN112783606B (zh) * 2021-01-28 2024-04-16 南京航空航天大学 一种面向多微云的动态服务迁移方法
CN113471982B (zh) * 2021-07-22 2022-06-28 天津大学 云边协同与电网隐私保护的分布式电源就地电压控制方法
CN113572857B (zh) * 2021-09-23 2021-12-03 环球数科集团有限公司 一种应用于物联网边云协同计算环境中的资源管理系统
CN114169427B (zh) * 2021-12-06 2022-10-04 北京百度网讯科技有限公司 基于端到端自适应的分布式训练方法、装置、设备
CN114567560B (zh) * 2022-01-20 2024-07-12 国网江苏省电力有限公司信息通信分公司 基于生成对抗模仿学习的边缘节点动态资源分配方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105049381A (zh) * 2015-07-31 2015-11-11 南京南瑞集团公司 一种电力多媒体通信系统的实时性的测试方法
CN106301960A (zh) * 2016-10-15 2017-01-04 黄林果 一种云资源协同管理方法
CN106899478A (zh) * 2017-03-23 2017-06-27 国网浙江省电力公司 电力测试业务通过云平台实现资源弹性扩展的方法
CN207036974U (zh) * 2017-05-24 2018-02-23 南京迪特尔电子机械技术有限公司 电力系统保护装置自动测试仪
CN107748693A (zh) * 2017-11-30 2018-03-02 成都启力慧源科技有限公司 云计算环境下的群组虚拟机调度策略
CN109034495A (zh) * 2018-08-30 2018-12-18 珠海吉瓦科技有限公司 基于边缘计算的电力负荷预测系统
CN109034387A (zh) * 2018-06-29 2018-12-18 北京师范大学 一种基于伪逆学习快速训练自编码器的近似方法
CN109324539A (zh) * 2018-08-28 2019-02-12 山东省科学院自动化研究所 一种自动驾驶封闭测试场的智能控制平台及方法
CN109451457A (zh) * 2018-11-09 2019-03-08 国网四川省电力公司天府新区供电公司 一种电力设备试验数据自动上传系统
CN110333895A (zh) * 2019-05-30 2019-10-15 中国电力科学研究院有限公司 一种面向电力调控云的自动化运维平台
CN111026548A (zh) * 2019-11-28 2020-04-17 国网甘肃省电力公司电力科学研究院 一种逆向深度强化学习的电力通信设备测试资源调度方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8819490B2 (en) * 2011-12-30 2014-08-26 Microsoft Corporation Test execution spanning cloud and local devices
US9052961B2 (en) * 2012-03-02 2015-06-09 Vmware, Inc. System to generate a deployment plan for a cloud infrastructure according to logical, multi-tier application blueprint
KR101623297B1 (ko) * 2012-04-13 2016-05-20 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 목적지 클라우드 시스템 요건들의 결정
CN207976749U (zh) * 2017-11-24 2018-10-16 贵州智慧电力科技有限公司 应用于电力监管的自动控制系统
CN107741725A (zh) * 2017-11-24 2018-02-27 杭州翼兔网络科技有限公司 一种应用于电力监管的自动控制系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105049381A (zh) * 2015-07-31 2015-11-11 南京南瑞集团公司 一种电力多媒体通信系统的实时性的测试方法
CN106301960A (zh) * 2016-10-15 2017-01-04 黄林果 一种云资源协同管理方法
CN106899478A (zh) * 2017-03-23 2017-06-27 国网浙江省电力公司 电力测试业务通过云平台实现资源弹性扩展的方法
CN207036974U (zh) * 2017-05-24 2018-02-23 南京迪特尔电子机械技术有限公司 电力系统保护装置自动测试仪
CN107748693A (zh) * 2017-11-30 2018-03-02 成都启力慧源科技有限公司 云计算环境下的群组虚拟机调度策略
CN109034387A (zh) * 2018-06-29 2018-12-18 北京师范大学 一种基于伪逆学习快速训练自编码器的近似方法
CN109324539A (zh) * 2018-08-28 2019-02-12 山东省科学院自动化研究所 一种自动驾驶封闭测试场的智能控制平台及方法
CN109034495A (zh) * 2018-08-30 2018-12-18 珠海吉瓦科技有限公司 基于边缘计算的电力负荷预测系统
CN109451457A (zh) * 2018-11-09 2019-03-08 国网四川省电力公司天府新区供电公司 一种电力设备试验数据自动上传系统
CN110333895A (zh) * 2019-05-30 2019-10-15 中国电力科学研究院有限公司 一种面向电力调控云的自动化运维平台
CN111026548A (zh) * 2019-11-28 2020-04-17 国网甘肃省电力公司电力科学研究院 一种逆向深度强化学习的电力通信设备测试资源调度方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"A Cloud Robotics Solution for Collaborative Control in Heterogeneous Environments";Song Zheng,et al.,;《2018 37th Chinese Control Conference (CCC)》;20181008;全文 *
"基于云计算的软件自动化测试方法";高丽娜等,;《软件开发》;20190831;第56-58页 *
"基于综合信任的边缘计算资源协同研究";邓晓衡等,;《计算机研究与发展》;20180331;第55卷(第3期);第449-474页 *

Also Published As

Publication number Publication date
CN111064633A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
CN111064633B (zh) 一种云边协同电力信息通信设备自动化测试资源分配方法
Du et al. Learning resource allocation and pricing for cloud profit maximization
Guo et al. Cloud resource scheduling with deep reinforcement learning and imitation learning
CN111026549B (zh) 一种电力信息通信设备自动化测试资源调度方法
Pang et al. An EDA-GA hybrid algorithm for multi-objective task scheduling in cloud computing
CN110737529B (zh) 一种面向短时多变大数据作业集群调度自适应性配置方法
CN107888669B (zh) 一种基于深度学习神经网络的大规模资源调度系统及方法
Tang et al. Efficient auto-scaling approach in the telco cloud using self-learning algorithm
CN113157422A (zh) 基于深度强化学习的云数据中心集群资源调度方法及装置
US9239734B2 (en) Scheduling method and system, computing grid, and corresponding computer-program product
CN106648890A (zh) 一种能耗感知的云计算服务器资源在线管理方法和系统
CN108092804B (zh) 基于Q-learning的电力通信网效用最大化资源分配策略生成方法
CN109710404B (zh) 分布式系统中的任务调度方法
CN111258735A (zh) 一种支持用户QoS感知的深度学习任务调度方法
Dong et al. A high-efficient joint’cloud-edge’aware strategy for task deployment and load balancing
CN114971819A (zh) 基于多智能体强化学习算法在联邦学习下的用户竞价方法及装置
CN115543626A (zh) 采用异构计算资源负载均衡调度的电力缺陷图像仿真方法
Ying et al. Raven: Scheduling virtual machine migration during datacenter upgrades with reinforcement learning
CN113887748B (zh) 在线联邦学习任务分配方法、装置、联邦学习方法及系统
Wang et al. A study of situation awareness-based resource management scheme in cloud environment
CN113543160A (zh) 5g切片资源配置方法、装置、计算设备及计算机存储介质
Tang Load balancing optimization in cloud computing based on task scheduling
CN116501483A (zh) 基于多智能体强化学习的车辆边缘计算任务调度方法
de Freitas Cunha et al. An SMDP approach for Reinforcement Learning in HPC cluster schedulers
CN113015179B (zh) 基于深度q网络的网络资源选择方法、装置以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant