CN117834630B - 用于感知网络中边缘节点健康状态的方法、设备和介质 - Google Patents
用于感知网络中边缘节点健康状态的方法、设备和介质 Download PDFInfo
- Publication number
- CN117834630B CN117834630B CN202410255983.7A CN202410255983A CN117834630B CN 117834630 B CN117834630 B CN 117834630B CN 202410255983 A CN202410255983 A CN 202410255983A CN 117834630 B CN117834630 B CN 117834630B
- Authority
- CN
- China
- Prior art keywords
- edge node
- computing
- samples
- model
- health
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000003862 health status Effects 0.000 title description 14
- 238000012549 training Methods 0.000 claims abstract description 183
- 230000036541 health Effects 0.000 claims abstract description 170
- 230000008447 perception Effects 0.000 claims abstract description 79
- 230000006870 function Effects 0.000 claims description 64
- 238000012545 processing Methods 0.000 claims description 40
- 238000012512 characterization method Methods 0.000 claims description 39
- 238000003062 neural network model Methods 0.000 claims description 19
- 238000013468 resource allocation Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Abstract
本发明的实施例涉及一种用于感知网络中边缘节点健康状态的方法、设备和介质。该方法包括获取初始健康感知模型,在网络中的多个边缘节点处分别部署所获取的初始健康感知模型;基于当前边缘节点的运行状态,提取关于当前边缘节点健康状态的特征数据,以便生成多个待选样本;基于所生成的多个待选样本,针对当前边缘节点所部署的初始健康感知模型进行对抗训练,以便从多个待选样本中确定新训练样本;将新训练样本用于初始健康感知模型的训练,以获取更新后的健康感知模型;以及通过更新后的健康感知模型,感知当前边缘节点的健康状态。由此,能够有效提高边缘节点健康感知的准确性与实时性。
Description
技术领域
本发明的实施例总体涉及数据处理领域,并且更具体地涉及一种用于感知网络中边缘节点健康状态的方法、计算设备和存储介质。
背景技术
传统的用于感知网络中边缘节点健康状态的方法,例如通过中心服务器(中心节点),收集各边缘节点发送的数据,通过中心节点对所接收的数据对各边缘节点的健康状态进行感知;例如在中心节点部署与健康感知相关的模型,通过所收集的边缘节点的数据,对中心节点所部署的健康感知模型进行迭代;还例如结合网络中多个节点的算力,进行全局计算,将计算结果汇总至中心节点进行模型更新等方式。
上述传统的用于感知网络中边缘节点健康状态的方法存在不足,普遍存在如中心节点的算力压力较大、模型没有充分考虑各边缘节点的特性、针对边缘节点健康感知的实时性不足等问题。
综上,传统的用于感知网络中边缘节点健康状态的方式存在的不足之处在于:未充分考虑边缘节点的特性,在感知网络中边缘节点健康状态时存在不够精准且实时性差的问题。
发明内容
针对上述问题,本发明提供了一种用于感知网络中边缘节点健康状态的方法、计算设备和存储介质,能够有效的提高边缘节点健康感知的准确性与实时性。
根据本发明的第一方面,提供了一种用于感知网络中边缘节点健康状态的方法,包括:获取初始健康感知模型,在网络中的多个边缘节点处分别部署所获取的初始健康感知模型;基于当前边缘节点的运行状态,提取关于当前边缘节点健康状态的特征数据,以便生成多个待选样本;基于所生成的多个待选样本,针对当前边缘节点所部署的初始健康感知模型进行对抗训练,以便从多个待选样本中确定新训练样本;将新训练样本用于初始健康感知模型的训练,以获取更新后的健康感知模型;以及通过更新后的健康感知模型,感知当前边缘节点的健康状态。
根据本发明的第二方面,提供了一种计算设备,该计算设备包括:至少一个处理单元;至少一个存储器,所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令,所述指令当由所述至少一个处理单元执行时,使得所述设备执行根据第一方面的方法的步骤。
根据本发明的第三方面,提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,所述计算机程序被机器执行时实现根据第一方面所述的方法。
根据本发明的第四方面,提供了一种计算机程序产品,该计算机程序产品包括计算机程序,所述计算机程序被机器执行时执行根据第一方面所述的方法。
在一些实施例中,初始健康感知模型为经训练的径向基神经网络模型,并经由以下步骤训练获得:获取关于边缘节点的多个训练样本和训练样本对应的边缘节点的计算能力表征数据;将多个训练样本输入径向基神经网络模型,基于多个训练样本确定径向基神经网络模型的径向基函数的中心的初始位置;计算每个训练样本到径向基函数的中心的距离、径向基函数的输出值和径向基神经网络模型输出层的权重;以及基于多个训练样本,调整径向基函数的中心的位置、径向基函数的宽度参数和输出层的权重,直至径向基神经网络模型的预测值与所对应的计算能力表征数据之间的误差小于或者等于预定误差阈值,以获得初始健康感知模型。
在一些实施例中,待选样本和训练样本所包含的特征数据的类型相同;以及特征数据的类型与边缘节点的以下一项或多项参数相关:可分配计算单元数量、已分配计算单元量、运行时长、运行任务量、负载值、处理器使用率、内存使用率、每秒输入/输出操作数。
在一些实施例中,基于所生成的多个待选样本,针对当前边缘节点所部署的初始健康感知模型进行对抗训练,以便从多个待选样本中确定新训练样本包括:基于多个待选样本,生成对抗训练样本;通过扰动值针对部分训练样本的特征数据中的至少一个特征数据进行扰动;基于所生成的对抗训练样本,调整扰动值以及搜索特征数据置换位置,直至调整后的扰动值能够扰动的样本数量满足预定样本数量阈值;以及响应于确定基于调整后的扰动值,健康感知模型的输出值符合预定输出值波动阈值,确定调整后的扰动值有效,并基于有效的扰动值从对抗训练样本中确定新训练样本。
在一些实施例中,将新训练样本用于初始健康感知模型的训练包括:将新训练样本中的部分或全部加入初始健康感知模型的训练样本,和/或,将新训练样本中的部分或全部替代初始健康感知模型的部分或全部训练样本。
在一些实施例中,通过更新后的健康感知模型,感知当前边缘节点的健康状态包括:在当前边缘节点处,基于第一预定时间间隔,抽取待选样本作为当前边缘节点处所部署的健康感知模型的输入数据,以便预测关于当前边缘节点的计算能力表征数据;以及在当前边缘节点处,基于第二预定时间间隔,向资源调度系统发送关于当前边缘节点的剩余可分配计算单元数和关于当前边缘节点的至少一个待选样本的计算能力表征数据。
在一些实施例中,方法还包括:在网络中的资源调度系统处,接收各边缘节点发送的剩余可分配计算单元数和计算能力表征数据;响应于接收到计算资源调度请求,确定关于资源调度请求的请求时间和计算单元请求数;基于各边缘节点的预定时间范围内的计算能力表征数据、计算能力表征数据的标准差和剩余可分配计算单元数,确定对应于请求时间的各边缘节点的资源分配权重;以及基于所确定的各边缘节点的资源分配权重,针对所接收的计算资源调度请求分配计算单元。
在一些实施例中,基于所确定的各边缘节点的资源分配权重,针对所接收的计算资源调度请求分配计算单元包括:针对所接收的计算资源调度请求,逐个分配计算单元;每分配一个计算单元,更新对应于请求时间的各边缘节点的资源分配权重;以及基于更新后的资源分配权重,分配下一个计算单元,直至所分配的计算单元数满足所接收的计算资源调度请求。
在一些实施例中,计算单元包括以下至少两项:内存、存储、处理线程数、处理核心数。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
结合附图并参考以下详细说明,本发明各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中,相同或相似的附图标注表示相同或相似的元素。
图1示出了用于实现根据本发明的实施例的用于感知网络中边缘节点健康状态的方法的系统的示意图。
图2示出了用于实现根据本发明的实施例的网络中的边缘节点的结构示意图。
图3示出了根据本发明的实施例的用于感知网络中边缘节点健康状态的方法的流程图。
图4示出了根据本发明的实施例的用于训练初始健康感知模型的方法的流程图。
图5示出了根据本发明的实施例的用于针对当前边缘节点所部署的初始健康感知模型进行对抗训练的方法的流程图。
图6示出了根据本发明的实施例的用于确定计算资源分配权重的方法的流程图。
图7示出了根据本发明的实施例的针对所接收的计算资源调度请求分配计算单元的方法的流程图。
图8示出了根据本发明的实施例的电子设备的框图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
在本文中使用的术语“包括”及其变形表示开放性包括,即“包括但不限于”。除非特别申明,术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
传统的计算资源调度系统中,例如,当前的资源调度系统在所有计算资源池中,根据每个计算资源对象剩余计算单元个数M,从大到小降序排列依次选择最大的计算资源对象用于分配计算单元时会出现一些问题:如计算资源对象剩余计算单元足够多,由于已经提供的计算单元存在过大的计算诉求会让计算资源对象相关指标如负载,IO(输入输出)等表现出不健康特征;如计算资源对象由于自身的原因(主板老化、固件异常、工作过长等)即使在剩余过多计算单元时,也无法确保新提供的计算单元能正常工作;如通过收集计算对象相关特征值进行模型训练,会产生传输、存储、管理等成本,且非边缘节点自身实时参数所出来的模型所提供的指导值具有延迟性。
如前文所描述,传统的用于感知网络中边缘节点健康状态的方法存在:如中心节点的算力压力较大、未充分考虑各边缘节点的特性、感知结果不够精准且实时性差的问题。
为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个,本发明的示例实施例提出了一种用于感知网络中边缘节点健康状态的方案,在本发明方案中,通过获取初始健康感知模型,在网络中的多个边缘节点处分别部署所获取的初始健康感知模型;基于当前边缘节点的运行状态,提取关于当前边缘节点健康状态的特征数据,以便生成多个待选样本;基于所生成的多个待选样本,针对当前边缘节点所部署的初始健康感知模型进行对抗训练,以便从多个待选样本中确定新训练样本;将新训练样本用于初始健康感知模型的训练,以获取更新后的健康感知模型;以及通过更新后的健康感知模型,感知当前边缘节点的健康状态。
由此,本方案通过在边缘节点处分别部署初始健康感知模型,并以边缘节点各自的健康状态的特征数据生成的新训练样本,针对部署于各边缘节点的健康感知模型进行训练,以使得各边缘节点上所部署的健康感知模型能逐渐基于各边缘节点的样本数据,调整模型参数,以获取能够更精准反应各边缘节点的健康状态的健康感知模型;从而通过更新后的健康感知模型,感知当前边缘节点的健康状态时,能够获得更实时并获得更准确的预测结果。
本方案还能够,通过对抗训练的方式,从关于当前边缘节点健康状态的多个待选样本中,确定新训练样本,使得所确定的新训练样本是多个待选样本中,更能反应当前边缘节点健康状态的样本。因此,本发明能够有效的提高边缘节点健康感知的准确性与实时性。
图1示出了用于实现根据本发明的实施例的用于感知网络中边缘节点健康状态的方法的系统100的示意图。如图1中所示,系统100包括边缘节点110、边缘计算资源池160、模型中心170、资源调度系统130、计算单元需求方150和网络140。边缘计算资源池160、边缘节点110、资源调度系统130、计算单元需求方150可以通过网络140(例如,因特网)进行数据交互。
边缘计算资源池160、由网络中的多个边缘节点110组成,每个边缘节点所对应的节点设备具备若干计算资源(如x个计算单元),将多个边缘节点的计算资源汇集为边缘计算资源池160,通过边缘计算资源池160为计算单元需求方150提供计算单元,以完成计算单元需求方150的业务需求。
计算单元需求方150,例如包括若干个对应的业务系统,每个业务系统都可以作为计算单元需求方150基于如数据计算请求、应用部署需求、Lambda计算需求、分片计算需求等各种业务需求,通过网络140向资源调度系统130发送计算单元需求,如图1中示意了“n个计算单元”、“m个计算单元”都为计算单元需求方150发送的计算单元需求。
资源调度系统130,其例如可部署于网络中的中心节点处、管理节点等具备用于网络资源分配管理的节点设备处,例如资源调度系统130可以部署于服务器、如中心服务器中;资源调度系统130接受来自计算单元需求方150的计算单元需求信息,并基于计算单元需求信息,根据边缘计算资源池160中的计算资源状态信息,向计算单元需求方150分配计算单元。
关于模型中心170,其例如用于获取关于边缘节点的多个训练样本和训练样本对应的边缘节点的计算能力表征数据,并基于多个训练样本对预定神经网络模型进行训练,以获取初始健康感知模型,通过网络140将初始健康感知模型向各边缘节点分发,以协助各边缘节点完成初始健康感知模型的部署。在一些实施例中,模型中心170可部署于网络中的中心节点处、云服务器处等能够提供实现模型训练所需要的算力和存储的位置。
关于边缘节点110,其例如为在边缘计算资源池160中,面向业务系统提供计算资源的宿主机,由资源调度系统130从边缘节点分配一定量的计算单元,用于满足业务系统的计算需求;应当理解,网络中通常有多个边缘节点,如图1中所示出的110-1、110-2、……、110-y都是边缘节点。边缘节点110用于获取初始健康感知模型,并部署所获取的初始健康感知模型;基于当前边缘节点的运行状态,提取关于当前边缘节点健康状态的特征数据,以便生成多个待选样本;基于所生成的多个待选样本,针对当前边缘节点所部署的初始健康感知模型进行对抗训练,以便从多个待选样本中确定新训练样本;将新训练样本用于初始健康感知模型的训练,以获取更新后的健康感知模型;通过更新后的健康感知模型,感知当前边缘节点的健康状态。
边缘节点110(110-1至110-y中的任一个)可以具有一个或多个处理单元,包括诸如GPU、FPGA和ASIC等的专用处理单元以及诸如CPU的通用处理单元。另外,在每个边缘节点110上也可以运行着一个或多个虚拟机。在一些实施例中,边缘节点110与边缘计算资源池160可以集成在一起,也可以是彼此分立设置。
图2示出了用于实现根据本发明的实施例的网络中的边缘节点的结构示意图。在一些实施例中,边缘节点110(110-1至110-y中的任一个)例如包括健康感知模型部署模块112、待选样本生成模块114、新训练样本确定模块116、模型更新模块118、健康状态感知模块120。
关于健康感知模型部署模块112,其用于获取初始健康感知模型,在网络中的多个边缘节点处分别部署所获取的初始健康感知模型。
关于待选样本生成模块114,其用于基于当前边缘节点的运行状态,提取关于当前边缘节点健康状态的特征数据,以便生成多个待选样本。
关于新训练样本确定模块116,其用于基于所生成的多个待选样本,针对当前边缘节点所部署的初始健康感知模型进行对抗训练,以便从多个待选样本中确定新训练样本。
关于模型更新模块118,其用于将新训练样本用于初始健康感知模型的训练,以获取更新后的健康感知模型。
关于健康状态感知模块120,其用于通过更新后的健康感知模型,感知当前边缘节点的健康状态。
图3示出了根据本发明的实施例的用于感知网络中边缘节点健康状态的方法300的流程图。方法300可由如图1所示的边缘节点110(110-1至110-y中的一个或多个)执行,也可以在图8所示的电子设备800处执行。应当理解的是,方法300还可以包括未示出的附加步骤和/或可以省略所示出的步骤,本发明的范围在此方面不受限制。
在步骤302,边缘节点110获取初始健康感知模型,在网络中的多个边缘节点处分别部署所获取的初始健康感知模型。
例如,请参考图1,在网络中的多个边缘节点110-1、110-2、……、110-y中的每一个边缘节点都分别部署初始健康感知模型。
在一些实施例中,边缘节点110基于当前边缘节点的类型,获取与当前边缘节点的类型对应的初始健康感知模型,也就是说,基于网络中的边缘节点的类型,可预训练与边缘节点的类型匹配的多种初始健康感知模型,关于边缘节点的类型,可基于边缘节点的数据处理属性(如用于处理计算任务、图像处理任务、用于特定类型的任务处理)确定边缘节点的类型。
关于初始健康感知模型,初始健康感知模型为经训练的径向基神经网络模型,下文将结合图4详细说明训练初始健康感知模型的方法,在此,不再赘述。
在步骤304,边缘节点110基于当前边缘节点的运行状态,提取关于当前边缘节点健康状态的特征数据,以便生成多个待选样本。
在步骤306,边缘节点110基于所生成的多个待选样本,针对当前边缘节点所部署的初始健康感知模型进行对抗训练,以便从多个待选样本中确定新训练样本。
由此,通过对抗训练的方式,能够从多个待选样本中选出扰动值符合扰动阈值的样本,并将这些符合条件的待选样本确定为新训练样本,以使得通过新样本对健康感知模型进行训练并更新参数时,更新后的健康感知模型,能够保持较好的预测精度,克服了传统对抗训练所获得的模型预测精度不足的缺陷。下文将结合图5详细说明针对当前边缘节点所部署的初始健康感知模型进行对抗训练的训练方法,在此,不再赘述。
在步骤308,边缘节点110将新训练样本用于初始健康感知模型的训练,以获取更新后的健康感知模型。
在一些实施例中,将新训练样本用于初始健康感知模型的训练包括:将新训练样本中的部分或全部加入初始健康感知模型的训练样本,和/或,将新训练样本中的部分或全部替代初始健康感知模型的部分或全部训练样本。
例如,请参考图1,在网络中的多个边缘节点,例如边缘节点110-1在更新周期03中,确定的新训练样本为20个,其在更新周期02中的训练样本为1000个,将这20个新训练样本(全部或选取若干个)加入原有的1000个训练样本,以1020个样本针对部署于边缘节点110-1的健康感知模型进行训练,并更新健康感知模型的参数;例如边缘节点110-2,在更新周期03中,确定的新训练样本为50个,其在更新周期02中的训练样本为1000个,用这个50个新训练样本(全部或选取若干个)替换原有的1000个训练样本中的50个,使用替换50个样本后的1000个训练样本针对部署于边缘节点110-1的健康感知模型进行训练,并更新健康感知模型的参数。
关于将新训练样本以加入,和/或,替换的方式加入初始健康感知模型的训练样本,由边缘节点的参数预定或进行调整;如边缘节点的计算资源和/或存储资源等较为紧缺,以部分或全部替换样本、或部分新样本加入新样本的方式,控制参与训练的样本总数量,以提高健康感知模型的训练和更新效率;如边缘节点的计算资源和/或存储资源等较为充足,以全部加入新样本的方式更新训练样本,使得新样本中更多与当前边缘节点健康状态更实时相关的样本,提高健康感知模型与当前边缘节点实时状态的契合度和预测精度。
在步骤310,边缘节点110通过更新后的健康感知模型,感知当前边缘节点的健康状态。
在一些实施例中,资源调度系统130与各边缘节点(例如110-1至110-y中的每一个),基于预定时间间隔发生数据交互,以获取各边缘节点发送的剩余可分配计算单元数和计算能力表征数据,资源调度系统130响应于接收到计算资源调度请求,确定关于资源调度请求的请求时间和计算单元请求数;资源调度系统130基于各边缘节点的剩余可分配计算单元数和计算能力表征数据,针对所接收的计算资源调度请求分配计算单元。
关于边缘节点的计算能力表征数据,例如,当前边缘节点(例如边缘节点110-1),基于自身的实时运行参数不断生成待选样本,并基于第一预定时间间隔,抽取待选样本作为当前边缘节点(例如边缘节点110-1)处所部署的健康感知模型的输入数据,以便预测关于当前边缘节点的计算能力表征数据。例如,在边缘节点处(例如边缘节点110-1),基于第二预定时间间隔,向资源调度系统130发送关于当前边缘节点(例如边缘节点110-1)的剩余可分配计算单元数和关于当前边缘节点(例如边缘节点110-1)的至少一个待选样本的计算能力表征数据值。
在上述方案中,通过在各边缘节点部署初始健康感知模型,并以各边缘节点实时采集自身数据,生成多个待选样本,通过对抗训练的方式,从多个待选样本中确定新训练样本,并使得部分或全部新训练样本参与各样本所对应的边缘节点的健康感知模型的更新和训练,由此,基于新训练样本的不断生成和参与训练,而迭代边缘节点所部署的健康感知模型,使得各边缘节点所部署的健康感知模型随着各边缘节点参数、性能等健康特征数据之间的差异化而发生模型参数的差异化,从而使得各健康感知模型更能反映所对应的边缘节点的健康状态,感知当前边缘节点的健康状态时,能够获得更实时并获得更准确的预测结果。因此,本发明能够有效的提高边缘节点健康感知的准确性与实时性。
图4示出了根据本发明的实施例的用于训练初始健康感知模型的方法400的流程图。方法400可由如图1所示的模型中心170执行,边缘节点110(110-1至110-y中的一个或多个)执行、在网络中的中心节点执行、资源调度系统130执行、在网络外的用于模型训练的服务器、云服务器或其他能够提供实现模型训练所需要的算力和存储的位置执行、也可以在图8所示的电子设备800处执行。应当理解的是,方法400还可以包括未示出的附加步骤和/或可以省略所示出的步骤,本发明的范围在此方面不受限制。
在步骤402,模型中心170获取关于边缘节点的多个训练样本和训练样本对应的边缘节点的计算能力表征数据。
在一些实施例中,获取关于边缘节点的多个训练样本包括:在网络中的多个边缘节点处,以预定时间间隔生成关于当前边缘节点健康状态的多条样本数据;获取关于多个边缘节点的多条样本数据,以便生成关于边缘节点的健康状态的样本库;从样本库中,确定用于训练初始健康感知模型的多个训练样本;以及确定训练样本对应的边缘节点的计算能力表征数据。由此,初始健康模型的训练样本,统筹兼顾了网络中多个边缘节点的运行参数,能够获得适应于大部分边缘节点的初始健康感知模型。
例如,在边缘节点上预设每间隔1分钟产生一条含8个特征的样本数据,将网络中多个边缘节点所生成的样本数据统一收集到中心存储服务器以生成样本库。
在一些实施例中,模型中心170、资源调度系统130可以集成于网络中的中心节点处,以便于边缘节点运行参数的健康状态样本的生成,避免了样本数据在网络中多次传输导致的延迟问题,样本库也可存储于中心节点的存储或云存储服务器中。
在一些实施例中,多个待选样本、初始健康感知模型的训练样本,此两种样本所包含的特征数据的类型相同;例如,特征数据的类型与边缘节点的以下一项或多项参数相关:可分配计算单元数量、已分配计算单元量、运行时长、运行任务量、负载值、处理器使用率、内存使用率、每秒输入/输出操作数(IOPS,Input/Output Operations Per Second)。应当理解,根据边缘节点的类型,和应用场景的需要,可以对特征数据的类型和/或数量进行调整,以使得样本能够与边缘节点的健康状态息息相关,通过获得的样本对健康感知模型进行训练,能够充分反应边缘节点的健康状态。
关于从样本库中,确定用于训练初始健康感知模型的多个训练样本,基于各边缘节点的共性,从样本库中挑选出一些优质样本作为训练样本,例如通过专家评估法获得样本的打分,例如基于样本的多个特征综合评估能反应计算资源对象的健康情况,如高IO(输入输出)换算时对计算资源健康造成影响时IOPS指标过大,如密集型计算集中时对计算资源对象造成影响时CPU消耗过大等等,如计算单元分配过多后会有预期过多消耗资源的现象,或计算集中时会有负载+内存+IO联动变化的情况等等)等;以此选出有明显反应特征的样本,并通过打分的方式进行标记称为计算能力表征数据(一种计算能力表征数据)(见下述表一),从而区分边缘计算资源性能所处的情况。
如下表一,示意了20条样本数据,每一条样本包含8个特征和样本对应的计算能力表征数据。
表一
在步骤404,模型中心170将多个训练样本输入径向基神经网络模型,基于多个训练样本确定径向基神经网络模型的径向基函数的中心的初始位置。
关于本方案中计算能力表征数据的预测表达式(基于径向基函数构建)如下公式(1):
(1)
在上述公式(1)中,h表示径向基函数的数量,决定隐藏层神经元的个数;y表示计算能力表征数据,i表示中心样本,yi表示中心样本的计算能力表征数据;x表示输入样本,k表示样本的特征;q指输入的样本顺位(编号,如第几个);ω表示连接输入和输出层的权重,用于对各个径向基函数的输出进行加权求和;j表示迭代次数;ωij表示在第j次迭代中的中心样本i的权重;表示径向基函数,公式(1)中采用了高斯函数作为径向基函数,它用于衡量输入x与中心ci的距离;ci表示隐藏层神经元的中心点,代表每个径向基函数的中心点,决定了每个径向基函数的作用范围和影响程度;σ指代标准差,也是径向基函数的宽度参数,控制径向基函数在空间中的扩散程度。
例如,每份样本x包含n个特征,以kn表示特征n,例如参考表一中的样本,kn (n∈[1,8]),k1- k8分别是:可分配计算单元数量、已分配计算单元量、运行时长/分钟、运行任务量、负载值、CPU使用率、内存使用率、IOPS。再由专业的系统工程师对其进行打分,用于衡量计算资源对象的性能情况,分值取值[0,1]越大代表计算资源对象性能越佳。
在本方案中,获得初始健康感知模型的主要步骤包括:基于径向基函数构建计算能力表征数据的预测表达式→确定初始中心→计算损失→梯度更新→重复迭代直至模型收敛→获得初始健康感知模型。
在步骤406,模型中心170计算每个训练样本到径向基函数的中心的距离、径向基函数的输出值和径向基神经网络模型输出层的权重。
在步骤408,模型中心170基于多个训练样本,调整径向基函数的中心的位置、径向基函数的宽度参数和输出层的权重,直至径向基神经网络模型的预测值与所对应的计算能力表征数据之间的误差小于或者等于预定误差阈值,以获得初始健康感知模型。
关于基于多个训练样本确定径向基神经网络模型的径向基函数的中心的初始位置,例如,通过K-Means从多个训练样本中确定代表性点,将这些具有代表性的点作为径向基函数的中心。
还例如当训练样本数为10000时,将样本1号确定为径向基函数的中心ci,通过下述公式(2)对径向基函数的宽度进行计算:
(2)
在上述公式(2)中,di表示输入样本与中心样本的距离,在进行距离计算时,初始阶段以样本1作为中心样本,分别计算每一个样本与中心样本的距离,例如当样本数为10000时,分别计算样本1-样本10000中每一个样本与中心样本(如样本1)的距离。
关于径向基函数的宽度参数,宽度参数σ的选择十分重要,例如可以通过中心ci的各样本的距离确定对应的σ的值。在径向基函数神经网络的训练过程中,径向基函数的输出值随着样本与中心距离的变化而变化,调整中心的位置和宽度参数可以改变径向基函数的作用范围与输出。
在模型训练阶段,利用多个径向基函数的输出加权求和构建径向基函数神经网络模型,在预测阶段,例如输入训练样本x,将其通过所有径向基函数,计算每个函数的输出值,并通过加权求和得到最终的预测输出(关于样本x所对应的计算能力表征数据y),由此,通过预测输出的计算能力表征数据y与样本所对应的计算能力表征数据之间的误差,不断调整径向基函数的中心位置、宽度参数和各个径向基函数的输出权重,直到模型收敛,从而获得初始健康感知模型。关于模型收敛,例如,模型迭代次数达到迭代次数阈值,或例如,预测结果与样本所对应的计算能力表征数据之间的误差小于预定阈值。
上述方案中,基于边缘节点的健康状态相关的特征参数的复杂性多异性,请参考表一中示意的样本数据,每一条样本数据有8个特征数据,这些特征数据与对应的边缘节点的计算能力表征数据之间可能不存在明显的线性关系,考虑到初始健康感知模型的训练效率和准确度,选择采用径向基函数神经网络(RBFNN,Radial Basis Function NeyralNetwork)作为基础模型,来训练获得初始健康感知模型。由此,通过监督学习的方式,所获得初始健康感知模型,针对边缘节点的健康状态相关样本的多维特征,能获得更快的训练效率和更准确的模型预测结果(由于RBFNN具备良好的逼近能力)。
图5示出了根据本发明的实施例的用于针对当前边缘节点所部署的初始健康感知模型进行对抗训练的方法500的流程图。方法500可由如图1所示的边缘节点110执行,也可以在图8所示的电子设备800处执行。应当理解的是,方法500还可以包括未示出的附加步骤和/或可以省略所示出的步骤,本发明的范围在此方面不受限制。
在步骤502,边缘节点110基于多个待选样本,生成对抗训练样本。
例如,获取边缘节点110-1的多个待选样本,通过部署于边缘节点110-1的健康感知模型对多个待选样本进行预测,以获得对应的计算能力表征数据并向资源调度系统160发送,基于这些待选样本生成对抗训练样本。
在步骤504,边缘节点110通过扰动值针对部分训练样本的特征数据中的至少一个特征数据进行扰动。
继续上述例子,例如在获得边缘节点110-1的对抗训练样本后,代入部署于边缘节点110-1的健康感知模型,通过目标神径网络LOCSEARCHADV(NN)算法增强模型,进行对抗训练。
关于通过扰动值针对部分训练样本的特征数据中的至少一个特征数据进行扰动,例如,针对样本xR中某一个特征值进行扰动,被扰动后的特征值集合为,扰动前的初始值/>,在初始阶段i=0,之后每一轮都基于前一轮的扰动进行;应当理解,被扰动的样本可以有多个,k1-k8为结合表一中的8个特征因子的例子,也可以是更少或更多的特征因子。
在步骤506,边缘节点110基于所生成的对抗训练样本,调整扰动值以及搜索特征数据置换位置,直至调整后的扰动值能够扰动的样本数量满足预定样本数量阈值。
继续上述例子,定义特征因子位置置换函数为下述公式(3):
(3)
在上述公式(3)中,左边的至/>分别是一一替换K 1 至K 8 后得到的新样本,右边为替换过程;z表示替换轮数,可为适配场景预定为[10,100],从预定区间中随机轮数;t表示扰动的特征的取值,t∈[1,8],t在该区间随机取(例如,扰动K 1 、K 3 和K 5 );r指扰动因子,可相当于一个常量[0,2];p 表示扰动系数,通过PERT函数换算,是一个动态值,p的值根据搜索过程进行动态调整;g的输出为扰动后新的特征值,是一种样本替换的表达方式。
在步骤508,边缘节点110响应于确定基于调整后的扰动值,健康感知模型的输出值符合预定输出值波动阈值,确定调整后的扰动值有效,并基于有效的扰动值从对抗训练样本中确定新训练样本。
继续上述例子,对扰动系数p进行动态调整的过程包括:初始化对抗扰动PERT为零向量; 随机抽取一批(a个)待替换样本 x0 ;初始样本概率为y0,其他所有样本预测中,概率最大的为;在两处反向传播梯度,固定网络权重,分别得到输入数组的梯度/>、/>;根据前向预测和上述后向梯度计算对抗扰动系数/>,更新对抗扰动 PERT为,为保证原始样本的特征不会被改变,需要将对抗扰动中幅度过大的分量进行抑制; 重复步骤2到步骤4,直到生成的对抗扰动噪声/>能够扰动的样本数在验证集上占到特定的比例(例如直至调整后的扰动值能够扰动的样本数量满足预定样本数量阈值)。
继续上述例子,关于健康感知模型的输出值符合预定输出值波动阈值,根据初始g构造一组扰动数据,使用PERT函数进行扰动。(关于PERT函数,只改变样本临界特征值,扰动后的临界特征值可以让健康感知模型的预测结果发生偏差),获取扰动后的健康感知模型的输出值y扰动,判断y扰动与所对应的样本的偏差是否介于预定输出值波动阈值,例如[LB,UB]之内(例如,LB=-0.05,UB=0.05)。经过此前的扰动过程,有当新的样本进入健康感知模型进行对抗训练,基于设定的预定输出值波动阈值[-0.05,0.05],若预定输出值波动阈值在此范围则认为是有效扰动;若不在此范围则认为是无效扰动,并基于有效扰动从对抗训练样本中确定新训练样本。
上述方案,通过对抗的训练方式从当前边缘节点的多个待选样本中,确定出符合扰动范围,且与边缘节点健康状态关联度较高的样本作为新的训练样本。
在一些实施例中,将新训练样本用于初始健康感知模型的训练包括:将新训练样本中的部分或全部加入初始健康感知模型的训练样本,和/或,将新训练样本中的部分或全部替代初始健康感知模型的部分或全部训练样本。
关于将新训练样本用于初始健康感知模型的训练,例如,在边缘节点110-1,基于预定的更新周期对部署于边缘节点110-1的健康感知模型,例如在更新周期02,当前健康感知模型(02版本),在更新周期02,基于关于边缘节点110-1的待选样本集02,针对健康感知模型(02版本)进行对抗训练,基于对抗训练的结果从待选样本集02确定新训练样本03,将所确定的新训练样本03用于健康感知模型(02版本)的训练与更新,以生成更新后的健康感知模型(03版本),由此,完成了当前更新周期对健康感知模型的增强。
上述方案中,通过对抗训练的方式,通过调整扰动值和输出值波动阈值的约束,使得能够满足对样本特征进行充分的扰动,又避免对模型的输出值精度造成太大的影响,从而快速确定与边缘节点当前健康状态紧密相关的新训练样本,排除偏差较大的待选样本;之后以确定的新样本加入健康感知模型的训练,以增强部署于当前边缘节点的健康感知模型;既克服了传统对抗训练下模型预测精度不足的缺陷;又能够使得在经过不断的更新与迭代后,各边缘节点上所部署的健康感知模型能够随边缘节点本身健康状态的变化而逐渐调整,实现各边缘模型的差异化以更好的适应各边缘节点;且对抗训练与径向基函数神经网络模型,两者都能够满足网络场景实时性的需求。
由此,本方案开创性的将两者结合应用于边缘节点健康状态感知、选取关于各边缘节点的优质样本,通过模型中心170(或中心节点等计算资源)训练径向基函数神经网络,以获得初始健康感知模型,将初始健康感知模型分别部署于各边缘节点,以各边缘节点各自的实时数据生成待选样本,在各边缘节点进行对抗训练以从各自的待选样本中确定出各自的新训练样本,基于各边缘节点的新训练样本对部署于各边缘节点的健康感知模型不断进行训练迭代,以增强健康感知模型,使其能够在针对所对应的边缘节点健康感知时,获得更准确的预测结果。
图6示出了根据本发明的实施例的用于确定计算资源分配权重的方法600的流程图。方法600可由边缘节点和资源调度系统共同执行,也可以在图8所示的电子设备800处执行。应当理解的是,方法600还可以包括未示出的附加步骤和/或可以省略所示出的步骤,本发明的范围在此方面不受限制。
在步骤602,边缘节点基于第一预定时间间隔,抽取待选样本作为当前边缘节点处所部署的健康感知模型的输入数据,以便预测关于当前边缘节点的计算能力表征数据。
例如,第一预定时间间隔为1分钟,边缘节点110-2每分钟抽取100个待选样本作为其部署的健康感知模型的输入数据。
在步骤604,边缘节点基于第二预定时间间隔,向资源调度系统发送关于当前边缘节点的剩余可分配计算单元数和关于当前边缘节点的至少一个待选样本的计算能力表征数据。
例如,第二预定时间间隔为180分钟,边缘节点110-3每隔180分钟发送10个待选样本的计算能力表征数据,边缘节点110-2每隔180分钟发送100个待选样本的计算能力表征数据。应当理解第一预定时间间隔和第二预定时间间隔是可以根据实际应用需求进行调整的,以及每个边缘节点各自的第一预定时间间隔、第二预定时间间隔可以相同、部分相同、或都不同。
例如,边缘节点110-1的模型训练更新周期为12小时,每隔12小时,基于边缘节点110-1在更新周期12小时内所生成的待选样本进行对抗训练;更新周期也可以基于需求进行调整,例如每天、每小时、每600分钟、每若干天等。
在步骤606,在网络中的资源调度系统处,接收各边缘节点发送的剩余可分配计算单元数和计算能力表征数据。
在步骤608,资源调度系统响应于接收到计算资源调度请求,确定关于资源调度请求的请求时间和计算单元请求数。
在步骤610,资源调度系统基于各边缘节点的预定时间范围内的计算能力表征数据、计算能力表征数据的标准差和剩余可分配计算单元数,确定对应于请求时间的各边缘节点的资源分配权重。
在步骤612,资源调度系统基于所确定的各边缘节点的资源分配权重,针对所接收的计算资源调度请求分配计算单元。
关于计算单元,计算单元包括以下至少两项:内存、存储、处理线程数、处理核心数。在本方案中,计算单元以一种组合打包的形式,将如内存、存储、处理线程数、处理核心数等计算资源按固定的数量组合打包为一个计算单元。例如,逻辑计算类型的一个计算单元包括1核处理器+2G内存+50G存储。应当理解,基于计算单元的类型,不同类型的计算单元计算资源的组合和/或数量是各不相同的。
例如,基于业务A发起的计算单元需求(如1000个计算单元),通过边缘节点110-1分配1000个计算单元用于处理业务A的计算需求;基于业务B发起的计算单元需求(如2000个计算单元),通过边缘节点110-1分配500个计算单元和边缘节点110-2分配1500个计算单元,以用于处理业务B的计算需求。
上述方案,为便于业务系统快速获得新的计算资源,资源调度系统基于计算类型需求,将计算资源统一规范打包分配生成计算单元,以便快速分配快速回收,满足业务需求的同时,也做到了对资源灵活和全生命周期的管理。
在一些实施例中,图7示出了根据本发明的实施例的针对所接收的计算资源调度请求分配计算单元的方法700,包括:步骤702,资源调度系统160针对所接收的计算资源调度请求,逐个分配计算单元;步骤704,资源调度系统160每分配一个或一次计算单元,更新对应于请求时间的各边缘节点的资源分配权重;步骤706,基于更新后的资源分配权重,分配下一个计算单元(或进行下一次计算单元分配),直至所分配的计算单元数满足所接收的计算资源调度请求。
上述方案,在资源调度系统每分配一次计算单元后,基于剩余可用计算单元数量,更新资源分配权重,以进行下一次计算单元分配,能够在每次计算单元分配后都更新权重,以更实时准确的分配权重,进行每一次的计算单元分配,以更精准合理的进行计算单元的分配,使得整个系统的计算单元分配更合理、高效和实时。
图8示出了可以用来实施本说明书内容的实施例的示例电子设备800的示意性步骤图。例如,如图1所示的边缘节点110可以由电子设备800来实施。如图所示,电子设备800包括中央处理单元(CPU)801,其可以根据存储在只读存储器(ROM)802中的计算机程序指令或者从存储单元808加载到随机存取存储器(RAM)803中的计算机程序指令,来执行各种适当的动作和处理。在随机存取存储器803中,还可存储电子设备800操作所需的各种程序和数据。中央处理单元801、只读存储器802以及随机存取存储器803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
电子设备800中的多个部件连接至输入/输出接口805,包括:输入单元806,例如键盘、鼠标、麦克风等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理,例如方法300至600,可由中央处理单元801执行。例如,在一些实施例中,方法300至600可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由只读存储器802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序被加载到随机存取存储器803并由中央处理单元801执行时,可以执行上文描述的方法300至600的一个或多个动作。
本发明涉及方法、装置、系统、电子设备、计算机可读存储介质和/或计算机程序产品。计算机程序产品可以包括用于执行本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘计算设备。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或步骤图描述了本发明的各个方面。应当理解,流程图和/或步骤图的每个方步骤以及流程图和/或步骤图中各方步骤的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时,产生了实现流程图和/或步骤图中的一个或多个方步骤中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或步骤图中的一个或多个方步骤中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或步骤图中的一个或多个方步骤中规定的功能/动作。
附图中的流程图和步骤图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或步骤图中的每个方步骤可以代表一个模块、程序段或指令的一部分,模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方步骤中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方步骤实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,步骤图和/或流程图中的每个方步骤、以及步骤图和/或流程图中的方步骤的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (12)
1.一种用于感知网络中边缘节点健康状态的方法,其特征在于,包括:
获取初始健康感知模型,在网络中的多个边缘节点处分别部署所获取的初始健康感知模型;
基于当前边缘节点的运行状态,提取关于当前边缘节点健康状态的特征数据,以便生成多个待选样本;
基于所生成的多个待选样本,针对当前边缘节点所部署的初始健康感知模型进行对抗训练,以便从多个待选样本中确定新训练样本;
将所述新训练样本用于所述初始健康感知模型的训练,以获取更新后的健康感知模型;以及
通过更新后的健康感知模型,感知当前边缘节点的健康状态。
2.根据权利要求1所述的方法,其特征在于,所述初始健康感知模型为经训练的径向基神经网络模型,并经由以下步骤训练获得:
获取关于边缘节点的多个训练样本和训练样本对应的边缘节点的计算能力表征数据;
将多个训练样本输入径向基神经网络模型,基于所述多个训练样本确定所述径向基神经网络模型的径向基函数的中心的初始位置;
计算每个训练样本到径向基函数的中心的距离、径向基函数的输出值和径向基神经网络模型输出层的权重;以及
基于所述多个训练样本,调整径向基函数的中心的位置、径向基函数的宽度参数和输出层的权重,直至所述径向基神经网络模型的预测值与所对应的计算能力表征数据之间的误差小于或者等于预定误差阈值,以获得所述初始健康感知模型。
3.根据权利要求2所述的方法,其特征在于,所述待选样本和所述训练样本所包含的特征数据的类型相同;以及
所述特征数据的类型与边缘节点的以下一项或多项参数相关:可分配计算单元数量、已分配计算单元量、运行时长、运行任务量、负载值、处理器使用率、内存使用率、每秒输入/输出操作数。
4.根据权利要求1所述的方法,其特征在于,基于所生成的多个待选样本,针对当前边缘节点所部署的初始健康感知模型进行对抗训练,以便从多个待选样本中确定新训练样本包括:
基于多个待选样本,生成对抗训练样本;
通过扰动值针对部分训练样本的特征数据中的至少一个特征数据进行扰动;
基于所生成的对抗训练样本,调整扰动值以及搜索特征数据置换位置,直至调整后的扰动值能够扰动的样本数量满足预定样本数量阈值;以及
响应于确定基于调整后的扰动值,健康感知模型的输出值符合预定输出值波动阈值,确定调整后的扰动值有效,并基于有效的扰动值从对抗训练样本中确定新训练样本。
5.根据权利要求1所述的方法,其特征在于,将所述新训练样本用于所述初始健康感知模型的训练包括:
将所述新训练样本中的部分或全部加入所述初始健康感知模型的训练样本,和/或,将新训练样本中的部分或全部替代所述初始健康感知模型的部分或全部训练样本。
6. 根据权利要求1所述的方法,其特征在于,通过更新后的健康感知模型,感知当前边缘节点的健康状态包括:
在当前边缘节点处,基于第一预定时间间隔,抽取待选样本作为当前边缘节点处所部署的健康感知模型的输入数据,以便预测关于当前边缘节点的计算能力表征数据;以及
在当前边缘节点处,基于第二预定时间间隔,向资源调度系统发送关于当前边缘节点的剩余可分配计算单元数和关于当前边缘节点的至少一个待选样本的计算能力表征数据。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
在网络中的资源调度系统处,接收各边缘节点发送的剩余可分配计算单元数和计算能力表征数据;
响应于接收到计算资源调度请求,确定关于所述资源调度请求的请求时间和计算单元请求数;
基于各边缘节点的预定时间范围内的计算能力表征数据、计算能力表征数据的标准差和剩余可分配计算单元数,确定对应于所述请求时间的各边缘节点的资源分配权重;以及
基于所确定的各边缘节点的资源分配权重,针对所接收的计算资源调度请求分配计算单元。
8.根据权利要求7所述的方法,其特征在于,基于所确定的各边缘节点的资源分配权重,针对所接收的计算资源调度请求分配计算单元包括:
针对所接收的计算资源调度请求,逐个分配计算单元;
每分配一个计算单元,更新对应于所述请求时间的各边缘节点的资源分配权重;以及
基于更新后的资源分配权重,分配下一个计算单元,直至所分配的计算单元数满足所接收的计算资源调度请求。
9.根据权利要求6所述的方法,其特征在于,所述计算单元包括以下至少两项:内存、存储、处理线程数、处理核心数。
10.一种计算设备,包括:
至少一个处理单元;
至少一个存储器,所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令,所述指令当由所述至少一个处理单元执行时,使得所述设备执行根据权利要求1至9中任一项所述的方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被机器执行时实现根据权利要求1至9中任一项所述的方法。
12.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序被机器执行时执行根据权利要求1至9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410255983.7A CN117834630B (zh) | 2024-03-06 | 2024-03-06 | 用于感知网络中边缘节点健康状态的方法、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410255983.7A CN117834630B (zh) | 2024-03-06 | 2024-03-06 | 用于感知网络中边缘节点健康状态的方法、设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117834630A CN117834630A (zh) | 2024-04-05 |
CN117834630B true CN117834630B (zh) | 2024-05-03 |
Family
ID=90513949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410255983.7A Active CN117834630B (zh) | 2024-03-06 | 2024-03-06 | 用于感知网络中边缘节点健康状态的方法、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117834630B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111931389A (zh) * | 2020-10-12 | 2020-11-13 | 湃方科技(天津)有限责任公司 | 一种旋转型设备运行正异常状态分析方法、装置 |
CN112216085A (zh) * | 2020-09-15 | 2021-01-12 | 青岛科技大学 | 一种基于边缘计算和更新样本智能识别的装备关键承力结构件健康监测系统 |
CN112244853A (zh) * | 2020-10-26 | 2021-01-22 | 生物岛实验室 | 边缘计算节点的制造方法和边缘计算节点 |
CN113269425A (zh) * | 2021-05-18 | 2021-08-17 | 北京航空航天大学 | 无监督条件下设备健康状态的定量评估方法及电子设备 |
CN115081584A (zh) * | 2022-05-16 | 2022-09-20 | 合肥科大智能机器人技术有限公司 | 基于机器学习的电力设备健康管理方法、系统及介质 |
CN115758239A (zh) * | 2022-11-07 | 2023-03-07 | 重庆大学 | 基于图神经的联邦迁移学习传动系统健康状态评估方法 |
CN117408405A (zh) * | 2023-10-26 | 2024-01-16 | 南京信息工程大学 | 一种基于交通算网的边缘算力解构及智能调度方法 |
CN117421994A (zh) * | 2023-11-21 | 2024-01-19 | 杭州谐云科技有限公司 | 一种边缘应用健康度的监测方法和监测系统 |
CN117633448A (zh) * | 2023-12-13 | 2024-03-01 | 杭州电子科技大学 | 一种基于云边协同的设备集群健康监测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7420952B2 (en) * | 2002-10-28 | 2008-09-02 | Mesh Dynamics, Inc. | High performance wireless networks using distributed control |
-
2024
- 2024-03-06 CN CN202410255983.7A patent/CN117834630B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112216085A (zh) * | 2020-09-15 | 2021-01-12 | 青岛科技大学 | 一种基于边缘计算和更新样本智能识别的装备关键承力结构件健康监测系统 |
CN111931389A (zh) * | 2020-10-12 | 2020-11-13 | 湃方科技(天津)有限责任公司 | 一种旋转型设备运行正异常状态分析方法、装置 |
CN112244853A (zh) * | 2020-10-26 | 2021-01-22 | 生物岛实验室 | 边缘计算节点的制造方法和边缘计算节点 |
CN113269425A (zh) * | 2021-05-18 | 2021-08-17 | 北京航空航天大学 | 无监督条件下设备健康状态的定量评估方法及电子设备 |
CN115081584A (zh) * | 2022-05-16 | 2022-09-20 | 合肥科大智能机器人技术有限公司 | 基于机器学习的电力设备健康管理方法、系统及介质 |
CN115758239A (zh) * | 2022-11-07 | 2023-03-07 | 重庆大学 | 基于图神经的联邦迁移学习传动系统健康状态评估方法 |
CN117408405A (zh) * | 2023-10-26 | 2024-01-16 | 南京信息工程大学 | 一种基于交通算网的边缘算力解构及智能调度方法 |
CN117421994A (zh) * | 2023-11-21 | 2024-01-19 | 杭州谐云科技有限公司 | 一种边缘应用健康度的监测方法和监测系统 |
CN117633448A (zh) * | 2023-12-13 | 2024-03-01 | 杭州电子科技大学 | 一种基于云边协同的设备集群健康监测方法 |
Non-Patent Citations (2)
Title |
---|
基于LSTM边缘计算与随机森林雾决策的矿工状态监测设备;孟亦凡;李敬兆;张梅;;煤矿机械;20181115(第11期);全文 * |
基于贝叶斯方法的异常感知检测;王恒;;科技信息;20130525(15);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117834630A (zh) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Rjoub et al. | Deep and reinforcement learning for automated task scheduling in large‐scale cloud computing systems | |
KR101966557B1 (ko) | 빅데이터와 머신러닝을 이용한 수리부속수요 예측 시스템 및 방법 | |
Islam et al. | Empirical prediction models for adaptive resource provisioning in the cloud | |
KR102379181B1 (ko) | 인공지능 기반 뷰티 사업 기획 및 전략안 도출 방법, 장치 및 시스템 | |
CN110969251A (zh) | 基于无标签数据的神经网络模型量化方法及装置 | |
US8775338B2 (en) | Computer-implemented systems and methods for constructing a reduced input space utilizing the rejected variable space | |
WO2022171066A1 (zh) | 基于物联网设备的任务分配方法、网络训练方法及装置 | |
KR102293791B1 (ko) | 반도체 소자의 시뮬레이션을 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체 | |
US10963802B1 (en) | Distributed decision variable tuning system for machine learning | |
US11595269B1 (en) | Identifying upgrades to an edge network by artificial intelligence | |
CN112328395B (zh) | 一种云资源容量规划方法和系统 | |
KR102531879B1 (ko) | 인공지능 기반 기업용 전자 장비의 유지 보수를 위한 이벤트 발생 예측 및 모니터링 방법, 장치 및 시스템 | |
CN116684330A (zh) | 基于人工智能的流量预测方法、装置、设备及存储介质 | |
CN117311998B (zh) | 一种大模型部署方法及系统 | |
KR101966558B1 (ko) | 장비 재고상태 및 수리부속 조달 요구를 시각화하는 시스템 및 방법 | |
CN112561351B (zh) | 用于评估中继卫星系统中的任务申请的方法及装置 | |
CN111932302B (zh) | 一种区域中业务站点数量的确定方法、装置、设备及系统 | |
CN117834630B (zh) | 用于感知网络中边缘节点健康状态的方法、设备和介质 | |
WO2020059136A1 (ja) | 決定リスト学習装置、決定リスト学習方法および決定リスト学習プログラム | |
CN116975753A (zh) | 基于数据类别预测方法、装置、设备和介质 | |
Gonzalez et al. | Parallelization of an evolving artificial neural networks system to forecast time series using openmp and mpi | |
US20190138895A1 (en) | Model matching and learning rate selection for fine tuning | |
Zavvar et al. | Measuring service quality in service-oriented architectures using a hybrid particle swarm optimization algorithm and artificial neural network (PSO-ANN) | |
CN114581220A (zh) | 数据处理方法、设备及分布式计算系统 | |
CN109685091A (zh) | 使用贝叶斯方式的数字体验目标确定 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |