具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例所提供的一种网络切片分配方法流程示意图,本实施例可适用于对相同区域内的各个用户分配网络切片的情况,该方法可以由网络切片分配装置来执行,该装置可以通过软件和/或硬件的形式实现。
如图1所述,本发明实施例的网络切片分配方法具体包括如下步骤:
S110、获取与目标区域相对应的至少一种待选择切片分配信息。
需要说明的是,本发明实施例的网络切片分配方法适用于在相同区域对相同业务类型的用户进行网络切片分配。业务类型是指用户通过网络传输的数据类型,比如视频、文本、语音等数据类型。区域包括工业园区中的区域。目标区域是指当前正在处理的区域。
其中,所述待选择切片分配信息包括待选择服务器分配信息、待选择带宽分配信息和待选择频率分配信息中的至少一项。服务器可以是边缘服务器,比如边缘MEC服务器。带宽是指每个服务器中设置的带宽信息,频率是指计算频率。需要说明的是,待选择服务器分配信息、待选择带宽分配信息以及待选择频率分配信息满足时延约束条件的信息,具体的通过时延约束条件确定待选择切片分配信息的方式将在本发明实施例中的下述内容中进行阐述,这里不做具体解释。待选择切片分配信息作为目标网络切片分配模型的输入参数之一。
具体的,获取与目标区域相对应的至少一种待选择切片分配信息,为后续通过目标切片分配模型对待选择切片分配信息进行处理,得到网络切片分配方式处理做准备工作。
在本发明实施例中,在获取与目标区域相对应的至少一种待选择切片分配信息之前,首先需要获取所述目标区域内各个目标用户的用电关联信息;基于所述目标区域的待筛选服务器分配信息、待筛选带宽分配信息以及待筛选频率分配信息生成至少一种待筛选切片分配信息;当所述至少一种待筛选切片分配信息满足时延约束条件时,基于所述至少一种待筛选切片分配信息生成所述待选择切片分配信息;其中,所述时延约束条件是基于各用户的用电关联信息、待筛选服务器信息、待筛选带宽信息以及待筛选频率信息确定的。
其中,待筛选服务器分配信息是指当前区域对应的各服务器(边缘服务器)的分配方案信息。待筛选带宽分配信息是指当前区域对应的各服务器(边缘服务器)中的带宽的分配方案信息。待筛选频率分配信息是指当前区域对应的用户设备的计算频率的分配方案信息。待筛选切片分配信息是指将待筛选服务器分配信息、待筛选带宽分配信息以及待筛选频率分配信息进行排列组合形成的切片分配信息。时延约束条件是指根据用户关联信息、待筛选服务器信息、待筛选带宽信息以及待筛选频率信息确定的,具体的时延约束公式将在下述实施例三中进行详细的解释,这里不做具体介绍。
具体的,首先通过时延约束条件从至少一种待筛选切片分配信息中,筛选出一部分符合时延约束条件的切片分配信息,作为待选择切片分配信息。再将待选择切片信息作为切片分配模型的输入,可以提高切片分配模型输出的网卢坡切片分配方式的准确性和高效性。
S120、基于获取的所述目标区域内的各个目标用户的用电关联信息,确定与所述每种待选择切片分配信息相对应的待处理参数信息。
其中,用户包括工业园区中各区域内使用网络的企业厂房等。目标用户是指在目标区域内的用户。用电关联信息包括用电关联数据包的占用内存大小。用电关联数据包是指对用点关联数据进行打包生成的数据包。用电关联数据包括:厂区用户电表数据、智能充电桩数据、智能路灯等设备的电压数据、电流数据、电功率数据、厂房内针对输电线路的视频数据、输电以及变电设备的环境数据(温度数据、湿度数据、风向数据)以及运行状态数据(工作电流数据、电压数据、漏电电流数据)的监测数据、用户设备到基站的距离等。待处理参数信息,是指基于各个目标用户的用电关联信息确定的参数信息,待处理参数信息作为目标切片分配模型的输入参数之一。
具体的,获取目标区域内的各个目标用户的用电关联信息,并基于各用电关联信息确定与待选择切片分配信息对应的待处理参数信息,作为目标区域对应的目标切片分配模型的输入参数之一,为后续的目标切片分配模型对待处理参数的处理做准备工作。
在本发明实施例中,所述基于获取的所述目标区域内的各个目标用户的用电关联信息,确定与所述每种待选择切片分配信息相对应的待处理参数信息,包括:基于各用电关联信息生成每个目标用户相对应的待确定参数信息;对各待确定参数信息进行计算,确定待选择参数信息;基于待选择参数信息确定与所述每种待选择切片分配信息相对应的待处理参数信息。
其中,计算的方式包括平均值计算、取最大值、取最小值、加权处理中至少一项。
具体的,基于各用电关联信息生成每个目标用户相对应的待确定参数信息,生成的方式可以是将各用电关联信息进行可靠性计算,得到每个目标用户的待确定参数信息。将每个目标用户对应的待确定参数信息进行计算,得到待选择参数信息,在本发明实施例中计算方式可以是平均值计算。通过平均值计算后得到一个待选择参数信息。将待选择参数信息与相应的权重值信息进行处理,得到待处理参数信息,其中,权重值信息是基于每种待选择切片分配信息确定的。这样,得到与每种待选择切片分配信息对应的待处理参数信息。
S130、通过与所述目标区域相对应的目标切片分配模型对所述至少一种待选择切片分配信息和相对应的待处理参数信息进行处理,得到与每个目标用户相对应的目标网络切片分配方式。
其中,切片分配模型是指对待选择切片分配信息和待处理参数信息进行处理,以获得网络切片分配方式的模型。每个区域设置一个对应的切片分配模型。在目标区域设置对应的目标切片分配模型。网络切片分配方式是指针对用户需求设置的网络切片分配方案,具体包括对目标区域的服务器分配的方式以及带宽分配方式。目标网络切片分配方式是指对目标区域内的各目标用户的网络切片进行分配的方式。
具体的,将至少一种待选择切片分配信息和相对应的待处理参数信息作为输入参数,输入至目标区域对应的目标切片分配模型中,经过目标切片分配模型的处理,得到目标网络切片分配方式。
S140、基于各目标网络切片分配方式,将网络切片分配至对应的目标用户。
具体的,根据生成的各目标网络切片分配方式,将网络切片分配至对应的目标用户,以使目标用户分配到适宜的网络切片,提高用户体验度。
在本发明实施例中,所述基于各目标网络切片分配方式,将网络切片分配至对应的目标用户,包括:通过边缘网络系统对各目标网络切片分配方式进行处理,得到每个目标区域对应的各网络切片;将所述各网络切片分配至对应的目标用户。
其中,边缘网络系统是由多个边缘服务器组成的,可以对目标网络切片分配方式进行处理的系统。需要说明的是,每个区域设置了至少一个边缘服务器(比如边缘MEC服务器),边缘网络系统接收所有区域的网络切片分配方式,并基于网络切片方式,对相应的区域内各个用户进行网络切片的分配。
具体的,通过边缘网络系统解析目标网络切片分配方式,确定每个目标用户需要分配的网路切片信息,之后对该目标区域对应的边缘服务器以及带宽进行处理,得到每个目标用户的网络切片,将各网络切片分配至对应的目标用户。
本发明实施例的技术方案,通过获取与目标区域相对应的至少一种待选择切片分配信息,并基于获取的目标区域内的各个目标用户的用电关联信息,确定与每种待选择切片分配信息相对应的待处理参数信息。将至少一种待选择切片分配信息和相对应的待处理参数信息作为目标切片分配模型的输入参数,经过目标切片分配模型的处理,得到每个目标用户相对应的目标网络切片分配方式,基于各目标网络切片分配方式,将网络切片分配至对应的目标用户。本发明实施例的技术方案实现了目标区域内各目标用户的网络切片的分配,将满足目标用户需求的网络切片分配至对应的目标用户,提高用户体验度。
实施例二
图2是本发明实施例提供的一种网络切片分配方法的流程示意图,本发明实施例在上述实施例的可选方案的基础上增加了待使用模型参数信息的相关技术特征。具体增加的技术特征在本发明实施例中进行详细的阐述。其中,与上述实施例相同或者相似的技术术语将不再赘述。
如图2所述,本发明实施例所提供的网络切片分配方法具体包括如下步骤:
S210、获取与目标区域相对应的至少一种待选择切片分配信息。
S220、基于获取的所述目标区域内的各个目标用户的用电关联信息,确定与所述每种待选择切片分配信息相对应的待处理参数信息。
S230、通过与所述目标区域相对应的目标切片分配模型对所述至少一种待选择切片分配信息和相对应的待处理参数信息进行处理,得到与每个目标用户相对应的目标网络切片分配方式。
在本发明实施例中,所述切片分配模型包括深度强化学习模型;所述通过与所述目标区域相对应的目标切片分配模型对所述至少一种待选择切片分配信息和相对应的待处理参数信息进行处理,得到与每个目标用户相对应的目标网络切片分配方式,包括:通过与所述目标区域相对应的目标深度强化学习模型对所述至少一种待选择切片分配信息和相对应的待处理参数信息进行处理,得到与每个目标用户相对应的目标网络切片分配方式。
其中,目标深度强化学习模型包括:深度Q网络(Deep Q Network,DQN)模型。
具体的,将至少一种待选择切片分配信息和待处理参数信息输入至目标深度强化学习模型中,经过目标深度强化学习模型的处理,输出每个目标用户相对应的目标网络切片分配方式。需要说明的是,在目标深度强化学习模型中,待选择切片分配信息为状态空间,待处理参数信息为奖励值。通过目标深度强化学习模型对待选择切片分配信息和待处理参数信息的处理,可以提高网络切片的适用性,有针对性的面对不同的用户的需求,提高用户体验度。
S240、基于各目标网络切片分配方式,将网络切片分配至对应的目标用户。
S250、获取所述目标切片分配模型的待使用模型参数信息。
其中,所述待使用模型参数信息为通过目标切片分配模型对至少一种待处理切片分配信息和所述待处理参数进行处理得到的。
具体的,在通过与目标区域相对应的目标切片分配模型对至少一种待选择切片分配信息和相对应的待处理参数信息进行处理时,可以得到每个目标用户相对应的目标网络切片分配方式以及待使用模型参数信息。待使用模型参数信息是指在当前时刻通过目标切片分配模型进行一次数据处理后,生成的新的模型参数信息。可选的,当目标切片分配模型为DQN模型时,待使用模型参数信息可以是Q值。
S260、将各区域的切片分配模型的待使用模型参数信息发送至边缘网络系统。
具体的,每个区域的切片分配模型在进行待选择切片分配信息和相对应的待处理参数信息的处理后,生成对应的切片分配模型的待使用模型参数信息。将各个待使用模型参数信息发送至边缘网络系统,可以通过边缘网络系统对待使用模型参数信息进行统一处理,之后生成待更新模型参数信息,以基于待更新模型参数信息更新各个切片分配模型。可选的,对于各个区域的切片分配模型与边缘网络系统之间可以采用联邦学习框架,将待使用模型参数信息加密(同态加密)之后发送至边缘网络系统。
S270、通过所述边缘网络系统对各待使用模型参数信息进行处理,得到待更新模型参数信息,以基于所述待更新模型参数信息更新各切片分配模型中的已使用模型参数信息,得到与每个区域相对应的切片分配模型,以基于更新后的切片分配模型对待选择切片分配信息和待处理参数信息进行处理。
具体的,通过边缘网络系统对各待使用模型参数信息进行处理,当各待使用模型参数信息是加密后的信息时,首先进行解密处理,之后对解密后的各待使用模型参数信息进行处理。处理方法包括加权取平均值的方式。对待使用模型参数信息进行处理后,得到待更新模型参数信息,基于待更新模型参数信息更新各切片分配模型中的已使用模型参数信息,得到与每个区域相对应的切片分配模型。这样,基于更新后的切片分配模型对待选择切片分配信息和待处理参数信息进行处理,可以提高切片分配模型的适应性。
在本发明实施例中,当获取各个目标用户的用电关联信息时,开始计时并在检测到实际计时时长达到预设时长时,重新执行获取各用电关联信息以及至少一种待选择切片分配信息,并基于对所述用户关联信息和所述至少一种待选择切片分配信息的处理结果,更新各切片分配模型中的已使用模型参数信息。
具体的,在获取各个目标用户的用电关联信息时,开始计时,当检测到实际计时时长达到预设时长时,再次获取各用户的用电关联信息和之后扫一种待选择切片分配信息,并通过目标用户所在目标区域对应的目标切片分配模型对各用户关联信息和待选择切片分配信息进行处理,得到待使用模型参数信息。通过边缘网络模型对各待使用模型参数信息进行处理,得到待更新模型参数信息。基于待更新模型参数信息更新各切片分配模型的已使用模型参数信息,以达到对切片分配模型的更新。
本发明实施例的技术方案,通过获取与目标区域相对应的至少一种待选择切片分配信息,并基于获取的目标区域内的各个目标用户的用电关联信息,确定与每种待选择切片分配信息相对应的待处理参数信息。将至少一种待选择切片分配信息和相对应的待处理参数信息输入至与目标区域相对应的目标切片分配模型中,经过目标切片分配模型的处理,得到与每个目标用户相对应的目标网络切片分配方式,基于各目标网络切片分配方式,将网络切片分配至对应的目标用户。在通过与目标区域相对应的目标切片分配模型对至少一种待选择切片分配信息和相对应的待处理参数信息进行处理时,可以获得目标切片分配模型的待使用模型参数信息。将各区域的切片分配模型的待使用模型参数信息发送至边缘网络系统,通过边缘网路系统对各待使用模型参数信息进行处理,得到待更新模型参数信息,以基于待更新模型参数信息更新各切片分配模型中的已使用模型参数信息。得到每个区域相对应的更新的切片分配模型,当再次对待选择切片分配信息和待处理参数信息进行处理时,可以使用更新后的切片分配模型。这样,对于切片分配模型可以不断地迭代优化,提高切片分配模型的实用性和适用性,进一步提高网络切片分配的准确性。
实施例三
图3是本发明实施例提供的一种网络切片分配系统的示意图。本发明实施例是上述实施例的可选方案,本发明实施例的网络切片分配模型采用深度强化学习模型。
在阐述本发明实施例的技术方案前,首选介绍一下本发明实施例的技术背景以及应用场景:
在工业园区中各个区域的中存在很多不同类型的企业厂房,这些企业厂房的电网需求繁多,电力业务广泛,需要大量的带宽资源以及计算资源保证数据传输的低时延、高可靠性。而现有技术中对于网络切片的管理,通常是由一个服务器管理多个区域,这样面对每个区域的多个厂房将会造成网络切片无法灵活分配的问题。并且,若是该服务器处理故障,将会造成该服务器管理下的多个厂房没有网络可以使用,影像厂房的工作效益。
在此基础上,本发明实施例提出的一种网络切片分配系统可以实现对相同业务领域下当前区域内的各个用户的网络切片的分配管理,保证用户(厂房)的正常工作,提高了用户体验度。
本发明实施例的网络切片分配系统包括:边缘控制端、数据转发端以及电网业务端。
首先,由电网业务端的各个区域的本地电网业务模块获取各自区域内各个用户的用电关联数据。用电关联数据包括:用户设备的电力信息(厂区用户电表数据、智能充电桩数据、智能路灯等设备的电压数据、电流数据、电功率数据),无人机线路巡检信息(厂房内针对输电线路的视频数据),输电状态监测信息(输电以及变电设备的环境数据(温度数据、湿度数据、风向数据)以及运行状态数据(工作电流数据、电压数据、漏电电流数据)的监测数据、用户设备到基站的距离等)。对用电关联数据进行筛选整合,并打包处理得到用电关联数据包。在园区内的本地服务器上,通过深度强化学习模型对该区域的有线带宽资源数据、计算资源数据以及业务需求数据(可靠性)进行处理,得到该区域的网络切片分配方式,以及待使用模型参数信息。
然后,电网业务端的各个区域的本地电网业务模块将网络切片分配方式生成切片分配请求,其中,切片分配请求中包括各个用户对应的网络切片分配方式(边缘服务器分配方式以及带宽分配方式)。将切片分配请求通过数据转发端发送至边缘控制端。本地电网业务模型还会将待使用模型参数信息进行加密(同态加密)并将加密后的待使用模型参数信息通过数据转发端发送至边缘控制端。
最后,边缘控制端接收切片分配请求,解析切片分配请求,获得切片分配请求中各个用户的网络切片方式。基于各个用户的网络切片方式对该区域对应的至少一个边缘服务器以及每个边缘服务器的带宽数据进行分配,确定每个用户的网络切片(通过SDN控制器进行编排整合,确定边缘MEC服务器中的网络切片),并将各网络切片通过数据转发端发送至相对应的用户。边缘控制端接收数据转发端发送的加密后的待使用模型参数信息,并对加密后的待使用模型参数信息进行解密,得到待使用模型参数信息之后,对待使用模型参数信息进行加权取平均值,得到待更新模型参数信息,将待更新模型参数信息通过数据转发端发送至各区域对应的切片分配模型,以对各切片分配模型进行模型更新。
本发明实施例的网络切片分配系统包括多个模块,如图4所示,电源模块:使用太阳能电池供能,维持各设备的正常运行。同时,内置备用电池防止临时出现故障。系统模块:包括操作系统(Linux OS,支持Docker容器化部署切片)、常用运行环境(Python、JRE等)、系统主板(ARM双核处理器)。应用模块:包括一些常用的编程工具、日志审计管理工具以及数据可视化工具等应用,方便内外的交互。通讯模块:支持常用的网络连接方式(WIFI、4G、5G、通用无线分组业务(General packet radio service,GPRS)等),可以实现多设备的交互(Modbus、OPC UA、S7等),满足模块之间的通讯以及连接。参数模块:储存转发各模块中的运行参数、用户参数、计算参数等,作为数据池使用,具有一定的安全保障能力。如使用强用户密码策略、采用传输层安全协议(Transport Layer Security,TLS)以及各种传输加密算法等,保证传输参数的安全完整性。
下述的本地电网业务模块、本地数据处理模块、边缘数据处理模块与边缘切片处理模块为本发明实施例中的网络切片分配系统的主要模块,将进行详细的阐述,其中,上述实施例中的边缘网络系统是指本发明实施例中的边缘数据处理模块与边缘切片处理模块。
本地电网业务模块(每个区域设置一个本地数据处理模块):获取当前区域内各个用户的用电关联数据,并生成用电关联信息发送至相同区域内的本地数据处理模块,接收边缘切片模块分配的各个用户的网络切片,并下发到各个用户,同时监测当前区域内用户设备的运行状态,当设备运行状态出现异常时,实时报警,提示监管人员。
本地数据处理模块(每个区域设置一个本地数据处理模块):接收当前区域内的本地电网业务模块发送的用电关联信息,基于该用电关联信息以及当前区域的待筛选带宽分配信息以及待筛选频率分配信息,确定无线传输速率γ,计算公式为:
其中,b表示带宽,p表示无线发射功率,h表示信道增益,d表示用户到基站的距离,N0表示白噪声。
之后,通过无线传输速率以及待筛选服务器分配信息等,确定当前用户的当前电力业务的时延信息T,时延信息计算公式为:
其中,γ表示无线传输速率,x表示边缘服务器选择方案,s表示用户的数据包大小,c表示每比特数据的计算复杂度,f表示计算频率。
通过当前电力业务的时延要求,对由待筛选服务器分配信息、待筛选带宽分配信息以及待筛选频率分配信息生成至少一种待筛选切片分配信息进行处理,得到至少一种待选择切片分配信息。
基于时延信息计算得到可靠性信息R,可靠性信息的计算公式为:
其中,A表示预测准确率,λt表示传输故障率,λc表示计算故障率。
此时计算得到可靠性信息为基于每个用户的用户关联信息等计算得到的,所以可靠性信息的数量与用户的数量相同,对至少一个可靠性信息进行平均值计算,得到一个可靠性信息,之后,基于该可靠性信息确定每种待选择切片分配信息相对应的权重值,以确定每种待选择切片分配信息相对应的待处理参数信息。之后,将待选择切片分配信息和待处理参数信息输入至本地数据处理模块中的深度强化学习模型(DQN模型)中,得到当前区域内每个用户的网络切片分配方式以及待使用模型参数信息,之后基于网络切片分配方式生成切片分配请求,并发送至边缘切片处理模块。将待使用模型参数发送至边缘数据处理模块,并接收边缘数据处理模块反馈的待更新模型参数信息,以基于待更新模型参数信息更新当前区域的DQN模型。其中,基于联邦学习框架,在将待使用模型参数信息发送至边缘数据处理模块前,先对待使用模型参数信息进行同态加密处理。
边缘切片处理模块:对接收到的与各个区域相对应的切片分配请求进行解析处理,得到每个区域的各个用户对应的网络切片分配方式,之后,基于网络切片分配方式确定对应的边缘服务器以及带宽,将网络切片发送至本地电网业务模块。并监测边缘服务器的运行状态,当任意一个边缘服务器出现异常时,将发送异常报警信息至运维工作人员的用户终端,以对运维工作人员进行提示。
边缘数据处理模块:接收各个区域的本地数据处理模块上传的加密后的待使用模型参数信息后,基于联邦学习框架,对加密后的待使用模型参数信息进行解密,得到每个区域相对应的待使用模型参数信息,之后对至少一个待使用模型参数信息进行聚合处理(如加权平均),得到待更新模型参数信息,之后将待更新模型参数信息发送至各个本地数据处理模块,以对本地数据处理模块中的DQN模型的已使用的模型参数信息进行更新,得到更新后的DQN模型。
对于本发明实施例中本地数据处理模块与边缘数据处理模块使用的联邦深度强化学习模型示意图如图5所示,下述内容为联邦深度强化学习模型的训练过程,其中,模型的输入参数包括:State:待选择边缘服务器分配信息、待选择带宽分配信息、待选择频率分配信息,Reward:根据可靠性大小设置的每个动作的奖励值(待处理参数信息)。输出参数包括网络切片分配方式和Q值。
1)首先遍历所有的待选择边缘服务器分配信息、待选择带宽分配信息、待选择频率分配信息,排列组合生成至少一种待筛选切片分配信息,之后利用时延约束条件,从至少一种待筛选切片分配信息中确定至少一种待选择切片分配信息,利用可靠性信息确定每种待选择切片分配信息的奖励值。
2)设DQN模型的初始Q值为0,当完成第一次训练之后,每次接受边缘数据处理模型发送的待更新Q值。
3)初始化动作值函数Q以及容量为N的回放记忆单元D。
4)输入初始状态S1,得到中间状态的输出参数
5)通过概率ε选取一个随机的动作(一种待选择切片分配信息),或者选择Q值最大的动作,为at,在环境中执行动作at并获取这个动作对应的奖励为Rt。然后转换到下一个状态St+1,计算网络输出储存/>到回放记忆单元D中。
6)从D中随机取出少量的样本计算:
其中,yj表示中间参数值,用于基于梯度值;γ表示衰减值,θ表示梯度参数,用于计算Q值,rj表示奖励值。
7)进行梯度下降的计算,计算公式为
8)重复执行上述2)至7)步骤,直至Q值收敛。
9)n个区域内的本地数据处理模块中的DQN模型分别对各自区域内的输入参数进行处理,得到Q值,然后将n个Q值发送边缘数据处理模型,通过边缘数据处理模型的处理,得到待更新Q值,通过边缘数据处理模型将待更新Q值下发至各个本地数据处理模块中的DQN模型。
可选的,在Q值收敛后,完成DQN模型的训练,设置模型更新周期时长T,当获取用户的用电关联信息时进行计时操作,当计时时长达到预设时长T时,重复执行上述的步骤1)至9),以使模型的Q值达到最优,适用于不同时段不同区域的用户,使得模型输出的切片分配方式更加有针对性的面对不同的用户。应当理解,这里的模型更新时长T与上述实施例中的预设时长不是同一个时长。、
通过本发明实施例的联邦深度强化学习模型进行网络切片的分配与现有技术中的分配方式可靠性对比如表1所示:
表1
其中,上述的用户数量是指在相同区域内的用户数量现有技术中的网络切片分配方式是指现有技术中的方法(根据已有带宽信息,直接平均分配给每个用户)。根据表中的数据,可以明显看出本发明实施例采用的将深度强化学习模型与联邦学习模型相结合,形成的联邦深度强化学习模型计算可靠性更佳。
本发明实施例中的技术方案,通过设置参数模块、通讯模块、应用模块、系统模块、电源模块、本地电网业务模块、本地数据处理模块、边缘数据处理模块与边缘切片处理模块组成边缘切片分配系统。各模块之间协调工作,合理分配切片资源,应对各种故障,最大程度上保证新型电力业务所需求的低时延以及高可靠性,保障业务的连续性,提高切片的容灾冗余备份能力。本地电网业务模块能够执行网络切片的分发,还能够监测对应区域内的各用户的用电设备的运行状态,及时给出故障预警信息。本地数据处理模块中的深度强化学习模型实现对待选择切片分配信息以及待处理参数信息的处理,得到切片分配方式以及待使用模型参数信息,并将切片分配方式发送至边缘切片处理模块,将待使用模型参数信息加密发送至边缘数据处理模块。边缘数据处理模块能够基于联邦学习框架,接收待使用模型参数信息并进行解密,选用适合的方法聚合(如加权平均)对待使用模型参数信息进行处理,得到待更新模型参数信息,之后将待更新模型参数信息发送至本地数据处理模块,以使本地数据处理模块中的深度强化学习模型基于待更新模型参数信息进行模型更新。边缘切片处理模块接收切片分配方式并基于切片分配方式针对对应的区域中的各用户进行网络切片的分配,并监测边缘服务器的运行状态。本地数据处理模块与边缘数据处理模块之间的信息交互,采用联邦深度强化学习算法框架,用于对模型参数的不同更新,提高切片分配方式的准确率和效率,合理安全地利用大量的各个区域内的用户的用电关联信息,提高模型学习效率,能够很好地处理工业园区不同区域内的用户的用电关联信息的非独立同分布(Non-IID),解决用户电力业务需求状况与网络状态不均衡、通信资源有限以及安全隐私保护的问题。本发明实施例中的针对每个区域分配有多个边缘服务器,若是其中一台边缘服务器出现故障,其余的边缘服务器可以进行响应,解决用户的网络切片的分配,从而使网络切片分配的更加灵活。
实施例四
图6为本发明实施例提供的一种网络切片分配装置的结构示意图,本发明实施例所提供的网络切片分配装置可执行本发明任意实施例所提供的网络切片分配方法,具备执行方法相应的功能模块和有益效果。该装置包括:待选择切片分配信息确定模块610、待处理参数信息确定模块620、目标网络切片分配方式确定模块630和网络切片分配模块640;其中:
待选择切片分配信息确定模块610,用于获取与目标区域相对应的至少一种待选择切片分配信息,其中,所述待选择切片分配信息包括待选择服务器分配信息、待选择带宽分配信息和待选择频率分配信息中的至少一项;待处理参数信息确定模块620,用于基于获取的所述目标区域内的各个目标用户的用电关联信息,确定与所述每种待选择切片分配信息相对应的待处理参数信息;目标网络切片分配方式确定模块630,用于通过与所述目标区域相对应的目标切片分配模型对所述至少一种待选择切片分配信息和相对应的待处理参数信息进行处理,得到与每个目标用户相对应的目标网络切片分配方式;网络切片分配模块640,用于基于各目标网络切片分配方式,将网络切片分配至对应的目标用户。
进一步的,所述装置还包括:
用电关联信息获取模块,用于获取所述目标区域内各个目标用户的用电关联信息;待筛选切片分配信息生成模块,用于基于所述目标区域的待筛选服务器分配信息、待筛选带宽分配信息以及待筛选频率分配信息生成至少一种待筛选切片分配信息;当所述至少一种待筛选切片分配信息满足时延约束条件时,基于所述至少一种待筛选切片分配信息生成所述待选择切片分配信息;其中,所述时延约束条件是基于各用户的用电关联信息、待筛选服务器信息、待筛选带宽信息以及待筛选频率信息确定的。
进一步的,所述网络切片分配模块640包括:
网络切片获取子模块,用于通过边缘网络系统对各目标网络切片分配方式进行处理,得到每个目标区域对应的各网络切片;将所述各网络切片分配至对应的目标用户。
进一步的,所述待处理参数信息确定模块620包括:
待确定参数信息确定子模块,用于基于各用电关联信息生成每个目标用户相对应的待确定参数信息;待选择参数信息确定子模块,用于对各待确定参数信息进行计算,确定待选择参数信息;待处理参数信息确定子模块,用于基于待选择参数信息确定与所述每种待选择切片分配信息相对应的待处理参数信息。
进一步的,所述目标切片分配模型包括深度强化学习模型;所述目标网络切片分配方式确定模块630包括:
切片分配方式确定子模块,用于通过与所述目标区域相对应的目标深度强化学习模型对所述至少一种待选择切片分配信息和相对应的待处理参数信息进行处理,得到与每个目标用户相对应的目标网络切片分配方式。
进一步的,所述装置还包括:
待使用模型参数信息获取模块,用于获取所述目标切片分配模型的待使用模型参数信息;其中,所述待使用模型参数信息为通过目标切片分配模型对至少一种待处理切片分配信息和所述待处理参数进行处理得到的;待使用模型参数信息发送模块,用于将各区域的切片分配模型的待使用模型参数信息发送至边缘网络系统;待更新模型参数信息获取模块,用于通过所述边缘网络系统对各待使用模型参数信息进行处理,得到待更新模型参数信息,以基于所述待更新模型参数信息更新各切片分配模型中的已使用模型参数信息,得到与每个区域相对应的切片分配模型,以基于更新后的切片分配模型对待选择切片分配信息和待处理参数信息进行处理。
进一步的,所述装置还包括:
已使用模型参数更新模块,用于当获取各个目标用户的用电关联信息时,开始计时并在检测到实际计时时长达到预设时长时,重新执行获取各用电关联信息以及所述至少一种待选择切片分配信息,并基于对所述用户关联信息和所述至少一种待选择切片分配信息的处理结果,更新各切片分配模型中的已使用模型参数。
本发明实施例的技术方案,通过获取与目标区域相对应的至少一种待选择切片分配信息,并基于获取的目标区域内的各个目标用户的用电关联信息,确定与每种待选择切片分配信息相对应的待处理参数信息。将至少一种待选择切片分配信息和相对应的待处理参数信息作为目标切片分配模型的输入参数,经过目标切片分配模型的处理,得到每个目标用户相对应的目标网络切片分配方式,基于各目标网络切片分配方式,将网络切片分配至对应的目标用户。本发明实施例的技术方案实现了目标区域内各目标用户的网络切片的分配,将满足目标用户需求的网络切片分配至对应的目标用户,提高用户体验度。
值得注意的是,上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明实施例的保护范围。
实施例五
图7为本发明实施例提供的一种电子设备的结构示意图。图7示出了适于用来实现本发明实施例实施方式的示例性电子设备70的框图。图7显示的电子设备70仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示,电子设备70以通用计算设备的形式表现。电子设备70的组件可以包括但不限于:一个或者多个处理器或者处理单元701,系统存储器702,连接不同系统组件(包括系统存储器702和处理单元701)的总线703。
总线703表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备70典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备70访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器702可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)704和/或高速缓存存储器705。电子设备70可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统706可以用于读写不可移动的、非易失性磁介质(图7未显示,通常称为“硬盘驱动器”)。尽管图7中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线703相连。存储器702可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块707的程序/实用工具708,可以存储在例如存储器702中,这样的程序模块707包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块707通常执行本发明所描述的实施例中的功能和/或方法。
电子设备70也可以与一个或多个外部设备709(例如键盘、指向设备、显示器710等)通信,还可与一个或者多个使得用户能与该电子设备70交互的设备通信,和/或与使得该电子设备70能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口711进行。并且,电子设备70还可以通过网络适配器712与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器712通过总线703与电子设备70的其它模块通信。应当明白,尽管图7中未示出,可以结合电子设备70使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元701通过运行存储在系统存储器702中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的网络切片分配方法。
实施例六
本发明实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种网络切片分配方法,所述方法包括:
获取与目标区域相对应的至少一种待选择切片分配信息,其中,所述待选择切片分配信息包括待选择服务器分配信息、待选择带宽分配信息和待选择频率分配信息中的至少一项;基于获取的所述目标区域内的各个目标用户的用电关联信息,确定与所述每种待选择切片分配信息相对应的待处理参数信息;通过与所述目标区域相对应的目标切片分配模型对所述至少一种待选择切片分配信息和相对应的待处理参数信息进行处理,得到与每个目标用户相对应的目标网络切片分配方式;基于各目标网络切片分配方式,将网络切片分配至对应的目标用户。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。