CN113133038A - 电力物联网链路备份方法、装置、设备及存储介质 - Google Patents
电力物联网链路备份方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113133038A CN113133038A CN202110413469.8A CN202110413469A CN113133038A CN 113133038 A CN113133038 A CN 113133038A CN 202110413469 A CN202110413469 A CN 202110413469A CN 113133038 A CN113133038 A CN 113133038A
- Authority
- CN
- China
- Prior art keywords
- things
- link
- power
- power internet
- internet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims abstract description 29
- 230000002787 reinforcement Effects 0.000 claims abstract description 26
- 230000005540 biological transmission Effects 0.000 claims description 29
- 230000004044 response Effects 0.000 claims description 7
- 230000006855 networking Effects 0.000 claims description 2
- 238000009826 distribution Methods 0.000 abstract description 8
- 230000009471 action Effects 0.000 description 31
- 239000003795 chemical substances by application Substances 0.000 description 22
- 238000004891 communication Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/04—Arrangements for maintaining operational condition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Abstract
本发明公开了一种电力物联网链路备份方法、装置、设备及存储介质。其中，电力物联网链路备份方法，包括：获取电力物联网中传输的电网业务的业务类型；基于业务类型匹配电网业务的网络需求；获取电力物联网的链路节点的状态信息；将状态信息输入至预先构建的强化学习模型中，获取参考链路备份方案；若参考链路备份方案满足网络需求，则执行参考链路备份方案。利用强化学习模型生成备份方案，在符合电网业务对网络链路的网络需求后再将备份方案应用执行，可有效的实现基于电力物联网的负载和可用资源做出动态分配，有效的保证了电力物联网链路的备份可靠性。
Description
技术领域
本发明实施例涉及物联网链路备份技术，尤其涉及一种电力物联网链路备份方法、装置、设备及存储介质。
背景技术
现如今，智能化技术蓬勃兴起，为生产和生活带来了许多的便利。在电力行业对智能化的运用范围也在不断的扩展，通过电力通信网可实现众多电力业务与电力中心服务的互联，从而使电力中心服务器可同时为不同地方的电力业务提供智能化服务。
为了使电力物联网的信息稳定传输，保障电力物联网端通信的有效备份是必不可少的。近年来电力物联网的数据备份任务，从简单的开辟一条冗余备份链路过渡到，固定选择最小重合度的两条或多条链路进行数据传输，从而实现对电力物联网通信的冗余备份，提高传输可靠性。
都是这种方式分配固定的备份链路，不能实现根据链路的负载情况进行弹性的实时路径规划，且指定了某条链路固定为备份链路，容灾性能较弱。
发明内容
本发明提供一种电力物联网链路备份方法、装置、设备及存储介质，以实现动态的电力物联网链路的可靠备份。
第一方面，本发明实施例提供了一种电力物联网链路备份方法，包括：
获取电力物联网中传输的电网业务的业务类型；
基于所述业务类型匹配所述电网业务的网络需求；
获取所述电力物联网的链路节点的状态信息；
将所述状态信息输入至预先构建的强化学习模型中，获取参考链路备份方案；
若所述参考链路备份方案满足所述网络需求，则执行所述参考链路备份方案。
可选的，所述获取电力物联网中传输的电网业务的业务类型，包括：
获取电力物联网的数据流；
从所述数据流中提取特征信息；
基于所述特征信息确定所述电力物联网中传输的电网业务的业务类型。
可选的，所述特征信息包括与所述电网业务的业务类型对应的IP地址、硬件地址或设备ID。
可选的，所述基于所述业务类型匹配所述电网业务的网络需求，包括：
从预设的数据库中匹配与所述业务类型对应的数据表；
从所述数据表中获取与所述业务类型对应的网络需求。
可选的，所述网络需求包括带宽需求、响应时延需求、业务时延需求和多用户并发性能要求。
可选的，所述获取所述电力物联网的链路节点的状态信息，包括：
获取所述电网业务的传输链路；
基于所述传输链路确定所述电力物联网的其余链路节点的空闲计算资源和存储资源；
获取不同基站不同链路节点之间的空闲带宽资源和连接状态；
将所述空闲计算资源、所述存储资源、所述空闲带宽资源和所述连接状态作为各所述链路节点的状态信息。
可选的，还包括：若所述参考链路备份方案不满足所述网络需求，则返回执行所述获取参考链路备份方案。
第二方面，本发明实施例还提供了一种电力物联网链路备份装置，包括：
获取模块，用于获取电力物联网中传输的电网业务的业务类型；
需求模块，用于基于所述业务类型匹配所述电网业务的网络需求；
状态模块，用于获取所述电力物联网的链路节点的状态信息；
模型模块，用于将所述状态信息输入至预先构建的强化学习模型中，获取参考链路备份方案；
判断模块，用于若所述参考链路备份方案满足所述网络需求，则执行所述参考链路备份方案。
第三方面，本发明实施例还提供了一种电力物联网链路备份设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的电力物联网链路备份方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的电力物联网链路备份方法。
本发明通过获取电力物联网中传输的电网业务的业务类型，进而确定电网业务对网络链路的网络需求，然后获取电力物联网中的可用资源，利用强化学习模型生成备份方案，在符合电网业务对网络链路的网络需求后再将备份方案应用执行，可有效的实现基于电力物联网的负载和可用资源做出动态分配，进行避免采用固定备份链路时可能带来的不满足网络需求或资源浪费的情况，有效的保证了电力物联网链路的备份可靠性。
附图说明
图1是本发明实施例一中提供的电力物联网链路备份方法的流程图；
图2是本发明实施例二中提供的电力物联网链路备份装置的结构图；
图3是本发明实施例三中提供的电力物联网链路备份设备的结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
电力物联网是为了保证电力系统的安全稳定运行而应运而生的。它同电力系统的继电保护及安全稳定控制系统、调度自动化系统被人们合称为电力系统安全稳定运行的三大支柱。目前，它更是电网调度自动化、网络运营市场化和管理现代化的基础；是确保电网安全、稳定、经济运行的重要手段；是电力系统的重要基础设施。由于电力物联网对通信的可靠性、保护控制信息传送的快速性和准确性具有及严格的要求，并且电力部门拥有发展通信的特殊资源优势，因此，世界上大多数国家的电力公司都以自建为主的方式建立了电力系统专用通信网。
整个电力通信的发展，从无到有，从小到大，从简单技术到当今先进技术，从较为单一的通信电缆和电力线载波通信手段到包含光纤、数字微波、卫星等多种通信手段并用，从局部点线通信方式到覆盖全国的干线通信网和以程控交换为主的全国电话网、移动电话网、数字数据网，无不展现出电力通信发展的辉煌成就。随着通信行业在社会发展中作用的提高，以电力物联网为基础的业务不再仅仅是最初的程控语音联网、调度时时控制信息传输等窄带业务，逐渐发展到同时承载客户服务中心、营销系统、地理信息系统(GIS)、人力资源管理系统、办公自动化系统(OA)、视频会议、IP电话等多种数据业务。其最重要的特点是高度的可靠性和实时性；另一特点是用户分散、容量小、网络复杂。电力通信在协调电力系统发、送、变、配、用电等组成部分的联合运转及保证电网安全、经济、稳定、可靠的运行方面发挥了应有的作用，并有利的保障了电力生产、基建、行政、防汛、电力调度、水库调度、燃料调度、继电保护、安全自动装置、远动、计算机通信、电网调度自动化等通信需要。
为了保持网络的稳定性，在多台交换机组成的网络环境中，通常都使用一些备份连接以提高网络的稳定性，健壮性，这样的链接称之为备份链路或冗余链路。
在骨干设备连接中，单一链路的链接很容易实现，但一个简单的故障就会造成网络的中断，因此在实际网络的组建过程中，为了保持网络的稳定性，在多台交换机组成的网络环境中，通常都是使用一些备份链接，以提供网络的稳定性，这里的备份链接也称为备份链路或者冗余链路。
实施例一
图1为本发明实施例一提供的电力物联网链路备份方法的流程图，本实施例可适用于对电力物联网的链路基于实际的电网业务对网络的需求实现动态是备份的情况，该方法可以由电力物联网链路备份装置法来执行，具体包括如下步骤：
步骤110、获取电力物联网中传输的电网业务的业务类型。
在本实施例中，电网业务可包括在电网运行过程中所涉及的所有业务，例如基于高清视频的巡检类应用：输电线无人机巡检、变电站机器人巡检、配电房综合视频监控、AR/VR智能巡检等；基于低时延的电网控制类应用：智能分布式配电自动化、精准负荷控制、分布式能源调控三个典型场景等；基于无线采集的监测类应用：用电信息采集、配网状态监测两个典型场景等。
此外，在具体实现中，按照场景还可将电网业务划分为三大类：eMBB(增强移动带宽类)、uRLLC(高可靠低时延连接类)、mMTC(海量物联类)，并且在每类中还可以进一步的细分到更细的业务类型。在本发明实施例中，不同的业务类型对于端到端传输过程中的网络需求和可靠性需求均不相同，因此，在本发明实施例中需要确定不同的电网业务的业务类型。
而对于电力物联网中传输的电网业务的业务类型获取，可通过规定所有的业务数据传输均需要带特定的特征信息，在传输的电网业务中提取业务对应的特征信息的方式实现辨别，又或者是从而电网业务的发起端或接收端获取对应的电网业务的业务类型，在此并不对具体的获取方式进行具体的限定，只要能够获取网络链路中传输的数据流的电网业务的业务类型即可。
步骤120、基于业务类型匹配电网业务的网络需求。
在一个示例中，可将电网业务的业务类型与需求通过预设的数据库进行存储，在需要时再根据具体的业务类型从数据库中查询对应的需求。
在本发明实施例中，电网业务端到端传输过程中对网络的需求大致可分为带宽需求、响应时延需求、业务时延需求及传输成功率需求。带宽需求主要指对端对端传输中为保证电网业务的正常进行所需的最低带宽需求；响应时延需求、业务时延需求则是指在端对端传输中为保证电网业务的正常进行所需的最低时延需求；传输成功率需求则是指在端对端传输中为保证电网业务的正常进行所需的最低丢包、错误需求。
此外，需要知道的是上述三个需求仅是部分示例，在其他示例中还可根据实际需要进行增减。
步骤130、获取电力物联网的链路节点的状态信息。
在本发明实施例中，网络链路是指在电网业务端到端传输过程中选择的路径和节点的集合，其中路径指节点之间的传输介质，主要有双绞线、光纤和微波。而节点则是指在端到端传输过程中经过的设备，例如网关或者路由器。
在具体实现中，电网业务端到端传输过程中数据流经的传输介质和设备的状态和资源均是有限的，需要对硬件的状态信息进行获取，以知道流经的传输介质和设备的使用情况。例如，获取传输介质和设备的带宽大小，以及目前传输的数据量大小。
在本发明实施例中，需要获取电力物联网的网络链路的路径和链路节点的状态信息，该状态信息至少包括空闲计算资源、存储资源、空闲带宽资源和连接状态。
步骤140、将状态信息输入至预先构建的强化学习模型中，获取参考链路备份方案。
学习和推理是人类智能最重要的体现，为了使计算机也能够像人一样学习和决策，机器学习技术应运而生。机器学习利用计算机来模拟和实现人类学习和解决问题的过程，计算机系统通过不断自我改进和学习，自动获取知识并作出相应的决策、判断或分析。机器学习是人工智能的一个重要的研究领域，根据是否从系统中获得反馈，可以把机器学习分为有监督、无监督和强化学习三大类。
而在本发明实施例中主要使用的是强化学习，整个强化学习系统由智能体(Agent)、状态(State)、奖赏(Reward)、动作(Action)和环境(Environment)五部分组成。智能体(Agent)：Agent是整个强化学习系统核心。它能够感知环境的状态(State)，并且根据环境提供的强化信号(Reward Si)，通过学习选择一个合适的动作(Action)，来最大化长期的Reward值。简而言之，Agent就是根据环境提供的Reward做为反馈，学习一系列的环境状态(State)到动作(Action)的映射，动作选择的原则是最大化未来累积的Reward的概率。选择的动作不仅影响当前时刻的Reward，还会影响下一时刻甚至未来的Reward，因此，Agent在学习过程中的基本规则是：如果某个动作(Action)带来了环境的正回报(Reward)，那么这一动作会被加强，反之则会逐渐削弱，类似于物理学中条件反射原理。
环境(Environment)：环境会接收Agent执行的一系列的动作(Action)，并且对这一系列的动作的好坏进行评价，并转换成一种可量化的(标量信号)Reward反馈给Agent，而不会告诉Agent应该如何去学习动作。Agent只能靠自己的历史(History)经历去学习。同时，环境还像Agent提供它所处的状态(State)信息。环境有完全可观测(FullyObservable)和部分可观测(Partial Observable)两种情况。
奖赏(Reward)：环境提供给Agent的一个可量化的标量反馈信号，用于评价Agent在某一个时间步(time Step)所做action的好坏。强化学习就是基于一种最大化累计奖赏假设：强化学习中，Agent进行一系列的动作选择的目标是最大化未来的累计奖赏(maximization of future expected cumulative Reward)。
历史(History)：历史就是Agent过去的一些列观测、动作和reward的序列信息:Ht＝S1,R1,A1,…,At-1,St,Rt。Agent根据历史的动作选择，和选择动作之后，环境做给出的反馈和状态，决定如何选择下一个动作(At)。
状态(State)：状态指Agent所处的环境信息，包含了智能体用于进行Action选择的所有信息，它是历史(History)的一个函数：St＝f(Ht)。
可见，强化学习的主体是Agent和环境Environment。Agent为了适应环境，最大化未来累计奖赏，做出的一些列的动作，这个学习过程称为强化学习。
一个强化学习系统，除了Agent和环境(Environment)之外，还包括其他四个要素：策略(Policy，P)、值函数(Value Function，V)、回报函数(Reward Function，R)和环境模型(Environment Model)，其中，环境模型是可以有，也可以没有(Model Free)。
在本发明实施例中，通过强化学习模型基于电力物联网的链路节点的状态信息自举参考链路备份方案。
步骤150、若参考链路备份方案满足网络需求，则执行参考链路备份方案。
在具体实现中，当强化学习模型基于电力物联网的链路节点的状态信息做出参考链路备份方案后，再与预先获取的电网业务的网络需求进行对比，判断该参考链路备份方案是否可满足当前的电网业务的网络需求，在满足后方进行输出执行，若不满足则返回强化学习模型再次自举参考链路备份方案，直到产生符合电网业务的网络需求的参考链路备份方案。
本实施例的技术方案，通过获取电力物联网中传输的电网业务的业务类型，进而确定电网业务对网络链路的网络需求，然后获取电力物联网中的可用资源，利用强化学习模型生成备份方案，在符合电网业务对网络链路的网络需求后再将备份方案应用执行，可有效的实现基于电力物联网的负载和可用资源做出动态分配，进行避免采用固定备份链路时可能带来的不满足网络需求或资源浪费的情况，有效的保证了电力物联网链路的备份可靠性。
在本实施例的一个示例中，对于获取电力物联网中传输的电网业务的业务类型，可包括：获取电力物联网的数据流；然后从数据流中提取特征信息；基于特征信息确定电力物联网中传输的电网业务的业务类型。
示例性的，可在发送端、接收端或数据服务中心等位置获取电力物联网中传输的数据，然后从数据中提取所需的特征信息，进而判断电网业务对应的业务类型。其中，特征信息可根据实际需要或实际电力物联网进行选取，例如可以是电力物联网中分配的IP地址、硬件地址或设备ID等，通过数据中的特征信息与数据库中预先储存的内容进行匹配确定对应的业务类型。又或者是在电力物联网中明确规定电力业务数据中需要带上业务类型对应的识别码，在本步骤中则可通过对识别码的读取与识别确定对应的业务类型。又或者是基于不同的业务类型的数据结构差异做出业务类型的判断等，在本发明实施例中对于业务类型的确定方式并不做具体的限定，实际使用中可根据实际情况选用合适的方式获取。
示例性的，所述业务类型包括AR巡检业务、机器巡检业务、视频监控业务、差动保护业务、负荷控制业务、采集业务、控制业务、用电业务和配网监测业务；
在本实施例的一个示例中，基于业务类型匹配电网业务的网络需求，可包括：从预设的数据库中匹配与业务类型对应的数据表；从数据表中获取与业务类型对应的网络需求。
也就是，在本示例中，预先创建有业务类型与网络需求的对应关系的数据库。在获取具体的网络需求时，以业务类型作为关键词从数据库中检索对应的网络需求。
在其他示例中，还可以是通过其他的方式获取对应的的网络需求，又或者是在电力物联网的电网业务的发送端发送数据时附上其所需的网络需求，在获取电网业务对应的网络需求时直接从数据中解码其对电力物联网的网络需求。
在一个具体的示例中，网络需求可包括带宽需求、响应时延需求、业务时延需求和多用户并发性能要求。此外，需要知道的是，上述的带宽需求、响应时延需求、业务时延需求和多用户并发性能要求仅为示例性的说明，在具体实现中可根据实际的需要进行增减，在此不做具体的限定。
在本实施例的一个示例中，获取电力物联网的链路节点的状态信息，可包括：获取电网业务的传输链路；基于传输链路确定电力物联网的其余链路节点的空闲计算资源和存储资源；获取不同基站不同链路节点之间的空闲带宽资源和连接状态；将空闲计算资源、存储资源、空闲带宽资源和连接状态作为各链路节点的状态信息。
在该示例中，链路节点的状态信息主要包括电力物联网的其余链路节点的空闲计算资源和存储资源、不同基站不同链路节点之间的空闲带宽资源和连接状态。此外，需要知道的是，上述的其余链路节点的空闲计算资源和存储资源、不同基站不同链路节点之间的空闲带宽资源和连接状态仅为示例性的说明，在具体实现中可根据实际的需要进行增减，在此不做具体的限定。
在一个具体的示例中，将动态监测模块监测的输出信息表示为G＝(S,L)。S＝{xi,j,yi,j|i∈I,j∈J}表示链路节点状态的信息，其中xi,j表示第i∈I个基站，第j∈J个虚拟节点空闲的计算资源和存储资源；一个基站可以拥有多个虚拟节点，即一般I≤J；L＝{li,j→m,n,di,j→m,n|i,m∈I,j,n∈J}，其中li,j→m,n表示不同基站不同虚拟节点之间的空闲带宽资源；di,j→m,n表示不同基站不同虚拟节点之间的的连接状态，di,j→m,n＝1表示链路可用，di,j→m,n＝0表示链路不可用。
本发明实施例中提出一种基于强化学习的电力物联网链路备份方法。强化学习是一种马尔可夫决策过程，包含了状态、动作和回报三要素。
本发明实施例中主要使用强化学习中的DQN算法。在DQN框架中有两个结构一致但参数不同的神经网络，其中一个叫做目标网络，另一个叫做评估网络。评估网络的输入为t时刻的状态，输出为t时刻状态+动作的函数值Q(s,A)。目标网络的输入为t+1时刻的状态，输出为t+1时刻的状态+动作的函数值Q(s′,A′)。结合系统中设置的回报即R(s,A),Q(s,A)可用下式(1)迭代求出，优化问题可以转化为一个回归问题。
Q(s,a)＝R(s,A)+Q(s′,A′) (1)
算法的具体流程如下所示：
1、初始化经验池D，初始化Q网络参数θ；
2、for episode＝1，M do；
3、初始化状态s1；
4、for t＝1,T do；
5、由状态st利用ε贪婪策略选择动作at；
6、执行动作at，得到新状态st+1和奖励rt；
7、将(st,at,rt,st+1)四元组存入D中；
8、随机从D中取出b个状态；
9、
10、计算损失函数，通过梯度反向传播更新Q网络参数θ；
11、end for；
12、end for。
本发明实施例中所用DQN算法，在t时刻的state设置Gt。所用DQN算法的action设置为
其中M表示备份链路的个数，N表示每条备份链路的节点个数，
表示第m∈M个备份链路，第n∈N个节点的动作，选择空间为I×J。我们假设每条备份链路的节点个数是一样的。本发明实施例中所用DQN算法的reward(奖励)定义为链路的耦合程度，即
当DQN算法输出的参考链路备份方案满足具体电网业务的网络需求时，则当前的参考链路备份方案视为电力物联网链路备份方案的一种可靠方法。
如不满足要求时，将接收的信息与计算得出的结果作为初始化训练集的样本进行更新，再次进行反复迭代，重复选择使得值函数最大的action，从已知的信息中最大化奖励，直至满足条件。
实施例二
图2为本发明实施例二提供的一种电力物联网链路备份装置的结构图。该装置包括：获取模块201、需求模块202、状态模块203、模型模块204、判断模块205。其中：
获取模块201，用于获取电力物联网中传输的电网业务的业务类型；
需求模块202，用于基于业务类型匹配电网业务的网络需求；
状态模块203，用于获取电力物联网的链路节点的状态信息；
模型模块204，用于将状态信息输入至预先构建的强化学习模型中，获取参考链路备份方案；
判断模块205，用于若参考链路备份方案满足网络需求，则执行参考链路备份方案。
获取模块201包括：
数据流获取单元，用于获取电力物联网的数据流；
提取单元，用于从数据流中提取特征信息；
类型确定单元，用于基于特征信息确定电力物联网中传输的电网业务的业务类型。
特征信息包括与电网业务的业务类型对应的IP地址、硬件地址或设备ID。
需求模块202包括：
匹配单元，用于从预设的数据库中匹配与业务类型对应的数据表；
需求获取单元，用于从数据表中获取与业务类型对应的网络需求。
网络需求包括带宽需求、响应时延需求、业务时延需求和多用户并发性能要求。
状态模块203包括：
链路获取单元，用于获取电网业务的传输链路；
资源确定单元，用于基于传输链路确定电力物联网的其余链路节点的空闲计算资源和存储资源；
状态获取单元，用于获取不同基站不同链路节点之间的空闲带宽资源和连接状态；
反馈单元，用于将空闲计算资源、存储资源、空闲带宽资源和连接状态作为各链路节点的状态信息。
返回模块，用于若参考链路备份方案不满足网络需求，则返回执行获取参考链路备份方案。
实施例三
图3为本发明实施例四提供的一种电力物联网链路备份设备的结构示意图。如图3所示，该电子设备包括处理器30、存储器31、通信模块32、输入装置33和输出装置34；电子设备中处理器30的数量可以是一个或多个，图3中以一个处理器30为例；电子设备中的处理器30、存储器31、通信模块32、输入装置33和输出装置34可以通过总线或其他方式连接，图3中以通过总线连接为例。
存储器31作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本实施例中的一种电力物联网链路备份方法方法对应的模块(例如，一种电力物联网链路备份装置中的获取模块201、需求模块202、状态模块203、模型模块204、判断模块205)。处理器30通过运行存储在存储器31中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的一种电力物联网链路备份方法方法。
存储器31可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器31可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器31可进一步包括相对于处理器30远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块32，用于与显示屏建立连接，并实现与显示屏的数据交互。输入装置33可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。
本实施例提供的一种电子设备，可执行本发明任一实施例提供的电力物联网链路备份方法方法，具体相应的功能和有益效果。
实施例四
本发明实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种电力物联网链路备份方法方法，该方法包括：
获取电力物联网中传输的电网业务的业务类型；
基于所述业务类型匹配所述电网业务的网络需求；
获取所述电力物联网的链路节点的状态信息；
将所述状态信息输入至预先构建的强化学习模型中，获取参考链路备份方案；
若所述参考链路备份方案满足所述网络需求，则执行所述参考链路备份方案。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任一实施例所提供的一种电力物联网链路备份方法方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机电子设备(可以是个人计算机，服务器，或者网络电子设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述电力物联网链路备份方法装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种电力物联网链路备份方法，其特征在于，包括：
获取电力物联网中传输的电网业务的业务类型；
基于所述业务类型匹配所述电网业务的网络需求；
获取所述电力物联网的链路节点的状态信息；
将所述状态信息输入至预先构建的强化学习模型中，获取参考链路备份方案；
若所述参考链路备份方案满足所述网络需求，则执行所述参考链路备份方案。
2.根据权利要求1所述的电力物联网链路备份方法，其特征在于，所述获取电力物联网中传输的电网业务的业务类型，包括：
获取电力物联网的数据流；
从所述数据流中提取特征信息；
基于所述特征信息确定所述电力物联网中传输的电网业务的业务类型。
3.根据权利要求2所述的电力物联网链路备份方法，其特征在于，所述特征信息包括与所述电网业务的业务类型对应的IP地址、硬件地址或设备ID。
4.根据权利要求1所述的电力物联网链路备份方法，其特征在于，所述基于所述业务类型匹配所述电网业务的网络需求，包括：
从预设的数据库中匹配与所述业务类型对应的数据表；
从所述数据表中获取与所述业务类型对应的网络需求。
5.根据权利要求4所述的电力物联网链路备份方法，其特征在于，所述网络需求包括带宽需求、响应时延需求、业务时延需求和多用户并发性能要求。
6.根据权利要求1所述的电力物联网链路备份方法，其特征在于，所述获取所述电力物联网的链路节点的状态信息，包括：
获取所述电网业务的传输链路；
基于所述传输链路确定所述电力物联网的其余链路节点的空闲计算资源和存储资源；
获取不同基站不同链路节点之间的空闲带宽资源和连接状态；
将所述空闲计算资源、所述存储资源、所述空闲带宽资源和所述连接状态作为各所述链路节点的状态信息。
7.根据权利要求1所述的电力物联网链路备份方法，其特征在于，还包括：若所述参考链路备份方案不满足所述网络需求，则返回执行所述获取参考链路备份方案。
8.一种电力物联网链路备份装置，其特征在于，包括：
获取模块，用于获取电力物联网中传输的电网业务的业务类型；
需求模块，用于基于所述业务类型匹配所述电网业务的网络需求；
状态模块，用于获取所述电力物联网的链路节点的状态信息；
模型模块，用于将所述状态信息输入至预先构建的强化学习模型中，获取参考链路备份方案；
判断模块，用于若所述参考链路备份方案满足所述网络需求，则执行所述参考链路备份方案。
9.一种电力物联网链路备份设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的电力物联网链路备份方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的电力物联网链路备份方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110413469.8A CN113133038B (zh) | 2021-04-16 | 2021-04-16 | 电力物联网链路备份方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110413469.8A CN113133038B (zh) | 2021-04-16 | 2021-04-16 | 电力物联网链路备份方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113133038A true CN113133038A (zh) | 2021-07-16 |
| CN113133038B CN113133038B (zh) | 2023-01-24 |
Family
ID=76777435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110413469.8A Active CN113133038B (zh) | 2021-04-16 | 2021-04-16 | 电力物联网链路备份方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113133038B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113747450A (zh) * | 2021-07-27 | 2021-12-03 | 清华大学 | 一种移动网络中业务部署方法、装置及电子设备 |
| CN114828057A (zh) * | 2022-04-15 | 2022-07-29 | 珠海市鸿瑞信息技术股份有限公司 | 基于gis的通信基站配网监测系统及方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103368753A (zh) * | 2012-03-26 | 2013-10-23 | 上海地面通信息网络有限公司 | 一种多链路互为冗余备份的网络路由控制系统 |
| CN103796324A (zh) * | 2014-03-06 | 2014-05-14 | 京信通信系统（中国）有限公司 | 一种带宽分配装置和方法 |
| US20180041380A1 (en) * | 2015-04-17 | 2018-02-08 | Huawei Technologies Co., Ltd. | Failure Recovery Method and Apparatus for Virtual Network |
| CN109768940A (zh) * | 2018-12-12 | 2019-05-17 | 北京邮电大学 | 多业务sdn网络的流量分配方法及装置 |
| CN111147307A (zh) * | 2019-12-30 | 2020-05-12 | 重庆邮电大学 | 基于深度强化学习的服务功能链可靠部署方法 |
| CN111193664A (zh) * | 2020-01-16 | 2020-05-22 | 郑州轻工业大学 | 计算机网络的链路备份方法及装置 |
| CN111756634A (zh) * | 2020-07-15 | 2020-10-09 | 中国舰船研究设计中心 | 一种基于强化学习的舰载网络性能自优化方法 |
| CN111835564A (zh) * | 2020-07-02 | 2020-10-27 | 北京邮电大学 | 一种电力物联网通信链路故障自适应恢复方法及系统 |
| US20200382385A1 (en) * | 2019-05-29 | 2020-12-03 | Cisco Technology, Inc. | Adaptive stress testing of sd-wan tunnels for what-if scenario model training |
-
2021
- 2021-04-16 CN CN202110413469.8A patent/CN113133038B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103368753A (zh) * | 2012-03-26 | 2013-10-23 | 上海地面通信息网络有限公司 | 一种多链路互为冗余备份的网络路由控制系统 |
| CN103796324A (zh) * | 2014-03-06 | 2014-05-14 | 京信通信系统（中国）有限公司 | 一种带宽分配装置和方法 |
| US20180041380A1 (en) * | 2015-04-17 | 2018-02-08 | Huawei Technologies Co., Ltd. | Failure Recovery Method and Apparatus for Virtual Network |
| CN109768940A (zh) * | 2018-12-12 | 2019-05-17 | 北京邮电大学 | 多业务sdn网络的流量分配方法及装置 |
| US20200382385A1 (en) * | 2019-05-29 | 2020-12-03 | Cisco Technology, Inc. | Adaptive stress testing of sd-wan tunnels for what-if scenario model training |
| CN111147307A (zh) * | 2019-12-30 | 2020-05-12 | 重庆邮电大学 | 基于深度强化学习的服务功能链可靠部署方法 |
| CN111193664A (zh) * | 2020-01-16 | 2020-05-22 | 郑州轻工业大学 | 计算机网络的链路备份方法及装置 |
| CN111835564A (zh) * | 2020-07-02 | 2020-10-27 | 北京邮电大学 | 一种电力物联网通信链路故障自适应恢复方法及系统 |
| CN111756634A (zh) * | 2020-07-15 | 2020-10-09 | 中国舰船研究设计中心 | 一种基于强化学习的舰载网络性能自优化方法 |
Non-Patent Citations (3)
| Title |
|---|
| 周洋等: "基于链路重要度的电力通信网链路保护方法", 《通信技术》 * |
| 曹扬等: "电力物联网LPWAN性能分析与仿真", 《南方电网技术》 * |
| 朱小琴等: "基于深度强化学习的电力通信网路由策略", 《科学技术创新》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113747450A (zh) * | 2021-07-27 | 2021-12-03 | 清华大学 | 一种移动网络中业务部署方法、装置及电子设备 |
| CN114828057A (zh) * | 2022-04-15 | 2022-07-29 | 珠海市鸿瑞信息技术股份有限公司 | 基于gis的通信基站配网监测系统及方法 |
| CN114828057B (zh) * | 2022-04-15 | 2022-10-28 | 珠海市鸿瑞信息技术股份有限公司 | 基于gis的通信基站配网监测系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113133038B (zh) | 2023-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113133038B (zh) | 电力物联网链路备份方法、装置、设备及存储介质 | |
| CN110300018B (zh) | 一种面向对象的电网信息物理系统层次化建模方法 | |
| CN106713083A (zh) | 基于知识图谱的智能家居设备控制方法、装置及系统 | |
| US6418423B1 (en) | Method and apparatus for executing neural network applications on a network of embedded devices | |
| EP3979563B1 (en) | Inter-domain data interaction method and apparatus | |
| Tan et al. | Toward a future network architecture for intelligence services: A cyber digital twin-based approach | |
| CN114861817A (zh) | 一种基于联邦学习的多源异构数据融合方法 | |
| Rao et al. | Demand Response for Renewable Generation in an IoT based Intelligent Smart Energy Management System | |
| CN113541986B (zh) | 5g切片的故障预测方法、装置及计算设备 | |
| CN114091610A (zh) | 智能决策方法及装置 | |
| Zhang et al. | A novel virtual network fault diagnosis method based on long short-term memory neural networks | |
| CN116055330A (zh) | 一种基于知识图谱的数字孪生网络切片的方法和装置 | |
| CN115883392A (zh) | 算力网络的数据感知方法、装置、电子设备及存储介质 | |
| Amato et al. | Distributed architecture for agents‐based energy negotiation in solar powered micro‐grids | |
| CN115589613A (zh) | 异常网络指标预警方法和装置、通信网络和存储介质 | |
| CN115695280A (zh) | 基于边缘节点的路由方法及装置、电子设备、存储介质 | |
| CN112054926B (zh) | 集群管理方法、装置、电子设备及存储介质 | |
| CN113822454B (zh) | 切片投诉处理资源的预估方法及装置 | |
| Li et al. | Online coordinated nfv resource allocation via novel machine learning techniques | |
| CN112907232B (zh) | 电网业务端到端传输可靠性保障方法、装置、设备及存储介质 | |
| CN113810212B (zh) | 5g切片用户投诉的根因定位方法及装置 | |
| Kumar et al. | A hidden Markov model for fault tolerant communication in VANETS | |
| Hussain et al. | Computational viability of fog methodologies in IoT enabled smart city architectures-a smart grid case study | |
| CN115348324B (zh) | 一种最优化调度策略的确定方法及装置和电子设备 | |
| CN113591937B (zh) | 一种基于局部距离编码的电力系统关键节点识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240423 Address after: No.757 Dongfeng East Road, Yuexiu District, Guangzhou City, Guangdong Province 510000 Patentee after: GUANGDONG POWER GRID Co.,Ltd. Country or region after: China Patentee after: QINGYUAN POWER SUPPLY BUREAU OF GUANGDONG POWER GRID Corp. Address before: No.1518, No.1 Qingyuan Road, Beijiang District, Guangdong Province Patentee before: QINGYUAN POWER SUPPLY BUREAU OF GUANGDONG POWER GRID Corp. Country or region before: China |