CN116506474B - 一种基于云边协同的电力微服务分层系统 - Google Patents
一种基于云边协同的电力微服务分层系统 Download PDFInfo
- Publication number
- CN116506474B CN116506474B CN202310784174.0A CN202310784174A CN116506474B CN 116506474 B CN116506474 B CN 116506474B CN 202310784174 A CN202310784174 A CN 202310784174A CN 116506474 B CN116506474 B CN 116506474B
- Authority
- CN
- China
- Prior art keywords
- data
- layer
- edge
- equipment
- application
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000011156 evaluation Methods 0.000 claims abstract description 11
- 230000008447 perception Effects 0.000 claims abstract description 5
- 230000002829 reductive effect Effects 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 40
- 238000013527 convolutional neural network Methods 0.000 claims description 34
- 230000003993 interaction Effects 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 28
- 238000005516 engineering process Methods 0.000 claims description 27
- 238000004891 communication Methods 0.000 claims description 24
- 238000007726 management method Methods 0.000 claims description 23
- 238000004458 analytical method Methods 0.000 claims description 21
- 238000007781 pre-processing Methods 0.000 claims description 20
- 238000013461 design Methods 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 10
- 230000010354 integration Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 230000002457 bidirectional effect Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 9
- 238000012423 maintenance Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 8
- 230000002441 reversible effect Effects 0.000 claims description 8
- 238000004519 manufacturing process Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000008878 coupling Effects 0.000 claims description 5
- 238000010168 coupling process Methods 0.000 claims description 5
- 238000005859 coupling reaction Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 238000009411 base construction Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000007774 longterm Effects 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 3
- 238000007418 data mining Methods 0.000 claims description 3
- 238000004148 unit process Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 16
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 241001178520 Stomatepia mongo Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000002071 nanotube Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Water Supply & Treatment (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于云边协同的电力微服务分层系统,包括感知层、边缘层、网络层、平台层和应用层;所述平台层将部分应用拆分成多个微服务并封装成容器镜像,容器之间存在特定的调用层次关系,从最底层微服务开始,完成容器编排,识别边缘层当前时刻的边缘设备的属性信息以得到相应的边缘节点,再根据评估得到的边缘节点的资源情况,将部分微服务下放至对应的边缘节点,由边缘节点承担部分数据应用业务,实现数据的就地应用。本发明能够在同时考虑云平台数据处理能力和电力终端自身属性的情况下最大限度挖掘海量数据中巨大的应用价值,降低数据处理时延,缓解云平台的资源压力。
Description
技术领域
本发明涉及电力服务技术领域,具体涉及一种基于云边协同的电力微服务分层系统。
背景技术
随着电力行业的能源互联网企业的发展和微服务架构的流行,业务系统由传统单体应用架构逐步向轻量化、容器化、微服务化的互联网新架构转变,服务按照不同的维度进行拆分,微服务数量正在快速增多,一次请求往往需要涉及到多个服务;且随着电力物联网的发展,电力物联网感知设备大规模普及,数据逐渐呈现海量异构、处理复杂、计算频度高等特点。
电力行业现阶段采用云计算架构,将感知层数据上传到云平台集中处理应用,但在海量数据背景下存在以下问题:一方面云平台数据传输时延大,造成业务响应不及时;另一方面数据集中于云平台,造成网络通信、计算资源的负担;此外电力物联网终端设备缺乏稳定性、设备冗余导致的数据量大、数据质量低等问题,造成海量数据存储、利用上的困难。
专利号为CN115086403A、CN112463393A等的发明中提出了一些基于微服务和容器的云边协同来解决海量数据的存储和计算问题,具体的,CN115086403A提出了一种针对泛在异构接入的边缘计算网关微服务架构,并未同时考虑边缘设备个体和单个应用计算的动态需求。CN112463393A提出了一种基于Mongo集群技术的配电物联网边缘计算架构设计方法,在边缘计算节点标准框架的核心环节应用Mongo集群技术,来解决计算效率不高的问题,同样也没有考虑到边缘设备个体的自身属性。
发明内容
本发明公开了一种基于云边协同的电力微服务分层系统,综合考虑电力终端和应用计算的实际情况,基于“微服务+容器”实现对应用数据处理策略的动态调度,本发明能够在同时考虑云平台数据处理能力和电力终端自身属性的情况下最大限度挖掘海量数据中巨大的应用价值,降低数据处理时延,缓解云平台的资源压力。
为实现上述技术目的,本发明采取的技术方案为:
一种基于云边协同的电力微服务分层系统,所述电力微服务分层系统包括感知层、边缘层、网络层、平台层和应用层;
所述感知层通过电力物联网各类传感器实时收集电力系统能源生产端、消费端现场坏境以及设备运行状态数据,并通过在各端部署的感知层设备采取了近实时的采样频率;
所述边缘层对感知层海量数据进行处理,完成包括数据标准化描述、集成与融合在内的预处理过程;
所述网络层建立边缘层和平台层的桥梁,使用网络通信技术,完成电力物联网边缘层和平台层之间数据双向传输;
所述平台层部署在云端,搭建云数据中心和云平台中心,承载电力系统各环节运行控制数据、设备管理数据、市场运营数据的统一化存储与管理任务;云数据中心完成数据的收集与更新,对数据信息进行统一处理,并通过NoSQL数据库、分布式数据库进行数据存储;云平台中心是资源管理平台、服务支撑平台、生产控制平台的集合;
所述应用层内利用平台层提供的数据、接口实现对电力终端的智能识别、可信交互、自动辨识、智能运维检修、主网监测、数据挖掘各类应用;
所述平台层还将部分应用拆分成多个微服务并封装成容器镜像,容器之间存在特定的调用层次关系,从最底层微服务开始,完成容器编排,识别边缘层当前时刻的边缘设备的属性信息以得到相应的边缘节点,再根据评估得到的边缘节点的资源情况,将部分微服务下放至对应的边缘节点,通过云端的容器仓库为边缘节点下载安装指定的应用容器,为应用容器配置好相关通信服务和数据获取接口,由边缘节点承担部分数据应用业务,实现数据的就地应用。
进一步地,所述应用层部署有电力终端智能识别模型和轻量级可信标识的端侧电子载体交互与自动辨识模型;
所述电力终端智能识别模型用于对位于电力系统内的存量终端设备进行识别,具体地,在边侧提取或监听设备报文,结合协议规则库构建和逆向分析技术,采用基于Aho-Corasick自动机的报文协议深度解析,在边侧对终端的设备报文和流量进行建模和分析,提取厂家、业务和交互协议的动态特征,再使用孪生网络实现特征标识和协议的快速匹配,边侧通过相应协议与设备建立连接,通过工业互联网安全解析技术解析设备业务数据,最后将设备业务数据上传;
所述轻量级可信标识的端侧电子载体交互与自动辨识模型用于与位于电力系统外的增量终端进行交互,并自动辨识增量终端的业务数据,具体地,设备向边侧发送设备接入请求报文,边侧通过物联代理多重加密认证算法进行身份认证建立连接,使用分布式多维智能交互协议对该请求进行可接入性核验和回应;再按照约定交互协议格式,设备向边侧发送设备标识,利用工业互联网安全解析技术,边侧识别出设备类型、厂家和协议内容,最后以可信安全交互协议为基础,边侧和设备之间进行快速交互,将设备业务数据上传。
进一步地,所述电力终端智能识别模型包括数据预处理模块、数据增强模块、终端识别模块和设备分类模块;
所述数据预处理模块对原始采集的流量数据和报文数据进行预处理;
所述数据增强模块基于GAN的数据扩展模型,使用全连接网络设计生成器和判别器,通过训练模型提升GAN的生成能力,使得判别器无法判断样本是来自生成器的输出还是真实输出,再采用生成器生成多个虚假样本;
所述终端识别模块包括相互连接的CNN层、BILSTM层、分类层和CNN孪生网络;
所述CNN层包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、展平层、第一全连接层、第一正则化层;所述CNN层利用第一卷积层和第二卷积层的空间特征提取能力提取流量数据和报文数据的空间特征,并使用第一池化层、第二池化层在对提取的空间特征实现二次采样,降低特征的维度并对数据进行压缩,第一全连接层通过每个神经元的反馈对第一全连接层进行模型权重更新,最后将第一全连接层的输出送入到BILSTM层;
所述BILSTM层包括依次连接的第一BILSYM层、第二正则化层、第二BILSYM层、第三正则化层、第二全连接层;所述BILSTM层通过LSTM提取输入序列的长期相关性,提取网络通信流量的时域特征,时域特征包括数据包的定时关系和流持续时间,并通过搭建双向LSTM,分别学习模型的正向输入和反向输出;
所述分类层包括softmax层和结果输出层,用于根据BILSTM层输出的流量数据和报文数据的时空特征,对终端设备的类别进行初步识别;如果识别率小于预设识别率阈值,则将待识别的物联网设备发出的单向流量数据发送至CNN孪生网络;所述CNN孪生网络的两个分支分别对输入的待识别的物联网设备的流量数据与已经标识设备类型数据的流量数据进行处理,分别得到相应的特征矩阵;损失值计算单元计算两个特征矩阵之间的欧式距离的平均值,并通过最小距离的平均值对待识别的物联网设备进行设备类型识别;
所述CNN孪生网络是基于两个CNN网络搭建一个耦合结构的网络模型得到,两个卷积网络共享权值,两个分支采用相同结构的神经网络;所述CNN孪生网络的损失值定义为不同的样本通过两个人工神经网络输出得到的特征矩阵的距离。
进一步地,所述数据预处理模块包括流生成单元、无关特征去除单元和流量向量化单元;
所述流生成单元使用Splitcaptool将流量数据和报文数据处理为具有相同5元组信息的网络流;所述无关特征去除单元消除网络流中包括MAC地址、IP地址在内的唯一标识的干扰特征数据;所述流量向量化单元使用填充方法对网络流量数据进行填充,生成具有固定个数和固定大小的数据报。
进一步地,所述数据增强模块训练数据扩展模型的过程包括:
初始化判别器D的参数和生成器G的参数,并从真实样本数据中获取n个真实样本数据,将n个真实样本放入判别器D,将模型输出和真实标签做对比,计算判别器模型的损失并且反向传播传播误差;
从先验分布噪声中采样获得n个噪声样本,并将噪声样本放入生成器,经过生成器生成虚假样本;
将生成器生成的虚假样本放入判别器,将模型输出和真实标签做对比,计算模型的损失并且反向传播传播误差,并对判别器的模型的权重和参数进行更新,经过多次的迭代更新,使得判别器D被训练的尽可能的从生成的数据中识别真实的数据;
将生成器生成的虚假样本放入判别器,将模型输出和真实标签做对比,计算生成器模型的损失并且反向传播传播误差,并对生成器的模型的权重和参数进行更新,经过多次的迭代更新,使得生成器被训练去尽可能地缩小生成数据和真实数据之间的差距。
进一步地,所述边缘层包括边缘层数据预处理模块、边缘层数据应用模块、标签设定模块和边缘存储模块;
所述边缘层数据预处理模块包括依次连接的数据类型分类单元、数据标准化表述单元、数据集成与融合单元和数据标签管理单元;所述数据类型分类单元用于对感知层海量数据进行分类,将其划分为结构化数据和非结构化数据,由所述数据标准化表述单元分别对结构化数据和非结构化数据进行标准化处理;所述数据集成与融合单元将标准化数据处理后的数据进行集成和融合,再由所述数据标签管理单元调用标签设定模块中的自动标签设定组件和手动标签设定组件为融合后的数据设置相应的标签,经网络层发送至平台层;
所述边缘层数据应用模块内设置有多个边缘节点,所述边缘层数据应用模块接收应用层下发的微服务,由边缘节点承担部分数据应用业务,实现数据的就地应用;
所述边缘存储模块用于存储边缘层数据应用模块产生的业务数据和相应的业务文件。
进一步地,所述平台层包括kubernetes平台、容器仓库和数据应用模块;
所述kubernetes平台包括容器编排模块和调度策略设计模块;所述容器编排模块将部分应用拆分成多个微服务并封装成容器镜像,容器之间存在特定的调用层次关系,从最底层微服务开始,完成容器编排;所述调度策略设计模块根据动态评估因素定期评估边缘节点的性能,根据调度策略动态调整拓扑结构,为边缘节点编排相应的微服务容器;所述动态评估因素包括边缘节点的计算能力、业务的实时性等级和数据计算的中心化阈值;
所述容器仓库用于存放数据应用对应的所有微服务对应的应用容器;
所述数据应用模块用于根据kubernetes平台的编排,将部分微服务卸载至对应的边缘节点,通过云端的容器仓库为边缘节点下载安装指定的应用容器,为应用容器配置好相关通信服务和数据获取接口,由边缘节点承担部分数据应用业务,与边缘节点通过云边协同模式对应用进行协同计算。
进一步地,所述调度策略设计模块包括设备重要性标记单元、边缘节点计算能力统计单元、路由表维护单元和调度单元;
所述重要性标记单元根据边缘端设备的类型,对只能用于本地数据计算的设备进行标记,将剩余的设备标记为边缘节点;当有计算任务下发到边缘节点时,各边缘节点优先就地处理本地数据的计算;
所述边缘节点计算能力统计单元根据边缘节点的物理配置,对各边缘节点的计算能力情况进行标识,并统计各个边缘节点的实时计算资源;
所述路由表维护单元用于根据各边缘节点的路由情况,维护路由表,用于获取各边缘节点的最短路由,划分得到多个设备资源池;当有计算任务下发到边缘节点且该边缘节点的计算资源已经不足时,遍历该边缘节点对应的设备资源池,优先选取路由最短且能够承载本次计算任务的边缘节点接收该计算任务,否则,将计算任务发送至调度单元;
所述调度单元对接收的计算任务进行分析,对接收到的应用数据的中心化阈值、实时性等级进行分析,如果中心化阈值较低且实时性等级较高,则由应用层完成计算,否则,根据两者的综合评分计算优先级,进入优先级队列,依次分配给应用层或者具有空闲计算资源的边缘节点。
与现有技术相比,本发明的有益效果如下:
第一,本发明的基于云边协同的电力微服务分层系统,综合考虑电力终端和应用计算的实际情况,基于“微服务+容器”实现对应用数据处理策略的动态调度,本发明能够在同时考虑云平台数据处理能力和电力终端自身属性的情况下最大限度挖掘海量数据中巨大的应用价值,降低数据处理时延,缓解云平台的资源压力。
第二,本发明的基于云边协同的电力微服务分层系统,对所有定制化开发的软件均采用微服务架构进行部署,以消息总线的方式实现服务交互,采用去中心化部署,同时考虑边缘设备的属性、边缘节点的计算能力、业务的实时性等级和数据计算的中心化阈值等因素,对计算任务进行动态化调度,将数据和计算分布在不同的节点上的,很好的避免了数据的中心化聚集带来的信任问题,也提升了数据合作过程中的计算效率。
附图说明
图1为本发明实施例的基于云边协同的电力微服务分层系统的总体结构示意图;
图2为本发明实施例的设备标识体系架构示意图;
图3为本发明实施例的设备标识原理示意图;
图4为本发明实施例的电力终端智能识别模型工作原理示意图;
图5为流量向量化示意图;
图6为FCGAN架构图;
图7为本发明实施例的Conv-BiLSTM的架构示意图;
图8为孪生网络架构示意图;
图9为容器化技术的云边协同软件设计示意图。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
图1为本发明实施例的基于云边协同的电力微服务分层系统的总体结构示意图。参见图1,本发明公开了一种基于云边协同的电力微服务分层系统,所述电力微服务分层系统包括感知层、边缘层、网络层、平台层和应用层;
所述感知层通过电力物联网各类传感器实时收集电力系统能源生产端、消费端现场坏境以及设备运行状态数据,并通过在各端部署的感知层设备采取了近实时的采样频率;
所述边缘层对感知层海量数据进行处理,完成包括数据标准化描述、集成与融合在内的预处理过程;
所述网络层建立边缘层和平台层的桥梁,使用网络通信技术,完成电力物联网边缘层和平台层之间数据双向传输;
所述平台层部署在云端,搭建云数据中心和云平台中心,承载电力系统各环节运行控制数据、设备管理数据、市场运营数据的统一化存储与管理任务;云数据中心完成数据的收集与更新,对数据信息进行统一处理,并通过NoSQL数据库、分布式数据库进行数据存储;云平台中心是资源管理平台、服务支撑平台、生产控制平台的集合;
所述应用层内利用平台层提供的数据、接口实现对电力终端的智能识别、可信交互、自动辨识、智能运维检修、主网监测、数据挖掘各类应用;
所述平台层还将部分应用拆分成多个微服务并封装成容器镜像,容器之间存在特定的调用层次关系,从最底层微服务开始,完成容器编排,识别边缘层当前时刻的边缘设备的属性信息以得到相应的边缘节点,再根据评估得到的边缘节点的资源情况,将部分微服务下放至对应的边缘节点,通过云端的容器仓库为边缘节点下载安装指定的应用容器,为应用容器配置好相关通信服务和数据获取接口,由边缘节点承担部分数据应用业务,实现数据的就地应用。
本发明的云边协同计算首先需要对电力物联终端进行智能辨识,具体的,参见图2和图3,首先研究基于设备流量、报文特征等电力终端智能识别模型,并通过智能识别模型为电子载体构建合法设备特征库,然后在能准确识别电力物联终端的基础上,通过预先对电子载体接入前的安全风险分析,从可信标识的端侧电子载体接入阶段消除风险。并在端侧接入时使用标识密码算法,为电子载体交互提供安全和加密的交互环境;并提出一个基于流量特征标识的终端安全管控技术,通过控制器的中继作用搜集静态信息,并使用分类算法实现端侧自动发现和辨识的电子终端技术,并持续分析流量的动态信息,对终端流量进行监控分析,实现电子载体的风险管控,解决了物联网电子设备缺乏严格管控而导致的安全问题。专利号为CN113726809A的发明中公开了一种基于流量数据的物联网设备识别方法,专利号为CN114024757A的发明中公开了一种基于标识密码算法的电力物联网边缘终端接入方法及系统。本申请可以采用与其类似的技术方案,具体地,所述应用层部署有电力终端智能识别模型和轻量级可信标识的端侧电子载体交互与自动辨识模型;所述电力终端智能识别模型用于对位于电力系统内的存量终端设备进行识别,具体地,在边侧提取或监听设备报文,结合协议规则库构建和逆向分析技术,采用基于Aho-Corasick自动机的报文协议深度解析,在边侧对终端的设备报文和流量进行建模和分析,提取厂家、业务和交互协议的动态特征,再使用孪生网络实现特征标识和协议的快速匹配,边侧通过相应协议与设备建立连接,通过工业互联网安全解析技术解析设备业务数据,最后将设备业务数据上传;所述轻量级可信标识的端侧电子载体交互与自动辨识模型用于与位于电力系统外的增量终端进行交互,并自动辨识增量终端的业务数据,具体地,设备向边侧发送设备接入请求报文,边侧通过物联代理多重加密认证算法进行身份认证建立连接,使用分布式多维智能交互协议对该请求进行可接入性核验和回应;再按照约定交互协议格式,设备向边侧发送设备标识,利用工业互联网安全解析技术,边侧识别出设备类型、厂家和协议内容,最后以可信安全交互协议为基础,边侧和设备之间进行快速交互,将设备业务数据上传。
优选的,本发明针对专利号为CN113726809A的发明中的技术方案中不适配和未研究得出的网络结构部分做了优化,具体地,参见图4,所述电力终端智能识别模型包括数据预处理模块、数据增强模块、终端识别模块和设备分类模块;
所述数据预处理模块对原始采集的流量数据和报文数据进行预处理;
所述数据增强模块基于GAN的数据扩展模型,使用全连接网络设计生成器和判别器,通过训练模型提升GAN的生成能力,使得判别器无法判断样本是来自生成器的输出还是真实输出,再采用生成器生成多个虚假样本;
所述终端识别模块包括相互连接的CNN层、BILSTM层、分类层和CNN孪生网络;
所述CNN层包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、展平层、第一全连接层、第一正则化层;所述CNN层利用第一卷积层和第二卷积层的空间特征提取能力提取流量数据和报文数据的空间特征,并使用第一池化层、第二池化层在对提取的空间特征实现二次采样,降低特征的维度并对数据进行压缩,第一全连接层通过每个神经元的反馈对第一全连接层进行模型权重更新,最后将第一全连接层的输出送入到BILSTM层;
所述BILSTM层包括依次连接的第一BILSYM层、第二正则化层、第二BILSYM层、第三正则化层、第二全连接层;所述BILSTM层通过LSTM提取输入序列的长期相关性,提取网络通信流量的时域特征,时域特征包括数据包的定时关系和流持续时间,并通过搭建双向LSTM,分别学习模型的正向输入和反向输出;
所述分类层包括softmax层和结果输出层,用于根据BILSTM层输出的流量数据和报文数据的时空特征,对终端设备的类别进行初步识别;如果识别率小于预设识别率阈值,则将待识别的物联网设备发出的单向流量数据发送至CNN孪生网络;所述CNN孪生网络的两个分支分别对输入的待识别的物联网设备的流量数据与已经标识设备类型数据的流量数据进行处理,分别得到相应的特征矩阵;损失值计算单元计算两个特征矩阵之间的欧式距离的平均值,并通过最小距离的平均值对待识别的物联网设备进行设备类型识别;
所述CNN孪生网络是基于两个CNN网络搭建一个耦合结构的网络模型得到,两个卷积网络共享权值,两个分支采用相同结构的神经网络;所述CNN孪生网络的损失值定义为不同的样本通过两个人工神经网络输出得到的特征矩阵的距离。
所述电力终端智能识别模型的具体工作过程如下:
S11,针对原始pcap文件不能很好的用于深度学习,对原始数据进行预处理,整个数据预处理包括三个部分:流生成、无关特征去除和流量向量化。
流量数据生成:通过tcpdump工具收集物联网终端设备产生的原始流量数据,由于物联网终端设备产生的原始的通信流量包含不同数量的数据包,因此每个数据包的长度不一样,使用Splitcaptool将原始网络流量处理为具有相同5元组信息的网络流
数据清洗:将不相关数据剔除,消除唯一标识的干扰特征数据,如MAC地址,IP地址等,以防止这些数据影响实验结果,减少对模型的干扰效果,使得模型具有更好的泛化能力。因为在小型局域网中,设备的数量是有限的,设备的MAC地址可以唯一地标识设备,若将这些特征输入模型,那么这些特征就会占有较大权重,这可能会影响模型的实际识别和分类能力,它甚至可能导致模型的过度拟合。因此在数据处理模块中消除了这些干扰特征,以防止它们影响模型特征学习的过程。
流量向量化:由于深度神经网络对于网络模型的输入要求具有标准化的格式,但每个网络的数据包的字节大小不同,通过对公共数据的调研分析,确定数据包的数量一般在10个以内,数据包的大小一般在250字节以内,使用填充方法对网络流量数据进行填充,生成具有固定个数和固定大小的数据报。流量向量化的具体示意参见图5。
S12,提出基于FGAN的电力物联终端流量数据增强技术
针对由于设备功能不同以及软件和硬件的特性不同,所产生的流量不同,例如,视频监控设备产生的网络流量非常大,而一些传感器产生的网络流量相对有限,存在某些设备对应的样本数据很少,导致样本数据分布不均衡的问题。为此,参见图6,本发明设计一种基于GAN的数据扩展模型FGAN,使用全连接网络设计生成器和判别器,通过训练模型提升GAN的生成能力,为少样本数据生成,来实现数据增强,解决深度学习中的数据不平衡问题:
。
具体步骤如下:
1)初始化判别器D的参数和生成器G的参数/>,并从真实样本数据中获取n个真实样本数据/>,将n个真实样本放入判别器D,将模型输出和真实标签做对比,计算判别器模型的损失并且反向传播传播误差。
2)从先验分布噪声中采样获得n个噪声样本,并将噪声样本放入生成器,经过生成器生成虚假样本。
3)将生成器生成的虚假样本放入判别器,将模型输出和真实标签做对比,计算模型的损失并且反向传播传播误差,并对判别器的模型的权重和参数进行更新,经过多次的迭代更新,使得判别器D被训练的尽可能的从生成的数据中识别真实的数据。
4)将生成器生成的虚假样本放入判别器,将模型输出和真实标签做对比,计算生成器模型的损失并且反向传播传播误差,并对生成器的模型的权重和参数进行更新,经过多次的迭代更新,使得生成器被训练去尽可能地缩小生成数据和真实数据之间的差距。
经过多次更新后,在损失函数的共同的作用下,使得鉴别器无法判断样本是来自生成器的输出还是真实输出,以达到电力物联设备少样本数据增强的效果。
S13,提出基于Conv-BILSTM提取时空特征的电力终端智能识别模型
针对电力物联网现有的人工提取特征存在效率低下、需要专业领域先验知识支撑以及因为越来越多的物联设备采用了加密协议的问题存在数据混乱的问题,提出了一种基于Conv-BILSTM的物联网设备识别方法CBBI,使用卷积神经网络(CNN)学习网络通信流量的空间特征,例如内部组织结构在网络通信流量中的位置关系,同时使用双向长短时记忆网络(BiLSTM)提取网络通信流量的时域特征,尤其是数据包的定时关系和流持续时间。通过同时学习模型的时空特征,进一步提高了对于物联设备识别的精度和泛化能力,同时CBBI利用深度学习的从原始流量中提取代表性特征和一些潜在的细微特征,实现基于这些学习特征的物联网设备的准确识别,并且对于面对同一设备制造商生产的具有类似功能的物联网设备也能够很好的区别并识别。参见图7,具体步骤如下:
1)搭建CNN(卷积神经网络)层,利用CNN卷积层优异的空间特征提取能力提取空间特征,并使用池化层实现在不影响分类结构的情况下对特征实现二次采样,降低特征的维度并对数据进行压缩,有效的避免了模型参数过拟合的问题,并在池化层后接入全连接层,通过每个神经元的反馈对全连接层进行模型权重更新,最后将全连接层的输出送入到双向LSTM层。
2)搭建BILSTM层,使用LSTM解决了原本RNN存在梯度爆炸和梯度消失的问题,通过LSTM提取输入序列的长期相关性,使用LSTM的遗忘门机制,确定哪些历史数据需要被遗忘,使用输入门的机制确定哪些历史信息需要被存储,使用输出门确定哪些状态需要输出,并通过搭建双向LSTM,分别学习模型的正向输入和反向输出,使用BiLSTM有效的增加了网络中可用的信息量,并使得模型可以从网络中学习更多的上下文信息。
S14,提出基于孪生网络的新型终端自动纳管技术。
针对Conv-BiLSTM模型在识别新的终端设备存在性能欠佳的问题,通过获取物联网设备自身所发出的单向流量数据,在Conv-BILSTM智能识别出已知类型的网络流量样本的基础上,设计CNN孪生网络来检测未知样本,通过计算两者经过训练后的孪生网络的特征输出矩阵之间的距离,从而实现针对物联网设备流量的类型准确识别,并通过设置最短平均距离的阈值,从而使模型能够识别新类型的物联网设备,适用于现今的大量物联网设备和类型情况,而且能够在无需对现有物联网网络设备进行改造。
具体步骤如下:
1)先将流量向量化得到的特征向量和对应的设备类型数据,采用配对比较法,每次取出两个特征向量后,两两输入到孪生网络,完成对孪生网络进行训练,从而得到物联网设备识别模型。在这里采用的孪生网络的目的是计算这两个输入的相似程度,具体为设计基于两个CNN网络搭建一个耦合结构的网络模型,这种耦合是通过两个卷积网络共享权值来体现,两边采用相同结构的神经网络。孪生网络的损失值定义为不同的样本通过两个人工神经网络输出得到的特征矩阵的“距离”,以此完成孪生网络的训练。孪生网络架构参见图8。
2)然后再将待识别的物联网设备的流量数据与已经标识设备类型数据的流量数据,一同输入到得到的基于孪生网络的物联网设备识别模型中,计算待识别的物联网设备所对应的特征矩阵,计算物联网设备包含的流量数据所对应的特征矩阵之间的欧式距离的平均值,并通过最小距离的平均值对待识别的物联网设备进行设备类型识别,并将所求的最短平均距离仍大于实验中阈值th=0.08则判定为新设备:
。
至于对增量终端的交互和辨识,可以采用专利号为CN114024757A的发明中公开的基于标识密码算法的电力物联网边缘终端接入方法,通过获取物联网终端和边缘端的身份标识,利用终端的唯一标识ID,为终端生成公钥,使用平台部署密钥生成中心PKG为终端生成密钥,以密钥作为安全接入的凭证,实现了基于标识密码算法的轻量级终端身份认证及安全通信机制,提升了边缘环境下电力物联网终端接入的安全性及可靠性,降低了大规模终端安全通信的管控难度。整个安全通信架构由电力物联网终端、边缘物联代理和安全接入平台(密钥生成中心,PKG),其中电力物联网终端为非涉控终端,通过本地通信网络接入边缘物联代理,并进一步接入电力物联网系统中。
针对以往的安全管控系统防护能力弱,终端的安全防护改造难度大,本发明提出的基于流量特征识别的哑终端安全管控技术,利用流量识别的3种应用,通过控制器和管控服务器做到了安全监控、细粒度安全准入、精准攻击防御.全面加强了现有网络对于终端的安全准入和风险管控,解决了物联网设备接入阶段缺乏严格管控而导致的非法终端接入、终端被非法控制、合法终端越权访问等安全问题,克服了传统解决方案依赖于终端改造、网络改造、终端覆盖不全等缺点。具体实施步骤如下:
终端发现:提出了一种无客户端的终端主动发现与信息采集技术,即通过向终端发送不同协议的探询报文,根据反馈报文分析终端的IP、MAC、厂家、设备类型、协议端口等终端信息.通过向终端发送设计的非典型报文,根据终端返回报文内容,掌握终端处理异常机制,进而分析出终端的操作系统等深层次的特征信息,同时监测网络流量,对网络流量报文进行分析,统计出终端的网络端口的相关信息,基于上述采集的信息统称为静态流量特征为终端身份鉴别提供信息。
准入控制:将合法终端的流量特征录入对应类别的合法特征库,当在网中发现未准入终端时,利用终端发现收集到的静态流量特征以及被动监听到的流量包进行分类,在对应类别的特征库中寻找该MAC地址,并对比静态流量特征.当对比算法认为该终端非法或者特征库中未录入该MAC,则禁止该终端入网。在这里采用基于规则过滤和机器学习的分类算法,分析静态流量特征,通过投票机制来判断该设备的设备类型,结合使用SVM算法辅助分类,综合SVM算法的输出结果来判断最终类别。
终端行为监控:当合法终端入网后,由控制器实时的监控设备终端的流量行为,将数据包上传给管控服务器,服务器通过将网络中不同时刻的流量包看作一个随机模型.当网络受到攻击时,当前时刻的网络模型的随机分布将会发生异常.使用改进的CUSVM算法来进行异常判断。
通过提取终端的流量特征,实现终端的身份鉴别和行为监管.在设备接入时,提取终端的流量静态特征实现身份鉴别;在设备接入后通过分析流量动态行为特征判断其是否存在异常行为.发现异常行为后阻断会话连接.
使用控制机制,执行终端的发现和接受终端的网络访问请求,并通过分析监控到的流量内容特征来收集终端信息,使用基于流量特征的分类算法进行设备分类,然后通过与预先分类建立好的合法特征库对比,鉴别终端身份实现准入控制,并且终端流量进行监控分析,若发生异常则将其阻断,实现风险管控,解决了物联网电子设备缺乏严格管控而导致的安全问题。
通过多维度深入调研工业互联网标识体系,总结新型电力物联终端设备辨识需求,从标识方案、解析体系、安全保障、兼容机制四个方面提出新型电力物联终端智能辨识与工业互联网标识融合技术方案。在此基础上,遵循“业务目标-功能要素-实施方式-技术支撑”的主线,设计基于报文流量等特征以及基于工业互联网标识的边缘侧可信标识体系架构,从而构建电力物联终端边缘侧可信标识体系,以此支撑传统存量终端和新增终端设备的智能辨识。对于存量终端设备,首先,在边侧提取或监听设备报文,结合协议规则库构建和逆向分析技术,采用基于Aho-Corasick自动机的报文协议深度解析,在边侧(APP)对终端的设备报文和流量进行建模和分析,提取厂家、业务和交互协议的动态特征,然后,使用孪生网络实现特征标识和协议的快速匹配,边侧(APP)通过相应协议与设备建立连接,通过工业互联网安全解析技术解析设备业务数据,最后将设备业务数据上传。对于增量终端设备,首先设备向边侧(APP)发送设备接入请求报文,边侧通过物联代理多重加密认证算法进行身份认证建立连接,使用分布式多维智能交互协议对该请求进行可接入性核验和回应;然后,按照约定交互协议格式,设备向边侧发送设备标识,利用工业互联网安全解析技术,边侧(APP)识别出设备类型、厂家和协议等内容,最后以可信安全交互协议为基础,边侧(APP)和设备之间进行快速交互,将设备业务数据上传。
随着物联网与通信技术的发展,电力物联网数据呈现海量异构的特点。针对目前云计算架构下电力物联网数据处理存在时延大、云计算压力大等问题,研究一种基于云边协同的数据处理方法。首先通过数据标准化描述、集成与融合等预处理步骤,解决数据多源异构、冗余度高等问题;然后针对数据处理提出了基于容器化技术的云边协同方法,将数据处理划分为多个微服务部署到边缘层,达到缓解云计算压力的目的。
由于资源的限制,难以将完整的数据应用业务部署在边缘节点上,因此将微服务架构应用于电力物联网中,微服务的思想是小而自治、协同工作,具有支持独立部署、复杂度可控、技术选型灵活、支持动态扩展的特点。在电力物联网应用中,可以将完整的数据应用划分为多个细粒度的微服务,边缘层根据实际需求与资源情况,轻量化、柔性化地进行微服务部署,达到缓解云平台负载目的。
所述边缘层包括边缘层数据预处理模块、边缘层数据应用模块、标签设定模块和边缘存储模块;
所述边缘层数据预处理模块包括依次连接的数据类型分类单元、数据标准化表述单元、数据集成与融合单元和数据标签管理单元;所述数据类型分类单元用于对感知层海量数据进行分类,将其划分为结构化数据和非结构化数据,由所述数据标准化表述单元分别对结构化数据和非结构化数据进行标准化处理;所述数据集成与融合单元将标准化数据处理后的数据进行集成和融合,再由所述数据标签管理单元调用标签设定模块中的自动标签设定组件和手动标签设定组件为融合后的数据设置相应的标签,经网络层发送至平台层;
所述边缘层数据应用模块内设置有多个边缘节点,所述边缘层数据应用模块接收应用层下发的微服务,由边缘节点承担部分数据应用业务,实现数据的就地应用;
所述边缘存储模块用于存储边缘层数据应用模块产生的业务数据和相应的业务文件。
微服务架构在电力物联网云边协同模式下具有较大的优势,但实际的服务部署和构建过程存在跨平台等众多困难,因此可以考虑采用如图9所示的 “微服务+容器技术”实现数据应用的云边协同。使用容器技术为应用提供单独的运行环境,屏蔽底层平台的差异性,将用户服务封装在容器中形成容器镜像,以实现灵活的服务启停、弹性扩缩容。使用基于容器技术的云边协同方案能够根据边缘层节点的综合性能,将部分或全部数据应用业务下放至边缘层,最大限度发挥边缘计算的能力,有效地缓解平台层的计算压力。
所述平台层包括kubernetes平台、容器仓库和数据应用模块;
所述kubernetes平台包括容器编排模块和调度策略设计模块;所述容器编排模块将部分应用拆分成多个微服务并封装成容器镜像,容器之间存在特定的调用层次关系,从最底层微服务开始,完成容器编排;所述调度策略设计模块根据动态评估因素定期评估边缘节点的性能,根据调度策略动态调整拓扑结构,为边缘节点编排相应的微服务容器;所述动态评估因素包括边缘节点的计算能力、业务的实时性等级和数据计算的中心化阈值;
所述容器仓库用于存放数据应用对应的所有微服务对应的应用容器;
所述数据应用模块用于根据kubernetes平台的编排,将部分微服务卸载至对应的边缘节点,通过云端的容器仓库为边缘节点下载安装指定的应用容器,为应用容器配置好相关通信服务和数据获取接口,由边缘节点承担部分数据应用业务,与边缘节点通过云边协同模式对应用进行协同计算。
对所有定制化开发的软件均采用微服务架构进行部署,以消息总线的方式实现服务交互,采用去中心化部署。随着数据合作场景的日趋复杂化,在一个计算场景下,可能需要使用到不同行业、不同机构的数据,同一份数据也有众多的需求方,将数据和计算分布在不同的节点上的,很好的避免了数据的中心化聚集带来的信任问题,也提升了数据合作过程中的计算效率。数据应用业务的云边协同过程可以分为容器编排、容器安装配置、容器动态调整几个过程:
容器编排:平台层的Kubernetes负责根据动态评估因素评估边缘节点的性能,并为边缘节点编排特定的微服务容器。容器的编排需要注意容器间的依赖性,一个完整的数据应用拆分成多个微服务并封装成容器镜像,容器之间存在特定的调用层次关系。在云边协同模式下,边缘层和平台层微服务之间频繁数据交互会产生极大的通信开销,因此为边缘节点进行容器编排时,需从最底层微服务开始编排。
容器安装配置:完成容器编排后,通过云端的容器仓库可以为边缘节点下载安装指定的应用容器。容器在启动前需要完成相关配置,需要为其配置好相关通信服务;其下层是本地数据库,需要配置好数据获取接口。
容器动态管理:微服务容器在运行过程中进行业务升级改造、扩缩容需要动态管理容器。动态管理过程需要重新评估边缘节点的资源情况并根据调度策略动态调整拓扑结构。
优选的,所述调度策略设计模块包括设备重要性标记单元、边缘节点计算能力统计单元、路由表维护单元和调度单元;
所述重要性标记单元根据边缘端设备的类型,对只能用于本地数据计算的设备进行标记,将剩余的设备标记为边缘节点;当有计算任务下发到边缘节点时,各边缘节点优先就地处理本地数据的计算;
所述边缘节点计算能力统计单元根据边缘节点的物理配置,对各边缘节点的计算能力情况进行标识,并统计各个边缘节点的实时计算资源;
所述路由表维护单元用于根据各边缘节点的路由情况,维护路由表,用于获取各边缘节点的最短路由,划分得到多个设备资源池;当有计算任务下发到边缘节点且该边缘节点的计算资源已经不足时,遍历该边缘节点对应的设备资源池,优先选取路由最短且能够承载本次计算任务的边缘节点接收该计算任务,否则,将计算任务发送至调度单元;
所述调度单元对接收的计算任务进行分析,对接收到的应用数据的中心化阈值、实时性等级进行分析,如果中心化阈值较低且实时性等级较高,则由应用层完成计算,否则,根据两者的综合评分计算优先级,进入优先级队列,依次分配给应用层或者具有空闲计算资源的边缘节点。
在判断数据计算是否应该就地应用,或者是上传到云端再使用,或者是由其它边缘层设备资源进行应用,需要根据实际需求和资源情况进行判断,例如,根据边缘端设备的配置和当前资源使用情况进行动态判断;首先,根据边缘端设备的类型/重要性情况,对设备进行标记,比如,规定某种类型、归属于某个重要单位部门的设备,在某个时段只用于本地数据计算的应用,而其它边缘端设备,既可以用于本地数据计算,又可以承接其它边缘端设备相关的计算任务,相当于根据规则把边缘端设备划分到不同的资源池;然后,根据边缘端设备的物理配置,对各设备的计算能力情况进行标识,并根据各边缘端设备的路由情况,维护一个路由表,能够获取各设备的最短路由情况;当有计算任务下发到边缘端时,各设备优先就地处理本地数据的计算,并且将此时的资源负载情况反馈给云平台,如果又有后续计算任务下达:如果本设备资源充足,就继续优先本设备的资源,就地进行数据计算;如果本设备资源已经不足,就遍历所在的设备资源池,优先选取路由最短且能够承载本次计算任务的设备;如果该资源池所有的设备都不能承载本次计算任务,则将此情况反馈给云平台,由其调配资源进行计算,或者排队等待、进行其它资源池的调配处理措施。
在本发明中,并不是每个边缘层的边缘设备均可以作为边缘节点,其状态根据自身属性动态变化,需要对边缘设备进行准确辨识;同时,对于设备资源池无法处理的计算任务,调度单元会分析该计算任务是否能够进入边缘层进行计算,如果不能,则直接放在平台层处理,如果可以,再根据中心化阈值和实时性要求计算优先级评分,尽可能地将实时性要求高且去中心化计算需求迫切的数据优先安排在边缘层计算处理。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现,例如,面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器运行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上运行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上运行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (7)
1.一种基于云边协同的电力微服务分层系统,其特征在于,所述电力微服务分层系统包括感知层、边缘层、网络层、平台层和应用层;
所述感知层通过电力物联网各类传感器实时收集电力系统能源生产端、消费端现场坏境以及设备运行状态数据,并通过在各端部署的感知层设备采取了近实时的采样频率;
所述边缘层对感知层海量数据进行处理,完成包括数据标准化描述、集成与融合在内的预处理过程;
所述网络层建立边缘层和平台层的桥梁,使用网络通信技术,完成电力物联网边缘层和平台层之间数据双向传输;
所述平台层部署在云端,搭建云数据中心和云平台中心,承载电力系统各环节运行控制数据、设备管理数据、市场运营数据的统一化存储与管理任务;云数据中心完成数据的收集与更新,对数据信息进行统一处理,并通过NoSQL数据库、分布式数据库进行数据存储;云平台中心是资源管理平台、服务支撑平台、生产控制平台的集合;
所述应用层利用平台层提供的数据、接口实现对电力终端的智能识别、可信交互、自动辨识、智能运维检修、主网监测、数据挖掘各类应用;
所述平台层还将部分应用拆分成多个微服务并封装成容器镜像,容器之间存在特定的调用层次关系,从最底层微服务开始,完成容器编排,识别边缘层当前时刻的边缘设备的属性信息以得到相应的边缘节点,根据评估得到的边缘节点的资源情况,将部分微服务下放至对应的边缘节点,通过云端的容器仓库为边缘节点下载安装指定的应用容器,为应用容器配置好相关通信服务和数据获取接口,由边缘节点承担部分数据应用业务,实现数据的就地应用;
所述平台层包括kubernetes平台、容器仓库和数据应用模块;
所述kubernetes平台包括容器编排模块和调度策略设计模块;所述容器编排模块将部分应用拆分成多个微服务并封装成容器镜像,容器之间存在特定的调用层次关系,从最底层微服务开始,完成容器编排;所述调度策略设计模块根据动态评估因素定期评估边缘节点的性能,根据调度策略动态调整拓扑结构,为边缘节点编排相应的微服务容器;所述动态评估因素包括边缘节点的计算能力、业务的实时性等级和数据计算的中心化阈值;
所述容器仓库用于存放数据应用对应的所有微服务对应的应用容器;
所述数据应用模块用于根据kubernetes平台的编排,将部分微服务卸载至对应的边缘节点,通过云端的容器仓库为边缘节点下载安装指定的应用容器,为应用容器配置好相关通信服务和数据获取接口,由边缘节点承担部分数据应用业务,与边缘节点通过云边协同模式对应用进行协同计算。
2.根据权利要求1所述的基于云边协同的电力微服务分层系统,其特征在于,所述应用层部署有电力终端智能识别模型和轻量级可信标识的端侧电子载体交互与自动辨识模型;
所述电力终端智能识别模型用于对位于电力系统内的存量终端设备进行识别,具体地,在边侧提取或监听设备报文,结合协议规则库构建和逆向分析技术,采用基于Aho-Corasick自动机的报文协议深度解析,在边侧对终端的设备报文和流量进行建模和分析,提取厂家、业务和交互协议的动态特征,再使用孪生网络实现特征标识和协议的快速匹配,边侧通过相应协议与设备建立连接,通过工业互联网安全解析技术解析设备业务数据,最后将设备业务数据上传;
所述轻量级可信标识的端侧电子载体交互与自动辨识模型用于与位于电力系统外的增量终端进行交互,并自动辨识增量终端的业务数据,具体地,设备向边侧发送设备接入请求报文,边侧通过物联代理多重加密认证算法进行身份认证建立连接,使用分布式多维智能交互协议对该设备接入请求报文进行可接入性核验和回应;再按照约定交互协议格式,设备向边侧发送设备标识,利用工业互联网安全解析技术,边侧识别出设备类型、厂家和协议内容,最后以可信安全交互协议为基础,边侧和设备之间进行快速交互,将设备业务数据上传。
3.根据权利要求2所述的基于云边协同的电力微服务分层系统,其特征在于,所述电力终端智能识别模型包括数据预处理模块、数据增强模块、终端识别模块和设备分类模块;
所述数据预处理模块对原始采集的流量数据和报文数据进行预处理;
所述数据增强模块基于GAN的数据扩展模型,使用全连接网络设计生成器和判别器,通过训练模型提升GAN的生成能力,使得判别器无法判断样本是来自生成器的输出还是真实输出,再采用生成器生成多个虚假样本;
所述终端识别模块包括相互连接的CNN层、BILSTM层、分类层和CNN孪生网络;
所述CNN层包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、展平层、第一全连接层、第一正则化层;所述CNN层利用第一卷积层和第二卷积层的空间特征提取能力提取流量数据和报文数据的空间特征,并使用第一池化层、第二池化层在对提取的空间特征实现二次采样,降低特征的维度并对数据进行压缩,第一全连接层通过每个神经元的反馈对第一全连接层进行模型权重更新,最后将第一全连接层的输出送入到BILSTM层;
所述BILSTM层包括依次连接的第一BILSYM层、第二正则化层、第二BILSYM层、第三正则化层、第二全连接层;所述BILSTM层通过LSTM提取输入序列的长期相关性,提取网络通信流量的时域特征,时域特征包括数据包的定时关系和流持续时间,并通过搭建双向LSTM,分别学习模型的正向输入和反向输出;
所述分类层包括softmax层和结果输出层,用于根据BILSTM层输出的流量数据和报文数据的时空特征,对终端设备的类别进行初步识别;如果识别率小于预设识别率阈值,则将待识别的物联网设备发出的单向流量数据发送至CNN孪生网络;所述CNN孪生网络的两个分支分别对输入的待识别的物联网设备的流量数据与已经标识设备类型数据的流量数据进行处理,分别得到相应的特征矩阵;损失值计算单元计算两个特征矩阵之间的欧式距离的平均值,并通过最小距离的平均值对待识别的物联网设备进行设备类型识别;
所述CNN孪生网络是基于两个CNN网络搭建一个耦合结构的网络模型得到,两个卷积网络共享权值,两个分支采用相同结构的神经网络;所述CNN孪生网络的损失值定义为不同的样本通过两个人工神经网络输出得到的特征矩阵的距离。
4.根据权利要求3所述的基于云边协同的电力微服务分层系统,其特征在于,所述数据预处理模块包括流生成单元、无关特征去除单元和流量向量化单元;
所述流生成单元使用Splitcaptool将流量数据和报文数据处理为具有相同5元组信息的网络流;所述无关特征去除单元消除网络流中包括MAC地址、IP地址在内的唯一标识的干扰特征数据;所述流量向量化单元使用填充方法对网络流量数据进行填充,生成具有固定个数和固定大小的数据报。
5.根据权利要求3所述的基于云边协同的电力微服务分层系统,其特征在于,所述数据增强模块训练数据扩展模型的过程包括:
初始化判别器D的参数 和生成器G的参数,并从真实样本数据中获取n个真实样本数据,将n个真实样本放入判别器D,将模型输出和真实标签做对比,计算判别器模型的损失并且反向传播的传播误差;
从先验分布噪声中采样获得n个噪声样本,并将噪声样本放入生成器,经过生成器生成虚假样本;
将生成器生成的虚假样本放入判别器,将模型输出和真实标签做对比,计算模型的损失并且反向传播的传播误差,并对判别器的模型的权重和参数进行更新,经过多次的迭代更新,使得判别器D被训练的从生成的数据中识别真实的数据;
将生成器生成的虚假样本放入判别器,将模型输出和真实标签做对比,计算生成器模型的损失并且反向传播的传播误差,并对生成器的模型的权重和参数进行更新,经过多次的迭代更新,使得生成器被训练去缩小生成数据和真实数据之间的差距。
6.根据权利要求1所述的基于云边协同的电力微服务分层系统,其特征在于,所述边缘层包括边缘层数据预处理模块、边缘层数据应用模块、标签设定模块和边缘存储模块;
所述边缘层数据预处理模块包括依次连接的数据类型分类单元、数据标准化表述单元、数据集成与融合单元和数据标签管理单元;所述数据类型分类单元用于对感知层海量数据进行分类,将其划分为结构化数据和非结构化数据,由所述数据标准化表述单元分别对结构化数据和非结构化数据进行标准化处理;所述数据集成与融合单元将标准化数据处理后的数据进行集成和融合,再由所述数据标签管理单元调用标签设定模块中的自动标签设定组件和手动标签设定组件为融合后的数据设置相应的标签,经网络层发送至平台层;
所述边缘层数据应用模块内设置有多个边缘节点,所述边缘层数据应用模块接收应用层下发的微服务,由边缘节点承担部分数据应用业务,实现数据的就地应用;
所述边缘存储模块用于存储边缘层数据应用模块产生的业务数据和相应的业务文件。
7.根据权利要求1所述的基于云边协同的电力微服务分层系统,其特征在于,所述调度策略设计模块包括设备重要性标记单元、边缘节点计算能力统计单元、路由表维护单元和调度单元;
所述重要性标记单元根据边缘端设备的类型,对只能用于本地数据计算的设备进行标记,将剩余的设备标记为边缘节点;当有计算任务下发到边缘节点时,各边缘节点优先就地处理本地数据的计算;
所述边缘节点计算能力统计单元根据边缘节点的物理配置,对各边缘节点的计算能力情况进行标识,并统计各个边缘节点的实时计算资源;
所述路由表维护单元用于根据各边缘节点的路由情况,维护路由表,用于获取各边缘节点的最短路由,划分得到多个设备资源池;当有计算任务下发到边缘节点且该边缘节点的计算资源已经不足时,遍历该边缘节点对应的设备资源池,优先选取路由最短且能够承载本次计算任务的边缘节点接收该计算任务,否则,将计算任务发送至调度单元;
所述调度单元对接收的计算任务进行分析,对接收到的应用数据的中心化阈值、实时性等级进行分析,如果中心化阈值较低且实时性等级较高,则由应用层完成计算,否则,根据两者的综合评分计算优先级,进入优先级队列,依次分配给应用层或者具有空闲计算资源的边缘节点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310784174.0A CN116506474B (zh) | 2023-06-29 | 2023-06-29 | 一种基于云边协同的电力微服务分层系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310784174.0A CN116506474B (zh) | 2023-06-29 | 2023-06-29 | 一种基于云边协同的电力微服务分层系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116506474A CN116506474A (zh) | 2023-07-28 |
CN116506474B true CN116506474B (zh) | 2023-11-21 |
Family
ID=87318756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310784174.0A Active CN116506474B (zh) | 2023-06-29 | 2023-06-29 | 一种基于云边协同的电力微服务分层系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116506474B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116707141B (zh) * | 2023-07-31 | 2023-11-17 | 国网山东省电力公司阳信县供电公司 | 一种电力运行数据分析方法及系统 |
CN117692257B (zh) * | 2024-02-02 | 2024-04-30 | 数盾信息科技股份有限公司 | 一种电力物联网业务数据的高速加密方法及装置 |
CN118283075A (zh) * | 2024-02-19 | 2024-07-02 | 北京中电飞华通信有限公司 | 基于边缘计算的电力物联网的接入平台、识别方法及设备 |
CN117856453B (zh) * | 2024-03-05 | 2024-05-31 | 四川川能智网实业有限公司 | 智能电网监控及管理系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113887749A (zh) * | 2021-08-23 | 2022-01-04 | 国网江苏省电力有限公司信息通信分公司 | 基于云边协同的电力物联网多维度监控处置方法、设备及平台 |
CN114637262A (zh) * | 2022-03-10 | 2022-06-17 | 广东泰云泽科技有限公司 | 基于5g驱动的智能工厂数字孪生信息的决策控制方法及系统 |
CN114757516A (zh) * | 2022-04-07 | 2022-07-15 | 新疆额尔齐斯河流域开发工程建设管理局 | 一种隧道掘进机全生命周期云平台管理系统 |
-
2023
- 2023-06-29 CN CN202310784174.0A patent/CN116506474B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113887749A (zh) * | 2021-08-23 | 2022-01-04 | 国网江苏省电力有限公司信息通信分公司 | 基于云边协同的电力物联网多维度监控处置方法、设备及平台 |
CN114637262A (zh) * | 2022-03-10 | 2022-06-17 | 广东泰云泽科技有限公司 | 基于5g驱动的智能工厂数字孪生信息的决策控制方法及系统 |
CN114757516A (zh) * | 2022-04-07 | 2022-07-15 | 新疆额尔齐斯河流域开发工程建设管理局 | 一种隧道掘进机全生命周期云平台管理系统 |
Non-Patent Citations (2)
Title |
---|
基于KubeEdge的云边协同技术架构的探索;陈卫;郑炜;汤毅;;微型电脑应用(07);全文 * |
基于边缘计算的电力智慧物联系统设计与实现;崔恒志;蒋承伶;缪巍巍;杨维永;马涛;沈耀威;;电力信息与通信技术(04);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116506474A (zh) | 2023-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116506474B (zh) | 一种基于云边协同的电力微服务分层系统 | |
EP3958606A1 (en) | Methods and devices for pushing and requesting model, storage medium and electronic device | |
CN109194746B (zh) | 基于物联网的异构信息处理方法 | |
CN109709811A (zh) | 一种面向智能制造的边缘计算控制器及其工作方法 | |
CN109936512A (zh) | 流量分析方法、公共服务流量归属方法及相应的计算机系统 | |
CN109587125A (zh) | 一种网络安全大数据分析方法、系统及相关装置 | |
CN114338746B (zh) | 一种用于物联网设备数据收集的分析预警方法及系统 | |
Huang et al. | NFV and blockchain enabled 5G for ultra-reliable and low-latency communications in industry: Architecture and performance evaluation | |
CN109257422B (zh) | 感知网络信息重构方法 | |
CN117931424A (zh) | 一种云环境的网络资源调度优化系统 | |
Okafor et al. | Cyber‐physical network architecture for data stream provisioning in complex ecosystems | |
CN113687989B (zh) | 一种基于无服务器架构的物联网数据异常检测方法及系统 | |
Cheng et al. | Design of IT infrastructure multicloud management platform based on hybrid cloud | |
CN111917848A (zh) | 基于边缘计算和云计算协同的数据处理方法及云服务器 | |
CN111917665A (zh) | 一种终端应用数据流识别方法及系统 | |
CN115037625B (zh) | 网络切片处理方法、装置、电子设备及可读存储介质 | |
CN115314400A (zh) | 网络系统异常检测方法、装置、电子设备及存储介质 | |
Marshoodulla et al. | Big data issues in sdn based iot: A review | |
Pasteris et al. | Data distribution and scheduling for distributed analytics tasks | |
CN113283594B (zh) | 一种基于类脑计算的入侵检测系统 | |
WO2024047377A1 (en) | Method for converting a data packet to or from an internet of things (iot) protocol | |
CN110071845A (zh) | 一种对未知应用进行分类的方法及装置 | |
CN114741426A (zh) | 一种基于类脑存算一体的业务行为检测方法及装置 | |
Yang et al. | Semisupervised Graph Neural Networks for Traffic Classification in Edge Networks | |
CN114938349B (zh) | 物联网数据处理方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |