CN112130999A - 一种基于边缘计算的电力异构数据处理方法 - Google Patents
一种基于边缘计算的电力异构数据处理方法 Download PDFInfo
- Publication number
- CN112130999A CN112130999A CN202011008137.3A CN202011008137A CN112130999A CN 112130999 A CN112130999 A CN 112130999A CN 202011008137 A CN202011008137 A CN 202011008137A CN 112130999 A CN112130999 A CN 112130999A
- Authority
- CN
- China
- Prior art keywords
- data
- source heterogeneous
- database
- heterogeneous data
- edge server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 46
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000002159 abnormal effect Effects 0.000 claims description 29
- 230000005611 electricity Effects 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 21
- 238000000586 desensitisation Methods 0.000 claims description 4
- 239000000725 suspension Substances 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 13
- 238000012986 modification Methods 0.000 abstract description 6
- 230000004048 modification Effects 0.000 abstract description 6
- 238000004904 shortening Methods 0.000 abstract description 2
- 230000006872 improvement Effects 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000010248 power generation Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5072—Grid computing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Bioethics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Storage Device Security (AREA)
Abstract
本发明公开了一种基于边缘计算的电力异构数据处理方法，通过获取电网的多源异构数据，将所述多源异构数据加密上传到源异构数据库，对所述源异构数据库中的多源异构数据进行预处理，对预处理后的多源异构数据进行边缘计算，获得关键信息，将所述关键信息进行分布式存储并上传到云端服务器，将电网设备的多源异构数据在边缘服务器上进行计算处理，提高了电力异构数据的处理效率、加快了电力异构数据处理时间，同时只需要对提取的关键信息上传到云端服务器并进行分布式存储，其他数据云端服务器按需读取，减少数据在传播途中丢失、修改的风险。
Description
技术领域
本发明涉及电力异构数据处理技术领域，尤其涉及一种基于边缘计算的电力异构数据处理方法。
背景技术
随着物联网、大数据的快速发展，电力终端设备数量的迅速增加，导致电网的数据来源增多，数据类型多样，数据规模和存储压力急剧增大，对海量多源异构数据的高效存储与快速处理的要求也不断提升。
目前，针对海量的电力异构数据主要采用云计算处理方案并存储，但是，由于不同业务对数据访问性能要求不同，一方面，单一的数据库存储技术无法满足所有业务对数据的存储要求；另一方面，将海量的电力异构数据统一上传到云服务器处理，对云服务器的计算、处理效率要求极高，而且容易在数据上传过程中出现丢失现象。
发明内容
基于此，本发明提供了一种基于边缘计算的电力异构数据处理方法，其能有效提高海量电力异构数据的计算处理效率，实现电力异构数据的分布式存储。
本发明实施例提供了一种基于边缘计算的电力异构数据处理方法，包括：
获取电网的多源异构数据；
将所述多源异构数据加密上传到源异构数据库；
对所述源异构数据库中的多源异构数据进行预处理；
对预处理后的多源异构数据进行边缘计算，获得关键信息；
将所述关键信息进行分布式存储并上传到云端服务器。
作为上述方案的改进，所述将所述多源异构数据加密上传到源异构数据库，包括：
根据所述多源异构数据的数据类型和采集时间间隔，对所述多源异构数据进行安全等级标注；
根据所述多源异构数据的安全等级，对所述多源异构数据进行加密；
将加密后的多源异构数据上传到源异构数据库。
作为上述方案的改进，所述根据所述多源异构数据的安全等级，对所述多源异构数据进行加密，包括：
当所述多源异构数据的安全等级标注为高等级时，采用非对称加密算法对所述多源异构数据进行加密；
当所述多源异构数据的安全等级标注为低等级时，对所述多源异构数据进行数据脱敏处理。
作为上述方案的改进，所述源异构数据库中包括结构化数据库和非结构化数据库；
所述对所述源异构数据库中的多源异构数据进行预处理，包括：
将所述多源异构数据中的结构化数据写入所述结构化数据库中相应的ID编号二维表中；其中，一个ID编号二维表对应一种结构化数据；
将所述多源异构数据中的非结构化数据按照时间顺序写入所述非结构化数据库的队列表中。
作为上述方案的改进，所述对预处理后的多源异构数据进行边缘计算，获得关键信息,包括：
根据所述源异构数据库的数据量，调用本地边缘服务器和邻近边缘服务器对所述多源异构数据进行边缘计算，获取关键信息。
作为上述方案的改进，所述根据所述源异构数据库的数据量，调用本地边缘服务器和邻近边缘服务器对所述多源异构数据进行边缘计算，获取关键信息，包括：
判断所述源异构数据库的总数据量是否超过第一设定阈值；
若否，调用本地边缘服务器对所述多源异构数据进行边缘计算，获取所述关键信息；
若是，所述本地边缘服务器向邻近边缘服务器发送资源调用请求，以调用所述邻近边缘服务器对所述多源异构数据进行边缘计算，获取所述关键信息。
作为上述方案的改进，所述本地边缘服务器向邻近边缘服务器发送资源调用请求，以调用所述邻近边缘服务器对所述多源异构数据进行边缘计算，获取所述关键信息，包括：
所述本地边缘服务器向邻近边缘服务器发送资源调用请求；
响应于所述调用请求，所述邻近边缘服务器判断本地资源使用率是否超过第二设定阈值；
若是，则拒绝接收到的资源调用请求，以使得所述本地边缘服务器响应于所述邻近边缘服务器返回的拒绝调用信息，生成异常预警信息，并将所述多源异构数据和所述异常预警信息发送到云端服务器；
若否，响应于接收到的资源调用请求，所述邻近边缘服务器对所述多源异构数据进行边缘计算，获取所述关键信息。
作为上述方案的改进，所述结构化数据包括实时用电数据和定时用电数据；所述非结构化数据包括音视频数据和图文数据；
所述调用本地边缘服务器对所述多源异构数据进行边缘计算，获取所述关键信息，包括：
计算所述实时用电数据的数据量与所述源异构数据库的总数据量的比值，作为第一类数据占比；
计算所述定时用电数据的数据量与所述源异构数据库的总数据量的比值，作为第二类数据占比；
计算所述音视频数据的数据量与所述源异构数据库的总数据量的比值，作为第三类数据占比；
计算所述图文数据的数据量与所述源异构数据库的总数据量的比值，作为第四类数据占比；
根据所述第一类数据占比、第二类数据占比、第三类数据占比及第四类数据占比之间的比值，对所述实时用电数据、定时用电数据、音视频数据及图文数据分配相应的所述本地边缘服务器的运算资源，以并行地对所述实时用电数据、定时用电数据、音视频数据及图文数据进行边缘计算，获取所述关键信息。
作为上述方案的改进，所述方法还包括：
判断预处理后的多源异构数据中是否出现异常数据；
当判断出预处理后的多源异构数据中出现异常数据时，生成数据异常预警信息，并将所述数据异常预警信息和所述异常数据上传到所述云端服务器。
作为上述方案的改进，所述方法还包括：
响应于所述数据异常预警信息，所述云端服务器进入暂缓状态，并判断是否连续接收到多条数据异常预警信息；
若是，则从所述源异构数据库中读取所述异常数据相应的历史异构数据进行曲线拟合，获得拟合预测数据；并将所述异常数据与所述拟合预测数据进行对比分析，获得差异信息。
若否，则所述云端服务器恢复运行状态。
相对于现有技术，本发明实施例的有益效果在于：通过获取电网的多源异构数据，将所述多源异构数据加密上传到源异构数据库，对所述源异构数据库中的多源异构数据进行预处理，对预处理后的多源异构数据进行边缘计算，获得关键信息，将所述关键信息进行分布式存储并上传到云端服务器，将电网设备的多源异构数据在边缘服务器上进行计算处理，提高了电力异构数据的处理效率、加快了电力异构数据处理时间，同时只需要对提取的关键信息上传到云端服务器并进行分布式存储，其他数据云端服务器按需读取，云端服务器可以按需求减少数据在传播途中丢失、修改的风险。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于边缘计算的电力异构数据处理方法的流程图；
图2是本发明实施例提供的多异构数据处理框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1和图2，其中，图1是一种基于边缘计算的电力异构数据处理方法的流程图；图2是多异构数据处理框架图。本发明实施例提供了一种基于边缘计算的电力异构数据处理方法，包括：
S1：获取电网的多源异构数据；
电网的业务数据主要分为三大类：一是电网运行和设备监测/检测数据，电网运行和设备监测/检测数据是面向于整个智能电网的每个环节，包括发电测，输电测，用电测，例如智能电表采集的用电量、电力变压器采集的负荷电流值、油位、油色、油温等数值数据；二是电力企业营销数据，例如交易电价、售电量、用电客户等数据；三是电力企业管理数据，例如地区性的调度资源、输配电、发电、用电等数据、电力负载趋势和设备故障趋势拟合数据。在本发明实施例中，采用边缘服务器对用电侧的设备监测/检测数据进行采集处理，其中，采集到的设备监测/检测数据即为所述多源异构数据。其中，所述设备监测/检测数据主要包括监控数据和智能电表检测的用电数据，所述监控数据包括：视频、图片、音频、地理信息。
在本发明实施例中，将所述多源异构数据划分为结构化数据和非结构化数据，所述结构化数据又分为实时用电数据和定时用电数据；所述非结构化数据又分为音视频数据和图文数据(例如文档、图像、报表等)。
S2：将所述多源异构数据加密上传到源异构数据库；
在本发明实施例中，根据数据传输协议，例如蓝牙、WIFI等无线传输协议或有线传输协议，对采集到的多源异构数据进行数据加密或隐私保护处理，并上传到边缘服务器的源异构数据库中。
S3：对所述源异构数据库中的多源异构数据进行预处理；
S4：对预处理后的多源异构数据进行边缘计算，获得关键信息；
S5：将所述关键信息进行分布式存储并上传到云端服务器。
在本发明实施例中，本地边缘服务器对多源异构数据进行边缘计算和结构化处理，将关键信息的数据格式统一转换为JSON数据格式，并通过对邻近节点的数据库空间进行共享，采用HBASE数据库进行分布式存储。同时根据云端服务器需求，在对数据预处理中筛选出关键信息并上传云端服务器。如智能电表的用电数据反应用户应当缴纳的电费，需要及时上传，便于电网系统结算缴费。数据处理后采取分布式存储在边缘服务器的存储介质中，采取HBase数据库存储，云端服务器亦可读取管理；云端服务器按需读取，可以减轻了数据传输的压力。
HBase数据库(HBase–Hadoop Database)，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在多台运算存储设备上搭建起大规模结构化存储集群。HBase，以HDFS为基础分布在不同的存储介质上，通过HDFS实现了数据的冗余和自动负载均衡，具备高可靠性。HBase的服务能力服务器不断增长，可伸缩性强；由于其数据模型是基于列存储，且不同列族的文是分离的，与传统的行模式表格结构的关系数据库不同，不必为整个表单独建立索引文，从而提高存储和查询效率。
本发明实施例通过将电网设备的多源异构数据在边缘服务器上进行计算处理，提高了电力异构数据的处理效率、加快了电力异构数据处理时间，同时只需要对提取的关键信息上传到云端服务器并进行分布式存储，减少数据在传播途中丢失、修改的风险。
在一种可选的实施例中，步骤S2：将所述多源异构数据加密上传到源异构数据库，包括：
根据所述多源异构数据的数据类型和采集时间间隔，对所述多源异构数据进行安全等级标注；
根据所述多源异构数据的安全等级，对所述多源异构数据进行加密；
将加密后的多源异构数据上传到源异构数据库。
电网的各类设备在安装时预先设定了数据的采集时间间隔和数据类型，例如智能电表：以16进制的电信号数据格式进行实时和定时采集；用于采集音/视频数据的监控设备：以AVI、MP4或MP3等数据格式实时采集；用于采集图文数据的设备：以TXT、PNG、JPG、CSV或XLS等数据格式定时采集。
在本发明实施例中，将所述多源异构数据的安全等级分为高等级和低等级两类，其中，将上传速度快、数据量小的实时用电数据标注为低等级，将周期性上传的定时用电数据标注为高等级。将上传频率不定、有效数据少的音视频数据标注为高等级，将周期性上传、数据量大、格式不统一的图文数据标注为低等级。然后所述边缘服务器对标注为高等级的定时用电数据和音视频数据采用非对称加密算法进行加密处理，对标注为低等级的实时用电数据和图文数据采用数据脱敏进行加密处理，并将加密后的定时用电数据、音视频数据、实时用电数据和图文数据上传到源异构数据库中，实现了所述源异构数据进行分级保护，能同时兼顾安全性、存储负担和查询处理效率。
在一种可选的实施例中，所述根据所述多源异构数据的安全等级，对所述多源异构数据进行加密，包括：
当所述多源异构数据的安全等级标注为高等级时，采用非对称加密算法对所述多源异构数据进行加密；
当所述多源异构数据的安全等级标注为低等级时，对所述多源异构数据进行数据脱敏处理。
在一种可选的实施例中，所述源异构数据库中包括结构化数据库和非结构化数据库；
步骤S3：对所述源异构数据库中的多源异构数据进行预处理，包括：
将所述多源异构数据中的结构化数据写入所述结构化数据库中相应的ID编号二维表中；其中，一个ID编号二维表对应一种结构化数据；
将所述多源异构数据中的非结构化数据按照时间顺序写入所述非结构化数据库的队列表中。
由于一个区域内的电网安装的设备数量是固定的，设备的ID编号也是唯一的。在本发明实施例中，所有多源异构数据上传到源异构数据库后还进行进一步划分，即需要将所述多源异构数据中的结构化数据放入结构化数据库进行存储，将所述多源异构数据中的非结构化数据放入非结构化数据库进行存储；其次，在结构化数据中，电信号对应相应的数值，且每一个设备有唯一的ID编号，通过将结构化数据(例如实时用电数据、定时用电数据)写入到结构化数据库中相应的ID编号二维表中进行存储；将非结构化数据(例如音视频数据、图文数据)采取队列存储写入非结构化数据库，即可得到一个以时间为序列的队列表。在后续的边缘服务器读取中，结构化数据的读取采用按云端服务器需求的设备ID编号读取；非结构化数据，按时间顺序的队列依次读取，从而提高了多源异构数据的查询、读取效率。其中，所述结构化数据库为UBase数据库，所述非结构化数据库为NoSQL数据库。
在一种可选的实施例中，步骤S4：对预处理后的多源异构数据进行边缘计算，获得关键信息,包括：
根据所述源异构数据库的数据量，调用本地边缘服务器和邻近边缘服务器对所述多源异构数据进行边缘计算，获取关键信息。
在一种可选的实施例中，所述根据所述源异构数据库的数据量，调用本地边缘服务器和邻近边缘服务器对所述多源异构数据进行边缘计算，获取关键信息，包括：
判断所述源异构数据库的总数据量是否超过第一设定阈值；
若否，调用本地边缘服务器对所述多源异构数据进行边缘计算，获取所述关键信息；
若是，所述本地边缘服务器向邻近边缘服务器发送资源调用请求，以调用所述邻近边缘服务器对所述多源异构数据进行边缘计算，获取所述关键信息。
在一种可选的实施例中，所述本地边缘服务器向邻近边缘服务器发送资源调用请求，以调用所述邻近边缘服务器对所述多源异构数据进行边缘计算，获取所述关键信息，包括：
所述本地边缘服务器向邻近边缘服务器发送资源调用请求；
响应于所述调用请求，所述邻近边缘服务器判断本地资源使用率是否超过第二设定阈值；
若是，则拒绝接收到的资源调用请求，以使得所述本地边缘服务器响应于所述邻近边缘服务器返回的拒绝调用信息，生成异常预警信息，并将所述多源异构数据和所述异常预警信息发送到云端服务器；
若否，响应于接收到的资源调用请求，所述邻近边缘服务器对所述多源异构数据进行边缘计算，获取所述关键信息。
在本发明实施例中，所述第一设定阈值和所述第二设定阈值均为80％。由于结构化数据和非结构化数据的源源不断的写入，但是边缘服务器的计算能力有限，边缘服务器会进行临近资源调度从而合理有效的使用邻近边缘服务器资源，防止资源浪费。调用邻近边缘服务器的流程如下：
步骤1：判断边缘服务器本地的源异构数据库中的数据量是否超过数据库总存储的80％，超过则跳转步骤3；
步骤2：根据源异构数据库中四小类属性占存储比例，分配相应的运算资源，以对四小类属性数据并行处理；其中，四小类属性数据为实时用电数据、定时用电数据、音视频数据、图文数据；
步骤3：向邻近边缘服务器发送闲置运算资源调用请求，邻近边缘服务器查看本地运算资源使用率，少于80％则接受申请。否则，拒绝申请，跳转步骤5；
步骤4：邻近边缘服务器接收申请边缘服务器发送的多源异构数据存储本地的源异构数据库中，并进行数据处理。
步骤5：若邻近边缘服务拒绝请求，本地边缘服务器将多源异构数据发送云端服务器处理，同时，发送异常预警，该区域可能发生大规模的数据攻击。
在一种可选的实施例中，所述结构化数据包括实时用电数据和定时用电数据；所述非结构化数据包括音视频数据和图文数据；
所述调用本地边缘服务器对所述多源异构数据进行边缘计算，获取所述关键信息，包括：
计算所述实时用电数据的数据量与所述源异构数据库的总数据量的比值，作为第一类数据占比；
计算所述定时用电数据的数据量与所述源异构数据库的总数据量的比值，作为第二类数据占比；
计算所述音视频数据的数据量与所述源异构数据库的总数据量的比值，作为第三类数据占比；
计算所述图文数据的数据量与所述源异构数据库的总数据量的比值，作为第四类数据占比；
根据所述第一类数据占比、第二类数据占比、第三类数据占比及第四类数据占比之间的比值，对所述实时用电数据、定时用电数据、音视频数据及图文数据分配相应的所述本地边缘服务器的运算资源，以并行地对所述实时用电数据、定时用电数据、音视频数据及图文数据进行边缘计算，获取所述关键信息。
在一种可选的实施例中，所述方法还包括：
判断预处理后的多源异构数据中是否出现异常数据；
当判断出预处理后的多源异构数据中出现异常数据时，生成数据异常预警信息，并将所述数据异常预警信息和所述异常数据上传到所述云端服务器。
在本发明实施例中，通过对于非结构化数据，可以通过将历史异构数据的拟合，并将当前采集的多源异构数据进行边缘计算与拟合数据对比，筛选当前采集的多源异构数据中的异常数据，并上传云端服务器。对于结构化数据，可以通过判断该结构化数据是否超出设定的正常区间范围来筛选出异常数据。
在一种可选的实施例中，所述方法还包括：
响应于所述数据异常预警信息，所述云端服务器进入暂缓状态，并判断是否连续接收到多条数据异常预警信息；
若是，则从所述源异构数据库中读取所述异常数据相应的历史异构数据进行曲线拟合，获得拟合预测数据；并将所述异常数据与所述拟合预测数据进行对比分析，获得差异信息。
若否，则所述云端服务器恢复运行状态。
在本发明实施例中，多源异构数据分布式存储后还包括云端服务校验步骤，具体包括：根据上传的数据异常预警信息，延迟处理，等待该设备后续的更新数据，若后续数据正常，则异常取消；若后续数据连续异常，进入历史数据对比。云端服务器通过向边缘服务器的数据存储中调取该设备的历史异构数据，并通过历史异构数据进行曲线拟合，检测异常数据与拟合预测的差异性，预测可能是设备故障等原因，并生成日志报告，发送给客户端，以便于电网维修人员进行现场排查、维修等工作。
在本发明实施例中，所述边缘服务器的计算处理功能主要包括：
一是多源异构数据的预处理和关键信息的提取；针对传统大量数据上传云端服务器导致数据传输阻塞的现象，本发明实施例使用边缘服务器有目的提取云端服务器指定的关键信息上传，能有效的维护整体传输信道的安全稳定。
二是数据预警，异常数据预警机制是根据数据类型不同采用不同的判断标准。如电力变压器中对温度、湿度、电流大小的敏感度要求较高，并且一般也维持在正常区间范围内；所以当这些相对应的数值出现超出设定的正常区间范围，即出现了异常。
相对于现有技术，本发明实施例的有益效果在于：将电网设备的异构数据在边缘服务器上进行计算处理，提高了电力异构数据的处理效率、加快了电力异构数据处理时间，并有效的减省了云端服务器的资源，降低了网络传输的阻塞。异常数据预警上传服务器，将可能有问题的是数据，交由云端服务器处理，可以更加精准的快速的发现错误，解决异常，提升了信息预警的灵敏度。同时只需要对提取的关键信息上传到云端服务器并进行分布式存储，其他数据云端服务器按需读取，减少数据在传播途中丢失、修改的风险，实现了数据的高速响应，快速预警，提升了数据篡改的修改难度。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种基于边缘计算的电力异构数据处理方法，其特征在于，包括：
获取电网的多源异构数据；
将所述多源异构数据加密上传到源异构数据库；
对所述源异构数据库中的多源异构数据进行预处理；
对预处理后的多源异构数据进行边缘计算，获得关键信息；
将所述关键信息进行分布式存储并上传到云端服务器。
2.如权利要求1所述的基于边缘计算的电力异构数据处理方法，其特征在于，所述将所述多源异构数据加密上传到源异构数据库，包括：
根据所述多源异构数据的数据类型和采集时间间隔，对所述多源异构数据进行安全等级标注；
根据所述多源异构数据的安全等级，对所述多源异构数据进行加密；
将加密后的多源异构数据上传到源异构数据库。
3.如权利要求2所述的基于边缘计算的电力异构数据处理方法，其特征在于，所述根据所述多源异构数据的安全等级，对所述多源异构数据进行加密，包括：
当所述多源异构数据的安全等级标注为高等级时，采用非对称加密算法对所述多源异构数据进行加密；
当所述多源异构数据的安全等级标注为低等级时，对所述多源异构数据进行数据脱敏处理。
4.如权利要求1所述的基于边缘计算的电力异构数据处理方法，其特征在于，所述源异构数据库中包括结构化数据库和非结构化数据库；
所述对所述源异构数据库中的多源异构数据进行预处理，包括：
将所述多源异构数据中的结构化数据写入所述结构化数据库中相应的ID编号二维表中；其中，一个ID编号二维表对应一种结构化数据；
将所述多源异构数据中的非结构化数据按照时间顺序写入所述非结构化数据库的队列表中。
5.如权利要求4所述的基于边缘计算的电力异构数据处理方法，其特征在于，所述对预处理后的多源异构数据进行边缘计算，获得关键信息,包括：
根据所述源异构数据库的数据量，调用本地边缘服务器和邻近边缘服务器对所述多源异构数据进行边缘计算，获取关键信息。
6.如权利要求5所述的基于边缘计算的电力异构数据处理方法，其特征在于，所述根据所述源异构数据库的数据量，调用本地边缘服务器和邻近边缘服务器对所述多源异构数据进行边缘计算，获取关键信息，包括：
判断所述源异构数据库的总数据量是否超过第一设定阈值；
若否，调用本地边缘服务器对所述多源异构数据进行边缘计算，获取所述关键信息；
若是，所述本地边缘服务器向邻近边缘服务器发送资源调用请求，以调用所述邻近边缘服务器对所述多源异构数据进行边缘计算，获取所述关键信息。
7.如权利要求6所述的基于边缘计算的电力异构数据处理方法，其特征在于，所述本地边缘服务器向邻近边缘服务器发送资源调用请求，以调用所述邻近边缘服务器对所述多源异构数据进行边缘计算，获取所述关键信息，包括：
所述本地边缘服务器向邻近边缘服务器发送资源调用请求；
响应于所述调用请求，所述邻近边缘服务器判断本地资源使用率是否超过第二设定阈值；
若是，则拒绝接收到的资源调用请求，以使得所述本地边缘服务器响应于所述邻近边缘服务器返回的拒绝调用信息，生成异常预警信息，并将所述多源异构数据和所述异常预警信息发送到云端服务器；
若否，响应于接收到的资源调用请求，所述邻近边缘服务器对所述多源异构数据进行边缘计算，获取所述关键信息。
8.如权利要求6所述的基于边缘计算的电力异构数据处理方法，其特征在于，所述结构化数据包括实时用电数据和定时用电数据；所述非结构化数据包括音视频数据和图文数据；
所述调用本地边缘服务器对所述多源异构数据进行边缘计算，获取所述关键信息，包括：
计算所述实时用电数据的数据量与所述源异构数据库的总数据量的比值，作为第一类数据占比；
计算所述定时用电数据的数据量与所述源异构数据库的总数据量的比值，作为第二类数据占比；
计算所述音视频数据的数据量与所述源异构数据库的总数据量的比值，作为第三类数据占比；
计算所述图文数据的数据量与所述源异构数据库的总数据量的比值，作为第四类数据占比；
根据所述第一类数据占比、第二类数据占比、第三类数据占比及第四类数据占比之间的比值，对所述实时用电数据、定时用电数据、音视频数据及图文数据分配相应的所述本地边缘服务器的运算资源，以并行地对所述实时用电数据、定时用电数据、音视频数据及图文数据进行边缘计算，获取所述关键信息。
9.如权利要求1所述的基于边缘计算的电力异构数据处理方法，其特征在于，所述方法还包括：
判断预处理后的多源异构数据中是否出现异常数据；
当判断出预处理后的多源异构数据中出现异常数据时，生成数据异常预警信息，并将所述数据异常预警信息和所述异常数据上传到所述云端服务器。
10.如权利要求9所述的基于边缘计算的电力异构数据处理方法，其特征在于，所述方法还包括：
响应于所述数据异常预警信息，所述云端服务器进入暂缓状态，并判断是否连续接收到多条数据异常预警信息；
若是，则从所述源异构数据库中读取所述异常数据相应的历史异构数据进行曲线拟合，获得拟合预测数据；并将所述异常数据与所述拟合预测数据进行对比分析，获得差异信息。
若否，则所述云端服务器恢复运行状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011008137.3A CN112130999B (zh) | 2020-09-23 | 2020-09-23 | 一种基于边缘计算的电力异构数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011008137.3A CN112130999B (zh) | 2020-09-23 | 2020-09-23 | 一种基于边缘计算的电力异构数据处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112130999A true CN112130999A (zh) | 2020-12-25 |
| CN112130999B CN112130999B (zh) | 2024-02-13 |
Family
ID=73842724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011008137.3A Active CN112130999B (zh) | 2020-09-23 | 2020-09-23 | 一种基于边缘计算的电力异构数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112130999B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113259348A (zh) * | 2021-05-12 | 2021-08-13 | 深圳信息职业技术学院 | 异构数据处理方法、装置、计算机设备及存储介质 |
| CN113470354A (zh) * | 2021-06-24 | 2021-10-01 | 上海智能网联汽车技术中心有限公司 | 全天候路测感知系统 |
| CN113573306A (zh) * | 2021-04-29 | 2021-10-29 | 中国南方电网有限责任公司 | 一种融合5g的异构组网网关加密方法及系统 |
| CN114003596A (zh) * | 2021-11-16 | 2022-02-01 | 国家工业信息安全发展研究中心 | 一种基于工业系统的多源异构数据处理系统与方法 |
| CN114880690A (zh) * | 2022-06-08 | 2022-08-09 | 浙江省交通运输科学研究院 | 一种基于边缘计算的源数据时序精化方法 |
| CN115116224A (zh) * | 2022-06-24 | 2022-09-27 | 山东旗帜信息有限公司 | 一种边缘端数据采集传输系统及方法 |
| CN116345699A (zh) * | 2023-05-30 | 2023-06-27 | 国网湖北省电力有限公司 | 一种基于互联网的输电电路信息采集系统及采集方法 |
| CN116483840A (zh) * | 2023-06-19 | 2023-07-25 | 广东奥飞数据科技股份有限公司 | 一种基于分布式计算的多源异构数据集成系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015062181A1 (zh) * | 2013-11-04 | 2015-05-07 | 广东电子工业研究院有限公司 | 用于实现多源异构数据资源自动同步的方法 |
| WO2017106619A1 (en) * | 2015-12-18 | 2017-06-22 | Interdigital Patent Holdings, Inc. | Systems and methods associated with edge computing |
| CN107436725A (zh) * | 2016-05-25 | 2017-12-05 | 杭州海康威视数字技术股份有限公司 | 一种数据写、读方法、装置及分布式对象存储集群 |
| CN109638964A (zh) * | 2018-12-26 | 2019-04-16 | 国网陕西省电力公司电力科学研究院 | 一种基于边缘计算架构的多元电网信息交互系统及方法 |
| CN110460879A (zh) * | 2019-08-28 | 2019-11-15 | 北京奇艺世纪科技有限公司 | 一种视频请求调度方法、装置、服务器及存储介质 |
| WO2019233047A1 (zh) * | 2018-06-07 | 2019-12-12 | 国电南瑞科技股份有限公司 | 基于电网调度的运维方法 |
| CN110728595A (zh) * | 2019-09-04 | 2020-01-24 | 重庆特斯联智慧科技股份有限公司 | 一种基于边缘计算的社区学习监控方法和系统 |
| CN111694655A (zh) * | 2020-03-12 | 2020-09-22 | 武汉大学 | 一种面向多任务的边缘计算资源分配方法 |
-
2020
- 2020-09-23 CN CN202011008137.3A patent/CN112130999B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015062181A1 (zh) * | 2013-11-04 | 2015-05-07 | 广东电子工业研究院有限公司 | 用于实现多源异构数据资源自动同步的方法 |
| WO2017106619A1 (en) * | 2015-12-18 | 2017-06-22 | Interdigital Patent Holdings, Inc. | Systems and methods associated with edge computing |
| CN107436725A (zh) * | 2016-05-25 | 2017-12-05 | 杭州海康威视数字技术股份有限公司 | 一种数据写、读方法、装置及分布式对象存储集群 |
| WO2019233047A1 (zh) * | 2018-06-07 | 2019-12-12 | 国电南瑞科技股份有限公司 | 基于电网调度的运维方法 |
| CN109638964A (zh) * | 2018-12-26 | 2019-04-16 | 国网陕西省电力公司电力科学研究院 | 一种基于边缘计算架构的多元电网信息交互系统及方法 |
| CN110460879A (zh) * | 2019-08-28 | 2019-11-15 | 北京奇艺世纪科技有限公司 | 一种视频请求调度方法、装置、服务器及存储介质 |
| CN110728595A (zh) * | 2019-09-04 | 2020-01-24 | 重庆特斯联智慧科技股份有限公司 | 一种基于边缘计算的社区学习监控方法和系统 |
| CN111694655A (zh) * | 2020-03-12 | 2020-09-22 | 武汉大学 | 一种面向多任务的边缘计算资源分配方法 |
Non-Patent Citations (2)
| Title |
|---|
| L. BEŇO等: "Processing data from OPC UA server by using Edge and Cloud computing", IFAC-PAPERSONLINE, vol. 52, no. 27, pages 240 - 245 * |
| 杨波;吴宁;: "智能化综采管理平台中多源异构数据处理", 陕西煤炭, no. 03, pages 168 - 171 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113573306A (zh) * | 2021-04-29 | 2021-10-29 | 中国南方电网有限责任公司 | 一种融合5g的异构组网网关加密方法及系统 |
| CN113259348A (zh) * | 2021-05-12 | 2021-08-13 | 深圳信息职业技术学院 | 异构数据处理方法、装置、计算机设备及存储介质 |
| CN113470354A (zh) * | 2021-06-24 | 2021-10-01 | 上海智能网联汽车技术中心有限公司 | 全天候路测感知系统 |
| CN114003596A (zh) * | 2021-11-16 | 2022-02-01 | 国家工业信息安全发展研究中心 | 一种基于工业系统的多源异构数据处理系统与方法 |
| CN114880690A (zh) * | 2022-06-08 | 2022-08-09 | 浙江省交通运输科学研究院 | 一种基于边缘计算的源数据时序精化方法 |
| CN115116224A (zh) * | 2022-06-24 | 2022-09-27 | 山东旗帜信息有限公司 | 一种边缘端数据采集传输系统及方法 |
| CN115116224B (zh) * | 2022-06-24 | 2023-08-18 | 山东旗帜信息有限公司 | 一种边缘端数据采集传输系统及方法 |
| CN116345699A (zh) * | 2023-05-30 | 2023-06-27 | 国网湖北省电力有限公司 | 一种基于互联网的输电电路信息采集系统及采集方法 |
| CN116345699B (zh) * | 2023-05-30 | 2023-08-08 | 国网湖北省电力有限公司 | 一种基于互联网的输电电路信息采集系统及采集方法 |
| CN116483840A (zh) * | 2023-06-19 | 2023-07-25 | 广东奥飞数据科技股份有限公司 | 一种基于分布式计算的多源异构数据集成系统 |
| CN116483840B (zh) * | 2023-06-19 | 2023-11-07 | 广东奥飞数据科技股份有限公司 | 一种基于分布式计算的多源异构数据集成系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112130999B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112130999B (zh) | 一种基于边缘计算的电力异构数据处理方法 | |
| US10652633B2 (en) | Integrated solutions of Internet of Things and smart grid network pertaining to communication, data and asset serialization, and data modeling algorithms | |
| CN106651633B (zh) | 一种基于大数据技术的用电信息采集系统及其采集方法 | |
| CN111928888B (zh) | 一种水域污染智能监控分析方法及系统 | |
| CN106940677A (zh) | 一种应用日志数据告警方法及装置 | |
| CN112307003B (zh) | 电网数据多维辅助分析方法、系统、终端及可读存储介质 | |
| CN107979477A (zh) | 一种业务监控的方法及系统 | |
| CN112598368A (zh) | 污水处理在线监管平台 | |
| CN112380399A (zh) | 基于云平台的用电大数据处理系统及其处理方法 | |
| CN114090368A (zh) | 一种微服务治理系统 | |
| CN115730909A (zh) | 一种企业客户信息管理系统 | |
| CN113506096B (zh) | 一种基于工业互联网标识解析体系的系统间接口方法 | |
| CN115038083A (zh) | 一种应用ai运营商行业的电信欺诈预警识别方法及系统 | |
| CN116701525A (zh) | 一种基于实时数据分析的预警方法、系统和电子设备 | |
| Refaat et al. | Big data, better energy management and control decisions for distribution systems in smart grid | |
| CN109800133A (zh) | 一种统一监控告警的方法、一站式监控告警平台及系统 | |
| CN108964957A (zh) | 一种数据通信业务质量监控的方法及大数据系统 | |
| CN116910144A (zh) | 算力网络资源中心、算力服务系统以及数据处理方法 | |
| CN110677271A (zh) | 基于elk的大数据告警方法、装置、设备及存储介质 | |
| CN215298210U (zh) | 电力物联网的多级边缘计算系统 | |
| CN110099116A (zh) | 一种基于大数据的子网安全性评估方法 | |
| CN109147975A (zh) | 一种压水堆核电厂堆芯状态监测与分析系统 | |
| CN112308731A (zh) | 一种采集系统多任务并发处理的云计算方法及系统 | |
| CN114298805A (zh) | 告警信息生成方法和设备 | |
| CN112187623B (zh) | 一种信息发布管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |