CN115604353A - 电力监控系统中数据处理方法、系统和计算机设备 - Google Patents
电力监控系统中数据处理方法、系统和计算机设备 Download PDFInfo
- Publication number
- CN115604353A CN115604353A CN202211327337.4A CN202211327337A CN115604353A CN 115604353 A CN115604353 A CN 115604353A CN 202211327337 A CN202211327337 A CN 202211327337A CN 115604353 A CN115604353 A CN 115604353A
- Authority
- CN
- China
- Prior art keywords
- data
- monitoring system
- power monitoring
- processing
- theme
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 90
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 130
- 238000004364 calculation method Methods 0.000 claims abstract description 85
- 239000012634 fragment Substances 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 12
- 238000013467 fragmentation Methods 0.000 claims description 11
- 238000006062 fragmentation reaction Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 5
- 238000007405 data analysis Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 238000005192 partition Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了一种电力监控系统中数据处理方法、系统和计算机设备包括：响应电力监控系统处理请求，获取电力监控系统的数据集群数据；根据所述数据集群数据的业务应用，将所述数据集群数据推送所述业务应用对应的主题；识别所述数据集群数据的业务需求和数据类型，对所述数据集群数据进行分片；根据所述数据处理主题对应的计算公式对所述目标数据集群数据分片进行计算，并反馈计算结果。本发明提供的电力监控系统中数据处理方法、系统和计算机设备根据数据集群数据的数据类型、业务应用对应的主题、以及数据集群数据是否需要跨区处理，将业务计算需要的数据分配到一个分片里，通过触发相关计算公式，能快速得到计算结果，从而提高数据处理效率。
Description
技术领域
本发明涉及信息处理技术领域，具体为一种电力监控系统中数据处理方法、系统和计算机设备。
背景技术
随着可再生能源发电的广泛接入，电力电子装备的逐渐普及，电力系统运行正朝着大规模、精细化、瞬时性的方向发展。电力系统在变得更加可控和智能的同时，对系统分析计算的精度和速度也提出了前所未有的更高要求。对于频繁波动的电网，系统对实时事件的快速响应至关重要，电网运行事件的漏判和误判、监视控制的误差和延迟都会给系统运行带来潜在的风险。
目前，电力系统中大数据分析技术多以静态离线数据分析为主，从数据的产生到得出数据分析结果存在一定的时间差。因此，目前的电力系统中大数据分析技术的数据处理效率低。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述存在的问题，提出了本发明。
因此，本发明解决的技术问题是：现有的电力系统中大数据分析技术存在数据产生与数据分析结果得出之间存在时间差、数据处理效率低的问题，以及如何从方法、装置和设备上进行全面优化问题。
为解决上述技术问题，本发明提供如下技术方案：一种电力监控系统中数据处理方法，包括：
响应电力监控系统处理请求，获取电力监控系统的数据集群数据；
根据所述数据集群数据的业务应用，将所述数据集群数据推送所述业务应用对应的主题；
识别所述数据集群数据的业务需求和数据类型，对所述数据集群数据进行分片；
根据所述数据处理主题对应的计算公式对所述目标数据集群数据分片进行计算，并反馈计算结果。
作为本发明所述的电力监控系统中数据处理方法的一种优选方案，其中：所述平台参数包括任务信息和资源信息。
作为本发明所述的电力监控系统中数据处理方法的一种优选方案，其中：所述获取电力监控系统的数据集群数据的步骤包括：响应电力监控系统处理请求，从全局内存库中加载电力监控系统的数据集群数据到本地内存库中。
作为本发明所述的电力监控系统中数据处理方法的一种优选方案，其中：所述对数据集群数据进行分片包括：
识别所述数据集群数据的数据类型；
若判断所述数据集群数据是需要跨区处理，则根据需要跨区处理的所述数据集群数据、所述数据集群数据的数据类型以及所述业务应用对应的主题，对所述数据集群数据进行分片；
若判断所述数据集群数据是不需要跨区处理，则根据不需要跨区处理的所述数据集群数据、所述数据集群数据的数据类型以及所述业务应用对应的主题，对所述数据集群数据进行分片。
作为本发明所述的电力监控系统中数据处理方法的一种优选方案，其中：所述数据处理主题对应的计算公式为：根据所述目标数据集群数据分片以及对应的所述数据处理主题，触发所述数据处理主题对应的预设计算公式。
作为本发明所述的电力监控系统中数据处理方法的一种优选方案，其中：所述反馈计算结果还包括：将所述计算结果推送至所述业务应用对应的主题。
作为本发明所述的电力监控系统中数据处理方法的一种优选方案，其中：所述反馈计算结果之后还包括：
根据所述计算结果以及所述计算结果对应预设的告警判定规则，生成告警；
将所述告警推送至所述业务应用对应的主题。
作为本发明所述的电力监控系统中数据处理系统的一种优选方案，其中：所述系统包括：
数据获取模块，用于响应电力监控系统处理请求，获取电力监控系统的数据集群数据；
主题推送模块，用于根据所述数据集群数据的业务应用，将所述数据集群数据推送所述业务应用对应的主题；
跨区处理模块，用于识别所述数据集群数据的业务需求，判断所述数据集群数据是否需要跨区处理；
分片模块，用于识别所述数据集群数据的数据类型，根据所述数据集群数据的数据类型、所述业务应用对应的主题、以及所述数据集群数据是否需要跨区处理，对所述数据集群数据进行分片；
提取模块，用于提取所述电力监控系统处理请求中携带的订阅数据处理主题、并获取所述数据处理主题对应的计算公式与目标数据集群数据分片；
计算结果获取模块，用于根据所述计算公式对所述目标数据集群数据分片进行计算，并反馈计算结果。
作为本发明所述的电力监控系统中数据处理计算机设备的一种优选方案，其中：所述计算机设备包括：存储器、处理器、输入/输出接口和通信接口，其中处理器、存储器、输入/输出接口通过总线连接，通信接口通过输入/输出接口连接到总线。
作为本发明所述的电力监控系统中数据处理计算机设备的一种优选方案，其中：所述数据获取模块、主题推送模块、跨区处理模块、分片模块、提取模块和计算结果获取模块设置于所述计算机设备中。
作为本发明所述的电力监控系统中数据处理系统的一种优选方案，其中：所述存储器是一种计算机可读存储介质，包括非易失性存储介质和内存储器，其中所述非易失性存储介质存储有计算机程序，所述内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境；所述处理器用于提供计算和控制能力，所述计算机程序被处理器执行时实现电力监控系统中数据处理方法中任一项步骤。
本发明的有益效果：本发明提供的电力监控系统中数据处理方法、系统和计算机设备根据数据集群数据的数据类型、业务应用对应的主题、以及数据集群数据是否需要跨区处理，将业务计算需要的数据分配到一个分片里，通过触发相关计算公式，能快速得到计算结果，从而提高数据处理效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一个实施例提供的一种电力监控系统中数据处理方法、系统和计算机设备的方法流程示意图；
图2为本发明第二个实施例提供的一种电力监控系统中数据处理方法、系统和计算机设备的系统结构框图；
图3为本发明第二个实施例提供的电力监控系统中数据处理方法、系统和计算机设备中计算机设备的内部结构图；
图4为本发明第三个实施例提供的一种电力监控系统中数据处理方法、系统和计算机设备的应用环境图；
图5为本发明第三个实施例提供的一种电力监控系统中数据处理方法、系统和计算机设备的服务处理流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1，为本发明的一个实施例，提供了一种电力监控系统中数据处理方法，包括：
S1：响应电力监控系统处理请求，获取电力监控系统的数据集群数据；
更进一步的，用户终端根据业务服务的需要发送电力监控系统处理请求，然后响应相应的处理请求，加载业务服务所需的相关数据。
应说明的是，电力监控系统处理请求是电力监控系统的用户终端根据业务服务的需要发送的数据处理请求，以获取业务应用所需的相关数据；数据集群数据是电力监控系统根据业务服务的需要，从全局内存库中加载到本地内存库中的相关数据。
S2：用户终端根据业务服务的需要发送电力监控系统处理请求，然后响应相应的处理请求，加载业务服务所需的相关数据；
更进一步的，根据数据集群数据的业务应用，将属于同一业务应用的数据集群数据分配到同一个主题。
应说明的是，业务应用主要用来解决业务问题，实现特定的业务功能。
S3：识别所述数据集群数据的业务需求和数据类型，对所述数据集群数据进行分片。
更进一步的，识别数据集群数据的业务需求，判断数据集群数据是否需要跨区处理。
应说明的是，业务需求是电力监控系统中的数据集群数据是否需要跨区处理；跨区处理是根据业务需求将相应的数据集群数据分配到同一个区中，以实现分片处理。
需要说明的，可以根据网络安全防护的要求，将电网监控系统分为安全I、II、III区，I区安全防护等级最高，数据采集都是在I区，控制指令是在该区下发；II区主要是对电力监控系统的使用人员进行仿真培训；III区是将电网监控系统的数据分享给其他系统。跨区即数据从安全I区传送到安全II区或III区，判断的手段是根据“业务需要”，比如仿真培训需要用到某些数据，那这些数据就需要从I区传送到II区；比如其他系统需要某些数据，那这些数据就需要从I区传送到III区。
更进一步的，识别数据集群数据的数据类型，根据数据集群数据的数据类型、业务应用对应的主题、以及数据集群数据是否需要跨区处理，对数据集群数据进行分片，能够通过分片处理，订阅对应的数据处理主题，以便获取计算结果。
应说明的是，分片是综合考虑数据集群数据的数据类型、业务应用对应的主题、以及数据集群数据是否需要跨区处理等因素，将相关计算所需的数据划分到同一个分片中，以触发相关公式进行计算。
更进一步的，将需要跨区处理的数据集群数据、数据集群数据的数据类型以及业务应用对应的主题，对数据集群数据进行分片；将不需要跨区处理的数据集群数据、数据集群数据的数据类型以及业务应用对应的主题，对数据集群数据进行分片；不同分区的数据分配在不同的分片中。对数据集群数据进行分片的步骤还包括：
识别所述数据集群数据的数据类型；
若判断所述数据集群数据是需要跨区处理，则根据需要跨区处理的所述数据集群数据、所述数据集群数据的数据类型以及所述业务应用对应的主题，对所述数据集群数据进行分片；
若判断所述数据集群数据是不需要跨区处理，则根据不需要跨区处理的所述数据集群数据、所述数据集群数据的数据类型以及所述业务应用对应的主题，对所述数据集群数据进行分片。
需要说明的，响应电力监控系统处理请求，一个电力监控系统处理服务对应一个消息队列主题，一个消息队列主题对应若干个厂站，根据数据所属的厂站，推送到相应的主题；通过规约解析并进行数据的判断，数据类型包括遥测量、遥信量。每个站点在接入到电力监控系统时会有一个数据表，比如一个站点有5个遥测量(遥测量即电压、电流等模拟量，属于浮点数，占多个字节)、5个遥信量(遥信量即开关状态量，0或者1，占一个字节)，通过这个数据表就可以得出该站点上送到系统的数据量(总共多少个字节)，通过统计各个站点的数据表，来确保每个分片处理的数据量大致相当。
确定好需要跨区处理的数据后，会单独为跨区数据配置一个分片，比如数据集A需要跨区传送到II区，那就把数据集A配置为一个分片；数据集B需要跨区传送到III区，就把数据集B配置为一个分片。
S4：根据所述数据处理主题对应的计算公式对所述目标数据集群数据分片进行计算，并反馈计算结果。
更进一步的，提取电力监控系统处理请求中携带的数据处理主题、并获取数据处理主题对应的计算公式与目标数据集群数据分片。
应说明的是，数据处理主题是根据公式计算需要制定的，用来触发相关的计算公式，例如电力监控系统的数据处理主题可以是计算区域功率总和即一片区域总的有功出力，该值无法测量得到，需要通过对区域内所有的测量功率求和得到，公式是该区域的所有测量功率相加，过程就是将所有测量功率值取到，然后相加，获取相加结果。
还需说明的是，目标数据集群数据分片是数据处理主题对应计算公式所需的数据集群数据分片。
更进一步的，根据数据处理主题触发的对应计算公式，对目标数据集群数据分片进行计算，并反馈计算结果给业务应用对应的主题，对业务应用对应主题中的计算结果进行告警判定。
更进一步的，根据计算结果以及计算结果对应预设的告警判定规则，生成告警；将告警推送至业务应用对应的主题。
需要说明的是，告警判定规则是根据电网运行方式确定的，对目标数据集群数据分片的计算结果进行判定，当不符合设定的判定规则时，则产生告警。
通过计算结果以及计算结果对应预设的告警判定规则，生成告警，将告警推送至业务应用对应的主题，能根据告警对电网运行状态进行调整。
实施例2
参照图2～3，为本发明的一个实施例，提供了一种电力监控系统中数据处理系统和计算机设备。其中数据处理系统包括数据获取模块100、主题推送模块200、跨区处理模块300、分片模块400、提取模块500和计算结果获取模块600，具体的：
数据获取模块100，用于响应电力监控系统处理请求，获取电力监控系统的数据集群数据。
主题推送模块200，用于根据所述数据集群数据的业务应用，将所述数据集群数据推送所述业务应用对应的主题。
跨区处理模块300，用于识别所述数据集群数据的业务需求，判断所述数据集群数据是否需要跨区处理。
分片模块400，用于识别所述数据集群数据的数据类型，根据所述数据集群数据的数据类型、所述业务应用对应的主题、以及所述数据集群数据是否需要跨区处理，对所述数据集群数据进行分片；
更进一步的，分片模块400还用于识别数据集群数据的数据类型；若判断数据集群数据是需要跨区处理，则根据需要跨区处理的数据集群数据、数据集群数据的数据类型以及业务应用对应的主题，对数据集群数据进行分片；若判断数据集群数据是不需要跨区处理，则根据不需要跨区处理的数据集群数据、数据集群数据的数据类型以及业务应用对应的主题，对数据集群数据进行分片。
提取模块500，用于提取所述电力监控系统处理请求中携带的订阅数据处理主题、并获取所述数据处理主题对应的计算公式与目标数据集群数据分片。
计算结果获取模块600，用于根据所述计算公式对所述目标数据集群数据分片进行计算，并反馈计算结果；
更进一步的，计算结果获取模块600还用于根据目标数据集群数据分片以及对应的数据处理主题，触发数据处理主题对应的预设计算公式；根据预设计算公式，获取目标数据集群数据分片的计算结果，并将计算结果推送至业务应用对应的主题；
更进一步的，计算结果获取模块600还用于根据计算结果以及计算结果对应预设的告警判定规则，生成告警；将告警推送至业务应用对应的主题。
需要说明的是，上述电力监控系统中数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
更进一步的，计算机设备可以是服务器，其内部结构图可以如图3所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储电力监控系统的数据集群数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种电力监控系统中数据处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
实施例3
参照图4～5，为本发明的一个实施例，提供了一种电力监控系统中数据处理方法、系统和计算机设备。
如图4，上述实施例方法及系统，可以应用于所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102响应电力监控系统处理操作，发送电力监控系统处理请求至服务器104，服务器104获取电力监控系统处理请求，获取电力监控系统的数据集群数据，根据数据集群数据的业务应用，将数据集群数据推送所述业务应用对应的主题，识别数据集群数据的业务需求，判断数据集群数据是否需要跨区处理，然后，识别数据集群数据的数据类型，根据数据集群数据的数据类型、业务应用对应的主题、以及数据集群数据是否需要跨区处理，对数据集群数据进行分片，最后，提取电力监控系统处理请求中携带的数据处理主题、并获取数据处理主题对应的计算公式与目标数据集群数据分片，根据计算公式对目标数据集群数据分片进行计算，并反馈计算结果。进一步的，服务器104可以将计算结果反馈至终端102，终端102再将计算结果推送给到管理人员，例如直接显示计算结果，这样管理人员可以直接基于终端102显示的计算结果了解到电力监控系统中数据处理结果。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。可以理解的是，本申请电力监控系统中数据处理方法还可以直接应用于终端，其具体实现过程与上述类似，在此不再赘述。
如图5，为电力监控系统中数据处理的服务处理流程，整个电力监控系统中数据处理方法包括以下步骤：
(1)SCADA(Supervisory Control And Data Acquisition，数据采集与监视控制系统)处理算集群、SCADA公式计启动时根据各自服务的需要分别从全局内存库中加载相关数据到相应的本地内存库中。
(2)前置通过规约解析并进行数据的判断，并根据数据分片规则把对应数据推送至相应的主题中。
(3)通过SCADA处理集群实例订阅对应主题并实现数据的分区处理，并根据业务需要判断哪些数据是跨区计算需要的，并根据数据分片配置把需要跨区处理的数据推送到相应的分片中，从而实现跨区计算；数据处理的结果推送相应主题。
(4)SCADA公式计算通过订阅数据处理主题实现触发式计算，并根据相关公式的需要进行具体数据计算，并把计算结果推送至相应主题。
(5)SCADA公式计算根据计算公式需要定期从全局内存库取数据进行计算，并把结果推送到相应主题。
(6)SCADA通过数据处理子服务(告警判定服务)对熟数据、计算结果进行处理判定后生成对应告警，并推送至相应主题。
(7)图模改动、前置新站点接入时通过全局内存同步通知引擎通知SCADA内存库与全局内存库进行同步。
实施例4
本发明的一个实施例提供了一种电力监控系统中数据处理方法、系统和计算机设备，为了验证本发明的有益效果，通过仿真对比实验进行科学论证。
本实施例以处理电压越限为主题，以贵州兴义市2019-2020年度电网历史数据为模板，通过电力系统数字仿真系统(ADPSS)模拟生成1000个厂站的实时数据，输入电力监控系统数据集群，模拟实时数据包括电压、电流、功率、频率、相角等遥测量和开关状态等遥信量以及模拟电压越限发生数据，每个场站的数据有增加或缺省，共计69552条。
在时间节点i＝0向电力监控系统发送处理请求。同时输出时间节点i＝0的仿真数据进行传统静态离线数据分析，电压越限规则设置为电压要在(0.9-1.1)标准电压范围内，对二者的处理时间及准确度进行统计。
如表1，本方法与传统静态离线数据分析均能准确判断电压越限，但在处理时间上存在差距且较大。可以看出经由数据处理系统对数据集群进行分片再根据处理请求主题进行分析所用时间可缩短至0.94s，且结果输出为动态实时告警，大幅提升了数据处理效率。
表1电压越限数据处理效率、准确率及方式对比
应说明的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种电力监控系统中数据处理方法，其特征在于，包括：
响应电力监控系统处理请求，获取电力监控系统的数据集群数据；
根据所述数据集群数据的业务应用，将所述数据集群数据推送所述业务应用对应的主题；
识别所述数据集群数据的业务需求和数据类型，对所述数据集群数据进行分片；
根据所述数据处理主题对应的计算公式对所述目标数据集群数据分片进行计算，并反馈计算结果。
2.如权利要求1所述的电力监控系统中数据处理方法，其特征在于：所述获取电力监控系统的数据集群数据的步骤包括：响应电力监控系统处理请求，从全局内存库中加载电力监控系统的数据集群数据到本地内存库中。
3.如权利要求1所述的电力监控系统中数据处理方法，其特征在于：所述对数据集群数据进行分片包括：
识别所述数据集群数据的数据类型；
若判断所述数据集群数据是需要跨区处理，则根据需要跨区处理的所述数据集群数据、所述数据集群数据的数据类型以及所述业务应用对应的主题，对所述数据集群数据进行分片；
若判断所述数据集群数据是不需要跨区处理，则根据不需要跨区处理的所述数据集群数据、所述数据集群数据的数据类型以及所述业务应用对应的主题，对所述数据集群数据进行分片。
4.如权利要求1所述的电力监控系统中数据处理方法，其特征在于：所述数据处理主题对应的计算公式为：根据所述目标数据集群数据分片以及对应的所述数据处理主题，触发所述数据处理主题对应的预设计算公式。
5.如权利要求1所述的电力监控系统中数据处理方法，其特征在于：所述反馈计算结果还包括：将所述计算结果推送至所述业务应用对应的主题。
6.如权利要求1或5所述的电力监控系统中数据处理方法，其特征在于：所述反馈计算结果之后还包括：
根据所述计算结果以及所述计算结果对应预设的告警判定规则，生成告警；
将所述告警推送至所述业务应用对应的主题。
7.一种电力监控系统中数据处理系统，用于实现权利要求1所述电力监控系统中数据处理方法其特征在于，所述系统包括：
数据获取模块(100)，用于响应电力监控系统处理请求，获取电力监控系统的数据集群数据；
主题推送模块(200)，用于根据所述数据集群数据的业务应用，将所述数据集群数据推送所述业务应用对应的主题；
跨区处理模块(300)，用于识别所述数据集群数据的业务需求，判断所述数据集群数据是否需要跨区处理；
分片模块(400)，用于识别所述数据集群数据的数据类型，根据所述数据集群数据的数据类型、所述业务应用对应的主题、以及所述数据集群数据是否需要跨区处理，对所述数据集群数据进行分片；
提取模块(500)，用于提取所述电力监控系统处理请求中携带的订阅数据处理主题、并获取所述数据处理主题对应的计算公式与目标数据集群数据分片；
计算结果获取模块(600)，用于根据所述计算公式对所述目标数据集群数据分片进行计算，并反馈计算结果。
8.一种电力监控系统中数据处理计算机设备，其特征在于：所述计算机设备包括：存储器、处理器、输入/输出接口和通信接口，其中处理器、存储器、输入/输出接口通过总线连接，通信接口通过输入/输出接口连接到总线。
9.如权利要求8所述的电力监控系统中数据计算机设备，其特征在于：所述数据获取模块(100)、主题推送模块(200)、跨区处理模块(300)、分片模块(400)、提取模块(500)和计算结果获取模块(600)设置于所述计算机设备中。
10.如权利要求9所述的电力监控系统中数据处理系统，其特征在于：所述存储器是一种计算机可读存储介质，包括非易失性存储介质和内存储器，其中所述非易失性存储介质存储有计算机程序，所述内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境；所述处理器用于提供计算和控制能力，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211327337.4A CN115604353B (zh) | 2022-10-27 | 2022-10-27 | 电力监控系统中数据处理方法、系统和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211327337.4A CN115604353B (zh) | 2022-10-27 | 2022-10-27 | 电力监控系统中数据处理方法、系统和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115604353A true CN115604353A (zh) | 2023-01-13 |
| CN115604353B CN115604353B (zh) | 2024-05-17 |
Family
ID=84850430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211327337.4A Active CN115604353B (zh) | 2022-10-27 | 2022-10-27 | 电力监控系统中数据处理方法、系统和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115604353B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116781699A (zh) * | 2023-08-18 | 2023-09-19 | 北京国润华兴科技有限责任公司 | 一种基于分布式边缘计算的数据通信方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109451072A (zh) * | 2018-12-29 | 2019-03-08 | 广东电网有限责任公司 | 一种基于Kafka的消息缓存系统和方法 |
| CN110545312A (zh) * | 2019-08-12 | 2019-12-06 | 中国南方电网有限责任公司 | 电力监控系统跨区互联检测方法与装置 |
| WO2020046286A1 (en) * | 2018-08-29 | 2020-03-05 | General Electronic Company | Integrated cybersecurity risk assessment and state monitoring for electrical power grid |
| CN112260398A (zh) * | 2020-09-18 | 2021-01-22 | 许继集团有限公司 | 一种支持动态扩展的电网监控系统 |
| CN113609139A (zh) * | 2021-09-30 | 2021-11-05 | 苏州浪潮智能科技有限公司 | 一种监控数据管理方法、装置及电子设备和存储介质 |
| CN114244864A (zh) * | 2021-11-18 | 2022-03-25 | 广东电网有限责任公司 | 电力监控系统跨区互联检测方法、装置和计算机设备 |
| CN114356690A (zh) * | 2021-12-02 | 2022-04-15 | 上海浦东发展银行股份有限公司 | 应用监控方法、装置、系统、计算机设备、存储介质 |
| CN114461602A (zh) * | 2021-12-20 | 2022-05-10 | 重庆川仪自动化股份有限公司 | 一种多轨道站台屏蔽门数据集中监控系统和方法 |
-
2022
- 2022-10-27 CN CN202211327337.4A patent/CN115604353B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020046286A1 (en) * | 2018-08-29 | 2020-03-05 | General Electronic Company | Integrated cybersecurity risk assessment and state monitoring for electrical power grid |
| CN109451072A (zh) * | 2018-12-29 | 2019-03-08 | 广东电网有限责任公司 | 一种基于Kafka的消息缓存系统和方法 |
| CN110545312A (zh) * | 2019-08-12 | 2019-12-06 | 中国南方电网有限责任公司 | 电力监控系统跨区互联检测方法与装置 |
| CN112260398A (zh) * | 2020-09-18 | 2021-01-22 | 许继集团有限公司 | 一种支持动态扩展的电网监控系统 |
| CN113609139A (zh) * | 2021-09-30 | 2021-11-05 | 苏州浪潮智能科技有限公司 | 一种监控数据管理方法、装置及电子设备和存储介质 |
| CN114244864A (zh) * | 2021-11-18 | 2022-03-25 | 广东电网有限责任公司 | 电力监控系统跨区互联检测方法、装置和计算机设备 |
| CN114356690A (zh) * | 2021-12-02 | 2022-04-15 | 上海浦东发展银行股份有限公司 | 应用监控方法、装置、系统、计算机设备、存储介质 |
| CN114461602A (zh) * | 2021-12-20 | 2022-05-10 | 重庆川仪自动化股份有限公司 | 一种多轨道站台屏蔽门数据集中监控系统和方法 |
Non-Patent Citations (2)
| Title |
|---|
| DTR/ONEM2M-000001: "TECHNICAL REPORT oneM2M Use Case collection", ETSI TR 118 501, no. 1, 31 May 2015 (2015-05-31) * |
| 冯俊: "水电企业大数据基础平台的设计与实现", 中国优秀硕士学位论文全文数据库, 15 August 2018 (2018-08-15) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116781699A (zh) * | 2023-08-18 | 2023-09-19 | 北京国润华兴科技有限责任公司 | 一种基于分布式边缘计算的数据通信方法及系统 |
| CN116781699B (zh) * | 2023-08-18 | 2023-10-27 | 北京国润华兴科技有限责任公司 | 一种基于分布式边缘计算的数据通信方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115604353B (zh) | 2024-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9652723B2 (en) | Electrical transformer failure prediction | |
| CN112860695B (zh) | 监控数据查询方法、装置、设备、存储介质及程序产品 | |
| CN109947668B (zh) | 存储数据的方法和装置 | |
| CN103955509A (zh) | 一种海量电力计量数据的快速检索方法 | |
| CN107330056A (zh) | 基于大数据云计算平台的风电场scada系统及其运行方法 | |
| CN115604353A (zh) | 电力监控系统中数据处理方法、系统和计算机设备 | |
| CN112367384B (zh) | 基于Kafka集群的动态限速方法、装置以及计算机设备 | |
| CN111680108A (zh) | 一种数据存储方法、装置及一种数据获取方法、装置 | |
| CN113723810A (zh) | 基于图数据库的电网建模方法 | |
| CN112488745A (zh) | 一种智能费控管理方法、装置、设备和存储介质 | |
| CN114825638A (zh) | 新能源发电监控方法、系统及终端 | |
| CN114221353B (zh) | 电网调控方法、装置、设备、存储介质和计算机程序产品 | |
| CN113595246A (zh) | 微电网状态在线监测方法、装置、计算机设备和存储介质 | |
| Li et al. | Adaptive replica creation and selection strategies for latency-aware application in collaborative edge-cloud system | |
| CN116163879B (zh) | 抽水蓄能电站的运行工况调节方法、装置和计算机设备 | |
| CN116722589A (zh) | 一种分布式能源配电网拓扑结构选取方法及相关装置 | |
| CN110851758A (zh) | 一种网页访客数量统计方法及装置 | |
| CN114862615A (zh) | 分布式电力资源的聚合方法、装置、计算机设备 | |
| CN116628042A (zh) | 数据处理方法、装置、设备及介质 | |
| WO2019218677A1 (zh) | 电网仿真分析数据存储方法、装置及电子设备 | |
| CN116316616B (zh) | 配电网的故障处理方案确定方法、装置和计算机设备 | |
| CN118014419A (zh) | 电力安全生产目标管理方法、装置、设备、介质和产品 | |
| CN115509909B (zh) | 测试方法、装置、电子设备和存储介质 | |
| CN116723002B (zh) | 基于态势感知的电力报告智能加密方法 | |
| CN112948206B (zh) | 基于云计算的时序日志管理系统及包含该系统的电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |