CN117743425A - 一种用于电力系统的实时业务数据处理方法、装置及介质 - Google Patents
一种用于电力系统的实时业务数据处理方法、装置及介质 Download PDFInfo
- Publication number
- CN117743425A CN117743425A CN202311244488.8A CN202311244488A CN117743425A CN 117743425 A CN117743425 A CN 117743425A CN 202311244488 A CN202311244488 A CN 202311244488A CN 117743425 A CN117743425 A CN 117743425A
- Authority
- CN
- China
- Prior art keywords
- data
- real
- processing
- service
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 83
- 238000009826 distribution Methods 0.000 claims abstract description 36
- 230000001360 synchronised effect Effects 0.000 claims abstract description 12
- 238000002360 preparation method Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 38
- 238000003860 storage Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 230000005611 electricity Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000001550 time effect Effects 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 230000002688 persistence Effects 0.000 claims description 3
- 230000008439 repair process Effects 0.000 claims description 3
- 230000032683 aging Effects 0.000 claims description 2
- 238000013500 data storage Methods 0.000 abstract description 5
- 230000003993 interaction Effects 0.000 abstract description 4
- 230000007246 mechanism Effects 0.000 abstract description 4
- 238000013461 design Methods 0.000 abstract description 2
- 230000008901 benefit Effects 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012432 intermediate storage Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种用于电力系统的实时业务数据处理方法，所述方法包括：S01，通过数据处理引擎获取电力系统的配电网业务系统中的流数据和批数据，并存储到数据仓库中；S02，通过对所述数据仓库进行同步处理，形成数据准备层；S03，通过对所述数据仓库进行合并报表处理，形成数据细节层；S04，通过对所述数据仓库根据预设业务指标进行数据组装，形成数据服务层；S05，通过所述数据细节层和所述数据服务层，提供对外查询服务。本发明能够设计配电网实时数据完整性和一致性数据存储机制，并提出满足配电网实时数据共享服务需求的数据交互策略。
Description
技术领域
本发明涉及配电网业务数据存储和交互处理技术领域，特别是关于一种用于电力系统的实时业务数据处理方法、装置及计算机可读存储介质。
背景技术
新型电力系统的配电网业务系统的数据是实时生成的，包括电力负荷、电流、电压等实时监测数据。通过流批一体化处理，可以实时监测配电网的状态并及时响应，例如检测异常情况、发出警报或触发自动化控制。然而配电网数据量庞大，涉及多个维度和数据源，例如供电设备、用户负荷、环境参数等。流批一体化处理可以同时处理大量的实时流数据和历史批量数据，并进行复杂的计算、聚合和分析，以获得更深入的洞察。同时，配电网需要做出及时的决策，例如故障检测、容量规划、负荷调度等。通过流批一体化处理，可以对实时流数据进行实时分析，并基于分析结果做出实时决策，以提高配电网的可靠性、效率和安全性。此外，新型电力系统的配电网业务系统实时数据一致性和完整性至关重要。流批一体化处理可以保证实时流数据和历史批量数据之间的一致性，通过合并、关联和校验等操作，确保数据的准确性和完整性。
现有技术中关于流批一体化数据的处理手段主要包括以下几类：
(1)在批处理中嵌入流处理，将流处理任务嵌入到批处理作业中，使用定时批量触发的方式处理实时流数据。这种方法的优点是可以在批处理作业中同时处理实时流数据和历史批量数据，但缺点是实时性较差，无法满足对实时性要求较高的应用场景。
(2)批处理与流处理分离，将批处理作业和流处理作业分开执行，通过将批处理结果写入中间存储(如HDFS或数据库)，再由流处理作业实时读取中间结果进行进一步处理。这种方法的优点是可以充分利用批处理和流处理的特点，但缺点是增加了数据传输和存储的开销，并且实时性仍受到批处理作业的延迟影响。
(3)基于消息队列的流批一体化，使用消息队列作为流数据和批数据的中间存储，流处理作业和批处理作业通过订阅消息队列实时获取数据进行处理。这种方法的优点是可以实现较高的实时性和灵活性，但缺点是对消息队列的依赖性较高，需要考虑消息丢失、消息顺序性等问题。
(4)基于流批一体化处理框架，使用流批一体化处理框架(如Apache Flink)来统一处理实时流数据和批量数据。这种方法的优点是框架提供了统一的编程模型和运行环境，方便开发和维护。
本申请的发明人在研究中发现，现有技术仍然存在一些潜在的缺点，主要体现在：1.对于海量且高速产生的配电网业务系统实时数据不能高效地进行实时捕获并进行统一管理；2.对于配电网业务系统实时数据中的大量流数据和批处理数据如何进行统一管理以提高存储效率和查询服务速度；3.对于配电网业务系统的不同查询业务请求，如何进行有针对性的满足时效性和大数据量的需求。
发明内容
针对上述问题，本发明的目的是提供一种用于电力系统的实时业务数据处理方法、装置及计算机可读存储介质，能够设计配电网实时数据完整性和一致性数据存储机制，并提出满足配电网实时数据共享服务需求的数据交互策略。
为实现上述目的，本发明采取以下技术方案：
第一方面，本申请提供一种用于电力系统的实时业务数据处理方法，所述方法包括：
S01，通过数据处理引擎获取电力系统的配电网业务系统中的流数据和批数据，并存储到数据仓库中；
S02，通过对所述数据仓库进行同步处理，形成数据准备层；
S03，通过对所述数据仓库进行合并报表处理，形成数据细节层；
S04，通过对所述数据仓库进行预设根据预设业务指标进行组装，形成数据服务层；
S05，通过所述数据细节层和所述数据服务层，提供对外查询服务。
在本发明的一种实现方式中，所述数据处理引擎具体为Flink分布式处理引擎；所述数据仓位采用Hologres分布式云数据仓库。
在本发明的一种实现方式中，所述S01，包括：
配置Flink CDC连接到所述配电网业务系统，监测并捕获数据的变动，将数据变动按发生的顺序完整记录下来作为流数据，写入到Kafka流处理平台做前置清洗。
在本发明的一种实现方式中，所述S01，还包括：
解析所述配电网业务系统的日志文件，提取其中的运行状态和事件的离线数据作为批数据,并通过HDFS分布式文件系统存储所述离线数据。
在本发明的一种实现方式中，所述S02，具体为通过Flink的实时数仓，把数据实时同步到Hologres里替换Kafka作为实时数仓的中间数据层，形成ODS层。
在本发明的一种实现方式中，所述S02，具体包括：
S201,在Flink应用程序中配置检查点，设置检查点的触发间隔和持久化方式；
S202,将写入Hologres的数据源设置为支持Exactly-Once语义，数据仅会被处理一次，避免数据重复和丢失的问题,启用Flink的事务功能，并在写入Hologres时执行事务操作，确保数据写入的完整性；
S203,检查点保存应用程序的状态和元数据，确保在发生故障时从一致的状态进行恢复,Flink协调所有任务在达到检查点时的同步操作，保证所有任务在同一个时间点上保存状态和元数据；
S204,当发生故障时，Flink使用最近一次成功的检查点来恢复应用程序的状态,Flink自动处理故障情况，重新启动失败的任务，并从检查点恢复数据处理的进度，确保数据的一致性和完整性；
S205，定期监控Flink应用程序的运行情况，包括检查点的完成情况、任务的状态和性能指标,在发生故障或异常情况时能够及时进行处理和修复，确保数据的一致性和容错性。
在本发明的一种实现方式中，所述S03，具体包括：
S301，在一预设供电场景中，启用一个Flink任务处理用电数据流，统计每个用户在电力测量仪表数据的数据，更新到产品指标宽表中；
S302,启用另一个Flink任务处理台区供电数据流，统计每个台区的供电数据量，更新到产品指标宽表中；
S303，通过Hologres自动完成整行数据的组装，基于得到的用电数据宽表。
在本发明的一种实现方式中，所述S04，具体包括：
S401,获取外部输入的配电网业务数据查询请求；
S402，判断所述查询请求的类型，其中所述类型包括时效优先型查询和数据量优先型，并根据所述类型，分别执行S403或S404；
S403，对于时效优先型查询，提供对应的查询服务；
S404,对于数据量优先型查询，提供对应的查询服务。
第二方面，本发明提供一种用于电力系统的实时业务数据处理装置，所述装置包括：
数据获取及存储模块，用于通过数据处理引擎获取电力系统的配电网业务系统中的流数据和批数据，并存储到数据仓库中；
ODS模块，用于通过对所述数据仓库进行同步处理，形成数据准备层；
DWD模块，用于通过对所述数据仓库进行合并报表处理，形成数据细节层；
DWS模块，通过对所述数据仓库根据预设业务指标进行数据组装，形成数据服务层；
查询模块，用于通过所述数据细节层和所述数据服务层，提供对外查询服务。
第三方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序运行时控制所述计算机可读存储介质所在设备执行第一方面所述的用于电力系统的实时业务数据处理方法。
本发明由于采取以上技术方案，其具有以下优点：本发明申请方案，通过数据处理引擎获取电力系统的配电网业务系统中的流数据和批数据，并存储到数据仓库中，再通过对所述数据仓库进行同步处理，形成数据准备层，进一步通过对数据仓库进行合并报表处理，形成数据细节层，然后通过对数据仓库根据预设业务指标进行组装，形成数据服务层，最终通过数据细节层和数据服务层，提供对外查询服务，从而设计了配电网实时数据完整性和一致性数据存储机制，并提出了满足配电网实时数据共享服务需求的数据交互策略。
附图说明
图1是本发明实施例提供的一种用于电力系统的实时业务数据处理方法的流程示意图；
图2是本发明实施例提供的一种用于电力系统的实时业务数据处理装置的模块示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
针对现有技术亟需对配电网业务系统的数据进行可靠和高效的实时流批一体化处理的问题。本发明技术方案相应提供一种用于电力系统的实时业务数据处理方法、装置及计算机可读存储介质。其中，所述方法包括：通过数据处理引擎获取电力系统的配电网业务系统中的流数据和批数据，并存储到数据仓库中；通过对所述数据仓库进行同步处理，形成数据准备层；通过对所述数据仓库进行合并报表处理，形成数据细节层；通过对所述数据仓库进行预设根据预设业务指标进行组装，形成数据服务层；通过所述数据细节层和所述数据服务层，提供对外查询服务。本发明技术方案，能设计配电网实时数据完整性和一致性数据存储机制，并提出满足配电网实时数据共享服务需求的数据交互策略。
请参阅本发明实施例的更多附图，在本发明的更多详细的实施例中进一步说明本发明提供的方法、装置及介质。
参见图1，在本申请实施例中的一个方面，提供了一种用于电力系统的实时业务数据处理方法，具体包括：
S01，通过数据处理引擎获取电力系统的配电网业务系统中的流数据和批数据，并存储到数据仓库中；
S02，通过对所述数据仓库进行同步处理，形成数据准备层；
S03，通过对所述数据仓库进行合并报表处理，形成数据细节层；
S04，通过对所述数据仓库进行预设根据预设业务指标进行组装，形成数据服务层；
S05，通过所述数据细节层和所述数据服务层，提供对外查询服务。
在本发明的一个更为详细的实施例中，以数据处理引擎具体为Flink分布式处理引擎；数据仓位采用Hologres分布式云数据仓库来举例说明。
在本发明的更为详细的实施例中，方法流程具体包括：
S01，实时获取配电网业务系统中的流数据，配置Flink CDC连接到电力测量仪表、传感器、智能电表、SCADA系统，监测并捕获数据的变动，将这些变更按发生的顺序完整记录下来作为流数据，写入到Kafka做前置清洗；解析电力系统日志文件，提取记录系统的运行状态和事件的离线数据作为批数据,通过HDFS存储所述离线数据；
Flink的流数据任务通过Hologres Binlog提供流式处理，Flink的批任务读取Hologres表的原始数据达到批处理能力，经过Flink统一的计算处理之后，统一写入存储至Hologres；
S02,通过Flink的实时数仓，把数据实时同步到Hologres里替换Kafka作为实时数仓的中间数据层，形成ODS层；
S03,数据实时写入ODS层后，Flink读取Hologres Binlog，并用多流合并、维表关联将电力测量仪表数据表、传感器数据表、智能电表数据包、SCADA系统数据表合并为一个大宽表，实时写入至Hologres的订单汇总表中，形成DWD层(数据仓库明细层)；
S04,通过Flink读取Hologres DWD的Binlog数据，按照电力用户角度或者电力台区角度进行实时指标聚合实时写入Hologres，通过Hologres自动完成整行数据的组装，形成DWS层(数据仓库汇总层)；
S05,在Hologres里通过DWD和DWS对外提供服务，进行实时报表统计，根据外部查询对外提供Hologres查询数据。
其中，把数据实时同步到Hologres里还包括:
S201,在Flink应用程序中配置检查点，设置检查点的触发间隔和持久化方式；
S202,将写入Hologres的数据源设置为支持Exactly-Once语义，数据仅会被处理一次，避免数据重复和丢失的问题,启用Flink的事务功能，并在写入Hologres时执行事务操作，确保数据写入的完整性；
S203,检查点保存应用程序的状态和元数据，确保在发生故障时从一致的状态进行恢复,Flink协调所有任务在达到检查点时的同步操作，保证所有任务在同一个时间点上保存状态和元数据；
S204,当发生故障时，Flink使用最近一次成功的检查点来恢复应用程序的状态,Flink自动处理故障情况，重新启动失败的任务，并从检查点恢复数据处理的进度，确保数据的一致性和完整性；
S205，定期监控Flink应用程序的运行情况，包括检查点的完成情况、任务的状态和性能指标,在发生故障或异常情况时能够及时进行处理和修复，确保数据的一致性和容错性。
通过Flink读取Hologres DWD的Binlog数据，按照用户用电角度或者台区供角度进行实时指标聚合实时写入Hologres，通过Hologres自动完成整行数据的组装，形成DWS层具体为：
S301，在供电场景中，一个Flink任务处理用电数据流，统计每个用户在电力测量仪表数据的数据，以电力测量仪表ID作为主键，更新到产品指标宽表中；
S302,另一个Flink任务处理台区供电数据流，统计每个台区的供电数据量，也以电力测量仪表ID ID作为主键，更新到产品指标宽表中；
S303，通过Hologres自动完成整行数据的组装，基于得到的用电数据宽表。
进一步的，所述在Hologres里通过DWD和DWS对外提供服务，进行实时报表统计，根据外部查询对外提供Hologres查询数据具体为：
S401,获取外部输入的配电网业务数据查询请求；
S402，判断所述查询请求的类型，其中所述类型包括时效优先型查询和数据量优先型；
S403，对于时效优先型查询，确定Hologres提供的RESTful API的端点和路由规则，使用HTTP客户端工具或编程语言的HTTP库构建HTTP请求，指定HTTP方法为GET，根据端点和查询参数，构建相应的URL，然后发送构建的HTTP请求至Hologres的API服务器；
从Hologres的API服务器接收HTTP响应，根据响应状态码来判断请求是否成功，如果成功，解析响应的JSON格式的数据部分；根据需求处理响应数据，将数据展示给用户；
S404,对于数据量优先型查询，先进行批量的数据导入和更新操作，使用Hologres提供的数据导入工具将大量数据快速导入到表中；
在查询语句中使用索引、条件过滤和聚合操作来减少需要处理的数据量，优化查询语句的写法和查询计划，减少全表扫描和不必要的数据传输，以提高查询效率；
利用Hologres的并行查询能力，在多个分片上同时执行查询操作利用分布式计算资源，加快查询速度；
将频繁访问的数据或查询结果缓存起来，下次查询时直接从缓存中获取。
如图2，本申请实施例另一方面还提供一种相应的装置，包括：
数据获取及存储模块201，用于通过数据处理引擎获取电力系统的配电网业务系统中的流数据和批数据，并存储到数据仓库中；
ODS模块202，用于通过对所述数据仓库进行同步处理，形成数据准备层；
DWD模块203，用于通过对所述数据仓库进行合并报表处理，形成数据细节层；
DWS模块204，通过对所述数据仓库根据预设业务指标进行数据组装，形成数据服务层；
查询模块205，用于通过所述数据细节层和所述数据服务层，提供对外查询服务。
在本申请实施例的另一方面，还相应提供了一种计算机存储介质。
本申请实施例还提供了一种计算机可读存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述的方法。其具体的实现过程，在此不再重复赘述。
本申请实施例还提供一种计算机设备。该实施例的计算机设备包括：处理器、存储器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现实施例中的前述方法，为避免重复，此处不一一赘述。或者，该计算机程序被处理器执行时实现实施例中装置中各模型中/单元的功能，为避免重复，此处不一一赘述。
计算机设备可以是桌上型计算机、笔记本、掌上电脑、服务器及云端服务器等计算设备。计算机设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以是计算机设备的内部存储单元，例如计算机设备的硬盘或内存。存储器也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例上述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上上述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (10)
1.一种用于电力系统的实时业务数据处理方法，其特征在于，所述方法包括：
S01，通过数据处理引擎获取电力系统的配电网业务系统中的流数据和批数据，并存储到数据仓库中；
S02，通过对所述数据仓库进行同步处理，形成数据准备层；
S03，通过对所述数据仓库进行合并报表处理，形成数据细节层；
S04，通过对所述数据仓库预设根据预设业务指标进行数据组装，形成数据服务层；
S05，通过所述数据细节层和所述数据服务层，提供对外查询服务。
2.根据权利要求1所述的用于电力系统的实时业务数据处理方法，其特征在于，所述数据处理引擎具体为Flink分布式处理引擎；所述数据仓位采用Hologres分布式云数据仓库。
3.根据权利要求2所述的用于电力系统的实时业务数据处理方法，其特征在于，所述S01，包括：
配置Flink CDC连接到所述配电网业务系统，监测并捕获数据的变动，将数据变动按发生的顺序完整记录下来作为流数据，写入到Kafka流处理平台做前置清洗。
4.根据权利要求3所述的用于电力系统的实时业务数据处理方法，其特征在于，所述S01，还包括：
解析所述配电网业务系统的日志文件，提取其中的运行状态和事件的离线数据作为批数据,并通过HDFS分布式文件系统存储所述离线数据。
5.据权利要求4所述的用于电力系统的实时业务数据处理方法，其特征在于，所述S02，具体为通过Flink的实时数仓，把数据实时同步到Hologres里替换Kafka作为实时数仓的中间数据层，形成ODS层。
6.根据权利要求5所述的用于电力系统的实时业务数据处理方法，其特征在于，所述S02，具体包括：
S201,在Flink应用程序中配置检查点，设置检查点的触发间隔和持久化方式；
S202,将写入Hologres的数据源设置为支持Exactly-Once语义，数据仅会被处理一次，避免数据重复和丢失的问题,启用Flink的事务功能，并在写入Hologres时执行事务操作，确保数据写入的完整性；
S203,检查点保存应用程序的状态和元数据，确保在发生故障时从一致的状态进行恢复,Flink协调所有任务在达到检查点时的同步操作，保证所有任务在同一个时间点上保存状态和元数据；
S204,当发生故障时，Flink使用最近一次成功的检查点来恢复应用程序的状态,Flink自动处理故障情况，重新启动失败的任务，并从检查点恢复数据处理的进度，确保数据的一致性和完整性；
S205，定期监控Flink应用程序的运行情况，包括检查点的完成情况、任务的状态和性能指标,在发生故障或异常情况时能够及时进行处理和修复，确保数据的一致性和容错性。
7.根据权利要求6所述的用于电力系统的实时业务数据处理方法，其特征在于，所述S03，具体包括：
S301，在一预设供电场景中，启用一个Flink任务处理用电数据流，统计每个用户在电力测量仪表数据的数据，更新到产品指标宽表中；
S302,启用另一个Flink任务处理台区供电数据流，统计每个台区的供电数据量，更新到产品指标宽表中；
S303，通过Hologres自动完成整行数据的组装，基于得到的用电数据宽表。
8.根据权利要求7所述的用于电力系统的实时业务数据处理方法，其特征在于，所述S04，具体包括：
S401,获取外部输入的配电网业务数据查询请求；
S402，判断所述查询请求的类型，其中所述类型包括时效优先型查询和数据量优先型，并根据所述类型，分别执行S403或S404；
S403，对于时效优先型查询，提供对应的查询服务；
S404,对于数据量优先型查询，提供对应的查询服务。
9.一种用于电力系统的实时业务数据处理装置，其特征在于，所述装置包括：
数据获取及存储模块，用于通过数据处理引擎获取电力系统的配电网业务系统中的流数据和批数据，并存储到数据仓库中；
ODS模块，用于通过对所述数据仓库进行同步处理，形成数据准备层；
DWD模块，用于通过对所述数据仓库进行合并报表处理，形成数据细节层；
DWS模块，通过对所述数据仓库进行预设根据预设业务指标进行组装，形成数据服务层；
查询模块，用于通过所述数据细节层和所述数据服务层，提供对外查询服务。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至8任一项所述的用于电力系统的实时业务数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311244488.8A CN117743425A (zh) | 2023-09-25 | 2023-09-25 | 一种用于电力系统的实时业务数据处理方法、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311244488.8A CN117743425A (zh) | 2023-09-25 | 2023-09-25 | 一种用于电力系统的实时业务数据处理方法、装置及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117743425A true CN117743425A (zh) | 2024-03-22 |
Family
ID=90249599
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311244488.8A Pending CN117743425A (zh) | 2023-09-25 | 2023-09-25 | 一种用于电力系统的实时业务数据处理方法、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117743425A (zh) |
-
2023
- 2023-09-25 CN CN202311244488.8A patent/CN117743425A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10560465B2 (en) | Real time anomaly detection for data streams | |
| US10409650B2 (en) | Efficient access scheduling for super scaled stream processing systems | |
| US10262032B2 (en) | Cache based efficient access scheduling for super scaled stream processing systems | |
| EP4099170B1 (en) | Method and apparatus of auditing log, electronic device, and medium | |
| CN113254466B (zh) | 一种数据处理方法、装置、电子设备和存储介质 | |
| CN110362455B (zh) | 一种数据处理方法和数据处理装置 | |
| CN109684052B (zh) | 事务分析方法、装置、设备及存储介质 | |
| CN107463479A (zh) | 一种社交数据监控系统 | |
| CN110912757B (zh) | 业务的监控方法和服务器 | |
| CN108170832B (zh) | 一种面向工业大数据的异构数据库的监控系统及监控方法 | |
| CN111586126A (zh) | 小程序预下载方法、装置、设备及存储介质 | |
| CN113360554A (zh) | 一种数据抽取、转换和加载etl的方法和设备 | |
| CN112988679B (zh) | 日志采集控制方法、装置、存储介质及服务器 | |
| CN110147470B (zh) | 一种跨机房数据比对系统及方法 | |
| CN111522786A (zh) | 日志处理系统及方法 | |
| CN111800292A (zh) | 基于历史流量的预警方法、装置、计算机设备及存储介质 | |
| CN113312321A (zh) | 一种业务量的异常监测方法及相关设备 | |
| CN114756301B (zh) | 日志处理方法、装置和系统 | |
| CN117743425A (zh) | 一种用于电力系统的实时业务数据处理方法、装置及介质 | |
| CN115269519A (zh) | 一种日志检测方法、装置及电子设备 | |
| CN116628042A (zh) | 数据处理方法、装置、设备及介质 | |
| CN115202973A (zh) | 应用运行状态的确定方法、装置、电子设备和介质 | |
| CN117131059A (zh) | 报表数据处理方法、装置、设备及存储介质 | |
| CN114625763A (zh) | 用于数据库的信息分析方法、装置、电子设备和可读介质 | |
| CN114356712A (zh) | 数据处理方法、装置、设备、可读存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |