CN117667965A - 管理电池储能系统大数据的方法和系统及计算设备 - Google Patents
管理电池储能系统大数据的方法和系统及计算设备 Download PDFInfo
- Publication number
- CN117667965A CN117667965A CN202410138583.8A CN202410138583A CN117667965A CN 117667965 A CN117667965 A CN 117667965A CN 202410138583 A CN202410138583 A CN 202410138583A CN 117667965 A CN117667965 A CN 117667965A
- Authority
- CN
- China
- Prior art keywords
- data
- processing
- priority
- priority data
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004146 energy storage Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 209
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012958 reprocessing Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2308—Concurrency control
- G06F16/2315—Optimistic concurrency control
- G06F16/2322—Optimistic concurrency control using timestamps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种管理电池储能系统大数据的方法和系统及计算设备，所述方法包括：建立用于第一优先级数据的实时处理模块；建立数据流服务器集群中运行的数据处理拓扑，所述数据处理拓扑用于处理第二优先级数据，至少包括第一数据源节点和第一组处理逻辑节点；所述实时处理模块接收来自数据采集模块的所述第一优先级数据，对所述第一优先级数据进行实时处理以对所述第一优先级数据做出实时响应；第一数据源节点接收来自数据采集模块的所述第二优先级数据并发送至第一组处理逻辑节点，第一组处理逻辑节点对第二优先级数据增加时间戳后存储至时间戳数据库。根据本发明的技术方案，能够对数据进行分级处理，统一数据处理标准。
Description
技术领域
本发明涉及人工智能技术领域，具体涉及一种管理电池储能系统大数据的方法和系统及计算设备。
背景技术
现有电池储能系统构建大数据基础数据池，采用中间件技术设计，构建于开源的Linux 操作系统和数据库之上，遵循面向数据架构（DOA）和面向服务架构（SOA）体系结构设计。大数据基础数据池根据部署位置和处理性能，分为主数据池和子数据池两类。子数据池负责接入前端各类传感器、设备数据或其他子系统数据，实现前端分别预处理、存储，并将重要数据再向上汇入主数据池。主数据池处理、存储重要数据，并为大数据中心或各类应用提供统一数据接口。现有技术中，针对不同设备层数据进行单独的采集预处理，然后汇集到大数据池，用于重要数据处理或后续处理。但是数据的采集预处理分散在多个模块中，存在处理不一致或不及时的问题，缺少统一标准，且重要数据汇入主数据池再处理，可能存在延迟。
为此，需要一种技术方案，能够对数据进行分级处理，统一数据处理标准，提高数据处理速度和准确性。
发明内容
本发明旨在提供管理电池储能系统大数据的方法和系统及计算设备，能够对数据进行分级处理。
根据本发明的一方面，提供一种管理电池储能系统大数据的方法，所述方法包括：
建立用于第一优先级数据的实时处理模块；
建立数据流服务器集群中运行的数据处理拓扑，所述数据处理拓扑用于处理第二优先级数据，至少包括第一数据源节点和第一组处理逻辑节点；
所述实时处理模块接收来自数据采集模块的所述第一优先级数据，对所述第一优先级数据进行实时处理以对所述第一优先级数据做出实时响应；
所述第一数据源节点接收来自所述数据采集模块的所述第二优先级数据并发送至所述第一组处理逻辑节点，所述第一组处理逻辑节点对所述第二优先级数据增加时间戳后存储至所述时间戳数据库。
根据一些实施例，对所述第一优先级数据进行实时处理，包括：
对预警数据进行处理，并根据处理结果确定是否发出警报。
根据一些实施例，所述数据处理拓扑还包括第二数据源节点和第二组处理逻辑节点，所述第二数据源节点接收来自所述实时处理模块的所述第一优先级数据并发送至所述第二组处理逻辑节点，所述第二组处理逻辑节点对所述第一优先级数据处理后存储至所述时间戳数据库。
根据一些实施例，所述第二组处理逻辑节点对所述第一优先级数据增加时间戳。
根据一些实施例，所述数据处理拓扑还包括第三数据源节点和第三组处理逻辑节点，其中，
所述第三数据源节点与所述第一数据源节点接收来自所述数据采集模块的不同采样频率的第二优先级数据。
根据一些实施例，所述数据处理拓扑还包括汇总处理逻辑节点，用于将来自其他处理逻辑节点的数据存储至所述时间戳数据库。
根据本发明的另一方面，提供一种管理电池储能系统大数据的系统，所述系统包括：
用于第一优先级数据的实时处理模块；
数据流服务器集群，其中运行数据处理拓扑，所述数据处理拓扑用于处理第二优先级数据，至少包括第一数据源节点和第一组处理逻辑节点，
其中，
所述实时处理模块接收来自数据采集模块的所述第一优先级数据，对所述第一优先级数据进行实时处理以对所述第一优先级数据做出实时响应，
所述第一数据源节点接收来自所述数据采集模块的所述第二优先级数据并发送至所述第一组处理逻辑节点，所述第一组处理逻辑节点对所述第二优先级数据增加时间戳后存储至所述时间戳数据库。
根据一些实施例，所述数据处理拓扑还包括第二数据源节点和第二组处理逻辑节点，所述第二数据源节点接收来自所述实时处理模块的所述第一优先级数据并发送至所述第二组处理逻辑节点，所述第二组处理逻辑节点对所述第一优先级数据处理后存储至所述时间戳数据库。
根据一些实施例，所述数据处理拓扑还包括第三数据源节点和第三组处理逻辑节点，其中，所述第三数据源节点与所述第一数据源节点接收来自所述数据采集模块的不同采样频率的第二优先级数据；
所述数据处理拓扑还包括汇总处理逻辑节点，用于将来自其他处理逻辑节点的数据存储至所述时间戳数据库。
根据本发明的另一方面，提供一种计算设备，包括：
处理器；以及
存储器，存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行如上任一项所述的方法。
根据本发明的另一方面，提供一种非瞬时性计算机可读存储介质，其上存储有计算机可读指令，当所述指令被处理器执行时，使得所述处理器执行如上任一项所述的方法。
根据本发明的实施例，通过建立用于第一优先级数据的实时处理模块和数据处理拓扑处理第二优先级数据，实时处理模块接收数据采集模块的第一优先级数据，对第一优先级数据进行实时处理并做出实时响应，处理逻辑节点对第二优先级数据增加时间戳后存储至时间戳数据库。本发明解决了数据的采集预处理分散在多个模块导致存在处理不一致或不及时的问题，提供了数据处理的统一标准，避免将重要数据汇入主数据池再处理导致的处理延迟，能够对数据进行分级处理，提高数据处理速度和准确性。
根据一些实施例，数据分级有助于不同敏感度级别的数据实施精细化的安全策略，通过区分关键数据与非关键数据，可以优先保护高价值信息资源，降低整体安全风险。
根据一些实施例，根据数据的重要性和访问频率，可以合理配置存储、计算和网络资源。例如，将经常访问的热数据存放在高速存储介质上，而较少访问的冷数据移至低成本存储系统中，实现存储成本的节省和性能的提升。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1示出根据示例实施例的管理电池储能系统大数据的方法流程图。
图2示出根据示例实施例的拓扑配置的示意图。
图3示出根据示例实施例的管理电池储能系统大数据的系统示意图。
图4示出根据示例性实施例的计算设备的框图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本发明将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本发明概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
本发明所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的，因此不能用于限制本发明的保护范围。
现有技术中，大数据基础数据池接入各类传感器数据、仪器仪表数据、音视频数据、门禁数据以及其他子系统数据等，屏蔽数据的异构性，对它们进行统一的存储、预处理和抽象，为大数据中心或各类应用程序提供统一的接口标准，打破信息孤岛，横向打通信息空间。系统支持以太网、无线传感器网络、串行网络、标准 IO、4-20mA 电流等多种设备联网方式，将数据进行统一接入、汇总、存储，提供自定义报警逻辑、自定义控制逻辑、智能分析等多种数据处理方式，实现前端智能化处理，并为大数据中心和云计算提供数据支撑。运用基于并行采集和分时复用的系统多类型及多时间尺度数据实时采集和高效传输方法，为系统关键部件异常预警和巡检运维优化提供数据基础。
目前，针对不同设备层数据进行单独的采集预处理，然后汇集到大数据池，包括实时数据库和数据仓库等，用于重要数据处理或后续处理。这存在两个问题，一个是数据的采集预处理分散在多个模块中，存在处理不一致或不及时的问题，缺少统一标准；另一个问题是重要数据汇入主数据池再处理，可能存在延迟。
为此，本发明提出一种管理电池储能系统大数据的方法，通过建立用于第一优先级数据的实时处理模块和数据处理拓扑处理第二优先级数据，实时处理模块接收数据采集模块的第一优先级数据，对第一优先级数据进行实时处理并做出实时响应，处理逻辑节点对第二优先级数据增加时间戳后存储至时间戳数据库，解决了数据的采集预处理分散在多个模块导致存在处理不一致或不及时的问题，提供了数据处理的统一标准，避免将重要数据汇入主数据池再处理导致的处理延迟，能够对数据进行分级处理，提高数据处理速度和准确性。
在描述本发明实施例之前，对本发明实施例涉及到的一些术语或概念进行解释说明。
Storm：Storm是一个开源的分布式实时计算系统，主要用于处理大量、连续不断的实时数据流。Storm的设计目标是提供高可靠性和容错性的实时计算能力，保证每个数据项都能被处理至少一次（at-least-once）或精确一次（exactly-once），并且在任何情况下都可以持续无延迟地运行。
Topology：Topology拓扑是一个核心概念，处理数据流的整个计算逻辑结构，类似于一个有向图，由一系列节点（Spout和Bolt）以及它们之间的连接关系组成。
Hadoop Zookeeper：Hadoop ZooKeeper 是一个开源的分布式协调服务，它为大型分布式系统提供了可靠且有序的消息发布/订阅、配置维护、命名服务、组服务以及同步服务等功能。ZooKeeper 不是Hadoop生态的一部分，但它在很多基于Hadoop的大数据集群中作为关键的组件被广泛使用，以实现分布式系统的协调与管理。
Spout：数据源组件，用于从外部数据源读取数据，并将数据转换为元组（Tuple）形式发射到Storm拓扑中进行处理。
Bolt：处理组件，接收Spout发射出的数据元组，并对其进行各种处理操作，如过滤、聚合、关联查询等。Bolt也可以选择继续将处理后的结果发射给其他Bolt进一步处理。
Tuple：Storm中的基本数据单元，包含了元数据信息和实际数据内容。
Stream Groupings：Stream Groupings定义了拓扑中不同组件Spout和Bolt之间数据流的分配策略，这种策略决定了一个组件发射出的数据元组如何被下游组件接收并进行处理。
Kafka：Kafka是一个开源的分布式流处理平台，由LinkedIn开发并贡献给开源社区，后来成为Apache软件基金会的一个顶级项目。Kafka最初设计用于构建高性能的消息系统，但随着其功能和性能的不断提升，现已成为大数据领域中广泛使用的流处理中间件。
下面结合附图对本发明的示例实施例进行说明。
图1示出根据示例实施例的管理电池储能系统大数据的方法流程图。
参见图1，在S101，建立用于第一优先级数据的实时处理模块。
根据一些实施例，针对需要实时处理的第一优先级数据，例如报警数据等，建立实时处理模块，而不是进入下面描述的数据处理拓扑。
在S103，建立数据流服务器集群中运行的数据处理拓扑，所述数据处理拓扑用于处理第二优先级数据，至少包括第一数据源节点和第一组处理逻辑节点。
数据源节点通常是指从外部系统或者设备获取原始数据的入口点。在实时计算框架中，数据源节点是一个监听特定接口的组件，负责接收、捕获和读取数据。数据源节点的主要任务是将这些原始数据格式化并发送到后续的数据处理流程中。
处理逻辑节点是对从数据源节点流入的数据进行操作和转换的地方。它们执行实际的数据各种逻辑操作。处理逻辑节点可以进一步细分为多个阶段或层级，以实现数据流水线式的复杂处理流程。
根据一些实施例，在建立一个运行在数据流服务器集群中处理实时数据的拓扑时，采用Apache Storm开源框架。先确定需求，包括数据源、处理逻辑和输出目的地等，确定用于读取和发射数据流Spout组件和用于处理数据流Bolt组件，以及它们之间的连接关系。
Spout获取数据并封装成Storm可处理的数据单元发射出去。编写不同功能的Bolt，如数据清洗Bolt、计算Bolt、存储Bolt等，每个Bolt对输入的Tuples进行相应的处理，并可以选择是否继续发射新的数据单元。
在Storm拓扑结构中，一个Spout可能是数据源节点，进行消息拉取，后面的一系列Bolt则代表不同的处理逻辑节点，每个Bolt负责一种具体的处理功能，通过链式结构，系统能够实现端到端的数据流处理。
通过设计一个高性能、低延迟的Spout组件，它可以连接到Kafka队列、消息中间件、数据库触发器或传感器网络等数据源。Spout负责从这些数据源中持续不断地拉取或接收新产生的实时数据。
根据需求创建多个不同功能的Bolt组件，例如清洗、过滤、聚合、关联查询等操作。对于高优先级的数据，可能需要实现快速路由或者预处理逻辑，确保这些数据能够立即得到处理。在Bolt内部或者通过拓扑结构设计，使用优先级队列对不同优先级的数据进行区分，并确保高优先级数据总是优先被处理。
在S105，所述实时处理模块接收来自数据采集模块的所述第一优先级数据，对所述第一优先级数据进行实时处理以对所述第一优先级数据做出实时响应。
根据一些实施例，对预警数据进行处理，并根据处理结果确定是否发出警报。
实时处理的结果应能快速反馈，如更新数据库、触发通知、写入另一个消息队列供下游系统消费，或者直接调用API接口对外提供服务。实时处理模块能够有效地捕获、处理并响应第一优先级数据，满足低延迟和高可靠性的要求。
在S107，第一数据源节点接收来自所述数据采集模块的第二优先级数据并发送至第一组处理逻辑节点。
根据一些实施例，数据采集模块负责从各种源头获取第二优先级数据，这可能包括日志文件、数据库变更、API接口推送、传感器设备输出等。第一数据源节点对接数据采集模块，订阅或监听第二优先级数据流。当有新的第二优先级数据到达时，该节点将接收到这些数据。为了确保数据的可靠传输和顺序一致性，节点可能采用消息队列或其他分布式存储系统作为中间层来接收和缓冲数据。在接收到第二优先级数据后，第一数据源节点依据预设策略进行数据分发，将其定向发送至相应的处理逻辑节点组。
根据一些实施例，第一组处理逻辑节点针对第二优先级数据执行一系列计算任务，处理逻辑节点可能按照功能划分成多个子节点，形成一个处理流水线，以实现对第二优先级数据的有效处理和优化资源分配。考虑到第二优先级数据的特性，节点中应具备相应的优先级管理机制，即使在处理高优先级数据的任务压力较大时，也能保证第二优先级数据得到及时但不抢占高优先级任务资源的处理。根据处理结果，第一组处理逻辑节点可能需要将处理后的数据写入持久化存储、触发下游服务或者直接对外提供服务响应。
根据一些实施例，在Bolt内部也可设置优先级处理机制，例如直接在Spout分发数据给Bolt时就明确指定其优先级。
在S109，第一组处理逻辑节点对所述第二优先级数据增加时间戳后存储至时间戳数据库。
根据一些实施例，所述数据处理拓扑还包括第二数据源节点和第二组处理逻辑节点，所述第二数据源节点接收来自所述实时处理模块的所述第一优先级数据并发送至所述第二组处理逻辑节点，所述第二组处理逻辑节点对所述第一优先级数据处理后存储至所述时间戳数据库。所述第二组处理逻辑节点对所述第一优先级数据增加时间戳。
根据一些实施例，数据处理拓扑还包括第三数据源节点和第三组处理逻辑节点，其中，所述第三数据源节点与所述第一数据源节点接收来自所述数据采集模块的不同采样频率的第二优先级数据。数据处理拓扑还包括汇总处理逻辑节点，用于将来自其他处理逻辑节点的数据存储至所述时间戳数据库。
根据一些实施例，第一组处理逻辑节点从第一数据源节点接收到第二优先级数据，并对其进行解码和解析，确保数据结构正确且可用。每个数据项进入节点时，节点会为其自动添加当前的时间戳信息。这个时间戳可以精确到毫秒或微秒级别，用于后续的实时分析、窗口计算或按照时间序列进行查询排序。在存储前，节点对数据进行必要的预处理和清洗工作，去除无效值、格式标准化、字段转换等，以满足时间戳数据库的存储要求。处理后的带有时间戳的第二优先级数据被写入一个支持时间序列数据存储的数据库，存储时根据时间戳字段建立索引，确保高效查询和数据分析。
图2示出根据示例实施例的拓扑配置的示意图。
参考图2，图2示出数据的处理流程，展示了从设备层到数据库的数据流。数据处理部分采用流计算引擎storm，对数据进行分级处理。在设备层中收集实时和非实时数据，并通过FCS/BMS、RTU/PLC等设备进行传输，在数据适配层对这些数据进行预处理并发送给时间戳数据库或数据仓库DB，经过计算分析后将结果存储于数据交换区供其他系统使用。
对于第一优先级数据，例如，火警数据等，进行实时处理，同时实时处理模块将原始数据和处理后数据转发流计算模块。流计算模块处理后，存入时间戳数据库。存储到时间戳数据库的数据均携带原始时间戳或流计算模块增加的时间戳，以用于后续仿真或重现储能系统的工作情况。本申请中，时间戳数据库指的是存储带有时间戳的数据的数据库，所述时间戳表示相应数据的发生时间或采集时间。
对于第二优先级数据，例如正常监控数据等，首先经流计算模块进行处理，然后存储至时间戳数据库。
Storm是个实时的、分布式以及具备高容错的计算系统。Storm可以处理大批量的数据，在保证高可靠性的前提下还可以让处理进行的更加实时；也就是说，所有的信息都会被处理。Storm同样还具备容错和分布计算这些特性，这就让Storm可以扩展到不同的机器上进行大批量的数据处理。Storm易于扩展，只需要添加机器和改变对应的topology拓扑设置。Storm使用Hadoop Zookeeper进行集群协调，这样可以充分保证大型集群的良好运行。Storm具有容错机能，一旦topology递交，Storm会一直运行它直到topology被废除或者被关闭。而在执行中出现错误时，也会由Storm重新分配任务。一个拓扑是一个有向图的计算。在一个拓扑中的每个节点包含处理逻辑，节点之间的连接显示数据应该如何在节点之间传递。topology是一组由Spouts和Bolts通过Stream Groupings进行连接的图。
图3示出根据示例实施例的管理电池储能系统大数据的系统示意图。
参见图3，图中示出一种管理电池储能系统大数据的系统，包括：数据采集模块301、实时处理模块303，数据流服务器集群305，时间戳数据库307。
根据一些实施例，实时处理模块303用于第一优先级数据的实时处理，数据流服务器集群305运行数据处理拓扑，数据处理拓扑用于处理第二优先级数据，至少包括第一数据源节点和第一组处理逻辑节点。其中，实时处理模块303接收来自数据采集模块301的第一优先级数据，对第一优先级数据进行实时处理以对第一优先级数据做出实时响应，
第一数据源节点接收来自所述数据采集模块301的第二优先级数据，并发送至第一组处理逻辑节点，第一组处理逻辑节点对第二优先级数据增加时间戳后存储至时间戳数据库。
数据处理拓扑还包括第二数据源节点和第二组处理逻辑节点，第二数据源节点接收来自实时处理模块303的第一优先级数据并发送至第二组处理逻辑节点，第二组处理逻辑节点对第一优先级数据处理后存储至时间戳数据库。
数据处理拓扑还包括第三数据源节点和第三组处理逻辑节点，其中，第三数据源节点与第一数据源节点接收来自数据采集模块的不同采样频率的第二优先级数据。数据处理拓扑还包括汇总处理逻辑节点，用于将来自其他处理逻辑节点的数据存储至时间戳数据库。
图4示出根据示例性实施例的计算设备的框图。
如图4所示，计算设备30包括处理器12和存储器14。计算设备30还可以包括总线22、网络接口16以及I/O接口18。处理器12、存储器14、网络接口16以及I/O接口18可以通过总线22相互通信。
处理器12可以包括一个或多个通用CPU(Central Processing Unit，处理器)、微处理器、或专用集成电路等，用于执行相关程序指令。根据一些实施例，计算设备30还可包括为处理器12进行加速的高性能显示适配器（GPU）20。
存储器14可以包括易失性存储器形式的机器系统可读介质，例如随机存取存储器（RAM）、只读存储器（ROM）和/或高速缓存存储器。存储器14用于存储包含指令的一个或多个程序以及数据。处理器12可读取存储在存储器14中的指令以执行上述根据本发明实施例的方法。
计算设备30也可以通过网络接口16与一个或者多个网络通信。该网络接口16可以是无线网络接口。
总线22可以为包括地址总线、数据总线、控制总线等。总线22提供了各组件之间交换信息的通路。
需要说明的是，在具体实施过程中，计算设备30还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统（包括分子存储器IC）、网络存储设备、云存储设备，或适合于存储指令和/或数据的任何类型的媒介或设备。
本发明实施例还提供一种计算机程序产品，该计算机程序产品包括存储计算机程序的非瞬时性计算机可读存储介质，该计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种方法的部分或全部步骤。
本领域的技术人员可以清楚地了解到本发明的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件，其中硬件例如可以是现场可编程门阵列、集成电路等。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上具体地展示和描述了本发明的示例性实施例。应可理解的是，本发明不限于这里描述的详细结构、设置方式或实现方法；相反，本发明意图涵盖包含在所附条款的精神和范围内的各种修改和等效设置。
Claims (10)
1.一种管理电池储能系统大数据的方法，其特征在于，包括：
建立用于第一优先级数据的实时处理模块；
建立数据流服务器集群中运行的数据处理拓扑，所述数据处理拓扑用于处理第二优先级数据，至少包括第一数据源节点和第一组处理逻辑节点；
所述实时处理模块接收来自数据采集模块的所述第一优先级数据，对所述第一优先级数据进行实时处理以对所述第一优先级数据做出实时响应；
所述第一数据源节点接收来自所述数据采集模块的所述第二优先级数据并发送至所述第一组处理逻辑节点，所述第一组处理逻辑节点对所述第二优先级数据增加时间戳后存储至所述时间戳数据库。
2.根据权利要求1所述的方法，其特征在于，对所述第一优先级数据进行实时处理，包括：
对预警数据进行处理，并根据处理结果确定是否发出警报。
3.根据权利要求1所述的方法，其特征在于，所述数据处理拓扑还包括第二数据源节点和第二组处理逻辑节点，所述第二数据源节点接收来自所述实时处理模块的所述第一优先级数据并发送至所述第二组处理逻辑节点，所述第二组处理逻辑节点对所述第一优先级数据处理后存储至所述时间戳数据库。
4.根据权利要求3所述的方法，其特征在于，所述第二组处理逻辑节点对所述第一优先级数据增加时间戳。
5.根据权利要求1所述的方法，其特征在于，所述数据处理拓扑还包括第三数据源节点和第三组处理逻辑节点，其中，
所述第三数据源节点与所述第一数据源节点接收来自所述数据采集模块的不同采样频率的第二优先级数据。
6.根据权利要求1所述的方法，其特征在于，所述数据处理拓扑还包括汇总处理逻辑节点，用于将来自其他处理逻辑节点的数据存储至所述时间戳数据库。
7.一种管理电池储能系统大数据的系统，其特征在于，包括：
用于第一优先级数据的实时处理模块；
数据流服务器集群，其中运行数据处理拓扑，所述数据处理拓扑用于处理第二优先级数据，至少包括第一数据源节点和第一组处理逻辑节点，
其中，
所述实时处理模块接收来自数据采集模块的所述第一优先级数据，对所述第一优先级数据进行实时处理以对所述第一优先级数据做出实时响应，
所述第一数据源节点接收来自所述数据采集模块的所述第二优先级数据并发送至所述第一组处理逻辑节点，所述第一组处理逻辑节点对所述第二优先级数据增加时间戳后存储至所述时间戳数据库。
8.根据权利要求7所述的系统，其特征在于，所述数据处理拓扑还包括第二数据源节点和第二组处理逻辑节点，所述第二数据源节点接收来自所述实时处理模块的所述第一优先级数据并发送至所述第二组处理逻辑节点，所述第二组处理逻辑节点对所述第一优先级数据处理后存储至所述时间戳数据库。
9.根据权利要求7所述的系统，其特征在于，
所述数据处理拓扑还包括第三数据源节点和第三组处理逻辑节点，其中，所述第三数据源节点与所述第一数据源节点接收来自所述数据采集模块的不同采样频率的第二优先级数据；
所述数据处理拓扑还包括汇总处理逻辑节点，用于将来自其他处理逻辑节点的数据存储至所述时间戳数据库。
10.一种计算设备，其特征在于，包括：
处理器；以及
存储器，存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410138583.8A CN117667965B (zh) | 2024-02-01 | 2024-02-01 | 管理电池储能系统大数据的方法和系统及计算设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410138583.8A CN117667965B (zh) | 2024-02-01 | 2024-02-01 | 管理电池储能系统大数据的方法和系统及计算设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117667965A true CN117667965A (zh) | 2024-03-08 |
| CN117667965B CN117667965B (zh) | 2024-04-30 |
Family
ID=90075356
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410138583.8A Active CN117667965B (zh) | 2024-02-01 | 2024-02-01 | 管理电池储能系统大数据的方法和系统及计算设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117667965B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107678852A (zh) * | 2017-10-26 | 2018-02-09 | 携程旅游网络技术（上海）有限公司 | 基于流数据实时计算的方法、系统、设备及存储介质 |
| CN107968840A (zh) * | 2017-12-15 | 2018-04-27 | 华北电力大学（保定） | 一种大规模电力设备监测报警数据实时处理方法及系统 |
| WO2021001050A1 (en) * | 2019-07-01 | 2021-01-07 | Telefonaktiebolaget Lm Ericsson (Publ) | Sequential packet matching |
-
2024
- 2024-02-01 CN CN202410138583.8A patent/CN117667965B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107678852A (zh) * | 2017-10-26 | 2018-02-09 | 携程旅游网络技术（上海）有限公司 | 基于流数据实时计算的方法、系统、设备及存储介质 |
| CN107968840A (zh) * | 2017-12-15 | 2018-04-27 | 华北电力大学（保定） | 一种大规模电力设备监测报警数据实时处理方法及系统 |
| WO2021001050A1 (en) * | 2019-07-01 | 2021-01-07 | Telefonaktiebolaget Lm Ericsson (Publ) | Sequential packet matching |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117667965B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sajjad et al. | Spanedge: Towards unifying stream processing over central and near-the-edge data centers | |
| CN108335075B (zh) | 一种面向物流大数据的处理系统及方法 | |
| CN108270618B (zh) | 告警判定的方法、装置及告警系统 | |
| CN111077870A (zh) | 一种基于流计算的opc数据实时采集监控智能系统及方法 | |
| CN108681569A (zh) | 一种数据自动分析系统及其方法 | |
| CN112751726B (zh) | 一种数据处理方法、装置、电子设备和存储介质 | |
| CN110995497A (zh) | 一种云计算环境下统一运维的方法、终端设备及存储介质 | |
| CN113259355B (zh) | 一种基于sdn的工业互联网标识切片管理系统 | |
| CN110119304A (zh) | 一种中断处理方法、装置及服务器 | |
| CN112865311B (zh) | 一种电力系统消息总线监视方法和装置 | |
| Dunne et al. | A comparison of data streaming frameworks for anomaly detection in embedded systems | |
| CN111858656A (zh) | 一种基于分布式架构的静态数据的查询方法和设备 | |
| Yue et al. | Desis: Efficient Window Aggregation in Decentralized Networks. | |
| CN117667965B (zh) | 管理电池储能系统大数据的方法和系统及计算设备 | |
| CN105718349B (zh) | 跨管芯接口监听或全局观察消息排序 | |
| CN116431324A (zh) | 一种基于Kafka高并发数据采集与分发的边缘系统 | |
| CN115022402B (zh) | 一种基于一栈式集成技术的agent采集方法及系统 | |
| CN111049846A (zh) | 数据处理方法和装置、电子设备及计算机可读存储介质 | |
| CN115391429A (zh) | 基于大数据云计算的时序数据处理方法及装置 | |
| CN113505326B (zh) | 一种基于http协议族的动态编码数据传输控制方法 | |
| CN115292068A (zh) | 数据访问方法和系统、控制器、计算机可读存储介质 | |
| Guilan et al. | Real-time big data technologies of energy internet platform | |
| CN110912957B (zh) | 一种实现生产设备状态实时监控的多服务集群设计方法 | |
| CN112256446B (zh) | 一种Kafka消息总线管控方法及系统 | |
| CN114756301A (zh) | 日志处理方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Floor 17, Building 1, No. 2 Mudanjiang Street, Jianye District, Nanjing City, Jiangsu Province, 210019 Patentee after: Jiangsu Linyang Energy Storage Technology Co.,Ltd. Country or region after: China Address before: Floor 17, Building D1, No. 2 Mudanjiang Street, Jianye District, Nanjing City, Jiangsu Province, 210019 Patentee before: Jiangsu Linyang Yiwei Energy Storage Technology Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |