CN111209314A - 一种电力信息系统海量日志数据实时处理系统 - Google Patents
一种电力信息系统海量日志数据实时处理系统 Download PDFInfo
- Publication number
- CN111209314A CN111209314A CN202010029975.2A CN202010029975A CN111209314A CN 111209314 A CN111209314 A CN 111209314A CN 202010029975 A CN202010029975 A CN 202010029975A CN 111209314 A CN111209314 A CN 111209314A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- database
- query
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 39
- 238000005516 engineering process Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000003860 storage Methods 0.000 claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 238000013500 data storage Methods 0.000 claims abstract description 9
- 238000010223 real-time analysis Methods 0.000 claims abstract description 7
- 238000001914 filtration Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 241000282813 Aepyceros melampus Species 0.000 claims description 4
- 229940126655 NDI-034858 Drugs 0.000 claims description 4
- 241000290929 Nimbus Species 0.000 claims description 4
- 230000001364 causal effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005065 mining Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种电力信息系统海量日志数据实时处理系统，包括：接收数据模块；融合存储模块；数据加载模块，用于数据存储和数据查询过程的实时加载；实时分析处理模块，采用Storm框架技术实时计算海量数据；数据快速查询检索模块，包括查询请求获取模块，关联规则建立模块和查询结果显示模块，所述查询请求获取模块用于获取用户输入的查询关键字；所述关联规则建立模块基于Storm框架技术并行处理数据，建立数据之间的关联；所述查询结果显示模块将查询结果输出到用户端。采用Storm框架技术、HBase数据库和基于Storm框架技术的关联规则获取方法，实现海量日志数据的低延时的实时存储和查询结果获取。
Description
技术领域
本发明涉及电力信息系统日志数据处理领域，具体涉及一种电力信息系统海量日志数据实时处理系统。
背景技术
随着电力网络信息化的发展，信息技术已经深入到电力生产的各个环节。电力信息系统在运行过程中会产生大量的日志数据，包括系统网络连接状态、数据库状态等系统运行日志以及设备运行参数等业务相关日志。如果对这些海量日志的分析与评价不及时，信息挖掘不准确，可能会造成严重的电力安全事故，因此在电力信息系统运维过程中，针对海量日志数据进行实时有效分析显得尤为必要，数据处理速度不及时和效率低下等问题，严重影响了日志数据的处理和分析。
发明内容
针对上述现有技术存在的问题，本发明提供了一种电力信息系统海量日志数据实时处理系统，通过数据挖掘、大数据分析等相关技术对信息系统多个指标日志数据进行关联分析，实现对系统故障可进行迅速定位，方便查到系统故障根因，提升信息系统运维效率。包括：
接收数据模块，用于接收采集到的海量日志数据；
融合存储模块，用于将海量日志数据存储到HBase数据库中；
数据加载模块，用于数据存储和数据查询过程的实时加载；
实时分析处理模块，采用Storm框架技术实时计算海量数据；
数据快速查询检索模块，包括查询请求获取模块，关联规则建立模块和查询结果显示模块，所述查询请求获取模块用于获取用户输入的查询关键字；所述关联规则建立模块基于Storm框架技术并行处理数据，建立数据之间的关联；所述查询结果显示模块将查询结果输出到用户端。
作为上述方案的进一步优化，所述融合存储模块，基于Storm分布式流式处理技术将海量日志数据存储到HBase数据库中。
作为上述方案的进一步优化，所述融合存储模块中包括内存映射文件，用于存储数据文件到数据文件所在内存地址的映射关系。
作为上述方案的进一步优化，所述数据加载模块，在数据存储过程采用Kafka消息队列技术将海量数据实时存储到HBase数据库中，在数据查询过程中采用Impala技术从HBase数据库快速获取查询结果。
作为上述方案的进一步优化，所述实时分析处理模块，基于Storm框架技术从数据加载模块中获取加载的数据，转换成Storm中的Topology对象，Storm中的调度中心Nimbus接收Topology对象，并将Topology对象分配到不同Supervisor的不同Worker并行执行任务。
作为上述方案的进一步优化，所述关联规则建立模块，具体为：
6.1、对于原始数据库D和新增数据库d中的日志数据经过预处理后，按照日志事件发生时间排列，并通过预设时间间隔的滑动时间窗口，将所有日志事件划分成多项；
6.2、对于原始数据库和新增数据库中的每一项遍历，过滤掉出现次数小于预设值的项，得到原始数据库的所有频繁项组成的频繁项集FD和新增数据库中的所有频繁项组成的频繁项集Fd；
6.3、对于集合FD和Fd取交集，得到集合C1为原始数据库和新增数据库中都频繁出现的项，取FD和C1的差集，得到在原始数据库中频繁发生，而在新增数据库中不频繁发生的频繁项集合C21，取Fd和C1的差集，得到在原始数据库中不频繁发生，而在新增数据库中频繁发生的频繁项集合C31；
6.4、针对频繁项集合C2，在新增数据库中遍历获取每项出现的次数，结合集合C2中的每一项在原始数据库中出现的次数，得到每项出现的总次数；
针对频繁项集合C3，在原始数据库中遍历获取每项出现的次数，结合集合C3中的每一项在新增数据库中出现的次数，得到每项出现的总次数；
6.5、针对频繁项集合C2，过滤掉出现总次数小于预设值的项，得到新的频繁项集合C22；针对频繁项集合C3，过滤掉出现总次数小于预设值的项，得到新的频繁项集合C32；
6.6、合并集合C1、C22和C32得到原始数据库和新增数据库形成的更新数据库的频繁项集合FDd，集合FDd中的每一项中包含的日志事件即为有关联的事件；
作为上述方案的进一步优化，所述查询结果显示模块，通过获取到的查询关键字，在频繁项集合FDd中遍历获取包含关键字的日志事件及其关联事件，得到所查询的日志事件的前因后果事件。
本发明的一种电力信息系统海量日志数据实时处理系统，具备如下有益效果：
1.本发明的一种电力信息系统海量日志数据实时处理系统，采用Storm框架技术实现数据的快速处理，在存储方面采用HBase数据库，实现实时存储日志数据，在查询方面，采用基于Storm技术的关联规则建立方法，实现快速建立不断更新的数据库中的事件关联规则，从而，快速获取所查询的事件的前因后果，实现对系统故障可进行迅速定位，方便查到系统故障根因，提升信息系统运维效率。
2.本发明的一种电力信息系统海量日志数据实时处理系统，关联规则建立模块中对原始数据库和新增数据库分别进行频繁项挖掘，并通过获取频繁出现在其中一个数据库中的项在另一个数据库出现的次数，得到不断更新的数据库的关联规则，省去了每次有新数据产生时对所有数据进行多次遍历的繁琐过程。
附图说明
图1为本发明的一种电力信息系统海量日志数据实时处理系统，存储数据时的流程框图；
图2为本发明的一种电力信息系统海量日志数据实时处理系统，查询检索时的流程框图；
图3为本发明的一种电力信息系统海量日志数据实时处理系统，关联规则建立模块的流程框图；
实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
参照附图1-3，本发明提供一种电力信息系统海量日志数据实时处理系统，包括：
接收数据模块，用于接收采集到的海量日志数据；
融合存储模块，用于将海量日志数据存储到HBase数据库中；
数据加载模块，用于数据存储和数据查询过程的实时加载；
实时分析处理模块，采用Storm框架技术实时计算海量数据；
数据快速查询检索模块，包括查询请求获取模块，关联规则建立模块和查询结果显示模块，所述查询请求获取模块用于获取用户输入的查询关键字；所述关联规则建立模块基于Storm框架技术并行处理数据，建立数据之间的关联；所述查询结果显示模块将查询结果输出到用户端。
整个系统基于Storm框架技术实现数据存储和数据查询检索的快速处理，利用大数据技术HBase数据库和Kafka消息队列技术，实现海量日志数据的实时动态处理。
在融合存储模块，基于Storm分布式流式处理技术将海量日志数据存储到HBase数据库中。
实时分析处理模块，基于Storm框架技术从数据加载模块中获取加载的数据，转换成Storm中的Topology对象，Storm中的调度中心Nimbus接收Topology对象，并将Topology对象分配到不同Supervisor的不同Worker并行执行任务。
接收到采集的数据后，数据缓存到Kafka消息队列，Storm从Kafka消息队列获取稳定的数据流，数据流通过Storm的流式处理计算模式，将数据转换成Storm中的Topology对象，Storm中的调度中心Nimbus接收Topology对象，并将Topology对象分配到不同Supervisor的不同Worker并行执行任务，实现数据的分布式处理，保证消息能够得到快速的处理。
为了实现高速存取数据，采用了内存映射文件方法，在融合存储模块中包括内存映射文件，用于存储数据文件到数据文件所在内存地址的映射关系，使用内存映射文件后，在需要操作数据库中的数据时，不需要直接对数据库中的文件执行I/O操作，节省了将文件数据加载到内存、数据从内存到文件的回写以及释放内存块等时间。
在数据加载模块，在数据存储过程采用Kafka消息队列技术将海量数据实时存储到HBase数据库中，在数据查询过程中采用Impala技术从HBase数据库快速获取查询结果。
在查询检索数据库数据时，为了快速获取数据库中的数据，采用Impala技术从HBase数据库快速获取数据，之后基于Storm流式处理数据方法，遍历原始数据库和新增数据库的所有数据，快速获取不断更新的数据之间的关联规则，获取日志事件发生的前因后果，实现对系统故障的迅速定位，方便查到系统故障根因，提升信息系统运维效率。
在关联规则建立模块中，具体过程为：
6.1、对于原始数据库D和新增数据库d中的日志数据经过预处理后，按照日志事件发生时间排列，并通过预设时间间隔的滑动时间窗口，将所有日志事件划分成多项；
6.2、对于原始数据库和新增数据库中的每一项遍历，过滤掉出现次数小于预设值的项，得到原始数据库的所有频繁项组成的频繁项集FD和新增数据库中的所有频繁项组成的频繁项集Fd；
6.3、对于集合FD和Fd取交集，得到集合C1为原始数据库和新增数据库中都频繁出现的项，取FD和C1的差集，得到在原始数据库中频繁发生，而在新增数据库中不频繁发生的频繁项集合C21，取Fd和C1的差集，得到在原始数据库中不频繁发生，而在新增数据库中频繁发生的频繁项集合C31；
6.4、针对频繁项集合C2，在新增数据库中遍历获取每项出现的次数，结合集合C2中的每一项在原始数据库中出现的次数，得到每项出现的总次数；
针对频繁项集合C3，在原始数据库中遍历获取每项出现的次数，结合集合C3中的每一项在新增数据库中出现的次数，得到每项出现的总次数；
6.5、针对频繁项集合C2，过滤掉出现总次数小于预设值的项，得到新的频繁项集合C22；针对频繁项集合C3，过滤掉出现总次数小于预设值的项，得到新的频繁项集合C32；
6.6、合并集合C1、C22和C32得到原始数据库和新增数据库形成的更新数据库的频繁项集合FDd，集合FDd中的每一项中包含的日志事件即为有关联的事件；
在查询结果显示模块，通过获取到的查询关键字，在频繁项集合FDd中遍历获取包含关键字的日志事件及其关联事件，得到所查询的日志事件的前因后果事件。
本发明不局限于上述具体的实施方式，本领域的普通技术人员从上述构思出发，不经过创造性的劳动，所做出的种种变换，均落在本发明的保护范围之内。
Claims (7)
1.一种电力信息系统海量日志数据实时处理系统，其特征在于：包括：
接收数据模块，用于接收采集到的海量日志数据；
融合存储模块，用于将海量日志数据存储到HBase数据库中；
数据加载模块，用于数据存储和数据查询过程的实时加载；
实时分析处理模块，采用Storm框架技术实时计算海量数据；
数据快速查询检索模块，包括查询请求获取模块，关联规则建立模块和查询结果显示模块，所述查询请求获取模块用于获取用户输入的查询关键字；所述关联规则建立模块基于Storm框架技术并行处理数据，建立数据之间的关联；所述查询结果显示模块将查询结果输出到用户端。
2.根据权利要求1所述的一种电力信息系统海量日志数据实时处理系统，其特征在于：所述融合存储模块，基于Storm分布式流式处理技术将海量日志数据存储到HBase数据库中。
3.根据权利要求1或2所述的一种电力信息系统海量日志数据实时处理系统，其特征在于：所述融合存储模块中包括内存映射文件，用于存储数据文件到数据文件所在内存地址的映射关系。
4.根据权利要求1所述的一种电力信息系统海量日志数据实时处理系统，其特征在于：所述数据加载模块，在数据存储过程采用Kafka消息队列技术将海量数据实时存储到HBase数据库中，在数据查询过程中采用Impala技术从HBase数据库快速获取查询结果。
5.根据权利要求1所述的一种电力信息系统海量日志数据实时处理系统，其特征在于：所述实时分析处理模块，基于Storm框架技术从数据加载模块中获取加载的数据，转换成Storm中的Topology对象，Storm中的调度中心Nimbus接收Topology对象，并将Topology对象分配到不同Supervisor的不同Worker并行执行任务。
6.根据权利要求1所述的一种电力信息系统海量日志数据实时处理系统，其特征在于：所述关联规则建立模块，具体为：
6.1、对于原始数据库D和新增数据库d中的日志数据经过预处理后，按照日志事件发生时间排列，并通过预设时间间隔的滑动时间窗口，将所有日志事件划分成多项；
6.2、对于原始数据库和新增数据库中的每一项遍历，过滤掉出现次数小于预设值的项，得到原始数据库的所有频繁项组成的频繁项集FD和新增数据库中的所有频繁项组成的频繁项集Fd；
6.3、对于集合FD和Fd取交集，得到集合C1为原始数据库和新增数据库中都频繁出现的项，取FD和C1的差集，得到在原始数据库中频繁发生，而在新增数据库中不频繁发生的频繁项集合C21，取Fd和C1的差集，得到在原始数据库中不频繁发生，而在新增数据库中频繁发生的频繁项集合C31；
6.4、针对频繁项集合C2，在新增数据库中遍历获取每项出现的次数，结合集合C2中的每一项在原始数据库中出现的次数，得到每项出现的总次数；
针对频繁项集合C3，在原始数据库中遍历获取每项出现的次数，结合集合C3中的每一项在新增数据库中出现的次数，得到每项出现的总次数；
6.5、针对频繁项集合C2，过滤掉出现总次数小于预设值的项，得到新的频繁项集合C22；针对频繁项集合C3，过滤掉出现总次数小于预设值的项，得到新的频繁项集合C32；
6.6、合并集合C1、C22和C32得到原始数据库和新增数据库形成的更新数据库的频繁项集合FDd，集合FDd中的每一项中包含的日志事件即为有关联的事件。
7.根据权利要求6所述的一种电力信息系统海量日志数据实时处理系统，其特征在于：所述查询结果显示模块，通过获取到的查询关键字，在频繁项集合FDd中遍历获取包含关键字的日志事件及其关联事件，得到所查询的日志事件的前因后果事件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010029975.2A CN111209314A (zh) | 2020-01-13 | 2020-01-13 | 一种电力信息系统海量日志数据实时处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010029975.2A CN111209314A (zh) | 2020-01-13 | 2020-01-13 | 一种电力信息系统海量日志数据实时处理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111209314A true CN111209314A (zh) | 2020-05-29 |
Family
ID=70785113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010029975.2A Pending CN111209314A (zh) | 2020-01-13 | 2020-01-13 | 一种电力信息系统海量日志数据实时处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111209314A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111858530A (zh) * | 2020-07-03 | 2020-10-30 | 国网福建省电力有限公司信息通信分公司 | 一种基于海量日志的实时关联分析方法及系统 |
| CN112131284A (zh) * | 2020-09-30 | 2020-12-25 | 国网智能科技股份有限公司 | 一种变电站全息数据切片方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104036025A (zh) * | 2014-06-27 | 2014-09-10 | 蓝盾信息安全技术有限公司 | 一种基于分布式的海量日志采集系统 |
| CN106603304A (zh) * | 2016-12-30 | 2017-04-26 | 郑州云海信息技术有限公司 | 一种虚拟化管理系统事件日志处理方法及装置 |
| WO2018001237A1 (en) * | 2016-06-30 | 2018-01-04 | Huawei Technologies Co., Ltd. | Data mining interest generator |
| CN107577588A (zh) * | 2017-09-26 | 2018-01-12 | 北京中安智达科技有限公司 | 一种海量日志数据智能运维系统 |
| CN108197272A (zh) * | 2018-01-05 | 2018-06-22 | 北京搜狐新媒体信息技术有限公司 | 一种分布式关联规则增量的更新方法及装置 |
| CN109446816A (zh) * | 2018-10-18 | 2019-03-08 | 中电科大数据研究院有限公司 | 一种基于大数据平台审计日志的用户行为分析方法 |
-
2020
- 2020-01-13 CN CN202010029975.2A patent/CN111209314A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104036025A (zh) * | 2014-06-27 | 2014-09-10 | 蓝盾信息安全技术有限公司 | 一种基于分布式的海量日志采集系统 |
| WO2018001237A1 (en) * | 2016-06-30 | 2018-01-04 | Huawei Technologies Co., Ltd. | Data mining interest generator |
| CN106603304A (zh) * | 2016-12-30 | 2017-04-26 | 郑州云海信息技术有限公司 | 一种虚拟化管理系统事件日志处理方法及装置 |
| CN107577588A (zh) * | 2017-09-26 | 2018-01-12 | 北京中安智达科技有限公司 | 一种海量日志数据智能运维系统 |
| CN108197272A (zh) * | 2018-01-05 | 2018-06-22 | 北京搜狐新媒体信息技术有限公司 | 一种分布式关联规则增量的更新方法及装置 |
| CN109446816A (zh) * | 2018-10-18 | 2019-03-08 | 中电科大数据研究院有限公司 | 一种基于大数据平台审计日志的用户行为分析方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李洋等: "基于Hadoop与Storm的日志实时处理系统研究" * |
| 蔡金钻: ""云平台环境下实时日志管理系统的研究与实现"" * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111858530A (zh) * | 2020-07-03 | 2020-10-30 | 国网福建省电力有限公司信息通信分公司 | 一种基于海量日志的实时关联分析方法及系统 |
| CN111858530B (zh) * | 2020-07-03 | 2022-08-16 | 国网福建省电力有限公司信息通信分公司 | 一种基于海量日志的实时关联分析方法及系统 |
| CN112131284A (zh) * | 2020-09-30 | 2020-12-25 | 国网智能科技股份有限公司 | 一种变电站全息数据切片方法及系统 |
| CN112131284B (zh) * | 2020-09-30 | 2024-05-24 | 国网智能科技股份有限公司 | 一种变电站全息数据切片方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105045820B (zh) | 一种处理海量级数据的视频图像信息的方法及数据库系统 | |
| CN106330533B (zh) | 一种大规模网络告警实时拓扑建立方法 | |
| US20170242887A1 (en) | Efficient access scheduling for super scaled stream processing systems | |
| CN111984499A (zh) | 一种大数据集群的故障检测方法和装置 | |
| EP2709023A1 (en) | Systems and/or methods for statistical online analysis of large and potentially heterogeneous data sets | |
| CN110581773A (zh) | 一种自动化服务监控与报警管理系统 | |
| CN113360554B (zh) | 一种数据抽取、转换和加载etl的方法和设备 | |
| CN112084224B (zh) | 一种数据管理方法、系统、设备及介质 | |
| CN110659307A (zh) | 一种事件流的关联分析方法与系统 | |
| CN112749153B (zh) | 一种工业网络数据管理系统 | |
| CN111046022A (zh) | 一种基于大数据技术的数据库审计方法 | |
| CN110597057A (zh) | 在工业应用场景下的数据处理系统 | |
| CN106534784A (zh) | 一种用于视频分析数据结果集的采集分析存储统计系统 | |
| CN111209314A (zh) | 一种电力信息系统海量日志数据实时处理系统 | |
| CN106649687A (zh) | 大数据联机分析处理方法及装置 | |
| CN114238388A (zh) | 一种基于多协议的异构数据收集及检索系统 | |
| CN115344207A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN115034512A (zh) | 一种流程优化方法、系统、设备及计算机可读存储介质 | |
| CN115017159A (zh) | 数据处理方法及装置、存储介质及电子设备 | |
| CN116701525A (zh) | 一种基于实时数据分析的预警方法、系统和电子设备 | |
| CN113094154A (zh) | 一种基于阿里云的大数据处理方法及系统 | |
| CN111414355A (zh) | 一种海上风电场数据监测存储系统及方法、装置 | |
| CN113986656B (zh) | 一种基于数据中台的电网数据安全监测系统 | |
| CN112825165A (zh) | 项目质量管理的方法和装置 | |
| CN114387124B (zh) | 一种核电工业互联网平台的时序数据存储方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200529 |