CN107704545A - 基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法 - Google Patents
基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法 Download PDFInfo
- Publication number
- CN107704545A CN107704545A CN201710876453.4A CN201710876453A CN107704545A CN 107704545 A CN107704545 A CN 107704545A CN 201710876453 A CN201710876453 A CN 201710876453A CN 107704545 A CN107704545 A CN 107704545A
- Authority
- CN
- China
- Prior art keywords
- storm
- monitoring data
- real
- monitoring
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012544 monitoring process Methods 0.000 claims abstract description 88
- 241001269238 Data Species 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 8
- 238000013461 design Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims description 4
- 238000013500 data storage Methods 0.000 claims description 4
- 230000002045 lasting effect Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000000712 assembly Effects 0.000 claims description 2
- 238000000429 assembly Methods 0.000 claims description 2
- 229910052742 iron Inorganic materials 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 230000011664 signaling Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000003672 processing method Methods 0.000 abstract 1
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/221—Column-oriented storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/547—Messaging middleware
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Water Supply & Treatment (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Public Health (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明公开了基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法，包括在Linux操作系统的计算机中搭建Kafka消息中间件，通过消息中间件Kafka实现与现有配电监控系统的集成，并利用其发布/订阅消息传递模式将监控系统采集的大量实时监测数据传输给Storm集群。本发明中大量监控数据经Storm集群节点快速并行处理后可直接转存至HBase数据库中分布式存储，实现以分布式计算机集群进行铁道配电网海量监控数据的处理方法。本发明方法采用Kafka和Storm相结合的云计算技术处理数据，实现铁道配电网海量实时监测数据的毫秒级处理延迟和分布式存储及查询，提高了调度监控大数据的整体处理效率。
Description
技术领域
本发明涉及配电网监控技术领域，具体是基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法。
背景技术
随着我国现代电气化铁路的快速发展和规模扩建，铁道配电网的调度监控现多以电网运行的全景实时数据处理为基础，由于配电系统接入多种新式智能化设备，也融入了多种信息管理系统，如配电能量管理系统、铁道供电调度监控数据中心等，更高的采样频率要求调度监控必须快速处理数据量庞大的实时监测数据。一般情况下，考虑将实时监测数据常驻留于内存数据库集中处理，来获得比传统关系数据库更高效的存取速度，但受到内存数据库和数据库服务器物理内存的容量限制，当等待处理的监测数据量持续增加，需要投入更多成本购置容量更大的服务器和更昂贵的内存数据库。由于数据量增长速率远大于存储能力的增长，使内存数据库的电力大数据存储和实时计算性能面临挑战。流计算是一种新兴的大数据处理模式，相对于以Apache Hadoop为代表的大数据批处理模式，流计算凭借分布式全内存计算优势既可以避免内存容量限制，又能够保证海量数据处理的实时性和可靠性，其拓扑流计算过程具有快速低延迟、高容错等优点。鉴于开源流计算框架Storm已在Twitter、阿里巴巴等企业实时业务场景中的成功应用，为流计算处理模式解决铁道调度监控中海量实时监测数据的快速处理提供了重要的组件平台。
NoSQL即泛指超越传统关系型数据库的非关系型数据库。在铁道配电监控方面，传统关系型数据库有着扩展困难、读写慢、容量有限等限制，相较而言NoSQL却具有高可扩展性、快速读写和成本低廉等优势，使用HBase数据库处理数据，可更方便地实现配电网海量监控信息的分布式存储与查询，且数据存储量越大，数据读取的平均速率相比传统数据存储方式越快。
随着我国铁道调度监控智能化的快速发展，监测数据量剧增使传统的监控信息处理方法已经不能满足这种海量数据存取的实时处理需求，为此提出了一种把海量的铁路配电网实时监控信息通过消息中间件Kafka传输给Storm集群，经Storm集群快速流处理后转存至HBase数据库的快速并行处理新方法。
发明内容
本发明的目的在于提供基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法，具体步骤如下：
（1）调度监控海量监测数据的收集与传输：
通过接口实现，由Kafka消息中间件采用异步发送方式获取铁道配电网监控系统的实时监测数据，将采集到的不同主题实时监测数据首先缓存于Kafka的消息服务器中，然后再由Storm的多个喷嘴组件作为消息消费者以订阅方式从消息服务器中主动拉取不同主题的信息，由Storm集群进行监控数据的流计算处理，以达到海量监测数据实时传输及快速处理的目的；
（2）配电网海量监测数据的拓扑流计算集群处理：
在Linux操作系统的计算机中搭建适用于调度监控大量实时数据处理的Storm集群，实现从Kafka中传输来的实时监测数据的流处理；
使用Storm集群将订阅到的大量实时监测数据转换为连续的元组流作为拓扑流处理对象，分发至集群各工作节点，由其在内存中执行主控节点分配的拓扑任务；
拓扑流计算编程实现过程中，通过配置对象和拓扑构造器，配置拓扑实例的执行工作进程数、喷嘴和螺栓组件数和组件并发数等并行度参数，充分发挥流计算编程模型的高并发处理能力；
测试中，取站所中低压侧三相电压、三相电流的模拟量遥测信息作为流计算处理对象，阐述拓扑实例的结构和组件功能，其中数据源喷嘴的功能是从监测数据队列读取低压侧三相电压/电流值，求平均值螺栓负责读取订阅的电压/电流元组字段，并连续计算当前某时刻电压/电流的平均值；越限输出螺栓负责持续跟踪所订阅元组流中电压/电流值超越上下限的监测数据元组，通过实时更新螺栓组件内计数器，统计输出越限元组的出现次数；打印螺栓负责监测数据元组记录或螺栓处理结果的实时显示，而存储螺栓将对各个螺栓组件的计算结果进行汇总存储，完成拓扑设计后，拓扑实例的编程代码包最后还需要以拓扑任务的方式提交给Storm集群，而Storm集群监控数据流计算处理结果则分布式存储于HBase数据库中；
（3）海量监测数据分布式列存储：
在HBase中建立面向列族的具有无限扩张功能的数据存储表，用来存储经Storm集群流计算处理后的调度监控海量监测数据；在表的精简结构形式中，设计行键为StationId属性，在再设计三个列族，其中第一个列族为DeviceName属性，另外两个列族则分别定义各站所中低压侧三相电压U属性和三相电流I属性，其列族下还对应包含了表示三相电压值、三相电流值的列，其中StationId为铁道变电站所号，DeviceName为设备名称，电压和电流列族下的属性值为设备采集的三相电压、电流实时值或流计算结果值；通过将监控数据经Storm集群处理后转存至HBase数据库中，利用多台数据库服务器进行数据存储，实现对铁道配电网监控大数据的分布式列族存储和实时查询；
作为本发明进一步的方案：所述步骤（1）中的主题实时监测数据包括遥测量、遥信量。
作为本发明再进一步的方案：所述步骤（2）中，为了协调多个工作节点和主控节点的运行，提高Storm集群的实时监控数据流计算处理速度，在Storm集群中搭建ZooKeeper集群，并合理设置拓扑实例并行度参数，在Storm集群分配拓扑任务时，首先主控节点将拓扑任务写入ZooKeeper集群，再由ZooKeeper集群将任务通过喷嘴/螺栓分配给各个工作节点并行执行。
与现有技术相比，本发明的有益效果是：
本发明使大量监控数据经Storm集群节点快速并行处理后可直接转存至NoSQL数据库HBase中分布式存储，实现以分布式计算机集群进行铁道配电网海量监控数据的处理，采用Kafka和Storm相结合的云计算技术处理数据，实现铁道配电网海量实时监测数据的ms级处理延迟和分布式存储及查询，提高了调度监控大数据的整体处理效率。
附图说明
图1为本发明方法的总流程示意图。
图2为本发明方法中Storm集群流计算处理示意图。
具体实施方式
下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
请参阅图1-2，基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法，具体步骤如下：
（1）配电网大量实时监测数据的收集与传输阶段
在Linux系统中由Kafka消息中间件采用异步发送方式获取铁道配电网监控系统的实时监测数据，将采集到的不同主题实时监测数据（如：模拟量、状态量等）首先缓存于Kafka的消息服务器中，然后再由若干Storm的喷嘴组件以订阅方式从消息服务器中主动拉取不同主题的信息，由Storm集群进行监控数据的流计算处理,以达到不同监测数据源的实时传输和快速并行处理；
（2）配电网海量监测数据的拓扑流计算集群处理阶段
如图2所示，完成这一工作，需要在该Linux系统中搭建Storm集群、ZooKeeper集群；Storm集群主要用于调度监控大量实时数据处理，ZooKeeper集群用于协调Storm集群中多个工作节点和主控节点的运行，提高Storm集群的实时监控数据流计算处理速度。
首先使用Storm集群将订阅到的大量实时监测数据转换为源源不断的元组流作为拓扑流处理对象，分发至集群各工作节点，由其在内存中执行主控节点分配的拓扑任务。利用Storm流计算并行模型配置拓扑对象和拓扑构造器，并设置拓扑实例执行的工作进程数、喷嘴和螺栓组件数等并行度参数，充分发挥流计算编程模型高并发处理能力。
在Storm集群分配拓扑任务时，首先通过主控节点将拓扑任务分配给ZooKeeper集群，再由ZooKeeper集群将任务通过喷嘴/螺栓分配给工作节点并行执行。
测试中，以某铁路10kV配电网调度监控系统为算例，取站所中低压侧三相电压、三相电流的模拟量遥测信息作为流计算处理对象，阐述拓扑实例的结构和组件功能：其中数据源喷嘴的功能是从监测数据队列读取低压侧三相电压/电流值，求平均值螺栓负责读取订阅的电压/电流元组字段，并连续计算当前某时刻电压/电流的平均值。越限输出螺栓负责持续跟踪所订阅元组流中电压/电流值超越上下限的监测数据元组，还可以通过实时更新螺栓组件内计数器，统计输出越限元组的出现次数。打印螺栓负责监测数据元组记录或螺栓处理结果的实时显示，而存储螺栓将对各个螺栓组件的计算结果进行汇总存储，完成拓扑设计后，拓扑实例的编程代码包最后还需要以拓扑任务的方式提交给Storm集群，而Storm集群监控数据流计算处理结果则分布式存储于HBase数据库中；
（3）海量监测数据分布式列存储阶段
在HBase中建立面向列族的可无限扩张的数据存储表，用来存储经Storm集群处理后的调度监控海量监测数据。在表的精简结构形式中，设计行键为StationId属性，在再设计三个列族，其中第一个列族为DeviceName属性，另外两个列族则分别定义了各站所中低压侧三相电压属性和三相电流属性，其列族下还对应包含了表示三相电压值、三相电流值的列，其中StationId为铁道变电站所号，DeviceName为设备名称，电压和电流列族下的属性值为设备采集的三相电压、电流实时值或流计算结果值。通过将监控数据经Storm集群处理后转存至HBase数据库中，利用多台数据存储服务器分担存储负荷，同时可以使用位置服务器定位存储信息，提高系统的可靠性和存取效率，以分布式计算机集群存储的方式实现铁道配电网海量监控数据的持续转存储和实时查询。
本发明使大量监控数据经Storm集群节点快速并行处理后可直接转存至NoSQL数据库HBase中分布式存储，实现以分布式计算机集群进行铁道配电网海量监控数据的处理，采用Kafka和Storm相结合的云计算技术处理数据，实现铁道配电网海量实时监测数据的ms级处理延迟和分布式存储及查询，提高了调度监控大数据的整体处理效率。
上面对本专利的较佳实施方式作了详细说明，但是本专利并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本专利宗旨的前提下作出各种变化。
Claims (3)
1.基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法，其特征在于，具体步骤如下：
（1）调度监控海量监测数据的收集与传输：
通过接口实现，由Kafka消息中间件采用异步发送方式获取铁道配电网监控系统的实时监测数据，将采集到的不同主题实时监测数据首先缓存于Kafka的消息服务器中，然后再由Storm的多个喷嘴组件作为消息消费者以订阅方式从消息服务器中主动拉取不同主题的信息，由Storm集群进行监控数据的流计算处理，以达到海量监测数据实时传输及快速处理的目的；
（2）配电网海量监测数据的拓扑流计算集群处理：
在Linux操作系统的计算机中搭建适用于调度监控大量实时数据处理的Storm集群，实现从Kafka中传输来的实时监测数据的流处理；
使用Storm集群将订阅到的大量实时监测数据转换为连续的元组流作为拓扑流处理对象，分发至集群各工作节点，由其在内存中执行主控节点分配的拓扑任务；
拓扑流计算编程实现过程中，通过配置对象和拓扑构造器，配置拓扑实例的执行工作进程数、喷嘴和螺栓组件数和组件并发数等并行度参数，充分发挥流计算编程模型的高并发处理能力；
测试中，取站所中低压侧三相电压、三相电流的模拟量遥测信息作为流计算处理对象，阐述拓扑实例的结构和组件功能，其中数据源喷嘴的功能是从监测数据队列读取低压侧三相电压/电流值，求平均值螺栓负责读取订阅的电压/电流元组字段，并连续计算当前某时刻电压/电流的平均值；越限输出螺栓负责持续跟踪所订阅元组流中电压/电流值超越上下限的监测数据元组，通过实时更新螺栓组件内计数器，统计输出越限元组的出现次数；打印螺栓负责监测数据元组记录或螺栓处理结果的实时显示，而存储螺栓将对各个螺栓组件的计算结果进行汇总存储，完成拓扑设计后，拓扑实例的编程代码包最后还需要以拓扑任务的方式提交给Storm集群，而Storm集群监控数据流计算处理结果则分布式存储于HBase数据库中；
（3）海量监测数据分布式列存储：
在HBase中建立面向列族的具有无限扩张功能的数据存储表，用来存储经Storm集群流计算处理后的调度监控海量监测数据；在表的精简结构形式中，设计行键为StationId属性，在再设计三个列族，其中第一个列族为DeviceName属性，另外两个列族则分别定义各站所中低压侧三相电压U属性和三相电流I属性，其列族下还对应包含了表示三相电压值、三相电流值的列，其中StationId为铁道变电站所号，DeviceName为设备名称，电压和电流列族下的属性值为设备采集的三相电压、电流实时值或流计算结果值；通过将监控数据经Storm集群处理后转存至HBase数据库中，利用多台数据库服务器进行数据存储，实现对铁道配电网监控大数据的分布式列族存储和实时查询。
2.根据权利要求1所述的基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法，其特征在于，所述步骤（1）中的主题实时监测数据包括遥测量、遥信量。
3.根据权利要求1所述的基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法，其特征在于，所述步骤（2）中，为了协调多个工作节点和主控节点的运行，提高Storm集群的实时监控数据流计算处理速度，在Storm集群中搭建ZooKeeper集群，并合理设置拓扑实例并行度参数，在Storm集群分配拓扑任务时，首先主控节点将拓扑任务写入ZooKeeper集群，再由ZooKeeper集群将任务通过喷嘴/螺栓分配给各个工作节点并行执行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710876453.4A CN107704545A (zh) | 2017-11-08 | 2017-11-08 | 基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710876453.4A CN107704545A (zh) | 2017-11-08 | 2017-11-08 | 基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107704545A true CN107704545A (zh) | 2018-02-16 |
Family
ID=61174314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710876453.4A Pending CN107704545A (zh) | 2017-11-08 | 2017-11-08 | 基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107704545A (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109116148A (zh) * | 2018-07-28 | 2019-01-01 | 宋云飞 | 电能质量监测方法 |
| CN109142916A (zh) * | 2018-07-28 | 2019-01-04 | 宋云飞 | 电能质量监测系统 |
| CN109800129A (zh) * | 2019-01-17 | 2019-05-24 | 青岛特锐德电气股份有限公司 | 一种处理监控大数据的实时流计算监控系统及方法 |
| CN109889597A (zh) * | 2019-03-04 | 2019-06-14 | 国网浙江省电力有限公司 | 一种基于信息共享平台的电网监测资源发布/订阅及推荐的方法 |
| CN110309115A (zh) * | 2018-03-14 | 2019-10-08 | 华东交通大学 | 融合实时计算与离线计算的铁道配电网海量信息处理方法 |
| CN110532263A (zh) * | 2019-08-08 | 2019-12-03 | 杭州广立微电子有限公司 | 一种集成电路测试系统及其面向列的数据库管理系统 |
| CN110647547A (zh) * | 2019-09-20 | 2020-01-03 | 北京百分点信息科技有限公司 | 消费延迟监控方法、装置、电子设备及计算机可读存储介质 |
| CN110689272A (zh) * | 2019-10-09 | 2020-01-14 | 华北电力大学 | 一种基于流式计算的敏感设备耐受特性实时在线评估方法 |
| CN111209310A (zh) * | 2020-04-23 | 2020-05-29 | 太平金融科技服务（上海）有限公司 | 基于流计算的业务数据处理方法、装置和计算机设备 |
| CN111488392A (zh) * | 2020-04-16 | 2020-08-04 | 北京思特奇信息技术股份有限公司 | 一种查询方法、系统及电子设备 |
| CN111509849A (zh) * | 2020-04-22 | 2020-08-07 | 广东电网有限责任公司 | 一种基于流式计算的数字电网系统 |
| CN111858530A (zh) * | 2020-07-03 | 2020-10-30 | 国网福建省电力有限公司信息通信分公司 | 一种基于海量日志的实时关联分析方法及系统 |
| CN111983939A (zh) * | 2019-05-21 | 2020-11-24 | 南京南瑞继保电气有限公司 | 一种基于云平台的监测数据通用采集存储系统及方法 |
| CN112235361A (zh) * | 2020-09-28 | 2021-01-15 | 青海绿能数据有限公司 | 一种光伏电站数据转接平台 |
| CN112395116A (zh) * | 2021-01-20 | 2021-02-23 | 北京东方通软件有限公司 | 一种针对消息中间件的调优方法及系统 |
| CN112597205A (zh) * | 2020-12-30 | 2021-04-02 | 哈尔滨航天恒星数据系统科技有限公司 | 一种基于流及消息调度的实时数据计算及存储方法 |
| CN112804331A (zh) * | 2021-01-14 | 2021-05-14 | 杭州海兴泽科信息技术有限公司 | 一种基于消息总线的电能表数据处理方法、系统和电能表 |
| CN113177088A (zh) * | 2021-04-02 | 2021-07-27 | 北京科技大学 | 一种材料辐照损伤多尺度模拟大数据管理系统 |
| CN113259195A (zh) * | 2021-05-10 | 2021-08-13 | 中国人民解放军63660部队 | 一种消息中间件性能测试方法 |
| CN116647586A (zh) * | 2023-07-24 | 2023-08-25 | 山东工泵电机有限公司 | 一种应用云计算实现水肥一体化智慧泵房遥控的方法 |
| CN111221831B (zh) * | 2019-12-26 | 2024-03-29 | 杭州顺网科技股份有限公司 | 一种对广告效果数据实时处理的计算系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103401934A (zh) * | 2013-08-06 | 2013-11-20 | 广州唯品会信息科技有限公司 | 获取日志数据的方法和系统 |
| CN105678398A (zh) * | 2015-12-24 | 2016-06-15 | 国家电网公司 | 基于大数据技术的电力负荷预测方法及基于该方法的研究应用系统 |
| CN105701596A (zh) * | 2015-12-24 | 2016-06-22 | 国家电网公司 | 一种基于大数据技术的配网抢修精益化方法以及管理系统 |
| CN106502772A (zh) * | 2016-10-09 | 2017-03-15 | 国网浙江省电力公司信息通信分公司 | 基于分布式离线技术的电量数据批量高速处理方法及系统 |
| CN106547882A (zh) * | 2016-11-03 | 2017-03-29 | 国网重庆市电力公司电力科学研究院 | 一种智能电网中营销大数据的实时处理方法及系统 |
-
2017
- 2017-11-08 CN CN201710876453.4A patent/CN107704545A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103401934A (zh) * | 2013-08-06 | 2013-11-20 | 广州唯品会信息科技有限公司 | 获取日志数据的方法和系统 |
| CN105678398A (zh) * | 2015-12-24 | 2016-06-15 | 国家电网公司 | 基于大数据技术的电力负荷预测方法及基于该方法的研究应用系统 |
| CN105701596A (zh) * | 2015-12-24 | 2016-06-22 | 国家电网公司 | 一种基于大数据技术的配网抢修精益化方法以及管理系统 |
| CN106502772A (zh) * | 2016-10-09 | 2017-03-15 | 国网浙江省电力公司信息通信分公司 | 基于分布式离线技术的电量数据批量高速处理方法及系统 |
| CN106547882A (zh) * | 2016-11-03 | 2017-03-29 | 国网重庆市电力公司电力科学研究院 | 一种智能电网中营销大数据的实时处理方法及系统 |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110309115A (zh) * | 2018-03-14 | 2019-10-08 | 华东交通大学 | 融合实时计算与离线计算的铁道配电网海量信息处理方法 |
| CN109116148A (zh) * | 2018-07-28 | 2019-01-01 | 宋云飞 | 电能质量监测方法 |
| CN109142916A (zh) * | 2018-07-28 | 2019-01-04 | 宋云飞 | 电能质量监测系统 |
| CN109800129A (zh) * | 2019-01-17 | 2019-05-24 | 青岛特锐德电气股份有限公司 | 一种处理监控大数据的实时流计算监控系统及方法 |
| CN109889597A (zh) * | 2019-03-04 | 2019-06-14 | 国网浙江省电力有限公司 | 一种基于信息共享平台的电网监测资源发布/订阅及推荐的方法 |
| CN111983939A (zh) * | 2019-05-21 | 2020-11-24 | 南京南瑞继保电气有限公司 | 一种基于云平台的监测数据通用采集存储系统及方法 |
| CN111983939B (zh) * | 2019-05-21 | 2023-02-14 | 南京南瑞继保电气有限公司 | 一种基于云平台的监测数据通用采集存储系统及方法 |
| CN110532263A (zh) * | 2019-08-08 | 2019-12-03 | 杭州广立微电子有限公司 | 一种集成电路测试系统及其面向列的数据库管理系统 |
| CN110647547A (zh) * | 2019-09-20 | 2020-01-03 | 北京百分点信息科技有限公司 | 消费延迟监控方法、装置、电子设备及计算机可读存储介质 |
| CN110689272A (zh) * | 2019-10-09 | 2020-01-14 | 华北电力大学 | 一种基于流式计算的敏感设备耐受特性实时在线评估方法 |
| CN111221831B (zh) * | 2019-12-26 | 2024-03-29 | 杭州顺网科技股份有限公司 | 一种对广告效果数据实时处理的计算系统 |
| CN111488392B (zh) * | 2020-04-16 | 2023-07-07 | 北京思特奇信息技术股份有限公司 | 一种查询方法、系统及电子设备 |
| CN111488392A (zh) * | 2020-04-16 | 2020-08-04 | 北京思特奇信息技术股份有限公司 | 一种查询方法、系统及电子设备 |
| CN111509849A (zh) * | 2020-04-22 | 2020-08-07 | 广东电网有限责任公司 | 一种基于流式计算的数字电网系统 |
| CN111209310A (zh) * | 2020-04-23 | 2020-05-29 | 太平金融科技服务（上海）有限公司 | 基于流计算的业务数据处理方法、装置和计算机设备 |
| CN111209310B (zh) * | 2020-04-23 | 2020-07-31 | 太平金融科技服务（上海）有限公司 | 基于流计算的业务数据处理方法、装置和计算机设备 |
| CN111858530A (zh) * | 2020-07-03 | 2020-10-30 | 国网福建省电力有限公司信息通信分公司 | 一种基于海量日志的实时关联分析方法及系统 |
| CN111858530B (zh) * | 2020-07-03 | 2022-08-16 | 国网福建省电力有限公司信息通信分公司 | 一种基于海量日志的实时关联分析方法及系统 |
| CN112235361B (zh) * | 2020-09-28 | 2022-12-27 | 青海绿能数据有限公司 | 一种光伏电站数据转接平台 |
| CN112235361A (zh) * | 2020-09-28 | 2021-01-15 | 青海绿能数据有限公司 | 一种光伏电站数据转接平台 |
| CN112597205A (zh) * | 2020-12-30 | 2021-04-02 | 哈尔滨航天恒星数据系统科技有限公司 | 一种基于流及消息调度的实时数据计算及存储方法 |
| CN112804331A (zh) * | 2021-01-14 | 2021-05-14 | 杭州海兴泽科信息技术有限公司 | 一种基于消息总线的电能表数据处理方法、系统和电能表 |
| CN112395116A (zh) * | 2021-01-20 | 2021-02-23 | 北京东方通软件有限公司 | 一种针对消息中间件的调优方法及系统 |
| CN113177088A (zh) * | 2021-04-02 | 2021-07-27 | 北京科技大学 | 一种材料辐照损伤多尺度模拟大数据管理系统 |
| CN113259195A (zh) * | 2021-05-10 | 2021-08-13 | 中国人民解放军63660部队 | 一种消息中间件性能测试方法 |
| CN113259195B (zh) * | 2021-05-10 | 2022-07-05 | 中国人民解放军63660部队 | 一种消息中间件性能测试方法 |
| CN116647586A (zh) * | 2023-07-24 | 2023-08-25 | 山东工泵电机有限公司 | 一种应用云计算实现水肥一体化智慧泵房遥控的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107704545A (zh) | 基于Storm与Kafka消息通信的铁路配电网海量信息流处理方法 | |
| WO2017036244A1 (zh) | 配电网数字仿真系统 | |
| EP3764302A1 (en) | Blockchain- and cloud power-based microgrid ecosystem | |
| CN106951552A (zh) | 一种基于Hadoop的用户行为数据处理方法 | |
| CN107330056A (zh) | 基于大数据云计算平台的风电场scada系统及其运行方法 | |
| CN107968840A (zh) | 一种大规模电力设备监测报警数据实时处理方法及系统 | |
| CN110019106A (zh) | 一种智能电网的电力营销海量数据处理方法及系统 | |
| CN103955509A (zh) | 一种海量电力计量数据的快速检索方法 | |
| CN113703969A (zh) | 一种基于边缘计算的可多源数据处理的配电物联网体系 | |
| CN103152393A (zh) | 一种云计算的计费方法和计费系统 | |
| CN105512167A (zh) | 一种基于混合数据库的多业务用户数据管理系统及其方法 | |
| CN104462222A (zh) | 一种卡口车辆通行数据的分布式存储方法及系统 | |
| CN110308966B (zh) | 一种基于容器技术的静态安全分析方法 | |
| CN104268219A (zh) | 一种海量用电信息采集数据的管理方法及其系统 | |
| CN103955510A (zh) | 基于etl云平台上传的海量电力营销数据整合方法 | |
| CN106055590A (zh) | 基于大数据及图数据库的电力网络数据处理方法和系统 | |
| CN105354656A (zh) | 基于分区解耦的配电网状态估计的分布式并行计算方法及系统 | |
| CN102495891B (zh) | 一种用于微型电网智能终端的实时数据库实现方法 | |
| CN108595605A (zh) | 一种车联网平台数据库的构建方法 | |
| CN108984333A (zh) | 用于大数据实时计算的方法及装置 | |
| CN106250566A (zh) | 一种分布式数据库及其数据运算的管理方法 | |
| CN207764844U (zh) | 一种数据处理系统 | |
| CN107729218A (zh) | 一种监控处理计算资源设备的系统及方法 | |
| CN107016128A (zh) | 一种数据处理方法及装置 | |
| CN110309115A (zh) | 融合实时计算与离线计算的铁道配电网海量信息处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180216 |
|
| RJ01 | Rejection of invention patent application after publication |