CN110515938B - 基于kafka消息总线的数据汇聚存储方法、设备和存储介质 - Google Patents
基于kafka消息总线的数据汇聚存储方法、设备和存储介质 Download PDFInfo
- Publication number
- CN110515938B CN110515938B CN201910385337.1A CN201910385337A CN110515938B CN 110515938 B CN110515938 B CN 110515938B CN 201910385337 A CN201910385337 A CN 201910385337A CN 110515938 B CN110515938 B CN 110515938B
- Authority
- CN
- China
- Prior art keywords
- data
- message bus
- sql
- kafka message
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000002776 aggregation Effects 0.000 title claims abstract description 36
- 238000004220 aggregation Methods 0.000 title claims abstract description 36
- 238000012544 monitoring process Methods 0.000 claims abstract description 23
- 230000005540 biological transmission Effects 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims abstract description 14
- 238000013500 data storage Methods 0.000 claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims abstract description 5
- 239000012634 fragment Substances 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 230000003068 static effect Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000007726 management method Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 6
- 230000001276 controlling effect Effects 0.000 claims description 4
- 230000001105 regulatory effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims 1
- 238000013480 data collection Methods 0.000 claims 1
- 238000012217 deletion Methods 0.000 claims 1
- 230000037430 deletion Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000007547 defect Effects 0.000 abstract description 4
- 238000011156 evaluation Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 3
- 238000002955 isolation Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
Abstract
本发明公开了一种基于KAFKA消息总线的数据汇聚存储方法、设备和存储介质，针对在线监视平台原有汇聚和存储方案的弊端，提出了基于KAFKA总线的数据汇聚技术和基于国产关系数据库的海量数据分布式存储技术，并对海量数据接入时所造成的数据传输并发能力弱，海量数据的存储和访问效率低给出了具体的解决方案；为在线监视平台的全景监视、告警分析，以及运行评价等功能提供技术支撑，为调度自动化系统的稳定运行提供有力技术保障。
Description
技术领域
本发明涉及数据传输技术领域，尤其涉及一种基于KAFKA消息总线的数据汇聚存储方法、计算机设备和存储介质。
背景技术
随着中国经济的快速发展，电网规模不断增大，电网调度日趋复杂，调度自动化系统已经发展成为智能电网安全稳定运行的重要保障，调度自动化系统的可靠、稳定和高效运行在保障电网安全和国民经济社会生活方面具有重要意义。调度自动化系统在线监视与智能诊断平台（以下简称在线监视平台）作为保证调度自动化系统稳定运行的运维平台，目前已经在国调、冀北、福建等多个网省调公司正式上线运行，为调度自动化专业运维人员提供了精细化、可视化，以及智能化的运维管理工具，保障了调度自动化系统的安全可靠运行。
在线监视平台的服务端部署在安全Ⅲ区，信息采集功能通过采集代理程序获取被监视信息，通过汇聚服务实现所有安全分区的数据统一汇聚，通过入库服务实现采集数据的入库存储。目前该机制已经很好的解决了主站内所有自动化设备信息的接入、存储和展示，但随着子站和下级调控系统数据的逐渐接入，在线监视平台已经暴露出一些问题和瓶颈：一是大规模数据接入之后，入库服务的并发传输能力已经达到极限；二是由于平台不具备分布式存储的功能，导致数据在存储和访问时，效率较低；三是由于单表存储数据量太大，导致检索速度效率较低。
发明内容
本发明的目的在于避免现有技术的不足之处而提供一种基于KAFKA消息总线的数据汇聚存储方法、计算机设备和存储介质。
本发明的目的可以通过采用如下的技术措施来实现，设计一种基于KAFKA消息总线的数据汇聚存储方法，用于优化多个数据发送端和数据接收端之间的数据传输，且数据接收端至少包括多个用于存储数据的数据库；包括：
在数据接收端与多个数据发送端之间设置KAFKA消息总线，KAFKA消息总线接收多个数据发送端发送至数据接收端的数据信息；
KAFKA消息总线通过分析数据接收端的数据读取指标，判定数据接收端实时的数据存储压力是否处于正常状态，通过调控从KAFKA消息总线与数据接收端之间的数据传输速率，以改变数据入库的速率；
在数据接收端的各个数据库与KAFKA消息总线之间设置数据分发设备，按照接收到的数据信息的数据类型，将数据信息发送到指定数据库，完成数据的分发存储。
其中，KAFKA消息总线对不同的数据发送端发送的数据信息配置设定有效时间，避免在数据接收端掉线时数据无法接收。
其中，在按照接收到的数据信息的数据类型，将数据信息发送到指定数据库的步骤中，包括步骤：
识别接收的数据类型，其中，数据类型分为静态模型数据和动态数据；
若接收到静态模型数据，则将静态模型数据发送到第一数据库进行存储；若接收到动态数据，识别动态数据中包含的时间字段，并根据动态数据的节点数进行算法计算，将动态数据平均分布到多个第二数据库中，实现对数据的逻辑管理。
其中，静态模型数据为数据发送端对应的数据采集对象的模型信息数据，至少包括服务器配置信息和进程配置信息；静态模型数据的数据变化频率低，数据量小；
动态数据分为量测状态数据和运行状态数据，量测状态数据为数据发送端对应的数据采集对象的实时工况运行数据，至少包括CPU使用率、内存使用率、磁盘使用率和进程连接数；运行状态数据为二值的状态类信息，至少包括服务器是否可用及进程是否在线；动态数据采集频率高，数据量大。
其中，数据发送端对应的数据采集对象为电力系统的调度自动化监视系统，所有采集的动态数据中均具有采集时间字段，动态数据根据时间字段进行水平拆分，把动态数据平均分配到多个不同的数据库中进行存储，实现对数据的逻辑管理。
其中，在对动态数据的节点数进行算法计算时，计算算法为哈希算法。
其中，将数据信息发送到指定数据库之后，用户通过数据库系统的访问路由功能发送数据的增删改查请求，实现对数据库中存储的数据信息进行数据处理。
其中，用户通过数据库系统的访问路由功能发送数据的增删改查请求，具体步骤包括：
用户通过客户端向数据库系统发送对指定数据进行增删改查的SQL请求；
数据库系统的SQL分片解析器对客户请求SQL语句进行语法分析，并将SQL语句和路由信息发送给SQL结果汇聚器完成具体SQL操作；SQL分片解析器在接收到SQL语句请求时，根据表名查找表的分片路由信息，根据分片规则和路由信息，将SQL语句发送给指定的数据库；
SQL结果汇聚器是SQL语句的执行者和结果合并者，在收到SQL请求时，将SQL请求放在底层数据库执行，并将各个数据库执行的结果进行收集，SQL结果汇聚器将结果按照原始SQL语句的内容进行结果拼装，形成SQL结果集；
SQL结果汇聚器将经过拼装的数据返回给客户端。
为解决上述技术问题，本发明提供了一种计算机设备，包括输入输出单元、存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如前述技术方案所述的基于KAFKA消息总线的数据汇聚存储方法中的步骤。
为解决上述技术问题，本发明提供了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如前述技术方案所述的基于KAFKA消息总线的数据汇聚存储方法中的步骤。
区别于现有技术，本发明的基于KAFKA消息总线的数据汇聚存储方法针对在线监视平台原有汇聚和存储方案的弊端，提出了基于KAFKA总线的数据汇聚技术和基于国产关系数据库的海量数据分布式存储技术，并对海量数据接入时所造成的数据传输并发能力弱，海量数据的存储和访问效率低给出了具体的解决方案；为在线监视平台的全景监视、告警分析，以及运行评价等功能提供技术支撑，为调度自动化系统的稳定运行提供有力技术保障。
附图说明
图1是本发明提供的一种基于KAFKA消息总线的数据汇聚存储方法的流程示意图。
图2是本发明提供的一种基于KAFKA消息总线的数据汇聚存储方法所涉及的现有技术中在线监视平台的汇聚和存储方案的逻辑示意图。
图3是本发明提供的一种基于KAFKA消息总线的数据汇聚存储方法在线监视平台在数据汇聚和存储方案的逻辑示意图。
图4是本发明提供的一种基于KAFKA消息总线的数据汇聚存储方法中基于KAFKA消息总线的采集数据汇聚方案的逻辑示意图。
图5是本发明提供的一种基于KAFKA消息总线的数据汇聚存储方法中动态数据的分布式存储的逻辑示意图。
图6是本发明提供的一种基于KAFKA消息总线的数据汇聚存储方法中数据分类的示意图。
具体实施方式
下面结合具体实施方式对本发明的技术方案作进一步更详细的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
参阅图1所示，图1是本发明提供的一种基于KAFKA消息总线的数据汇聚存储方法的流程示意图。该方法用于优化多个数据发送端和数据接收端之间的数据传输，且数据接收端至少包括多个用于存储数据的数据库，其步骤包括：
S110：在数据接收端与多个数据发送端之间设置KAFKA消息总线，KAFKA消息总线接收多个数据发送端发送至数据接收端的数据信息。
S120：KAFKA消息总线通过分析数据接收端的数据读取指标，判定数据接收端实时的数据存储压力是否处于正常状态，通过调控从KAFKA消息总线与数据接收端之间的数据传输速率，以改变数据入库的速率。
S130：在数据接收端的各个数据库与KAFKA消息总线之间设置数据分发设备，按照接收到的数据信息的数据类型，将数据信息发送到指定数据库，完成数据的分发存储。
现有技术中在线监视平台的汇聚和存储方案如图2所示。在线监视平台的服务端统一部署在安全Ⅲ区。基于国网调度自动化系统的安全规定，从安全Ⅰ区和安全Ⅱ区向安全Ⅲ区正向传输数据，必须经过正向隔离设备，而正向隔离设备仅支持TCP长连接协议进行传输。为避免所有Ⅰ、Ⅱ区的服务器集体向Ⅲ区发送采集数据，在Ⅰ、Ⅱ区部署单独的汇聚服务Transfer，实现对采集数据的临时汇聚，然后再通过TCP长连接（必须通过正向隔离设备）将数据传输到安全Ⅲ区的Server服务，由Server服务统一将数据存储到数据库。为保证数据传输的可靠性，transfer和server服务都实现了热备策略，即当某一个transfer或server因异常退出时，备用transfer或server会立即启用。安全Ⅲ区的信息采集则直接通过本区的Transfer和 Server存储到数据库。
在本发明实施例中，数据库的选型为国产达梦数据库，该型号的数据库不具备分布式存储的能力，所以采集的信息集中存储在单一的数据库节点。另外，平台采集信息的周期为30秒，并且采集的信息会全部进行保存，但达梦数据库的单表不具备按照时间分表的功能，导致单表中的数据量非常大，查询效率非常慢。基于上述原因，当接入服务器过多时采集信息无法及时入库时会导致两方面的问题，一是由于无法及时入库，安全Ⅲ区的Server服务会造成数据的堆积，一旦Server出现异常，极有可能造成采集数据的丢失；二是由于数据库为单体数据库，不具备分布式存储的能力，所以随着采集数据的逐渐增加，存储和访问能力都会无法支撑在线监视平台的使用。
目前已经测试在此架构之下，当接入的服务器设备达到30台，采集周期为30秒，每台服务器每个采集周期采集的数据为1800条时，Server服务就会出现数据的堆积现象，即此时采集数据已经不能实时入库。并且随着时间的推移，Server堆积的数据会越来越多，最终导致Server服务占用内存过多而退出。
如图3所示，为解决在线监视平台在数据汇聚和存储上存在的问题，将汇聚和存储的整体架构进行了两处关键的调整，第一处调整是在数据汇聚时不直接传输给入库服务，而是通过分布式的消息队列作为中间层，再由入库服务从消息队列中获取数据进行入库。该调整不仅避免了数据堆积时丢失数据的风险，而且可以并发启用多个入库服务从消息队列中消费消息进行数据入库操作。第二处调整是开发数据库中间件，利用该中间件实现数据在国产数据库的分布式存储，对于访问和存储数据的应用程序，数据库中间件一是可以保证将多个数据库虚拟化为一个逻辑数据库，二是从逻辑上解决了单个数据表过大的问题，三是在物理存储上也可以分担每个存储模块的数据写入和读取压力。
如图4所示，为基于KAFKA消息总线的采集数据汇聚方案的逻辑示意图。Kakfa消息总线具有消息持久化的功能，接收到的消息可以根据配置设定有效时间。因此使用KAFKA消息总线可以解决原架构方案中server程序异常掉线时采集数据丢失的问题。
在原架构方案中，transfer和server必须是成对出现的，导致数据入库的效率不高。而基于KAFKA消息总线时，可以根据采集数据量的大小，启动多个server实例，提高数据消费和入库的效率。并且，KAFKA消息总线中的消息可以被多个消费者同时消费，因此可以根据业务需要通过启动不同功能的server同时实现多种业务。
基于KAFKA消息总线，还可以解决数据库雪崩的问题。数据入库服务通过从KAFKA拉取数据，可通过读取数据库连接数、数据库读写速率等指标，综合判定数据库压力是否处于正常状态，若判定数据库压力过大，可通过调控从KAFKA拉取数据的速率来达到减慢数据入库的效果，从而减轻数据库压力，防止由于数据库压力过大而导致的数据库和服务器崩溃的问题。
如图5所示，动态数据的分布式存储是通过分布式数据服务将数据分散的存储在多个机器的数据库中，并将这些分散的存储资源构成一个逻辑统一的虚拟数据库。动态数据的分布式存储采用可扩展的系统结构，利用多台服务器分担存储负荷，利用分布式数据服务的路由功能定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
如图6所示，数据库中存储的在线监视平台数据分为静态模型数据和动态数据，静态模型数据为该平台需要采集对象的模型信息数据，如服务器配置信息、进程配置信息等，数据变化频率低，数据量小，因此无需对该类数据进行分表存储。动态模型数据分为量测状态数据和运行状态数据，量测状态数据主要为该平台采集的实时工况运行数据，如CPU使用率、内存使用率、磁盘使用率、进程连接数等信息，运行状态数据主要为二值的状态类信息，如服务器是否可用、进程是否在线等。动态数据具有采集频率高，数据量大等特点，因此需要对该类数据进行分表存储。
针对于动态数据的数据量大，访问频繁等特点，通常使用数据分片的方法将数据合理分配到不同数据库服务器上面。数据分片是指将原本单张的数据表数据按照一定的哈希算法平均分配到多个数据库中，可以充分利用多个数据库的计算能力和数据存储能力，可以减少大数据量的单库存取压力。
在典型的分布式数据库中通常根据业务查询字段来指定分片的键，因为根据分片键进行数据操作可以更快定位数据，减少数据库检索时间，提高数据存取效率。鉴于在线监视平台所有采集的动态数据中都有采集时间字段，所有的动态数据表都可以根据时间字段进行水平拆分，即把数据平均分配到多个不同的数据库实例中进行存储，实现对数据的逻辑管理。
根据采集时间字段进行水平拆分，将时间截取至日期，转化为时间戳，并根据节点数（即数据库实例数）做hash操作，将数据平均分布到多个数据库中，实现对数据的逻辑管理。列举实际存储中的数据，分别标注为①②③④号数据，根据分片规则，把①②③④号数据平均分配到4个数据库节点上存储。对用户而言，其对数据库的操作是透明的，目的是提升完整数据的存储及运算性能。
用户通过分布式数据服务的访问路由功能发送数据处理请求，并将数据的增删改查请求按照用户配置的分配规则，发送到指定的数据库节点，数据库节点完成数据请求处理后将结果返回给分布式数据服务，最后由分布式数据库服务将各个数据库节点返回的数据汇总、处理形成最终结果，返回给用户。具体详细流程如下：
客户端向分布式数据服务发送SQL请求；
SQL分片解析器对客户请求SQL语句进行语法分析，并将SQL语句和路由信息发送给SQL结果汇聚器完成具体SQL操作。SQL分片解析器在接收到SQL语句请求时，根据表名查找表的分片路由信息，根据分片规则和路由信息，将SQL发送给指定的库。
SQL结果汇聚器是SQL语句的执行者和结果合并者，在收到SQL请求时，将SQL放在底层数据库执行，并将各个数据库执行的结果进行收集，SQL结果汇聚器将结果按照原始SQL语句的内容进行结果拼装，形成SQL结果集。
SQL结果汇聚器将经过拼装的数据返回给客户端。
其他类型的操作，如查找、更新、删除，与插入的过程基本类似。
区别于现有技术，本发明的基于KAFKA消息总线的数据汇聚存储方法针对在线监视平台原有汇聚和存储方案的弊端，提出了基于KAFKA总线的数据汇聚技术和基于国产关系数据库的海量数据分布式存储技术，并对海量数据接入时所造成的数据传输并发能力弱，海量数据的存储和访问效率低给出了具体的解决方案；为在线监视平台的全景监视、告警分析，以及运行评价等功能提供技术支撑，为调度自动化系统的稳定运行提供有力技术保障。
以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (7)
1.一种基于KAFKA消息总线的数据汇聚存储方法，用于优化多个数据发送端和数据接收端之间的数据传输，且数据接收端至少包括多个用于存储数据的数据库；其特征在于，包括：
在数据接收端与多个数据发送端之间设置KAFKA消息总线，KAFKA消息总线接收多个数据发送端发送至数据接收端的数据信息；
KAFKA消息总线通过分析数据接收端的数据读取指标，判定数据接收端实时的数据存储压力是否处于正常状态，通过调控从KAFKA消息总线与数据接收端之间的数据传输速率，以改变数据入库的速率；
在数据接收端的各个数据库与KAFKA消息总线之间设置数据分发设备，按照接收到的数据信息的数据类型，将数据信息发送到指定数据库，完成数据的分发存储；其中，
按照接收到的数据信息的数据类型，将数据信息发送到指定数据库的步骤包括：
识别接收的数据类型，其中，数据类型分为静态模型数据和动态数据；
若接收到静态模型数据，则将静态模型数据发送到第一数据库进行存储；若接收到动态数据，识别动态数据中包含的时间字段，并根据动态数据的节点数进行算法计算，将动态数据平均分布到多个第二数据库中，实现对数据的逻辑管理；
静态模型数据为数据发送端对应的数据采集对象的模型信息数据，至少包括服务器配置信息和进程配置信息；静态模型数据的数据变化频率低，数据量小；
动态数据分为量测状态数据和运行状态数据，量测状态数据为数据发送端对应的数据采集对象的实时工况运行数据，至少包括CPU使用率、内存使用率、磁盘使用率和进程连接数；运行状态数据为二值的状态类信息，至少包括服务器是否可用及进程是否在线；动态数据采集频率高，数据量大；
用户通过数据库系统的访问路由功能发送数据的增删改查请求，具体步骤包括：
用户通过客户端向数据库系统发送对指定数据进行增删改查的SQL请求；
数据库系统的SQL分片解析器对客户请求SQL语句进行语法分析，并将SQL语句和路由信息发送给SQL结果汇聚器完成具体SQL操作；SQL分片解析器在接收到SQL语句请求时，根据表名查找表的分片路由信息，根据分片规则和路由信息，将SQL语句发送给指定的数据库；
SQL结果汇聚器是SQL语句的执行者和结果合并者，在收到SQL请求时，将SQL请求放在底层数据库执行，并将各个数据库执行的结果进行收集，SQL结果汇聚器将结果按照原始SQL语句的内容进行结果拼装，形成SQL结果集；
SQL结果汇聚器将经过拼装的数据返回给客户端。
2.根据权利要求1所述的基于KAFKA消息总线的数据汇聚存储方法，其特征在于，KAFKA消息总线对不同的数据发送端发送的数据信息配置设定有效时间，避免在数据接收端掉线时数据无法接收。
3.根据权利要求2所述的基于KAFKA消息总线的数据汇聚存储方法，其特征在于，数据发送端对应的数据采集对象为电力系统的调度自动化监视系统，所有采集的动态数据中均具有采集时间字段，动态数据根据时间字段进行水平拆分，把动态数据平均分配到多个不同的数据库中进行存储，实现对数据的逻辑管理。
4.根据权利要求1所述的基于KAFKA消息总线的数据汇聚存储方法，其特征在于，在对动态数据的节点数进行算法计算时，计算算法为哈希算法。
5.根据权利要求1所述的基于KAFKA消息总线的数据汇聚存储方法，其特征在于，将数据信息发送到指定数据库之后，用户通过数据库系统的访问路由功能发送数据的增删改查请求，实现对数据库中存储的数据信息进行数据处理。
6.一种计算机设备，其特征在于，包括输入输出单元、存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至5中的任一所述的基于KAFKA消息总线的数据汇聚存储方法中的步骤。
7.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至5中的任一所述的基于KAFKA消息总线的数据汇聚存储方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910385337.1A CN110515938B (zh) | 2019-05-09 | 2019-05-09 | 基于kafka消息总线的数据汇聚存储方法、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910385337.1A CN110515938B (zh) | 2019-05-09 | 2019-05-09 | 基于kafka消息总线的数据汇聚存储方法、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110515938A CN110515938A (zh) | 2019-11-29 |
| CN110515938B true CN110515938B (zh) | 2023-12-01 |
Family
ID=68622531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910385337.1A Active CN110515938B (zh) | 2019-05-09 | 2019-05-09 | 基于kafka消息总线的数据汇聚存储方法、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110515938B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112865311B (zh) * | 2021-01-15 | 2022-11-01 | 北京科东电力控制系统有限责任公司 | 一种电力系统消息总线监视方法和装置 |
| CN113760900A (zh) * | 2021-02-19 | 2021-12-07 | 西安京迅递供应链科技有限公司 | 数据的实时汇总以及区间汇总的方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102685221A (zh) * | 2012-04-29 | 2012-09-19 | 华北电力大学（保定） | 一种状态监测数据的分布式存储与并行挖掘方法 |
| GB201617019D0 (en) * | 2015-10-09 | 2016-11-23 | Fisher Rosemount Systems Inc | Distributed industrial performance monitoring and analytics |
| CN106651633A (zh) * | 2016-10-09 | 2017-05-10 | 国网浙江省电力公司信息通信分公司 | 一种基于大数据技术的用电信息采集系统及其采集方法 |
| CN107436726A (zh) * | 2016-05-26 | 2017-12-05 | 华为技术有限公司 | 数据写入方法、存储控制器、计算设备以及存储装置 |
| CN109271358A (zh) * | 2018-11-15 | 2019-01-25 | 深圳乐信软件技术有限公司 | 数据汇总方法、查询方法、装置、设备及存储介质 |
-
2019
- 2019-05-09 CN CN201910385337.1A patent/CN110515938B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102685221A (zh) * | 2012-04-29 | 2012-09-19 | 华北电力大学（保定） | 一种状态监测数据的分布式存储与并行挖掘方法 |
| GB201617019D0 (en) * | 2015-10-09 | 2016-11-23 | Fisher Rosemount Systems Inc | Distributed industrial performance monitoring and analytics |
| CN107436726A (zh) * | 2016-05-26 | 2017-12-05 | 华为技术有限公司 | 数据写入方法、存储控制器、计算设备以及存储装置 |
| CN106651633A (zh) * | 2016-10-09 | 2017-05-10 | 国网浙江省电力公司信息通信分公司 | 一种基于大数据技术的用电信息采集系统及其采集方法 |
| CN109271358A (zh) * | 2018-11-15 | 2019-01-25 | 深圳乐信软件技术有限公司 | 数据汇总方法、查询方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110515938A (zh) | 2019-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN202058147U (zh) | 分布式实时数据库管理系统 | |
| CN102143022B (zh) | 用于ip网络的云测量装置和测量方法 | |
| CN112860695B (zh) | 监控数据查询方法、装置、设备、存储介质及程序产品 | |
| CN107645410A (zh) | 一种基于OpenStack云平台的虚拟机管理系统及方法 | |
| CN110515938B (zh) | 基于kafka消息总线的数据汇聚存储方法、设备和存储介质 | |
| CN111198918B (zh) | 基于大数据平台的数据处理系统及链路优化方法 | |
| CN107544832A (zh) | 一种虚拟机进程的监控方法、装置和系统 | |
| CN106126395A (zh) | 一种云平台监控方法及系统 | |
| CN112884452A (zh) | 一种智能运维多源数据采集可视化分析系统 | |
| CN109918450A (zh) | 基于分析类场景下的分布式并行数据库及存储方法 | |
| CN115344207A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| Sousa et al. | Predictive elastic replication for multi‐tenant databases in the cloud | |
| US10116736B2 (en) | System for dynamically varying traffic routing modes in a distributed cluster and method therefor | |
| Ravindra et al. | Latency aware elastic switching-based stream processing over compressed data streams | |
| US9996591B2 (en) | System and method for implementing a database in a heterogeneous cluster | |
| US10169138B2 (en) | System and method for self-healing a database server in a cluster | |
| US10083201B2 (en) | System for maintaining consistency across a decentralized database cluster and method therefor | |
| CN111414355A (zh) | 一种海上风电场数据监测存储系统及方法、装置 | |
| CN114610567A (zh) | 容器监控方法、网络设备及存储介质 | |
| CN109921963A (zh) | 一种网络状态巡检方法及系统 | |
| CN106713051A (zh) | 一种网络管理系统 | |
| CN108491167B (zh) | 一种工业过程工况数据快速随机分布存储方法 | |
| CN112434010A (zh) | 一种用电信息采集系统主站数据库的交互方法 | |
| CN112579552A (zh) | 日志存储及调用方法、装置及系统 | |
| Yang et al. | The design and implementation of smart grid high volume data management platform architecture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |