CN108153828A - 一种实时数据的持久化方法、装置及设备、存储介质 - Google Patents

一种实时数据的持久化方法、装置及设备、存储介质 Download PDF

Info

Publication number
CN108153828A
CN108153828A CN201711315093.7A CN201711315093A CN108153828A CN 108153828 A CN108153828 A CN 108153828A CN 201711315093 A CN201711315093 A CN 201711315093A CN 108153828 A CN108153828 A CN 108153828A
Authority
CN
China
Prior art keywords
kafka
message
file system
kafkaspout
parsed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711315093.7A
Other languages
English (en)
Inventor
陈东沂
蔡适择
陈敏
陈军
张强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
SF Tech Co Ltd
Original Assignee
SF Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd filed Critical SF Technology Co Ltd
Priority to CN201711315093.7A priority Critical patent/CN108153828A/zh
Publication of CN108153828A publication Critical patent/CN108153828A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种实时数据的持久化方法、装置及设备、存储介质，涉及数据处理技术，该方法利用Storm+Kafka作为实时处理技术，由KafkaSpout读取Kafka缓存的消息，进而由文件系统的客户端解析消息内容，KafkaSpout再将解析好的Kafka消息内容持久化到文件系统，从而实现通过Storm+Kafka完成实时数据的持久化。

Description

一种实时数据的持久化方法、装置及设备、存储介质
技术领域
本公开一般涉及数据处理技术，具体涉及实时数据处理技术，尤其涉及一种实时数据的持久化方法、装置及设备、存储介质。
背景技术
随着IT信息技术的迅猛发展，互联网领域各大应用系统规模不断扩大，数据量呈现爆炸式增长的趋势。如何将线上的业务数据流快速整合到大数据平台以供后续的数据仓库建设和分析挖掘，成为互联网公司面临的一大难题。因此，寻求快速对接实时业务数据和大数据文件系统、乃至落地到数据仓库的ETL(Extract-Transform-Load，抽取-转换-加载)技术方案成为大数据平台建设的迫切需求。
目前，在开源大数据组件中存在一些同步实时数据流到Hadoop等文件系统的相关工具，如Logstash、Flume、Gobblin等，然而这些开源组件都有一定的局限性，无法满足同时满足功能、性能和扩展性等实际需求。Logstash和Flume是比较流行的日志采集组件，但在实时性、吞吐量和高可用性等方面存在不足，并且难以保证数据不丢失；Gobblin是LinkedIn开源的ETL工具，支持多种数据源的同步，对Hadoop MapReduce等并发任务有不错的支持，然而它依赖不同Job组件和MR任务的调度执行，实时性相对不足，难以支持实时或近实时的ETL处理。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种实时数据的持久化方法、装置及设备、存储介质，以实现实时数据的持久化。
第一方面，本发明实施例提供一种实时数据的持久化方法，包括：
实时处理框架Storm的数据源端KafkaSpout读取消息队列Kafka缓存的消息；
初始化文件系统的客户端，由所述文件系统的客户端解析所述Kafka缓存的消息的内容；
将解析好的Kafka消息内容持久化到所述文件系统。
进一步，所述KafkaSpout通过分布式系统的协调系统Zookeeper地址连接到Kafka集群的代理Broker节点。
优选的，所述文件系统具体为：
海杜普Hadoop文件系统。
进一步，所述实时处理框架Storm的数据源端KafkaSpout读取消息队列Kafka缓存的消息后，还包括：
记录Kafka的心跳信息和消费信息；
将所述心跳信息和消费信息传递到下游的处理端，由该处理端发送到监控中心。
进一步，还包括：
KafkaSpout读取Kafka的消息偏移量；
在将解析好的Kafka消息内容持久化到所述文件系统成功时，根据所读取的Kafka的消息偏移量以及接收到的更新命令，更新Zookeeper集群对应的消息偏移量。
第二方面，本发明实施例还相应提供一种实时数据的持久化装置，包括：
读取单元，用于读取消息队列Kafka缓存的消息；
处理单元，用于初始化文件系统的客户端，由所述文件系统的客户端解析所述Kafka缓存的消息的内容；
持久化单元，用于将解析好的Kafka消息内容持久化到所述文件系统。
进一步，该装置通过分布式系统的协调系统Zookeeper地址连接到Kafka集群的代理Broker节点。
优选的，所述处理单元还用于：
记录Kafka的心跳信息和消费信息；
将所述心跳信息和消费信息传递到下游的处理端，由该处理端发送到监控中心。
进一步，所述读取单元还用于：
读取Kafka的消息偏移量；
所述持久化单元还用于：
在将解析好的Kafka消息内容持久化到所述文件系统成功时，根据所读取的Kafka的消息偏移量以及接收到的更新命令，更新Zookeeper集群对应的消息偏移量。
第三方面，本发明实施例还相应提供一种实时数据的持久化系统，包括：
数据源端KafkaSpout，用于读取消息队列Kafka缓存的消息，初始化文件系统的客户端，并在所述文件系统的客户端解析所述Kafka缓存的消息的内容后，将解析好的Kafka消息内容持久化到所述文件系统；
文件系统的客户端，用于在初始化后，解析所述Kafka缓存的消息的内容。
进一步，所述KafkaSpout通过分布式系统的协调系统Zookeeper地址连接到Kafka集群的代理Broker节点。
优选的，所述KafkaSpout还用于：
记录Kafka的心跳信息和消费信息；
将所述心跳信息和消费信息传递到下游的处理端；
所述系统还包括：
处理端，用于接收所述心跳信息和消费信息，并发送到监控中心。
进一步，所述KafkaSpout还用于：
读取Kafka的消息偏移量，并在将解析好的Kafka消息内容持久化到所述文件系统成功时，根据所读取的Kafka的消息偏移量以及接收到的更新命令，更新Zookeeper集群对应的消息偏移量。
第四方面，本发明实施例还相应提供一种设备，包括处理器和存储器；
所述存储器包含可由所述处理器执行的指令以使得所述处理器执行如第一方面中所述的方法。
第五方面，本发明实施例还相应提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于实现如第一方面中所述的方法。
本发明实施例提供一种实时数据的持久化方法、装置及设备、存储介质，该方法利用Storm+Kafka作为实时处理技术，由KafkaSpout读取Kafka缓存的消息，进而由文件系统的客户端解析消息内容，KafkaSpout再将解析好的Kafka消息内容持久化到文件系统，从而实现通过Storm+Kafka完成实时数据的持久化。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本发明实施例提供的实时数据的持久化方法流程图；
图2为本发明实施例提供的实时处理框架结构示意图；
图3为本发明实施例提供的实时数据的持久化装置结构示意图；
图4为本发明实施例提供的实时数据的持久化系统结构示意图；
图5为本发明实施例提供的实时数据的持久化设备结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图1，本发明实施例提供的实时数据的持久化方法，包括：
步骤S101、Storm(实时处理框架)的KafkaSpout(数据源端)读取Kafka(消息队列)缓存的消息；
步骤S102、初始化文件系统的客户端，由文件系统的客户端解析Kafka缓存的消息的内容；
步骤S103、将解析好的Kafka消息内容持久化到文件系统。
由于利用Storm+Kafka作为实时处理技术，由KafkaSpout读取Kafka缓存的消息，进而由文件系统的客户端解析消息内容，KafkaSpout再将解析好的Kafka消息内容持久化到文件系统，从而实现通过Storm+Kafka完成实时数据的持久化。
通过KafkaSpout直接读取Kafka缓存的消息并持久化到文件系统，不再由下游处理端Bolt参与持久化处理过程，也避免了处理环节过多出现数据问题。
步骤S101中，KafkaSpout可以通过Zookeeper(分布式系统的协调系统)地址连接到Kafka集群的Broker(代理)节点，从而实现Kafka缓存的消息的读取，如图2所示，KafkaSpout通过Zookeeper连接到Broker节点，处理后持久化到文件系统。
步骤S102和步骤S103中的文件系统可以具体为Hadoop(海杜普)文件系统，本领域技术人员也可以根据实际情况采用其它文件系统。
进一步，为了对Kafka的数据处理情况进行监控，从而在数据处理出现问题时能够及时进行解决，可以进一步记录Kafka的心跳信息和消费信息，再上报给监控中心，使得监控中心可以获知Kafka处理数据的实时情况，在出现问题时及时进行告警。
此时，在步骤S101，Storm的KafkaSpout读取Kafka缓存的消息后，还包括：
记录Kafka的心跳信息和消费信息；
将心跳信息和消费信息传递到下游的处理端，由该处理端发送到监控中心。
其中，消费信息具体可以包括消息数量和字节大小，下游的处理端可以具体为MetricBolt，由MetricBolt通过RPC(Remote Procedure Call，远程过程调用)请求发送到监控中心以供监控预警。
如图2所示，KafkaSpout将心跳信息和消费信息传递到下游的处理端MetricBolt，由MetricBolt发送到监控中心。
进一步，为了确保应用程序重启不丢数据，提高数据存储的安全性，本发明实施例提供的实时数据的持久化方法，还包括：
KafkaSpout读取Kafka的消息偏移量；
在将解析好的Kafka消息内容持久化到文件系统成功时，根据所读取的Kafka的消息偏移量以及接收到的更新命令，更新Zookeeper集群对应的消息偏移量。
在将解析好的Kafka消息内容持久化到文件系统成功时，程序控制进行消息偏移量的更新，从而避免在重启时丢失数据。
应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本发明实施例提供的实时数据的持久化方法，借助了Storm的高可用机制、吞吐量大等特性，并改进了传统Storm的实现方式保证数据完整不丢，同时支持不同消息格式的数据解析和监控数据上报，从而更好地满足实时数据接入大数据平台的ETL需求。
通过移除下游处理端Bolt环节和控制偏移量更新，避免处理环节过多出现数据问题，同时也确保应用不受重启导致数据丢失。
在持久化到Hadoop文件系统时，直接对接实时数据源，能更好支持对json、csv、普通文本以及dto序列化对象等不同类型的消息的解析，也可以映射到自定义的Hive数据库表；同时，在解析处理过程也记录程序的心跳信息和消费的统计指标，通过下游的处理端向外部系统发送，有利于监控预警。
借助Storm的高可用性和可扩展性，可以确保实时ETL应用的高可用，同时也可以进一步通过增加Storm集群worker数等资源来提升应用的吞吐量以适应业务数据规模的快速增长。
本发明实施例还相应提供一种实时数据的持久化装置，该装置可以具体为Storm的KafkaSpout，如图3所示，该装置包括：
读取单元301，用于读取Kafka缓存的消息；
处理单元302，用于初始化文件系统的客户端，由文件系统的客户端解析Kafka缓存的消息的内容；
持久化单元303，用于将解析好的Kafka消息内容持久化到文件系统。
该装置可以通过Zookeeper地址连接到Kafka集群的代理Broker节点，进而读取Kafka缓存的消息。
进一步，处理单元302还用于：
记录Kafka的心跳信息和消费信息；
将心跳信息和消费信息传递到下游的处理端，由该处理端发送到监控中心。
优选的，读取单元301还用于：
读取Kafka的消息偏移量；
持久化单元303还用于：
在将解析好的Kafka消息内容持久化到文件系统成功时，根据所读取的Kafka的消息偏移量以及接收到的更新命令，更新Zookeeper集群对应的消息偏移量。
应当理解，该装置中记载的诸单元或模块与参考图1描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于该装置及其中包含的单元，在此不再赘述。该装置可以预先实现在电子设备的浏览器或其他安全应用中，也可以通过下载等方式而加载到电子设备的浏览器或其安全应用中。该装置中的相应单元可以与电子设备中的单元相互配合以实现本申请实施例的方案。
本发明实施例还相应提供一种实时数据的持久化系统，如图4所示，包括：
KafkaSpout401，用于读取消息队列Kafka缓存的消息，初始化文件系统的客户端，并在文件系统的客户端解析Kafka缓存的消息的内容后，将解析好的Kafka消息内容持久化到文件系统；
文件系统的客户端402，用于在初始化后，解析Kafka缓存的消息的内容。
优选的，KafkaSpout401通过Zookeeper地址连接到Kafka集群的Broker节点。
进一步，KafkaSpout401还用于：
记录Kafka的心跳信息和消费信息；
将心跳信息和消费信息传递到下游的处理端；
此时，该系统还包括：
处理端，用于接收心跳信息和消费信息，并发送到监控中心。
优选的，KafkaSpout401还用于：
读取Kafka的消息偏移量，并在将解析好的Kafka消息内容持久化到文件系统成功时，根据所读取的Kafka的消息偏移量以及接收到的更新命令，更新Zookeeper集群对应的消息偏移量。
下面参考图5，其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
如图5所示，计算机系统包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统操作所需的各种程序和数据。CPU501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本公开的实施例，上文参考图1描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行图1的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括XX单元、YY单元以及ZZ单元。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，XX单元还可以被描述为“用于XX的单元”。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的公式输入方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (15)

1.一种实时数据的持久化方法，其特征在于，包括：
实时处理框架Storm的数据源端KafkaSpout读取消息队列Kafka缓存的消息；
初始化文件系统的客户端，由所述文件系统的客户端解析所述Kafka缓存的消息的内容；
将解析好的Kafka消息内容持久化到所述文件系统。
2.如权利要求1所述的方法，其特征在于，所述KafkaSpout通过分布式系统的协调系统Zookeeper地址连接到Kafka集群的代理Broker节点。
3.如权利要求1所述的方法，其特征在于，所述文件系统具体为：
海杜普Hadoop文件系统。
4.如权利要求1所述的方法，其特征在于，所述实时处理框架Storm的数据源端KafkaSpout读取消息队列Kafka缓存的消息后，还包括：
记录Kafka的心跳信息和消费信息；
将所述心跳信息和消费信息传递到下游的处理端，由该处理端发送到监控中心。
5.如权利要求1所述的方法，其特征在于，还包括：
KafkaSpout读取Kafka的消息偏移量；
在将解析好的Kafka消息内容持久化到所述文件系统成功时，根据所读取的Kafka的消息偏移量以及接收到的更新命令，更新Zookeeper集群对应的消息偏移量。
6.一种实时数据的持久化装置，其特征在于，包括：
读取单元，用于读取消息队列Kafka缓存的消息；
处理单元，用于初始化文件系统的客户端，由所述文件系统的客户端解析所述Kafka缓存的消息的内容；
持久化单元，用于将解析好的Kafka消息内容持久化到所述文件系统。
7.如权利要求6所述的装置，其特征在于，该装置通过分布式系统的协调系统Zookeeper地址连接到Kafka集群的代理Broker节点。
8.如权利要求6所述的装置，其特征在于，所述处理单元还用于：
记录Kafka的心跳信息和消费信息；
将所述心跳信息和消费信息传递到下游的处理端，由该处理端发送到监控中心。
9.如权利要求6所述的装置，其特征在于，所述读取单元还用于：
读取Kafka的消息偏移量；
所述持久化单元还用于：
在将解析好的Kafka消息内容持久化到所述文件系统成功时，根据所读取的Kafka的消息偏移量以及接收到的更新命令，更新Zookeeper集群对应的消息偏移量。
10.一种实时数据的持久化系统，其特征在于，包括：
数据源端KafkaSpout，用于读取消息队列Kafka缓存的消息，初始化文件系统的客户端，并在所述文件系统的客户端解析所述Kafka缓存的消息的内容后，将解析好的Kafka消息内容持久化到所述文件系统；
文件系统的客户端，用于在初始化后，解析所述Kafka缓存的消息的内容。
11.如权利要求10所述的系统，其特征在于，所述KafkaSpout通过分布式系统的协调系统Zookeeper地址连接到Kafka集群的代理Broker节点。
12.如权利要求10所述的系统，其特征在于，所述KafkaSpout还用于：
记录Kafka的心跳信息和消费信息；
将所述心跳信息和消费信息传递到下游的处理端；
所述系统还包括：
处理端，用于接收所述心跳信息和消费信息，并发送到监控中心。
13.如权利要求10所述的系统，其特征在于，所述KafkaSpout还用于：
读取Kafka的消息偏移量，并在将解析好的Kafka消息内容持久化到所述文件系统成功时，根据所读取的Kafka的消息偏移量以及接收到的更新命令，更新Zookeeper集群对应的消息偏移量。
14.一种设备，包括处理器和存储器；其特征在于：
所述存储器包含可由所述处理器执行的指令以使得所述处理器执行如权利要求1-5任一所述的方法。
15.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于实现如权利要求1-5任一所述的方法。
CN201711315093.7A 2017-12-12 2017-12-12 一种实时数据的持久化方法、装置及设备、存储介质 Pending CN108153828A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711315093.7A CN108153828A (zh) 2017-12-12 2017-12-12 一种实时数据的持久化方法、装置及设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711315093.7A CN108153828A (zh) 2017-12-12 2017-12-12 一种实时数据的持久化方法、装置及设备、存储介质

Publications (1)

Publication Number Publication Date
CN108153828A true CN108153828A (zh) 2018-06-12

Family

ID=62466976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711315093.7A Pending CN108153828A (zh) 2017-12-12 2017-12-12 一种实时数据的持久化方法、装置及设备、存储介质

Country Status (1)

Country Link
CN (1) CN108153828A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109361532A (zh) * 2018-09-11 2019-02-19 上海天旦网络科技发展有限公司 网络数据分析的高可用系统和方法及计算机可读存储介质
CN110147356A (zh) * 2019-05-14 2019-08-20 厦门欢乐逛科技股份有限公司 数据传输方法及装置
CN111061812A (zh) * 2019-12-17 2020-04-24 江苏满运软件科技有限公司 大数据分布式存储方法、装置、电子设备、存储介质
CN111698159A (zh) * 2019-03-15 2020-09-22 顺丰科技有限公司 业务数据处理方法、装置及存储介质
CN111723160A (zh) * 2020-08-24 2020-09-29 国网浙江省电力有限公司 一种多源异构增量数据同步方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036025A (zh) * 2014-06-27 2014-09-10 蓝盾信息安全技术有限公司 一种基于分布式的海量日志采集系统
CN104618343A (zh) * 2015-01-06 2015-05-13 中国科学院信息工程研究所 一种基于实时日志的网站威胁检测的方法及系统
CN105681303A (zh) * 2016-01-15 2016-06-15 中国科学院计算机网络信息中心 一种大数据驱动的网络安全态势监测及可视化方法
US20160269247A1 (en) * 2015-03-13 2016-09-15 Nec Laboratories America, Inc. Accelerating stream processing by dynamic network aware topology re-optimization
CN106254543A (zh) * 2016-09-27 2016-12-21 盐城工学院 基于云计算架构的分布式互联网金融网贷方法和系统
US20170083368A1 (en) * 2015-09-18 2017-03-23 Salesforce.Com, Inc. Maintaining throughput of a stream processing framework while increasing processing load
CN106920158A (zh) * 2017-03-22 2017-07-04 北京再塑宝科技有限公司 基于Storm和Kafka技术的订单实时监控系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036025A (zh) * 2014-06-27 2014-09-10 蓝盾信息安全技术有限公司 一种基于分布式的海量日志采集系统
CN104618343A (zh) * 2015-01-06 2015-05-13 中国科学院信息工程研究所 一种基于实时日志的网站威胁检测的方法及系统
US20160269247A1 (en) * 2015-03-13 2016-09-15 Nec Laboratories America, Inc. Accelerating stream processing by dynamic network aware topology re-optimization
US20170083368A1 (en) * 2015-09-18 2017-03-23 Salesforce.Com, Inc. Maintaining throughput of a stream processing framework while increasing processing load
CN105681303A (zh) * 2016-01-15 2016-06-15 中国科学院计算机网络信息中心 一种大数据驱动的网络安全态势监测及可视化方法
CN106254543A (zh) * 2016-09-27 2016-12-21 盐城工学院 基于云计算架构的分布式互联网金融网贷方法和系统
CN106920158A (zh) * 2017-03-22 2017-07-04 北京再塑宝科技有限公司 基于Storm和Kafka技术的订单实时监控系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙朝华: "基于Storm的数据分析系统设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109361532A (zh) * 2018-09-11 2019-02-19 上海天旦网络科技发展有限公司 网络数据分析的高可用系统和方法及计算机可读存储介质
CN109361532B (zh) * 2018-09-11 2021-08-24 上海天旦网络科技发展有限公司 网络数据分析的高可用系统和方法及计算机可读存储介质
CN111698159A (zh) * 2019-03-15 2020-09-22 顺丰科技有限公司 业务数据处理方法、装置及存储介质
CN110147356A (zh) * 2019-05-14 2019-08-20 厦门欢乐逛科技股份有限公司 数据传输方法及装置
CN111061812A (zh) * 2019-12-17 2020-04-24 江苏满运软件科技有限公司 大数据分布式存储方法、装置、电子设备、存储介质
CN111061812B (zh) * 2019-12-17 2022-09-02 江苏满运软件科技有限公司 大数据分布式存储方法、装置、电子设备、存储介质
CN111723160A (zh) * 2020-08-24 2020-09-29 国网浙江省电力有限公司 一种多源异构增量数据同步方法及系统

Similar Documents

Publication Publication Date Title
CN108153828A (zh) 一种实时数据的持久化方法、装置及设备、存储介质
US10805213B2 (en) Controlling data communication between microservices
CN107590001B (zh) 负载均衡方法及装置、存储介质、电子设备
US9773011B2 (en) On-demand caching in a WAN separated distributed file system or clustered file system cache
CN112069265B (zh) 配置数据的同步方法、业务数据系统、计算机系统和介质
US8904243B2 (en) Event management systems and methods
CN110795503A (zh) 分布式存储系统的多集群数据同步方法及相关装置
US9201715B2 (en) Event overflow handling by coalescing and updating previously-queued event notification
CN109245908B (zh) 一种主从集群切换的方法和装置
CN109783151B (zh) 规则变更的方法和装置
US9374417B1 (en) Dynamic specification auditing for a distributed system
CN113364877B (zh) 数据处理方法、装置、电子设备和介质
CN110837423A (zh) 一种自动导引运输车数据采集的方法和装置
CN114077518B (zh) 数据快照方法、装置、设备及存储介质
CN115640110B (zh) 分布式云计算系统调度方法和装置
CN113076304A (zh) 一种分布式版本管理方法、装置和系统
WO2024139516A1 (zh) 容器编排引擎的监控方法、系统及装置
CN111913938A (zh) 数据迁移方法、系统、装置、电子设备和介质
CN111651286A (zh) 数据通信方法、装置及计算设备、存储介质
US11178197B2 (en) Idempotent processing of data streams
US10911329B2 (en) Path and cadence optimization for efficient data collection from devices
CN111338834A (zh) 数据存储方法和装置
CN113656239A (zh) 针对中间件的监控方法、装置及计算机程序产品
CN109324892A (zh) 分布式管理方法、分布式管理系统及装置
US10180914B2 (en) Dynamic domain name service caching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180612

RJ01 Rejection of invention patent application after publication