CN109815027A - 一种基于Storm-Kafka实现数据顺序处理的方法及其系统 - Google Patents
一种基于Storm-Kafka实现数据顺序处理的方法及其系统 Download PDFInfo
- Publication number
- CN109815027A CN109815027A CN201811612312.2A CN201811612312A CN109815027A CN 109815027 A CN109815027 A CN 109815027A CN 201811612312 A CN201811612312 A CN 201811612312A CN 109815027 A CN109815027 A CN 109815027A
- Authority
- CN
- China
- Prior art keywords
- data
- kafka
- serial number
- acker
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 120
- 238000013502 data validation Methods 0.000 claims abstract description 52
- 230000005540 biological transmission Effects 0.000 claims abstract description 17
- 238000012790 confirmation Methods 0.000 claims abstract description 11
- 238000012546 transfer Methods 0.000 claims description 12
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 9
- 230000000052 comparative effect Effects 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims description 4
- 238000003672 processing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本发明公开了一种基于Storm‑Kafka实现数据顺序处理的方法，基于Storm‑Kafka框架创建KafkaSpout源头组件；从kafka上获取数据；将数据分别发送至数据处理单元Bolt对应的队列和数据确认单元Acker对应的队列中；数据确认单元Acker和数据处理单元Bolt分别获取数据，并缓存；数据处理单元Bolt进行数据处理，缓存处理后的数据序号，并将数据处理的结果发送至数据确认单元Acker对应的队列中；数据确认单元Acker将结果返回至KafkaSpout源头组件。本发明还公开了一种基于Storm‑Kafka实现数据顺序处理的系统，包括组件创建模块、数据获取模块、数据发送模块、数据缓存模块、数据传输模块、数据处理模块和数据反馈模块。本发明具有高容错和高并发的特性，保证数据的处理效率；通过扩展KafkaSpout组件，实现数据的顺序处理。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及一种基于Storm-Kafka实现数据顺序处理的方法及其系统。
背景技术
随着业务的不断发展，公司的配送车辆也越来越多，为了方便管理以及及时发现一些潜在问题，公司在配送车辆上安装了相应的车载T-BOX，用于收集车辆相关数据以及定位车辆位置，以供相关业务使用。
当数据从T-BOX采集并发送到公司平台之后，需要快速地对这些数据进行相应处理和分析；但是，在传统的采用Storm-Kafka来实现数据处理方法中易导致数据乱序，导致数据乱序的节点在数据确认单元Acker，当数据确认单元Acker接收到来自KafkaSpout源头组件的数据时，会缓存下来，在特定时间内(默认30秒)未接收到数据处理单元Bolt的处理结果，就会通知KafkaSpout源头组件数据处理失败，此时KafkaSpout源头组件会重发这条数据，此时会导致数据处理单元Bolt对应的队列中的数据无序，以致不能按照正常顺序来处理数据而到相应的结果。
此问题中，不能简单地通过增加超时机制的时间来保证数据的顺序，其一是不能保证数据处理单元Bolt一定能在一定时间内完成处理；其二是会导致确认单元Acker内存里的未确认数据越来越多，易引发内存溢出问题；同时也不能将数据确认单元Acker移除点，如果移除数据确认单元Acker，就不能保证数据一定被处理。
因此，采用传统的数据处理方法对于大数据量的处理效果不佳，不具有高容错和高并发的特性，致使在大数据量下不能保证数据的处理效率。
发明内容
基于此，针对上述问题，有必要提出一种实现数据有序处理，提供高容错以及高并发的特性，能够在大数据量下保证数据的处理效率的基于Storm-Kafka实现数据顺序处理的方法及其系统。
本发明提供一种基于Storm-Kafka实现数据顺序处理的方法，其技术方案如下：
一种基于Storm-Kafka实现数据顺序处理的方法，包括以下步骤：
a、搭建Storm-Kafka框架，并创建KafkaSpout源头组件；
b、从kafka上获取数据信息至KafkaSpout源头组件；
c、将数据信息分别发送至数据处理单元Bolt对应的队列和数据确认单元Acker对应的队列中；
d、数据信息发送至数据确认单元Acker对应的队列中后，将数据信息传输至数据确认单元Acker，并缓存；
e、数据信息发送至数据处理单元Bolt对应的队列中后，将数据信息传输至数据处理单元Bolt；
f、进行数据处理，缓存处理后的数据序号，并将数据处理的结果发送至数据确认单元Acker对应的队列中；
g、数据确认单元Acker接收到其队列中的数据处理结果后，判断整个链式处理是否完成，并将该结果返回至KafkaSpout源头组件。
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写，Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据；而Storm-Kafka则是Storm集成Kafka应用的开发；在本技术方案中，接收数据后由数据处理单元Bolt进行处理，再将处理结果发送至数据确认单元Acker进行数据对比确认，使数据有序进行处理，得到相应的数据处理结果，并反馈给KafkaSpout源头组件。
优选的，还包括以下步骤：
扩展KafkaSpout源头组件，在其输出数据端增设一个对应kafka中数据位移offset的序号；
当检测到序号重置时，则清空数据处理单元Bolt中所记录的所有缓存。
由于当数据确认单元Acker未在特定时间内(默认30秒)接收到数据处理单元Bolt的处理结果，则会通知KafkaSpout源头组件数据处理失败，此时，KafkaSpout源头组件会重发这条数据，将导致数据处理单元Bolt对应的队列中的数据无序，以致不能按照正常顺序来处理数据而到相应的结果；因此，本技术方案对KafkaSpout源头组件进行扩展，对其输出数据增加一个序号(来自kafka的数据位移offset)；由于kafka上的数据在增至一定量时，会进行相应的拆分移除，也会导致序号的变化，当检测到kafka序号重置时，会清空数据处理单元Bolt中所记录的所有缓存，使得数据处理单元Bolt对应的队列中的数据有序。
优选的，所述步骤f包括以下步骤：
进行数据处理之前，比较当前数据的序号与缓存中已处理数据的序号。
优选的，所述步骤f还包括以下步骤：
若当前数据的序号小于等于缓存中已处理数据的序号，则直接发送处理成功的结果至数据确认单元Acker对应的队列中。
优选的，所述步骤f还包括以下步骤：
若当前数据的序号大于缓存中已处理数据的序号，则进行常规数据处理；
判断常规数据处理是否成功，如果是，则更新缓存中的序号，并将处理成功的结果发送至数据确认单元Acker对应的队列中；如果否，则发送处理失败的结果至数据确认单元Acker对应的队列中。
在上述技术方案中，当数据处理单元Bolt在处理数据时，将数据的序号与缓存(redis缓存)中的序号比较，如果当前数据序号小于等于缓存中已处理数据的序号，则直接发送处理成功至Acker组件；如果其序号大于缓存中的序号，则按正常处理逻辑处理数据，处理成功后更新缓存中的序号，然后再将处理成功结果发送至数据确认单元Acker，否则，发送处理失败结果至数据确认单元Acker。
本发明还提供一种基于Storm-Kafka实现数据顺序处理的系统，其技术方案如下：
一种基于Storm-Kafka实现数据顺序处理的系统，包括组件创建模块、数据获取模块、数据发送模块、数据缓存模块、数据传输模块、数据处理模块和数据反馈模块，其中：
组件创建模块，基于搭建的Storm-Kafka框架，创建KafkaSpout源头组件；
数据获取模块，从kafka上获取数据信息至KafkaSpout源头组件；
数据发送模块，用于将数据信息分别发送至数据处理单元Bolt对应的队列和数据确认单元Acker对应的队列中；
数据缓存模块，用于将数据信息传输至数据确认单元Acker，并缓存；
数据传输模块，用于将数据信息传输至数据处理单元Bolt；
数据处理模块，用于进行数据处理，缓存处理后的数据序号，并将数据处理的结果发送至数据确认单元Acker对应的队列中；
数据反馈模块，用于数据确认单元Acker接收到其队列中的数据处理结果后，判断整个链式处理是否完成，并将该结果返回至KafkaSpout源头组件。
优选的，还包括组件扩展模块和数据清空模块，其中：
组件扩展模块，用于扩展KafkaSpout源头组件，在其输出数据端增设一个对应kafka中数据位移offset的序号；
数据清空模块，用于当检测到序号重置时，则清空数据处理单元Bolt中所记录的所有缓存。
优选的，所述数据处理模块包括序号比较子模块，用于在进行数据处理之前，比较当前数据的序号与缓存中已处理数据的序号。
优选的，所述数据处理模块还包括结果发送子模块，若当前数据的序号小于等于缓存中已处理数据的序号，则直接发送处理成功的结果至数据确认单元Acker对应的队列中。
优选的，所述数据处理模块还包括常规处理子模块和处理判断子模块，其中：
常规处理子模块，若当前数据的序号大于缓存中已处理数据的序号，则进行常规数据处理；
处理判断子模块，用于判断常规数据处理是否成功，如果是，则更新缓存中的序号，并将处理成功的结果发送至数据确认单元Acker对应的队列中；如果否，则发送处理失败的结果至数据确认单元Acker对应的队列中。
本发明的有益效果是：
本发明采用Storm-Kafka来作为数据的处理的框架，这个框架能够提供高容错以及高并发的特性，能够在大数据量下保证数据的处理效率；同时，通过扩展KafkaSpout组件，对数据处理单元Bolt中的当前数据序号和缓存数据序号进行比较，实现数据的顺序处理。
附图说明
图1是本发明实施例所述基于Storm-Kafka实现数据顺序处理的方法的流程图；
图2是本发明实施例所述基于Storm-Kafka实现数据顺序处理的系统的原理框图。
附图标记说明：
10-组件创建模块；20-数据获取模块；30-数据发送模块；40-数据缓存模块；50-数据传输模块；60-数据处理模块；601-序号比较子模块；602-结果发送子模块；603-常规处理子模块；604-处理判断子模块；70-数据反馈模块；80-组件扩展模块；90-数据清空模块。
具体实施方式
下面结合附图对本发明的实施例进行详细说明。
实施例1
如图1所示，一种基于Storm-Kafka实现数据顺序处理的方法，包括以下步骤：
a、搭建Storm-Kafka框架，并创建KafkaSpout源头组件；
b、从kafka上获取数据信息至KafkaSpout源头组件；
c、将数据信息分别发送至数据处理单元Bolt对应的队列和数据确认单元Acker对应的队列中；
d、数据信息发送至数据确认单元Acker对应的队列中后，将数据信息传输至数据确认单元Acker，并缓存；
e、数据信息发送至数据处理单元Bolt对应的队列中后，将数据信息传输至数据处理单元Bolt；
f、进行数据处理，缓存处理后的数据序号，并将数据处理的结果发送至数据确认单元Acker对应的队列中；
g、数据确认单元Acker接收到其队列中的数据处理结果后，判断整个链式处理是否完成，并将该结果返回至KafkaSpout源头组件。
在本实施例中，接收数据后由数据处理单元Bolt进行处理，再将处理结果发送至数据确认单元Acker进行数据对比确认，使数据有序进行处理，得到相应的数据处理结果，并反馈给KafkaSpout源头组件。
实施例2
本实施例在实施例1的基础上，还包括以下步骤：
扩展KafkaSpout源头组件，在其输出数据端增设一个对应kafka中数据位移offset的序号；
当检测到序号重置时，则清空数据处理单元Bolt中所记录的所有缓存。
由于当数据确认单元Acker未在特定时间内(默认30秒)接收到数据处理单元Bolt的处理结果，则会通知KafkaSpout源头组件数据处理失败，此时，KafkaSpout源头组件会重发这条数据，将导致数据处理单元Bolt对应的队列中的数据无序，以致不能按照正常顺序来处理数据而到相应的结果；因此，本实施例对KafkaSpout源头组件进行扩展，对其输出数据增加一个序号(来自kafka的数据位移offset)；由于kafka上的数据在增至一定量时，会进行相应的拆分移除，也会导致序号的变化，当检测到kafka序号重置时，会清空数据处理单元Bolt中所记录的所有缓存，使得数据处理单元Bolt对应的队列中的数据有序。
实施例3
本实施例在实施例1的基础上，所述步骤f包括以下步骤：
进行数据处理之前，比较当前数据的序号与缓存中已处理数据的序号。
实施例4
本实施例在实施例3的基础上，所述步骤f还包括以下步骤：
若当前数据的序号小于等于缓存中已处理数据的序号，则直接发送处理成功的结果至数据确认单元Acker对应的队列中。
实施例5
本实施例在实施例3的基础上，所述步骤f还包括以下步骤：
若当前数据的序号大于缓存中已处理数据的序号，则进行常规数据处理；
判断常规数据处理是否成功，如果是，则更新缓存中的序号，并将处理成功的结果发送至数据确认单元Acker对应的队列中；如果否，则发送处理失败的结果至数据确认单元Acker对应的队列中。
在上述实施例3-实施例5中，当数据处理单元Bolt在处理数据时，将数据的序号与缓存(redis缓存)中的序号比较，如果当前数据序号小于等于缓存中已处理数据的序号，则直接发送处理成功至Acker组件；如果其序号大于缓存中的序号，则按正常处理逻辑处理数据，处理成功后更新缓存中的序号，然后再将处理成功结果发送至数据确认单元Acker，否则，发送处理失败结果至数据确认单元Acker。
实施例6
本实施例为实施例1的系统，如图2所示，一种基于Storm-Kafka实现数据顺序处理的系统，包括组件创建模块10、数据获取模块20、数据发送模块30、数据缓存模块40、数据传输模块50、数据处理模块60和数据反馈模块70，其中：
组件创建模块10，基于搭建的Storm-Kafka框架，创建KafkaSpout源头组件；
数据获取模块20，从kafka上获取数据信息至KafkaSpout源头组件；
数据发送模块30，用于将数据信息分别发送至数据处理单元Bolt对应的队列和数据确认单元Acker对应的队列中；
数据缓存模块40，用于将数据信息传输至数据确认单元Acker，并缓存；
数据传输模块50，用于将数据信息传输至数据处理单元Bolt；
数据处理模块60，用于进行数据处理，缓存处理后的数据序号，并将数据处理的结果发送至数据确认单元Acker对应的队列中；
数据反馈模块70，用于数据确认单元Acker接收到其队列中的数据处理结果后，判断整个链式处理是否完成，并将该结果返回至KafkaSpout源头组件。
实施例7
本实施例为实施例2的系统，还包括组件扩展模块80和数据清空模块90，其中：
组件扩展模块80，用于扩展KafkaSpout源头组件，在其输出数据端增设一个对应kafka中数据位移offset的序号；
数据清空模块90，用于当检测到序号重置时，则清空数据处理单元Bolt中所记录的所有缓存。
实施例8
本实施例为实施例3的系统，所述数据处理模块60包括序号比较子模块601，用于在进行数据处理之前，比较当前数据的序号与缓存中已处理数据的序号。
实施例9
本实施例为实施例4的系统，所述数据处理模块60还包括结果发送子模块602，若当前数据的序号小于等于缓存中已处理数据的序号，则直接发送处理成功的结果至数据确认单元Acker对应的队列中。
实施例10
本实施例为实施例5的系统，所述数据处理模块60还包括常规处理子模块603和处理判断子模块604，其中：
常规处理子模块603，若当前数据的序号大于缓存中已处理数据的序号，则进行常规数据处理；
处理判断子模块604，用于判断常规数据处理是否成功，如果是，则更新缓存中的序号，并将处理成功的结果发送至数据确认单元Acker对应的队列中；如果否，则发送处理失败的结果至数据确认单元Acker对应的队列中。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (10)
1.一种基于Storm-Kafka实现数据顺序处理的方法，其特征在于，包括以下步骤：
a、搭建Storm-Kafka框架，并创建KafkaSpout源头组件；
b、从kafka上获取数据信息至KafkaSpout源头组件；
c、将数据信息分别发送至数据处理单元Bolt对应的队列和数据确认单元Acker对应的队列中；
d、数据信息发送至数据确认单元Acker对应的队列中后，将数据信息传输至数据确认单元Acker，并缓存；
e、数据信息发送至数据处理单元Bolt对应的队列中后，将数据信息传输至数据处理单元Bolt；
f、进行数据处理，缓存处理后的数据序号，并将数据处理的结果发送至数据确认单元Acker对应的队列中；
g、数据确认单元Acker接收到其队列中的数据处理结果后，判断整个链式处理是否完成，并将该结果返回至KafkaSpout源头组件。
2.根据权利要求1所述的基于Storm-Kafka实现数据顺序处理的方法，其特征在于，还包括以下步骤：
扩展KafkaSpout源头组件，在其输出数据端增设一个对应kafka中数据位移offset的序号；
当检测到序号重置时，则清空数据处理单元Bolt中所记录的所有缓存。
3.根据权利要求1或2所述的基于Storm-Kafka实现数据顺序处理的方法，其特征在于，所述步骤f包括以下步骤：
进行数据处理之前，比较当前数据的序号与缓存中已处理数据的序号。
4.根据权利要求3所述的基于Storm-Kafka实现数据顺序处理的方法，其特征在于，所述步骤f还包括以下步骤：
若当前数据的序号小于等于缓存中已处理数据的序号，则直接发送处理成功的结果至数据确认单元Acker对应的队列中。
5.根据权利要求3所述的基于Storm-Kafka实现数据顺序处理的方法，其特征在于，所述步骤f还包括以下步骤：
若当前数据的序号大于缓存中已处理数据的序号，则进行常规数据处理；
判断常规数据处理是否成功，如果是，则更新缓存中的序号，并将处理成功的结果发送至数据确认单元Acker对应的队列中；如果否，则发送处理失败的结果至数据确认单元Acker对应的队列中。
6.一种基于Storm-Kafka实现数据顺序处理的系统，其特征在于，包括组件创建模块、数据获取模块、数据发送模块、数据缓存模块、数据传输模块、数据处理模块和数据反馈模块，其中：
组件创建模块，基于搭建的Storm-Kafka框架，创建KafkaSpout源头组件；
数据获取模块，从kafka上获取数据信息至KafkaSpout源头组件；
数据发送模块，用于将数据信息分别发送至数据处理单元Bolt对应的队列和数据确认单元Acker对应的队列中；
数据缓存模块，用于将数据信息传输至数据确认单元Acker，并缓存；
数据传输模块，用于将数据信息传输至数据处理单元Bolt；
数据处理模块，用于进行数据处理，缓存处理后的数据序号，并将数据处理的结果发送至数据确认单元Acker对应的队列中；
数据反馈模块，用于数据确认单元Acker接收到其队列中的数据处理结果后，判断整个链式处理是否完成，并将该结果返回至KafkaSpout源头组件。
7.根据权利要求6所述的基于Storm-Kafka实现数据顺序处理的系统，其特征在于，还包括组件扩展模块和数据清空模块，其中：
组件扩展模块，用于扩展KafkaSpout源头组件，在其输出数据端增设一个对应kafka中数据位移offset的序号；
数据清空模块，用于当检测到序号重置时，则清空数据处理单元Bolt中所记录的所有缓存。
8.根据权利要求6或7所述的基于Storm-Kafka实现数据顺序处理的系统，其特征在于，所述数据处理模块包括序号比较子模块，用于在进行数据处理之前，比较当前数据的序号与缓存中已处理数据的序号。
9.根据权利要求8所述的基于Storm-Kafka实现数据顺序处理的系统，其特征在于，所述数据处理模块还包括结果发送子模块，若当前数据的序号小于等于缓存中已处理数据的序号，则直接发送处理成功的结果至数据确认单元Acker对应的队列中。
10.根据权利要求8所述的基于Storm-Kafka实现数据顺序处理的系统，其特征在于，所述数据处理模块还包括常规处理子模块和处理判断子模块，其中：
常规处理子模块，若当前数据的序号大于缓存中已处理数据的序号，则进行常规数据处理；
处理判断子模块，用于判断常规数据处理是否成功，如果是，则更新缓存中的序号，并将处理成功的结果发送至数据确认单元Acker对应的队列中；如果否，则发送处理失败的结果至数据确认单元Acker对应的队列中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811612312.2A CN109815027A (zh) | 2018-12-27 | 2018-12-27 | 一种基于Storm-Kafka实现数据顺序处理的方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811612312.2A CN109815027A (zh) | 2018-12-27 | 2018-12-27 | 一种基于Storm-Kafka实现数据顺序处理的方法及其系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109815027A true CN109815027A (zh) | 2019-05-28 |
Family
ID=66602542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811612312.2A Pending CN109815027A (zh) | 2018-12-27 | 2018-12-27 | 一种基于Storm-Kafka实现数据顺序处理的方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109815027A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112020034A (zh) * | 2020-10-30 | 2020-12-01 | 深圳市爱夫卡科技股份有限公司 | 一种4G／5GT-Box车联网环保监测服务器、系统及方法 |
| CN112882839A (zh) * | 2019-11-29 | 2021-06-01 | 中国移动通信集团设计院有限公司 | 基于kafka的消息处理方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105630994A (zh) * | 2015-12-25 | 2016-06-01 | 浪潮电子信息产业股份有限公司 | 一种基于storm的数据处理方法、装置及系统 |
| CN105868075A (zh) * | 2016-03-31 | 2016-08-17 | 浪潮通信信息系统有限公司 | 一种实时监控分析大量日志的系统及方法 |
| WO2017016130A1 (zh) * | 2015-07-30 | 2017-02-02 | 中兴通讯股份有限公司 | 消息处理方法及装置 |
| US20180217882A1 (en) * | 2017-01-27 | 2018-08-02 | International Business Machines Corporation | Batch processing of messages |
| CN108809855A (zh) * | 2018-05-24 | 2018-11-13 | 北京三快在线科技有限公司 | 消息管理方法、装置及电子设备 |
-
2018
- 2018-12-27 CN CN201811612312.2A patent/CN109815027A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017016130A1 (zh) * | 2015-07-30 | 2017-02-02 | 中兴通讯股份有限公司 | 消息处理方法及装置 |
| CN105630994A (zh) * | 2015-12-25 | 2016-06-01 | 浪潮电子信息产业股份有限公司 | 一种基于storm的数据处理方法、装置及系统 |
| CN105868075A (zh) * | 2016-03-31 | 2016-08-17 | 浪潮通信信息系统有限公司 | 一种实时监控分析大量日志的系统及方法 |
| US20180217882A1 (en) * | 2017-01-27 | 2018-08-02 | International Business Machines Corporation | Batch processing of messages |
| CN108809855A (zh) * | 2018-05-24 | 2018-11-13 | 北京三快在线科技有限公司 | 消息管理方法、装置及电子设备 |
Non-Patent Citations (3)
| Title |
|---|
| 张春风等: "基于Storm的车联网数据实时分析系统", 《计算机系统应用》 * |
| 陈志云等: "基于Storm的工业流水线实时分析系统设计与实现", 《计算机应用与软件》 * |
| 陈波: "基于STORM分布式计算的海量数据统计系统设计方法研究", 《信息与电脑(理论版)》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112882839A (zh) * | 2019-11-29 | 2021-06-01 | 中国移动通信集团设计院有限公司 | 基于kafka的消息处理方法及装置 |
| CN112020034A (zh) * | 2020-10-30 | 2020-12-01 | 深圳市爱夫卡科技股份有限公司 | 一种4G／5GT-Box车联网环保监测服务器、系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0046831B1 (fr) | Système de retransmission de trames numérotées et reçues en erreur dans un système de transmission de données | |
| EP2862091B1 (fr) | Dispositif et procede d'extraction de donnees sur un bus de communication d'un vehicule automobile | |
| CN108985461B (zh) | 一种自主机器学习的方法、装置和终端设备 | |
| CN109815027A (zh) | 一种基于Storm-Kafka实现数据顺序处理的方法及其系统 | |
| US20190020503A1 (en) | Inband Data Gathering with Dynamic Intermediary Route Selections | |
| CN106911782A (zh) | 一种数据读取方法及装置 | |
| CN116546025B (zh) | 一种基于云计算的边缘数据管理系统 | |
| EP1531589A2 (fr) | Système et procédé de transmission d'une séquence de messages dans un réseau d'interconnexions | |
| CN109788065B (zh) | 一种基于北斗系统的离线消息传输方法及离线消息传输装置 | |
| CN112468509A (zh) | 一种基于深度学习技术的流量数据自动检测方法及装置 | |
| CN110324208B (zh) | 一种数据丢失处理方法、智能终端及存储介质 | |
| CN101635639B (zh) | 一种网络连接跟踪方法及其系统 | |
| CN116647511A (zh) | 一种数据传输流量预测方法及装置 | |
| CN113904994B (zh) | 一种家庭网关大数据统一上报平台的方法 | |
| US11580418B2 (en) | Dynamically updateable rules engine | |
| CN113269339A (zh) | 一种网约车任务自动创建和分发的方法及系统 | |
| CN110673955B (zh) | 优化内存的方法、装置、系统、终端和存储介质 | |
| CN112650597A (zh) | 高并发采集数据的处理系统及方法 | |
| CN106777332A (zh) | 一种Android终端中通过文件标识找到文件所在文件夹的系统及方法 | |
| CN114584594B (zh) | 一种接收物联网设备数据的方法及系统 | |
| CN111861853A (zh) | 用于处理数据的方法和装置 | |
| CN104053133A (zh) | 一种彩信业务开销户方法和系统 | |
| CN115348321B (zh) | 一种基于流量控制的数据获取方法及相关装置 | |
| CN109756524A (zh) | 一种网页显示方法及装置 | |
| CN116545506A (zh) | 一种卫星地面应用系统业务数据处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190528 |