CN110222091A - 一种海量数据实时统计分析方法 - Google Patents
一种海量数据实时统计分析方法 Download PDFInfo
- Publication number
- CN110222091A CN110222091A CN201910496934.1A CN201910496934A CN110222091A CN 110222091 A CN110222091 A CN 110222091A CN 201910496934 A CN201910496934 A CN 201910496934A CN 110222091 A CN110222091 A CN 110222091A
- Authority
- CN
- China
- Prior art keywords
- data
- real
- time
- kafka
- sent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2291—User-Defined Types; Storage management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出一种海量数据实时统计分析方法，终端设备将实时数据发送至mqtt服务器，并保存在不同Topic下；kafka系统中的生产者通过mqtt协议订阅所有Topic并监听数据，将监听到的原始事件数据实时发送给kafka系统存储；kafka系统将接收到的原始事件数据发送给数据结构化清洗模块进行数据清洗后发送给流式处理框架系统Flink，Flink的管理节点提供实时数据计算服务，计算结束后将计算结果存储至kafka系统中，并缓存至Redis系统中；kafka系统和Redis系统更新相应主题下的消息，并提醒更新。本发明可以提高实时数据统计分析准确性，快速响应对应的数据统计信息。
Description
技术领域
本发明涉及数据统计，尤其是一种海量数据实时统计分析方法。
背景技术
在现有的实时数据统计分析方案中，经常会使用数据处理时间作为数据处理的标准，利用分片技术，将数据存储在内存中，每过一秒钟统一计算统计分析数据。如果数据在实时计算过程为了防止数据丢失的情况，会尝试使用ack的机制，每次处理数据成功，会发送对应的消息说明这条数据已经被处理。之前数据统计完更新后存储到对应的数据库中，由前端定时拉取数据。但是现有技术存在以下缺陷：
(1)然而使用数据处理时间模拟数据发生时间必然会引起很多误差，尤其在生产数据堆积的时候误差会特别明显，而且有些数据会经常出现数据延迟的问题，一旦数据量大，发生计算的结果根本不准确；
(2)使用的缓存模式，每隔一秒统一数据批处理统计数据，这样会造成数据一定时间的延迟，并不能构成实时统计；
(3)每条数据的处理，都需要通知数据已经被处理，被标记为已处理，这样会导致网络通信压力变大。
发明内容
发明目的：为克服现有技术的缺陷，提高实时数据统计分析准确性，快速响应对应的数据统计信息，本发明提出一种海量数据实时统计分析方法。
技术方案：为实现上述目的，本发明提出的技术方案为：
一种海量数据实时统计分析方法，包括步骤：
(1)终端设备将实时数据发送至mqtt服务器，并保存在不同Topic下；
(2)设置消费者Mq2Flow，消费者Mq2Flow通过mqtt协议订阅所有Topic，并对订阅的Topic进行监听；消费者Mq2Flow同时作为kafka系统中的生产者，将监听到的原始事件数据实时发送给kafka系统，kafka系统对接收到的来自不同数据源的数据进行存储；
(3)kafka系统将接收到的原始事件数据发送给数据结构化清洗模块，数据结构化清洗模块在清洗时获取预先缓存在Redis系统中的配置信息，根据配置信息清洗数据，生成结构化的实时事件数据，并将实时事件数据发送构kafka系统进行存储；
(4)kafka系统将实时事件数据发送给流式处理框架系统Flink，Flink的管理节点提供实时数据计算服务：当接收到一个实时事件数据时，管理节点从Flink集群选取一个任务节点执行当前实时事件数据的计算任务，计算结束后将计算结果存储至kafka系统中，并缓存至Redis系统中；
(5)kafka系统和Redis系统更新相应主题下的消息，并提醒更新。
进一步的，所述kafka系统基于分区机制接收来自多个数据源的数据，并以顺序写的方式将所接收的数据写入磁盘，并以消息队列的形式进行保存。
进一步的，所述消费者Mq2Flow将数据发送给kafka系统时，预先在kafka系统中创建主题，并将数据存储至相应主题下的磁盘中；或者，在发起会话请求时指定已有主题下的分区，通过多个broker保存分区备份。
进一步的，所述消费者Mq2Flow在订阅Topic之前提前在mqtt服务器进行注册。
进一步的，所述数据结构化清洗的具体步骤为：
(5-1)将kafka中json格式的数据进行反序列化；
(5-2)识别反序列化后的结果数据对应的类型字段,将该数据分发到对应的处理数据流；
(5-3)各个处理数据流接收到对应的数据，查看对应的字段和各个字段值,丢弃不合法的数据；
(5-4)获取步骤(5-3)处理后的序列化数据中device_sn字段，通过device_sn查询Redis缓存中的device_sn对应相关的配置信息，在序列化数据中填充对应的配置信息并添加数据处理时间戳；
(5-5)将步骤(5-4)处理后的数据写入kafka中。
进一步的，所述实时事件数据的计算过程为：任务节点创建实时数据计算窗口，创建一个当前时间戳标志位和结束时间标志位作为计算窗口，创建可容忍延迟时间标志位，然后在管理节点中进行注册对应的标志位信息；任务节点获取实时事件数据的时间戳，根据时间戳将相应数据放在对应的标志位区间中，并与上次存储在相同位置的数据计算总和、平均值及方差信息。
进一步的，所述任务节点创建实时数据计算窗口时会开启多个barrier，每当一个barrier处理完后，会发送对应的信息跟管理节点说明这个数据已经处理完，没有出现丢失情况。
进一步的，当所述barrier在预设的指定时间段内未发送对应的信息给管理节点说明这个数据已经处理完，则管理节点判定这个任务节点的数据已经丢失，通知这个任务节点对数据重新计算。
有益效果：与现有技术相比，本发明具有以下优势：
本发明采取流处理方式进行处理数据，利用发布订阅的模式有数据更新实时通知对应监听的客户端，实时查看数据改变，能够提高实时数据统计分析准确性，快速响应对应的数据统计信息。
附图说明
图1为所述海量数据实时统计分析方法的原理架构示意图；
图2为Mq2Flow所执行的流程示意图；
图3为实时数据流计算模型。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本发明为实现对同时接收的多数据源数据的快速响应和数据统计，提出了一种海量数据实时统计分析方法，该方法基于多个数据处理系统实现，其原理如图1所示，主要包括：多个终端设备、mqtt服务器、kafka系统、数据结构化清洗模块、Redis系统和流式处理框架系统Flink。
MQTT协议是一种基于“发布/订阅”模式的即时通讯协议，可有效实现一对多或多对多的通信。
Kafka是一个支持分区存储、多副本的分布式消息系统，采用发布/订阅的消息处理模式，能有效应对代理宕机后的数据处理问题。Kafka以集群的方式运行，由多个broker共同构成。生产者将消息发送到特定的主题，再由订阅主题的消费者以poll的方式进行消费。其中，每个主题又被分成一个或多个的分区，每个分区由一系列有序、不可变的消息组成，是一个有序队列。特别的是，Kafka中以顺序写的方式写入磁盘，因而速度要比随机写入磁盘的方式快得多。
Flink是一个针对流数据和批数据的分布式处理引擎，能够达到实时搜索，稳定，可靠，快速，使用方便。
Redis是一个key-value存储系统。它支持多种value类型存储，包括string(字符串)、list(链表)、set(集合)、zset(有序集合)和hash(哈希类型)。
该方法的整体流程如下：
(1)终端设备将实时数据发送至mqtt服务器，并保存在不同Topic下；
(2)设置消费者Mq2Flow，如图2所示为Mq2Flow的流程图，消费者Mq2Flow在订阅Topic之前提前在mqtt服务器进行注册，然后通过mqtt协议订阅所有Topic，并对订阅的Topic进行监听；消费者Mq2Flow同时作为kafka系统中的生产者，将监听到的原始事件数据实时发送给kafka系统，kafka系统基于分区机制接收来自多个数据源的数据，并以顺序写的方式将所接收的数据写入磁盘，并以消息队列的形式进行保存；
(3)kafka系统将接收到的原始事件数据发送给数据结构化清洗模块，数据结构化清洗模块在清洗时获取预先缓存在Redis系统中的配置信息，根据配置信息清洗数据，生成结构化的实时事件数据，并将实时事件数据发送构kafka系统进行存储；其中，数据结构化清洗的具体步骤为：
1)将kafka中json格式的数据进行反序列化；例如，一组反序列化后的数据为：{“action”:“pickup”,“timestamp”:“1558670303”,“device_sn”:“WOA2018470000XXXXX”}；
2)识别反序列化后的结果数据对应的类型字段,将该数据分发到对应的处理数据流；
3)各个处理数据流接收到对应的数据，查看对应的字段和各个字段值,丢弃不合法的数据；例如action字段中对应的值是乱码或者垃圾数据，或者timestamp中对应的值是为0，则认为是不合法的数据，将其丢弃；
4)获取步骤3)处理后的序列化数据中device_sn字段，通过device_sn查询Redis缓存中的device_sn对应相关的配置信息，在序列化数据中填充对应的配置信息并添加数据处理时间戳；
5)将步骤4)处理后的数据写入kafka中。
所述消费者Mq2Flow将数据发送给kafka系统时，预先在kafka系统中创建主题，并将数据存储至相应主题下的磁盘中；或者，在发起会话请求时指定已有主题下的分区，通过多个broker保存分区备份。
(4)kafka系统将实时事件数据发送给流式处理框架系统Flink，Flink的管理节点提供实时数据计算服务：当接收到一个实时事件数据时，管理节点从Flink集群选取一个任务节点执行当前实时事件数据的计算任务，计算结束后将计算结果存储至kafka系统中，并缓存至Redis系统中；
所述实时事件数据的计算过程为：任务节点创建实时数据计算窗口，创建一个当前时间戳标志位和结束时间标志位作为计算窗口，创建可容忍延迟时间标志位，然后在管理节点中进行注册对应的标志位信息；任务节点获取实时事件数据的时间戳，根据时间戳将相应数据放在对应的标志位区间中，并与上次存储在相同位置的数据计算总和、平均值及方差信息。所述任务节点创建实时数据计算窗口时会开启多个barrier，如图3所示，一个窗口由多个barrier隔开，barrier用于防止数据丢失；每当一个barrier处理完后，会发送对应的信息跟管理节点说明这个数据已经处理完，没有出现丢失情况；当所述barrier在预设的指定时间段内未发送对应的信息给管理节点说明这个数据已经处理完，则管理节点判定这个任务节点的数据已经丢失，通知这个任务节点对数据重新计算。
(5)kafka系统和Redis系统更新相应主题下的消息，并提醒更新。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
具体的，本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (8)
1.一种海量数据实时统计分析方法，其特征在于，包括步骤：
(1)终端设备将实时数据发送至mqtt服务器，并保存在不同Topic下；
(2)设置消费者Mq2Flow，消费者Mq2Flow通过mqtt协议订阅所有Topic，并对订阅的Topic进行监听；消费者Mq2Flow同时作为kafka系统中的生产者，将监听到的原始事件数据实时发送给kafka系统，kafka系统对接收到的来自不同数据源的数据进行存储；
(3)kafka系统将接收到的原始事件数据发送给数据结构化清洗模块，数据结构化清洗模块在清洗时获取预先缓存在Redis系统中的配置信息，根据配置信息清洗数据，生成结构化的实时事件数据，并将实时事件数据发送构kafka系统进行存储；
(4)kafka系统将实时事件数据发送给流式处理框架系统Flink，Flink的管理节点提供实时数据计算服务：当接收到一个实时事件数据时，管理节点从Flink集群选取一个任务节点执行当前实时事件数据的计算任务，计算结束后将计算结果存储至kafka系统中，并缓存至Redis系统中；
(5)kafka系统和Redis系统更新相应主题下的消息，并提醒更新。
2.根据权利要求1所述的一种海量数据实时统计分析方法，其特征在于，所述kafka系统基于分区机制接收来自多个数据源的数据，并以顺序写的方式将所接收的数据写入磁盘，并以消息队列的形式进行保存。
3.根据权利要求2所述的一种海量数据实时统计分析方法，其特征在于，所述消费者Mq2Flow将数据发送给kafka系统时，预先在kafka系统中创建主题，并将数据存储至相应主题下的磁盘中；或者，在发起会话请求时指定已有主题下的分区，通过多个broker保存分区备份。
4.根据权利要求1所述的一种海量数据实时统计分析方法，其特征在于，所述消费者Mq2Flow在订阅Topic之前提前在mqtt服务器进行注册。
5.根据权利要求1所述的一种海量数据实时统计分析方法，其特征在于，所述数据结构化清洗的具体步骤为：
(5-1)将kafka中json格式的数据进行反序列化；
(5-2)识别反序列化后的结果数据对应的类型字段,将该数据分发到对应的处理数据流；
(5-3)各个处理数据流接收到对应的数据，查看对应的字段和各个字段值,丢弃不合法的数据；
(5-4)获取步骤(5-3)处理后的序列化数据中device_sn字段，通过device_sn查询Redis缓存中的device_sn对应相关的配置信息，在序列化数据中填充对应的配置信息并添加数据处理时间戳；
(5-5)将步骤(5-4)处理后的数据写入kafka中。
6.根据权利要求1所述的一种海量数据实时统计分析方法，其特征在于，所述实时事件数据的计算过程为：任务节点创建实时数据计算窗口，创建一个当前时间戳标志位和结束时间标志位作为计算窗口，创建可容忍延迟时间标志位，然后在管理节点中进行注册对应的标志位信息；任务节点获取实时事件数据的时间戳，根据时间戳将相应数据放在对应的标志位区间中，并与上次存储在相同位置的数据计算总和、平均值及方差信息。
7.根据权利要求6所述的一种海量数据实时统计分析方法，其特征在于，所述任务节点创建实时数据计算窗口时会开启多个barrier，每当一个barrier处理完后，会发送对应的信息跟管理节点说明这个数据已经处理完，没有出现丢失情况。
8.根据权利要求7所述的一种海量数据实时统计分析方法，其特征在于，当所述barrier在预设的指定时间段内未发送对应的信息给管理节点说明这个数据已经处理完，则管理节点判定这个任务节点的数据已经丢失，通知这个任务节点对数据重新计算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910496934.1A CN110222091B (zh) | 2019-06-10 | 2019-06-10 | 一种海量数据实时统计分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910496934.1A CN110222091B (zh) | 2019-06-10 | 2019-06-10 | 一种海量数据实时统计分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110222091A true CN110222091A (zh) | 2019-09-10 |
| CN110222091B CN110222091B (zh) | 2021-03-30 |
Family
ID=67816046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910496934.1A Active CN110222091B (zh) | 2019-06-10 | 2019-06-10 | 一种海量数据实时统计分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110222091B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110851514A (zh) * | 2019-10-17 | 2020-02-28 | 杭州安恒信息技术股份有限公司 | 基于flink的etl处理方法 |
| CN111177237A (zh) * | 2019-12-10 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 一种数据处理系统、方法及装置 |
| CN111355712A (zh) * | 2020-02-20 | 2020-06-30 | 杭州涂鸦信息技术有限公司 | 一种适用于mqtt的安全防护方法及系统 |
| CN111367953A (zh) * | 2020-03-30 | 2020-07-03 | 中国建设银行股份有限公司 | 一种资讯数据的流式处理方法及装置 |
| CN111708645A (zh) * | 2020-06-12 | 2020-09-25 | 北京思特奇信息技术股份有限公司 | 基于流处理的事件处理方法及系统 |
| CN111813767A (zh) * | 2020-06-30 | 2020-10-23 | 北京玩在一起科技有限公司 | 一种电竞赛事数据的处理方法及系统 |
| CN111966943A (zh) * | 2020-08-13 | 2020-11-20 | 上海哔哩哔哩科技有限公司 | 流式数据分发方法和系统 |
| CN111984433A (zh) * | 2020-07-31 | 2020-11-24 | 五八有限公司 | 业务数据处理方法、展示方法、装置、电子设备及介质 |
| CN112104724A (zh) * | 2020-09-09 | 2020-12-18 | 山东健康医疗大数据有限公司 | 一种对医院挂号数据进行实时治理和统计的方法 |
| CN112492024A (zh) * | 2020-11-26 | 2021-03-12 | 国网湖南省电力有限公司 | 面向用户用电信息采集系统的实时数据共享系统 |
| CN112632127A (zh) * | 2020-12-29 | 2021-04-09 | 国华卫星数据科技有限公司 | 设备运行实时数据采集及时序的数据处理方法 |
| CN113157449A (zh) * | 2021-04-16 | 2021-07-23 | 上海寰果信息科技有限公司 | 基于mqtt的实时流数据分析处理方法 |
| CN113365341A (zh) * | 2021-04-16 | 2021-09-07 | 上海寰果信息科技有限公司 | 基于mqtt的rtcm-rtk精准定位网络系统 |
| WO2021195285A1 (en) * | 2020-03-24 | 2021-09-30 | UST Global Inc | Systems and methods for tracking features in a development environment |
| CN113783931A (zh) * | 2021-08-02 | 2021-12-10 | 中企云链（北京）金融信息服务有限公司 | 一种物联网数据聚合、分析方法 |
| CN114390033A (zh) * | 2021-12-28 | 2022-04-22 | 国网天津市电力公司营销服务中心 | 基于可扩展通信协议的回路状态巡检仪采集系统及方法 |
| CN114547511A (zh) * | 2022-04-27 | 2022-05-27 | 成都瑞华康源科技有限公司 | 基于物联网mqtt协议的系统数据字典使用方法及系统 |
| CN115333967A (zh) * | 2022-10-11 | 2022-11-11 | 南京中孚信息技术有限公司 | 数据上报方法、系统、设备及存储介质 |
| CN117198474A (zh) * | 2023-11-06 | 2023-12-08 | 天河超级计算淮海分中心 | 医学影像数据实时获取方法、系统、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106649119A (zh) * | 2016-12-28 | 2017-05-10 | 深圳市华傲数据技术有限公司 | 流计算引擎的测试方法及装置 |
| CN107294801A (zh) * | 2016-12-30 | 2017-10-24 | 江苏号百信息服务有限公司 | 基于海量实时互联网dpi数据的流式处理方法及系统 |
| CN107908690A (zh) * | 2017-11-01 | 2018-04-13 | 南京欣网互联网络科技有限公司 | 一种基于大数据运营分析的数据处理方法 |
| WO2018119116A1 (en) * | 2016-12-20 | 2018-06-28 | Striim, Inc. | Data stream processor with both in memory and persisted messaging |
| CN108287905A (zh) * | 2018-01-26 | 2018-07-17 | 华南理工大学 | 一种网络流特征的提取与存储方法 |
| CN108768826A (zh) * | 2018-05-16 | 2018-11-06 | 华南理工大学 | 基于MQTT和Kafka高并发场景下的消息路由方法 |
| CN109829765A (zh) * | 2019-03-05 | 2019-05-31 | 北京博明信德科技有限公司 | 基于Flink和Kafka实时监控销售数据的方法、系统及装置 |
-
2019
- 2019-06-10 CN CN201910496934.1A patent/CN110222091B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018119116A1 (en) * | 2016-12-20 | 2018-06-28 | Striim, Inc. | Data stream processor with both in memory and persisted messaging |
| CN106649119A (zh) * | 2016-12-28 | 2017-05-10 | 深圳市华傲数据技术有限公司 | 流计算引擎的测试方法及装置 |
| CN107294801A (zh) * | 2016-12-30 | 2017-10-24 | 江苏号百信息服务有限公司 | 基于海量实时互联网dpi数据的流式处理方法及系统 |
| CN107908690A (zh) * | 2017-11-01 | 2018-04-13 | 南京欣网互联网络科技有限公司 | 一种基于大数据运营分析的数据处理方法 |
| CN108287905A (zh) * | 2018-01-26 | 2018-07-17 | 华南理工大学 | 一种网络流特征的提取与存储方法 |
| CN108768826A (zh) * | 2018-05-16 | 2018-11-06 | 华南理工大学 | 基于MQTT和Kafka高并发场景下的消息路由方法 |
| CN109829765A (zh) * | 2019-03-05 | 2019-05-31 | 北京博明信德科技有限公司 | 基于Flink和Kafka实时监控销售数据的方法、系统及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 徐玉景: "《基于Kafka的全链路流数据处理平台的设计与实现》", 《中国优秀硕士学位论文全文数据库 信息科技辑（月刊）2019年第01期》 * |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110851514B (zh) * | 2019-10-17 | 2022-10-21 | 杭州安恒信息技术股份有限公司 | 基于flink的etl处理方法 |
| CN110851514A (zh) * | 2019-10-17 | 2020-02-28 | 杭州安恒信息技术股份有限公司 | 基于flink的etl处理方法 |
| CN111177237A (zh) * | 2019-12-10 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 一种数据处理系统、方法及装置 |
| CN111177237B (zh) * | 2019-12-10 | 2024-02-13 | 腾讯科技（深圳）有限公司 | 一种数据处理系统、方法及装置 |
| CN111355712A (zh) * | 2020-02-20 | 2020-06-30 | 杭州涂鸦信息技术有限公司 | 一种适用于mqtt的安全防护方法及系统 |
| WO2021195285A1 (en) * | 2020-03-24 | 2021-09-30 | UST Global Inc | Systems and methods for tracking features in a development environment |
| US11204762B2 (en) | 2020-03-24 | 2021-12-21 | UST Global Inc | Systems and methods for tracking features in a development environment |
| CN111367953A (zh) * | 2020-03-30 | 2020-07-03 | 中国建设银行股份有限公司 | 一种资讯数据的流式处理方法及装置 |
| CN111708645A (zh) * | 2020-06-12 | 2020-09-25 | 北京思特奇信息技术股份有限公司 | 基于流处理的事件处理方法及系统 |
| CN111813767A (zh) * | 2020-06-30 | 2020-10-23 | 北京玩在一起科技有限公司 | 一种电竞赛事数据的处理方法及系统 |
| CN111984433A (zh) * | 2020-07-31 | 2020-11-24 | 五八有限公司 | 业务数据处理方法、展示方法、装置、电子设备及介质 |
| CN111966943A (zh) * | 2020-08-13 | 2020-11-20 | 上海哔哩哔哩科技有限公司 | 流式数据分发方法和系统 |
| CN112104724A (zh) * | 2020-09-09 | 2020-12-18 | 山东健康医疗大数据有限公司 | 一种对医院挂号数据进行实时治理和统计的方法 |
| CN112104724B (zh) * | 2020-09-09 | 2023-11-14 | 山东浪潮智慧医疗科技有限公司 | 一种对医院挂号数据进行实时治理和统计的方法 |
| CN112492024A (zh) * | 2020-11-26 | 2021-03-12 | 国网湖南省电力有限公司 | 面向用户用电信息采集系统的实时数据共享系统 |
| CN112632127A (zh) * | 2020-12-29 | 2021-04-09 | 国华卫星数据科技有限公司 | 设备运行实时数据采集及时序的数据处理方法 |
| CN112632127B (zh) * | 2020-12-29 | 2022-07-15 | 国华卫星数据科技有限公司 | 设备运行实时数据采集及时序的数据处理方法 |
| CN113157449A (zh) * | 2021-04-16 | 2021-07-23 | 上海寰果信息科技有限公司 | 基于mqtt的实时流数据分析处理方法 |
| CN113365341A (zh) * | 2021-04-16 | 2021-09-07 | 上海寰果信息科技有限公司 | 基于mqtt的rtcm-rtk精准定位网络系统 |
| CN113365341B (zh) * | 2021-04-16 | 2023-01-13 | 上海寰果信息科技有限公司 | 基于mqtt的rtcm-rtk精准定位网络系统 |
| CN113783931A (zh) * | 2021-08-02 | 2021-12-10 | 中企云链（北京）金融信息服务有限公司 | 一种物联网数据聚合、分析方法 |
| CN113783931B (zh) * | 2021-08-02 | 2023-07-25 | 中企云链（北京）金融信息服务有限公司 | 一种物联网数据聚合、分析方法 |
| CN114390033A (zh) * | 2021-12-28 | 2022-04-22 | 国网天津市电力公司营销服务中心 | 基于可扩展通信协议的回路状态巡检仪采集系统及方法 |
| CN114547511B (zh) * | 2022-04-27 | 2022-07-19 | 成都瑞华康源科技有限公司 | 基于物联网mqtt协议的系统数据字典使用方法及系统 |
| CN114547511A (zh) * | 2022-04-27 | 2022-05-27 | 成都瑞华康源科技有限公司 | 基于物联网mqtt协议的系统数据字典使用方法及系统 |
| CN115333967A (zh) * | 2022-10-11 | 2022-11-11 | 南京中孚信息技术有限公司 | 数据上报方法、系统、设备及存储介质 |
| CN117198474A (zh) * | 2023-11-06 | 2023-12-08 | 天河超级计算淮海分中心 | 医学影像数据实时获取方法、系统、电子设备及存储介质 |
| CN117198474B (zh) * | 2023-11-06 | 2024-03-01 | 天河超级计算淮海分中心 | 医学影像数据实时获取方法、系统、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110222091B (zh) | 2021-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110222091A (zh) | 一种海量数据实时统计分析方法 | |
| CN108768826B (zh) | 基于MQTT和Kafka高并发场景下的消息路由方法 | |
| CN110908788B (zh) | 基于Spark Streaming的数据处理方法、装置、计算机设备及存储介质 | |
| CN106815254B (zh) | 一种数据处理方法和装置 | |
| CN109739919B (zh) | 一种用于电力系统的前置机和采集系统 | |
| US11657025B2 (en) | Parallel processing of filtered transaction logs | |
| CN110546923A (zh) | 可扩展实时消息传送系统中的消息的选择性分发 | |
| CN108984333B (zh) | 用于大数据实时计算的方法及装置 | |
| CN112256523B (zh) | 业务数据处理方法及装置 | |
| CN113448752A (zh) | 一种指标数据获取方法、装置、电子设备和存储介质 | |
| US20120102168A1 (en) | Communication And Coordination Between Web Services In A Cloud-Based Computing Environment | |
| CN113377611A (zh) | 一种业务处理流程监控方法、系统、设备及存储介质 | |
| CN114610765B (zh) | 流计算方法、装置、设备及存储介质 | |
| CN111049898A (zh) | 一种实现计算集群资源跨域架构的方法及系统 | |
| CN115391429A (zh) | 基于大数据云计算的时序数据处理方法及装置 | |
| CN109510859A (zh) | 一种推送消息的到达量的统计方法和装置 | |
| CN112702376B (zh) | 一种交易实时监控方法 | |
| CN114217983A (zh) | 数据推送方法、系统、终端设备及计算机可读存储介质 | |
| CN111652616B (zh) | 交易数据实时监控方法及装置 | |
| CN113961342B (zh) | 边云协同的复杂事件检测方法 | |
| CN114422577A (zh) | 一种业务变更消息的处理方法及装置 | |
| CN116166711A (zh) | 一种设备活跃度的统计方法、装置、电子设备和存储介质 | |
| CN115061891A (zh) | 基于区块链的系统负载容量预测方法及装置 | |
| CN106412044A (zh) | 一种基于Storm的实时海量云应用访问统计实现方法 | |
| CN116902041A (zh) | 接口数据处理方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |