CN109002484A - 一种用于顺序消费数据的方法及系统 - Google Patents
一种用于顺序消费数据的方法及系统 Download PDFInfo
- Publication number
- CN109002484A CN109002484A CN201810657964.1A CN201810657964A CN109002484A CN 109002484 A CN109002484 A CN 109002484A CN 201810657964 A CN201810657964 A CN 201810657964A CN 109002484 A CN109002484 A CN 109002484A
- Authority
- CN
- China
- Prior art keywords
- data
- consumer
- processing system
- thread
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种用于顺序消费数据的方法及系统，数据生产者客户端连接到数据处理系统，并向数据处理系统发送数据；数据处理系统生产者线程依据接收数据的主题以及当前数据处理系统的分区编号，将数据存储到数据库管理系统中；数据处理系统消费者线程依据当前消费者的ID，获取当前消费者ID对应的分区编号的偏移量；数据消费者线程根据所述分区编号的偏移量从数据处理系统的分区中获取数据，与数据库管理系统存储的数据进行匹配、整合；将匹配、整合完成的数据结果返回给相应的数据消费者客户端。通过本发明的技术方案，解决了Kafka同一个主题多分区的情况下，消费数据的无序问题。
Description
技术领域
本发明涉及数据处理领域，具体涉及一种用于顺序消费数据的方法及系统。
背景技术
MySql作为流行的关系型数据库，其存储性能较高，并且支持数据的有序存储以及查询操作。Kafka作为流行的分布式发布订阅消息系统，支持多生产者向其生产数据消息，且支持多消费者消费生产的数据消息。
Kafka中同一个主题只有一个分区的情况下，消费者在消费数据的过程中顺序消费的。但是在多分区的情况下，消费者无法保证从多个分区拿的数据是按照生产者生产数据的顺序，其只能确保在同一个主题的一个分区中，消费者消费的数据按照数据落地存储到当前分区中的数据的顺序(这也是为什么一个主题只有一个分区的情况下消费的数据是有序的)。
Kafka以及Mysql均支持单机部署以及集群部署，因此在部署服务方面，无论是单机部署还是集群部署，二者可以进行集成部署。
Kafka中的生产者生产数据对应Mysql中的插入数据，消费者消费数据对应Mysql中的读取数据，以及删除数据对应Mysql中的删除数据，且Mysql支持有序插入存储、有序读取。通过结合二者各自的特点，在Kafka一个主题多分区的情况下，依赖Mysql的有序插入以及有序读取的特性，实现多分区消费数据的有序性。
发明内容
为解决上述技术问题，本发明提供了一种用于顺序消费数据的方法，该方法包括以下步骤：
1)数据生产者客户端连接到数据处理系统，并向数据处理系统发送数据；
2)数据处理系统生产者线程依据接收数据的主题以及当前数据处理系统的分区编号，将数据存储到数据库管理系统中；
3)数据消费者客户端连接到所述数据处理系统，数据处理系统消费者线程依据当前消费者的ID，获取当前消费者ID对应的分区编号的偏移量；
4)消费者线程根据所述分区编号的偏移量从数据处理系统不同分区中获取数据，与数据库管理系统存储的数据进行匹配、整合；
5)消费者线程将匹配、整合完成的数据结果返回给相应的数据消费者客户端。
根据本发明的方法，优选的，所述数据处理系统为Kafka消息分布式发布订阅消息系统，所述数据库管理系统为Mysql数据库管理系统。
根据本发明的方法，优选的，在Mysql数据库管理系统中存储的数据包含当前的Kafka的主题名称、分区编号、当前数据的UNIX时间戳以及该数据在Kafka中的分区偏移量。
根据本发明的方法，优选的，Kafka消费者线程依据当前消费者的ID，从其协同工作的zookeeper中获取当前消费者ID对应不同分区ID的偏移量；
将从不同分区中获取的数据的主题以及分区编号，与Mysql中存储的主题、分区编号、偏移量进行关联，将具备相同主题、分区编号以及偏移量的数据合并。
根据本发明的方法，优选的，消费者线程在向消费者返回数据之前，依据合并的数据中的UNIX时间戳进行升序排序，并重新整合数据结果；
消费者线程将整合完成的依赖UNIX时间戳排序之后的数据结果返回给相应的数据消费者客户端。
为解决上述技术问题，本发明提供了一种用于顺序消费数据的系统，其特征在于，该系统包括：数据生产者客户端、数据处理系统、数据库管理系统和数据消费者客户端；
所述数据处理系统分别针对数据生产者客户端和数据消费者客户端创建数据生产者线程和数据消费者线程；
数据生产者客户端连接到数据处理系统，并向数据处理系统发送数据；
数据处理系统生产者线程依据接收数据的主题以及当前数据处理系统的分区编号，将数据存储到数据库管理系统中；
数据消费者客户端连接到所述数据处理系统，数据处理系统消费者线程依据当前消费者的ID，获取当前消费者ID对应的分区编号的偏移量；
数据消费者线程根据所述分区编号的偏移量从数据处理系统的分区中获取数据，与数据库管理系统存储的数据进行匹配、整合；
数据消费者线程将匹配、整合完成的数据结果返回给相应的数据消费者客户端。
根据本发明的系统，优选的，所述数据处理系统为Kafka消息分布式发布订阅消息系统，所述数据库为Mysql数据库管理系统。
根据本发明的系统，优选的，在Mysql数据库管理系统中存储的数据包含当前的Kafka的主题名称、分区编号、当前数据的UNIX时间戳以及该数据在Kafka中的分区偏移量。
根据本发明的系统，优选的，Kafka消费者线程依据当前消费者的ID，从其协同工作的zookeeper中获取当前消费者ID对应不同分区ID的偏移量；
将从不同分区中获取的数据的主题以及分区编号，与Mysql中存储的主题、分区编号、偏移量进行关联，将具备相同主题、分区编号以及偏移量的数据合并。
根据本发明的系统，优选的，数据消费者线程在向消费者返回数据之前，依据合并的数据中的UNIX时间戳进行升序排序，并重新整合数据结果；
数据消费者线程将整合完成的依赖UNIX时间戳排序之后的数据结果返回给相应的数据消费者客户端。
根据本发明的系统，优选的，所述数据处理系统还创建数据删除线程，所述数据删除线程根据数据处理系统配置的超时时间，将超时存储到数据处理系统中的数据中的主题名称、分区ID以及数据的偏移量读取出来，调用数据删除组件将数据库管理系统中对应的数据删除，同时数据删除线程将数据处理系统中的对应数据删除。
采用本发明的技术方案，取得了以下技术效果：
本发明解决了Kafka同一个主题多分区的情况下，消费数据的无序问题，避免在实时处理数据(数据低延时)业务时避免数据的漏处理从而引发的数据统计不准确。
附图说明
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1为本发明的总体框图；
图2为本发明的总体框架分解图；
图3为本发明的方法流程图。
具体实施方式
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
MySql:一种关系数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内。是建立在关系数据库模型基础上的数据库，借助于集合代数等概念和方法来处理数据库中的数据，同时也是一个被组织成一组拥有正式描述性的表格，该形式的表格作用的实质是装载着数据项的特殊收集体，这些表格中的数据能以许多不同的方式被存取或重新召集而不需要重新组织数据库表格。
Kafka:由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
本发明提出的MySql结合Kafka的多分区的情况下，消费者消费Kafka中的数据按照生产者生产数据的顺序。
总体描述如上图1、图2所示，图1包含了数据生产者客户端、Kafka、Mysql数据库管理系统和数据消费者客户端；其中图2包含了生产者向Kafka同Mysql结合处理数据所包含的数据处理逻辑组件。
本发明提供了一种用于顺序消费数据的系统，该系统包括：数据生产者客户端、Kafka、Mysql数据库管理系统和数据消费者客户端。
Kafka分别针对数据生产者客户端和数据消费者客户端创建数据生产者线程和数据消费者线程。
数据生产者客户端连接到Kafka，并向数据处理系统发送数据。
生产者向Kafka发送数据，Kafka接收到数据之后，交由相应的生产者线程将数据落地存储到Kafka中。
Kafka生产者线程依据接收数据的主题以及当前Kafka的分区编号，将数据存储到Mysql数据库管理系统中。
生产者线程将该据除落地到Kafka之后，需要调用Mysql的数据入库组件，并依据当前数据的主题以及当前的分区存储到Mysql中。因为获取到的数据中携带了此数据在Kafka中的主题数据、分区编号、分区偏移量及UNIX时间戳，在Mysql的数据表中存储该数据时，记录该数据的主题数据、分区编号、分区偏移量及UNIX时间戳四个属性，即在Mysql的数据表中仅存储上述四个属性数据，而不存储由生产者客户端产生的具体数据。Mysql中存储的数据包含当前的Kafka的主题名称、分区编号、当前数据的UNIX时间戳以及该数据在Kafka中的偏移量。
如果上述操作成功，则Kfaka向生产者客户端回执数据生产成功，如果不成功，则反馈失败，并将上述的数据处理操作进行回滚，即恢复之前的状态。
数据消费者客户端连接到所述Kafka，Kafka消费者线程依据当前消费者的ID，获取当前消费者ID对应的分区编号的偏移量。
消费者客户端连接到Kafka。
Kafka消费者线程依据当前消费者的ID，从其协同工作的zookeeper中获取当前消费者ID对应不同分区ID的偏移量。zookeeper是Kafka中的一个功能组件。消费者客户端在连接到Kafka之后，会从zookeeper中获取当前消费者消费的不同分区ID上的偏移量的数据。
数据消费者线程根据所述分区编号的偏移量从Kafka的分区中获取数据，与Mysql数据库管理系统存储的数据进行匹配、整合。
Kafka消费者线程从上次记录的主题以及其分区编号的偏移量从不同Kafka分区中读取数据。此时，同一个分区中的数据是有顺序的，其顺序等同于生产者向该分区插入数据的顺序。
消费者线程调用数据整合组件，将从不同分区中读取到的数据的主题、分区编号、分区偏移量与Mysql存储的数据的主题、分区编号、分区偏移量进行匹配。具备相同主题、分区编号以及偏移量的数据合并。
消费者线程在向消费者客户端返回数据之前，依据整合(合并)的数据中的UNIX时间戳进行升序排序，并重新整合数据结果。
消费者线程将整合完成的依赖UNIX时间戳排序之后的结果返回给相应的客户端。
数据消费者线程将匹配、整合完成的按照UNIX时间戳排序的数据结果返回给相应的数据消费者客户端。
Kafka还创建数据删除线程，所述数据删除线程根据Kafka配置的超时时间，将超时存储到Kafka中的数据中的主题名称、分区ID以及数据的偏移量读取出来，调用数据删除组件将Mysql数据库管理系统中对应的数据删除，同时数据删除线程将Kafka中的对应数据删除。
根据图3所示，描述了本发明的数据生产、顺序消费的方法流程图。
一种用于顺序消费数据的方法，其特征在于，该方法包括以下步骤：
步骤S1，Kafka分别针对数据生产者客户端和数据消费者客户端创建数据生产者线程和数据消费者线程。
数据生产者客户端连接到Kafka，并向数据处理系统发送数据。
生产者向Kafka发送数据，Kafka接收到数据之后，交由相应的生产者线程将数据落地存储到Kafka中。
步骤S2，Kafka生产者线程依据接收数据的主题以及当前Kafka的分区编号，将数据存储到Mysql数据库管理系统中。
生产者线程将该据除落地到Kafka之后，需要调用Mysql的数据入库组件，并依据当前数据的主题以及当前的分区存储到Mysql中。因为获取到的数据中携带了此数据在Kafka中的主题数据、分区编号、分区偏移量及UNIX时间戳，在Mysql的数据表中存储该数据时，记录该数据的主题数据、分区编号、分区偏移量及UNIX时间戳四个属性。Mysql中存储的数据包含当前的Kafka的主题名称、分区编号、当前数据的UNIX时间戳以及该数据在Kafka中的偏移量。
如果上述操作成功，则Kfaka向生产者客户端回执数据生产成功，如果不成功，则反馈失败，并将上述的数据处理操作进行回滚，即恢复之前的状态。
步骤S3，数据消费者客户端连接到所述Kafka，Kafka消费者线程依据当前消费者的ID，获取当前消费者ID对应的分区编号的偏移量。
消费者客户端连接到Kafka。
Kafka消费者线程依据当前消费者的ID，从其协同工作的zookeeper中获取当前消费者ID对应不同分区ID的偏移量。zookeeper是Kafka中的一个功能组件。消费者客户端在连接到Kafka之后，会从zookeeper中获取当前消费者消费的不同分区ID上的偏移量的数据。
步骤S4，数据消费者线程根据所述分区编号的偏移量从Kafka的分区中获取数据，与Mysql数据库管理系统存储的数据进行匹配、整合。
Kafka消费者线程从上次记录的主题以及其分区编号的偏移量从不同Kafka分区中读取数据。此时，同一个分区中的数据是有顺序的，其顺序等同于生产者向该分区插入数据的顺序。
消费者线程调用数据整合组件，将从不同分区中读取到的数据的主题、分区编号、分区偏移量与Mysql存储的数据的主题、分区编号、分区偏移量进行匹配。具备相同主题、分区编号以及偏移量的数据合并。
消费者线程在向消费者客户端返回数据之前，依据整合(合并)的数据中的UNIX时间戳进行升序排序，并重新整合数据结果。
步骤S5，消费者线程将整合完成的依赖UNIX时间戳排序之后的结果返回给相应的客户端。
数据消费者线程将匹配、整合完成的按照UNIX时间戳排序的数据结果返回给相应的数据消费者客户端。
由于不删除超时的数据会导致数据数量随着时间的累加，数据量会不断增大，因此有必要对超时数据进行删除。当然，是否需要将数据删除，依赖于是否在kafka中配置了删除策略以及数据超时时间，此功能是kafka中自带的。
因此除上述步骤S1-S5之外，还包括步骤6)，Kafka还创建数据删除线程，所述数据删除线程根据Kafka配置的超时时间，将超时存储到Kafka中的数据中的主题名称、分区ID以及数据的偏移量读取出来，调用数据删除组件将Mysql数据库管理系统中对应的数据删除，同时数据删除线程将Kafka中的对应数据删除。
本发明解决了Kafka同一个主题多分区的情况下，消费数据的无序问题，避免在实时处理数据(数据低延时)业务时避免数据的漏处理从而引发的数据统计不准确。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、系统、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式发送机或其他可编程数据发送终端设备的发送器以产生一个机器，使得通过计算机或其他可编程数据发送终端设备的发送器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据发送终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据发送终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的发送，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种用于顺序消费数据的方法及系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (11)
1.一种用于顺序消费数据的方法，其特征在于，该方法包括以下步骤：
1)数据生产者客户端连接到数据处理系统，并向数据处理系统发送数据；
2)数据处理系统生产者线程依据接收数据的主题以及当前数据处理系统的分区编号，将数据存储到数据库管理系统中；
3)数据消费者客户端连接到所述数据处理系统，数据处理系统消费者线程依据当前消费者的ID，获取当前消费者ID对应的分区编号的偏移量；
4)消费者线程根据所述分区编号的偏移量从数据处理系统不同分区中获取数据，与数据库管理系统存储的数据进行匹配、整合；
5)消费者线程将匹配、整合完成的数据结果返回给相应的数据消费者客户端。
2.根据权利要求1所述的方法，所述数据处理系统为Kafka消息分布式发布订阅消息系统，所述数据库管理系统为Mysql数据库管理系统。
3.根据权利要求2所述的方法，在Mysql数据库管理系统中存储的数据包含当前的Kafka的主题名称、分区编号、当前数据的UNIX时间戳以及该数据在Kafka中的分区偏移量。
4.根据权利要求2所述的方法，Kafka消费者线程依据当前消费者的ID，从其协同工作的zookeeper中获取当前消费者ID对应不同分区ID的偏移量；
将从不同分区中获取的数据的主题以及分区编号，与Mysql中存储的主题、分区编号、偏移量进行关联，将具备相同主题、分区编号以及偏移量的数据合并。
5.根据权利要求4所述的方法，消费者线程在向消费者返回数据之前，依据合并的数据中的UNIX时间戳进行升序排序，并重新整合数据结果；
消费者线程将整合完成的依赖UNIX时间戳排序之后的数据结果返回给相应的数据消费者客户端。
6.一种用于顺序消费数据的系统，其特征在于，该系统包括：数据生产者客户端、数据处理系统、数据库管理系统和数据消费者客户端；
所述数据处理系统分别针对数据生产者客户端和数据消费者客户端创建数据生产者线程和数据消费者线程；
数据生产者客户端连接到数据处理系统，并向数据处理系统发送数据；
数据处理系统生产者线程依据接收数据的主题以及当前数据处理系统的分区编号，将数据存储到数据库管理系统中；
数据消费者客户端连接到所述数据处理系统，数据处理系统消费者线程依据当前消费者的ID，获取当前消费者ID对应的分区编号的偏移量；
数据消费者线程根据所述分区编号的偏移量从数据处理系统的分区中获取数据，与数据库管理系统存储的数据进行匹配、整合；
数据消费者线程将匹配、整合完成的数据结果返回给相应的数据消费者客户端。
7.根据权利要求6所述的系统，所述数据处理系统为Kafka消息分布式发布订阅消息系统，所述数据库为Mysql数据库管理系统。
8.根据权利要求7所述的系统，在Mysql数据库管理系统中存储的数据包含当前的Kafka的主题名称、分区编号、当前数据的UNIX时间戳以及该数据在Kafka中的分区偏移量。
9.根据权利要求7所述的系统，Kafka消费者线程依据当前消费者的ID，从其协同工作的zookeeper中获取当前消费者ID对应不同分区ID的偏移量；
将从不同分区中获取的数据的主题以及分区编号，与Mysql中存储的主题、分区编号、偏移量进行关联，将具备相同主题、分区编号以及偏移量的数据合并。
10.根据权利要求9所述的系统，数据消费者线程在向消费者返回数据之前，依据合并的数据中的UNIX时间戳进行升序排序，并重新整合数据结果；
数据消费者线程将整合完成的依赖UNIX时间戳排序之后的数据结果返回给相应的数据消费者客户端。
11.根据权利要求6所述的系统，所述数据处理系统还创建数据删除线程，所述数据删除线程根据数据处理系统配置的超时时间，将超时存储到数据处理系统中的数据中的主题名称、分区ID以及数据的偏移量读取出来，调用数据删除组件将数据库管理系统中对应的数据删除，同时数据删除线程将数据处理系统中的对应数据删除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810657964.1A CN109002484B (zh) | 2018-06-25 | 2018-06-25 | 一种用于顺序消费数据的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810657964.1A CN109002484B (zh) | 2018-06-25 | 2018-06-25 | 一种用于顺序消费数据的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109002484A true CN109002484A (zh) | 2018-12-14 |
| CN109002484B CN109002484B (zh) | 2020-08-07 |
Family
ID=64602052
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810657964.1A Active CN109002484B (zh) | 2018-06-25 | 2018-06-25 | 一种用于顺序消费数据的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109002484B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977138A (zh) * | 2019-03-08 | 2019-07-05 | 浙江新再灵科技股份有限公司 | 一种基于Kafka和SQL的数据查询方法 |
| CN110648178A (zh) * | 2019-09-24 | 2020-01-03 | 四川长虹电器股份有限公司 | 一种增加kafka消费能力的方法 |
| CN111352948A (zh) * | 2020-03-31 | 2020-06-30 | 中国建设银行股份有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN111541824A (zh) * | 2020-04-21 | 2020-08-14 | 北京思特奇信息技术股份有限公司 | 一种用于通讯信息传递的方法及系统 |
| CN111931105A (zh) * | 2020-07-20 | 2020-11-13 | 银盛支付服务股份有限公司 | 一种kafka消费指定推送时间数据处理方法 |
| CN112199202A (zh) * | 2020-09-16 | 2021-01-08 | 河北航天信息技术有限公司 | 一种扩展Kafka消费能力开发方法 |
| CN112380155A (zh) * | 2019-09-25 | 2021-02-19 | 北京城建设计发展集团股份有限公司 | 基于云的轨道交通综合数据总线通信方法及系统 |
| CN112559611A (zh) * | 2020-12-15 | 2021-03-26 | 中国人寿保险股份有限公司 | 一种数据处理方法、装置、设备及存储介质 |
| CN112860710A (zh) * | 2021-03-18 | 2021-05-28 | 杭州云灵科技有限公司 | 数据处理方法、装置及系统、数据查询方法及系统 |
| CN113076290A (zh) * | 2021-04-12 | 2021-07-06 | 百果园技术(新加坡)有限公司 | 文件删除方法、装置、设备、系统及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105608223A (zh) * | 2016-01-12 | 2016-05-25 | 北京中交兴路车联网科技有限公司 | 针对kafka的Hbase数据库的入库方法和系统 |
| CN105791431A (zh) * | 2016-04-26 | 2016-07-20 | 北京邮电大学 | 一种在线分布式监控视频处理任务调度方法及装置 |
| CN106407026A (zh) * | 2016-09-19 | 2017-02-15 | 北京集奥聚合科技有限公司 | 一种在流式计算中消息id的生成方法 |
| CN106487891A (zh) * | 2016-10-11 | 2017-03-08 | 北京集奥聚合科技有限公司 | 一种基于kafka的处理消息的方法 |
| CN106649670A (zh) * | 2016-12-14 | 2017-05-10 | 北京五八信息技术有限公司 | 基于流式计算的数据监控方法及装置 |
| US20170242889A1 (en) * | 2016-02-24 | 2017-08-24 | Salesforce.Com, Inc. | Cache Based Efficient Access Scheduling for Super Scaled Stream Processing Systems |
| CN107369012A (zh) * | 2016-07-05 | 2017-11-21 | 康存乐付保数据科技（上海）有限公司 | 一种支付信息处理方法及系统、及具有履约保证保险机制的预付卡处理方法 |
-
2018
- 2018-06-25 CN CN201810657964.1A patent/CN109002484B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105608223A (zh) * | 2016-01-12 | 2016-05-25 | 北京中交兴路车联网科技有限公司 | 针对kafka的Hbase数据库的入库方法和系统 |
| US20170242889A1 (en) * | 2016-02-24 | 2017-08-24 | Salesforce.Com, Inc. | Cache Based Efficient Access Scheduling for Super Scaled Stream Processing Systems |
| CN105791431A (zh) * | 2016-04-26 | 2016-07-20 | 北京邮电大学 | 一种在线分布式监控视频处理任务调度方法及装置 |
| CN107369012A (zh) * | 2016-07-05 | 2017-11-21 | 康存乐付保数据科技（上海）有限公司 | 一种支付信息处理方法及系统、及具有履约保证保险机制的预付卡处理方法 |
| CN106407026A (zh) * | 2016-09-19 | 2017-02-15 | 北京集奥聚合科技有限公司 | 一种在流式计算中消息id的生成方法 |
| CN106487891A (zh) * | 2016-10-11 | 2017-03-08 | 北京集奥聚合科技有限公司 | 一种基于kafka的处理消息的方法 |
| CN106649670A (zh) * | 2016-12-14 | 2017-05-10 | 北京五八信息技术有限公司 | 基于流式计算的数据监控方法及装置 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977138A (zh) * | 2019-03-08 | 2019-07-05 | 浙江新再灵科技股份有限公司 | 一种基于Kafka和SQL的数据查询方法 |
| CN110648178A (zh) * | 2019-09-24 | 2020-01-03 | 四川长虹电器股份有限公司 | 一种增加kafka消费能力的方法 |
| CN112380155A (zh) * | 2019-09-25 | 2021-02-19 | 北京城建设计发展集团股份有限公司 | 基于云的轨道交通综合数据总线通信方法及系统 |
| CN111352948A (zh) * | 2020-03-31 | 2020-06-30 | 中国建设银行股份有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN111352948B (zh) * | 2020-03-31 | 2023-12-26 | 中国建设银行股份有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN111541824A (zh) * | 2020-04-21 | 2020-08-14 | 北京思特奇信息技术股份有限公司 | 一种用于通讯信息传递的方法及系统 |
| CN111541824B (zh) * | 2020-04-21 | 2021-11-26 | 北京思特奇信息技术股份有限公司 | 一种用于通讯信息传递的方法及系统 |
| CN111931105A (zh) * | 2020-07-20 | 2020-11-13 | 银盛支付服务股份有限公司 | 一种kafka消费指定推送时间数据处理方法 |
| CN112199202A (zh) * | 2020-09-16 | 2021-01-08 | 河北航天信息技术有限公司 | 一种扩展Kafka消费能力开发方法 |
| CN112199202B (zh) * | 2020-09-16 | 2023-04-07 | 河北航天信息技术有限公司 | 一种扩展Kafka消费能力开发方法 |
| CN112559611A (zh) * | 2020-12-15 | 2021-03-26 | 中国人寿保险股份有限公司 | 一种数据处理方法、装置、设备及存储介质 |
| CN112860710A (zh) * | 2021-03-18 | 2021-05-28 | 杭州云灵科技有限公司 | 数据处理方法、装置及系统、数据查询方法及系统 |
| CN113076290A (zh) * | 2021-04-12 | 2021-07-06 | 百果园技术(新加坡)有限公司 | 文件删除方法、装置、设备、系统及存储介质 |
| CN113076290B (zh) * | 2021-04-12 | 2024-01-30 | 百果园技术(新加坡)有限公司 | 文件删除方法、装置、设备、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109002484B (zh) | 2020-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109002484A (zh) | 一种用于顺序消费数据的方法及系统 | |
| CN107169083A (zh) | 公安卡口海量车辆数据存储与检索方法及装置、电子设备 | |
| CN106649630A (zh) | 数据查询方法及装置 | |
| CN107515878B (zh) | 一种数据索引的管理方法及装置 | |
| US9477772B2 (en) | Storing and retrieving objects on a computer network in a distributed database | |
| US20130073602A1 (en) | Storing and retrieving objects on a computer network in a distributed database | |
| CN109743137B (zh) | 一种支持更新的分布式延迟消息队列处理系统 | |
| CN105956123A (zh) | 基于局部更新软件的数据处理方法及装置 | |
| CN107870982A (zh) | 数据处理方法、系统和计算机可读存储介质 | |
| CN106682148A (zh) | 一种基于Solr数据搜索的方法及装置 | |
| CN105608228B (zh) | 一种高效的分布式的rdf数据存储方法 | |
| CN111414403A (zh) | 数据访问方法和装置、数据存储方法和装置 | |
| CN111694811B (zh) | 一种批量数据入库方法及装置 | |
| CN112231351A (zh) | 一种pb级海量数据的实时查询方法和装置 | |
| CN115033646B (zh) | 一种基于Flink&Doris构建实时数仓系统的方法 | |
| CN110109948A (zh) | 数据查询方法、计算机设备及计算机可读存储介质 | |
| CN103064908A (zh) | 一种通过内存快速去重名单的方法 | |
| CN108228432A (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
| CN111651498A (zh) | 一种区块链数据的高效检索方法及装置 | |
| CN117762865A (zh) | 大数据平台的数据入湖方法及系统 | |
| CN116089364B (zh) | 一种存储文件管理方法、装置、ai平台和存储介质 | |
| CN111259062B (zh) | 一种能够保证分布式数据库全表查询语句结果集顺序的方法和装置 | |
| CN104462108A (zh) | 数据库结构对象处理方法及装置 | |
| CN108121807B (zh) | Hadoop环境下多维索引结构OBF-Index的实现方法 | |
| Zhao et al. | An integrated processing platform for traffic sensor data and its applications in intelligent transportation systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |