CN106817295B - 一种消息处理装置和方法 - Google Patents

一种消息处理装置和方法 Download PDF

Info

Publication number
CN106817295B
CN106817295B CN201611123185.0A CN201611123185A CN106817295B CN 106817295 B CN106817295 B CN 106817295B CN 201611123185 A CN201611123185 A CN 201611123185A CN 106817295 B CN106817295 B CN 106817295B
Authority
CN
China
Prior art keywords
module
message
messages
consumer
backup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611123185.0A
Other languages
English (en)
Other versions
CN106817295A (zh
Inventor
陈金添
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yovole Computer Network Co ltd
Original Assignee
Shanghai Yovole Computer Network Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yovole Computer Network Co ltd filed Critical Shanghai Yovole Computer Network Co ltd
Priority to CN201611123185.0A priority Critical patent/CN106817295B/zh
Publication of CN106817295A publication Critical patent/CN106817295A/zh
Application granted granted Critical
Publication of CN106817295B publication Critical patent/CN106817295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/224—Monitoring or handling of messages providing notification on incoming messages, e.g. pushed notifications of received messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种消息处理装置和方法，包括读取模块、备份模块、上报模块和处理模块；读取模块，用于读取消费者从服务器订阅的消息；复制读取的消息并存储至备份模块，并通知上报模块；上报模块，用于收到读取模块通知，上报偏移量信息，并通知处理模块；处理模块，用于收到上报模块的通知，读取备份模块中未处理的消息，创建多个子线程，将备份模块中未处理的消息分派到各个子线程中；通过各个子线程对分派的消息进行处理，并将处理结果存储至备份模块中。本发明还包括检测模块，用于每次消费者重启时，检测备份模块中的各条消息是否已经处理。本发明能够解决Kafka系统中消费者重复消费数据、重复提交或覆盖提交Offset的问题。

Description

一种消息处理装置和方法
技术领域
本发明涉及计算机数据处理的技术领域，特别涉及一种消息处理装置和方法。
背景技术
Kafka是一种高吞吐量的分布式发布订阅消息系统。如图1所示，现有的基于Kafka的消息处理系统，包括由多个消息生产者(Producer)组成的消息生产者集群、由多个服务器(Broker)组成的Kafka集群、由多个消费者(Consumer)组成的消费者集群，每个消息生产者向一个或多个Broker服务器推送(push)消息，每个Broker服务器按照一定的主题(Topic)存储消息，每个消费者向一个或多个Broker服务器拉取(pull)订阅的消息，通过Zookeeper(管理员)节点管理Broker服务器与消费者的动态加入与离开。同一主题内部的消息按照一定的key和算法被分区(Partition)存储在不同的Broker服务器上，针对一个主题，Kafka消息日志中采用偏移量(Offset)信息来标注已读取的消息的位置，消费者通过Offset信息，来判断下次读取的消息在消息日志里的起始位置。
另外，在Kafka系统中，每个主题创建时，需要固定该主题的分区数。在某一时刻，一个分区只能被一个消费者线程来消费，这就会限制消费速率。为了提高吞吐量，消费者需要采用多线程处理。采用多线程处理时，每个消费者通常由一个主线程读取一批消息并执行分组操作，然后，由多个子线程处理相应的分组消息，各个子线程处理完相应的分组消息后，分别上报偏移量信息。但是，消费者可能存在宕机、断电、程序异常等等造成处理消息失败的情况，此时，需要重启消费者应用，重新从Broker服务器读取消息，这样，不仅会产生重复消费数据的问题，还会产生子线程重复提交或覆盖提交Offset信息的问题。
发明内容
为了解决上述技术问题，本发明提供了一种消息处理装置和方法，能够提高Kafka系统中，消费者消息处理的准确性，提高消费者客户端的吞吐量。
为了达到本发明目的，本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种消息处理装置，包括读取模块、备份模块、上报模块和处理模块；其中，
读取模块，用于读取消费者从服务器订阅的消息；复制读取的消息并存储至备份模块，并通知上报模块；
备份模块，用于存储读取模块读取的消息；
上报模块，用于接收到来自读取模块的通知，上报偏移量信息并通知处理模块；
处理模块，其中设置有多个子线程；用于接收到来自上报模块的通知，读取备份模块中未处理的消息，将未处理的消息分派到各个子线程中；通过各个子线程处理完分派的消息，将已处理的消息从备份模块中删除或在备份模块中为已处理的消息设置已处理标识。
进一步地，还包括检测模块，用于检测到消费者重启时，检查所述备份模块中是否有未处理的消息；如果有未处理的消息，将未处理的消息提交给所述处理模块进行处理。
进一步地，所述备份模块通过日志文件或数据库存储读取模块读取的消息。
进一步地，所述备份模块预先设置其存储容量最大值。
进一步地，所述读取模块预先设置每次读取的消息数量和每条消息的最大字节数。
本发明实施例提供了一种消息处理方法，包括如下步骤：
读取消费者从服务器订阅的消息；复制并存储读取的消息；
上报偏移量信息；
将存储的消息中未处理的消息分配给预先设置的多个子线程进行处理，并删除或标识出已处理的消息。
进一步地，如果消费者重启，检测所述存储的消息中是否有未处理的信息，如果有，对未处理的消息进行处理。
进一步地，预先设置每次读取的消息数量和每条消息的最大字节数。
进一步地，通过日志文件或数据库存储所述读取的消息。
进一步地，预先设置所述存储的消息的存储容量最大值。
本发明提供的消息处理装置和方法，在消费者读取完消息后，先将所读取的消息复制到备份消息中，然后向Zookeeper节点上报偏移量信息；然后再创建多个子线程，并将所读取的消息分派到各个子线程中，由各个子线程处理所读取的消息；子线程处理完消息后，在备份消息中记录处理结果。本发明在消费者宕机、断电、程序异常等造成消费者处理消息失败的情况下，由于主线程在各子线程处理消息之前，已经向Zookeeper节点上报偏移量信息，该消费者重启后或者新的消费者不会读取该消费者已经读取的消息，且子线程不负责上报偏移量信息，因此不会产生消费者重复消费数据、子线程重复提交Offset信息或覆盖提交Offset信息的问题；另外通过多线程处理，提高了消费者客户端的吞吐量。
进一步地，每次消费者重启，都会检测备份消息中是否有未处理的信息，如果有未处理的消息，对未处理的消息进行处理。由于消费者每次重启后，都会检测备份消息中的消息处理情况，因此不会造成有消息永远没有被处理到的情况，提高了消费者消息处理的精准度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为现有的基于Kafka的消息处理系统的结构示意图；
图2为本发明的消息处理装置的第一实施例的结构示意图；
图3为本发明的消息处理装置的第二实施例的结构示意图；
图4为本发明的一种消息处理方法的流程示意图。
具体实施方式
下面将结合附图及实施例对本发明的技术方案进行更详细的说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图2所示，根据本发明的第一种基于Kafka的消息处理装置，包括读取模块、备份模块、上报模块和处理模块；
其中，读取模块，用于读取消费者从服务器订阅的消息；复制读取的消息并存储至备份模块，并通知上报模块；
备份模块，用于存储读取模块读取的消息；
上报模块，用于接收到来自读取模块的通知，向Zookeeper节点上报偏移量信息并通知处理模块；
处理模块，其中设置有多个子线程；用于接收到来自上报模块的通知，读取备份模块中未处理的消息，将备份模块中未处理的消息分派到各个子线程中；通过各个子线程对分派的消息进行处理，并将已处理的消息从备份模块中删除，或在备份模块中为已处理的消息设置已处理标识。
可选地，备份模块可以通过日志文件或数据库存储读取模块读取的消息。
可选地，读取模块每次读取的消息数量和每条消息的最大字节数，可以预先设置。
作为优选的实施方式，备份模块可以预先设置其存储容量最大值。当备份模块当前存储的消息容量已经达到存储容量最大值时，要存储的新的消息会覆盖掉当前消息中时间最早且已经处理的消息。备份模块的存储容量最大值的大小，主要影响消费者重启、宕机或程序异常时，消息丢失的多少。
本发明的基于Kafka的消息处理装置，在消费者宕机、断电、程序异常等造成处理消息失败的情况下，由于该消费者的主线程在各子线程处理消息之前，已经向Zookeeper节点上报偏移量信息，该消费者重启后或者新的消费者不会读取该消费者已经读取的消息，且子线程不负责上报偏移量信息，因此不会产生消费者重复消费数据、子线程重复提交Offset或覆盖提交Offset的问题；另外通过多线程处理，提高了消费者客户端的吞吐量。
进一步地，如图3所示，根据本发明的第二种基于Kafka的消息处理装置，包括读取模块、备份模块、上报模块、处理模块和检测模块；
其中，读取模块，用于读取消费者从服务器订阅的消息；复制读取的消息并存储至备份模块，并通知上报模块；
备份模块，用于存储读取模块读取的消息；
上报模块，用于接收到来自读取模块的通知，向Zookeeper节点上报偏移量信息并通知处理模块；
处理模块，其中设置有多个子线程；用于接收到来自上报模块或检测模块的通知，读取备份模块中未处理的消息，将备份模块中未处理的消息分派到各个子线程中；通过各个子线程对分派的消息进行处理，并将已处理的消息从备份模块中删除，或在备份模块中为已处理的消息设置已处理标识；
检测模块，用于检测到消费者重启时，检查备份模块中是否有未处理的消息；如果有未处理的消息，将未处理的消息提交给处理模块进行处理。
检测模块检查备份模块中是否有未处理的消息，具体包括：如果处理模块将已处理的消息从备份模块中删除，则如果消费者重启，检测模块将备份模块中的所有消息视为未处理的消息；如果处理模块在备份模块中为已处理的消息设置已处理标识，则如果消费者重启，检测模块将备份模块中所有没有已处理标识的消息视为未处理的消息。
可选地，备份模块可以通过日志文件或数据库存储读取模块读取的消息。
可选地，读取模块每次读取的消息数量和每条消息的最大字节数，可以预先设置。
作为优选的实施方式，备份模块可以预先设置其存储容量最大值。当备份模块当前存储的消息容量已经达到存储容量最大值时，要存储的新的消息会覆盖掉当前消息中时间最早且已经处理的消息。备份模块的存储容量最大值的大小，主要影响消费者重启、宕机或程序异常时，消息丢失的多少。
举例说明，首先，搭建Kafka集群相关环境，在消费者端，编写相关客户端程序代码，设置一个主线程，主线程用于读取模块读取消费者从服务器订阅的消息，通过程序代码设置，每次读取模块从服务器读取10000条消息，每条消息的最大字节数为1MB。读取模块读取完消息后，将所读取的消息复制到备份模块中，然后通知上报模块，上报模块收到通知后，向Zookeeper节点上报偏移量信息，并通知处理模块。
处理模块收到通知后，读取备份模块中未处理的10000条消息，将所读取的10000条消息分成10组，每组1000条消息，并创建与分组数目相对应的子线程，再将各分组消息发送至对应的子线程中；通过各个子线程来执行消息的处理工作，如果子线程成功处理对应的分组消息，从备份模块中将已处理的消息删除，或者在备份模块中为已处理的消息设置已处理标识；如果子线程在处理分组消息过程中，出现消费者宕机、断电、程序异常等造成处理消息失败的情况，检测模块检测到消费者重启后，创建一个独立线程，通过独立线程检查备份模块中是否有未处理的消息。具体检查方法为：如果之前处理模块将已处理的消息从备份模块中删除，则消费者重启后，检测模块将备份模块中的所有消息，视为未处理的消息，并将其提交给处理模块进行处理；如果之前处理模块在备份模块中为已处理的消息设置已处理标识，则消费者重启后，检测模块将备份模块中所有没有已处理标识的消息，视为未处理的消息，并将其提交给处理模块进行处理。
本发明的基于Kafka的消息处理装置，在消费者宕机、断电、程序异常等造成处理消息失败的情况下，由于该消费者的主线程在各子线程处理消息之前，已经向Zookeeper节点上报偏移量信息，该消费者重启后或者新的消费者不会读取该消费者已经读取的消息，且子线程不负责上报偏移量信息，因此不会产生消费者重复消费数据、子线程重复提交Offset或覆盖提交Offset的问题；又由于消费者每次重启，都通过检测模块检测备份模块中是否有未处理的消息，因此不会造成有消息永远没有被处理到的情况，提高了消费者消息处理的精准度；另外通过多线程处理，提高了消费者客户端的吞吐量。
如图4所示，根据本发明的一种基于Kafka的消息处理方法，包括以下步骤：
读取消费者从服务器订阅的消息；复制并存储读取的消息；
向Zookeeper节点上报偏移量信息；
将存储的消息中未处理的消息分配给预先设置的多个子线程进行处理，并删除或标识出已处理的消息。
进一步地，如果消费者重启，检测存储的消息中是否有未处理的信息，如果有，对未处理的消息进行处理。
可选地，可以通过日志文件或数据库存储读取的消息。
可选地，已处理的消息从存储的消息中删除，或者在存储的消息中为已处理的消息设置已处理标识。如果消费者将已处理的消息从存储的消息中删除，则消费者重启后，将存储的消息中的所有消息视为未处理的消息，并对其进行处理；如果消费者在存储的消息中为已处理的消息设置已处理标识，则消费者重启后，将存储的消息中所有没有已处理标识的消息视为未处理的消息，并对其进行处理。
可选地，每次读取的消息数量和每条消息的最大字节数，可以预先进行设置。
作为优选的实施方式，消费者可以预先设置存储的消息的存储容量最大值。当当前存储的消息容量已经达到存储容量最大值时，要存储的新的消息，会覆盖掉当前消息中时间最早且已经处理的消息。消息的存储容量最大值的大小，主要影响消费者重启、宕机或程序异常时，消息丢失的多少。
举例说明，首先，搭建Kafka集群相关环境，在消费者端，编写相关客户端程序代码，设置一个主线程，主线程用于消费者读取从服务器订阅的消息，通过程序代码设置，每次消费者从服务器读取10000条消息，每条消息的最大字节数为1MB。消费者读取完消息后，将所读取的消息复制并存储到备份消息中，然后向Zookeeper节点上报偏移量信息。
然后消费者将所读取的10000条消息分成10组，每组1000条消息，并创建与分组数目相对应的子线程，再将各分组消息发送至对应的子线程中；然后各个子线程执行消息的处理工作，如果子线程成功处理对应的分组消息，从备份消息中将已处理的消息删除，或者为已处理的消息设置已处理标识；如果子线程在处理分组消息过程中，出现消费者宕机、断电、程序异常等造成处理消息失败的情况，等待消费者重启后，一方面，主线程仍然用于读取消费者从服务器订阅的消息；另一方面，创建一个独立线程，独立线程检测备份消息中的各条消息是否已经处理完毕；如果备份消息中有未处理的消息，对未处理的消息进行处理。在独立线程检测过程中，如果之前消费者将已处理的消息从备份消息中删除，则消费者重启后，将备份消息中的所有消息视为未处理的消息，并对其进行处理；如果之前消费者在备份消息中为已处理的消息设置已处理标识，则消费者重启后，将备份消息中所有没有已处理标识的消息视为未处理的消息，并对其进行处理。
本发明的基于Kafka的消息处理方法，在消费者宕机、断电、程序异常等造成处理消息失败的情况下，由于该消费者的主线程在各子线程处理消息之前，已经向Zookeeper节点上报偏移量信息，该消费者重启后或者新的消费者不会读取该消费者已经读取的消息，且子线程不负责上报偏移量信息，因此不会产生消费者重复消费数据、子线程重复提交Offset信息或覆盖提交Offset信息的问题；又由于消费者每次重启，都通过一独立线程，检测备份消息中的消息处理情况，因此不会造成有消息永远没有被处理到的情况，提高了消费者消息处理的精准度；另外通过多线程处理，提高了消费者客户端的吞吐量。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种消息处理装置，其特征在于：包括读取模块、备份模块、上报模块和处理模块；其中，
读取模块，用于通过一主线程读取消费者从服务器订阅的消息，复制读取的消息并存储至备份模块，并通知上报模块；
备份模块，用于存储读取模块读取的消息；
上报模块，用于接收到来自读取模块的通知，通过所述主线程上报偏移量信息并通知处理模块；
处理模块，其中设置有多个子线程；用于接收到来自上报模块的通知，读取备份模块中未处理的消息，将未处理的消息分派到各个子线程中；所述各个子线程对分派的消息分别进行处理，将已处理的消息从备份模块中删除或在备份模块中为已处理的消息设置已处理标识。
2.根据权利要求1所述的消息处理装置，其特征在于：还包括检测模块，
检测模块，用于检测到消费者重启时，检查所述备份模块中是否有未处理的消息；如果有未处理的消息，将未处理的消息提交给所述处理模块进行处理。
3.根据权利要求1或2所述的消息处理装置，其特征在于：所述备份模块通过日志文件或数据库存储读取模块读取的消息。
4.根据权利要求1或2所述的消息处理装置，其特征在于：所述备份模块预先设置其存储容量最大值。
5.根据权利要求1或2所述的消息处理装置，其特征在于：所述读取模块预先设置每次读取的消息数量和每条消息的最大字节数。
6.一种消息处理方法，其特征在于：包括如下步骤：
通过一主线程读取消费者从服务器订阅的消息，复制并存储读取的消息，并上报偏移量信息；
所述主线程将存储的消息中未处理的消息分配给预先设置的多个子线程，由所述多个子线程对分配的消息分别进行处理，删除或标识已处理的消息。
7.根据权利要求6所述的消息处理方法，其特征在于：如果消费者重启，检测所述存储的消息中是否有未处理的信息，如果有，对未处理的消息进行处理。
8.根据权利要求6或7所述的消息处理方法，其特征在于：预先设置每次读取的消息数量和每条消息的最大字节数。
9.根据权利要求6或7所述的消息处理方法，其特征在于：通过日志文件或数据库存储所述读取的消息。
10.根据权利要求6或7所述的消息处理方法，其特征在于：预先设置所述存储的消息的存储容量最大值。
CN201611123185.0A 2016-12-08 2016-12-08 一种消息处理装置和方法 Active CN106817295B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611123185.0A CN106817295B (zh) 2016-12-08 2016-12-08 一种消息处理装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611123185.0A CN106817295B (zh) 2016-12-08 2016-12-08 一种消息处理装置和方法

Publications (2)

Publication Number Publication Date
CN106817295A CN106817295A (zh) 2017-06-09
CN106817295B true CN106817295B (zh) 2020-06-05

Family

ID=59106977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611123185.0A Active CN106817295B (zh) 2016-12-08 2016-12-08 一种消息处理装置和方法

Country Status (1)

Country Link
CN (1) CN106817295B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423145A (zh) * 2017-07-11 2017-12-01 北京潘达互娱科技有限公司 一种避免消息丢失的方法与装置
CN107205050A (zh) * 2017-07-31 2017-09-26 杭州多麦电子商务股份有限公司 分布式消息数据服务集群
CN109582470B (zh) * 2017-09-28 2022-11-22 北京国双科技有限公司 一种数据处理方法及数据处理装置
CN109586989B (zh) * 2017-09-28 2022-09-20 阿里巴巴集团控股有限公司 一种状态检查方法、装置及集群系统
CN108282514B (zh) * 2017-12-12 2020-11-27 北京奇艺世纪科技有限公司 一种分布式业务建立方法及装置
CN108322358B (zh) * 2017-12-15 2020-09-01 北京奇艺世纪科技有限公司 异地多活的分布式消息发送、处理、消费方法及装置
CN108509299B (zh) * 2018-03-29 2022-08-12 广西电网有限责任公司 消息处理方法、设备及计算机可读存储介质
CN110659124A (zh) * 2018-06-28 2020-01-07 北京京东尚科信息技术有限公司 一种消息处理方法和装置
CN110875885B (zh) * 2018-08-31 2022-04-12 武汉斗鱼网络科技有限公司 消息处理方法、服务器、终端、系统及存储介质
CN109271347B (zh) * 2018-09-04 2022-04-22 郑州云海信息技术有限公司 一种分布式文件系统存储单元的启动方法、装置及设备
CN111163118B (zh) * 2018-11-07 2023-04-07 株式会社日立制作所 一种Kafka集群中的消息传输方法及装置
CN109542643B (zh) * 2018-11-16 2021-04-30 北京金山云网络技术有限公司 一种OpenStack系统中消息的恢复方法及装置
CN111818112B (zh) * 2019-04-11 2022-10-04 中国移动通信集团四川有限公司 一种基于Kafka系统的发送消息的方法和装置
CN110519343B (zh) * 2019-08-13 2020-12-04 创新奇智(北京)科技有限公司 一种基于日志的事件同步方法
CN110968370B (zh) * 2019-11-18 2024-02-23 中国银行股份有限公司 一种数据处理方法及装置
CN113296977B (zh) * 2021-02-24 2023-04-07 阿里巴巴集团控股有限公司 一种消息处理方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102981911B (zh) * 2012-11-05 2015-06-10 北京奇虎科技有限公司 一种分布式消息处理系统及其中的设备和方法
CN104754036A (zh) * 2015-03-06 2015-07-01 合一信息技术（北京）有限公司 一种基于kafka的消息处理系统及处理方法
CN106294357B (zh) * 2015-05-14 2019-07-09 阿里巴巴集团控股有限公司 数据处理方法和流计算系统
CN104834558B (zh) * 2015-05-19 2018-06-01 北京京东尚科信息技术有限公司 一种数据处理的方法及系统
CN106202324B (zh) * 2016-06-30 2020-10-30 北京奇虎科技有限公司 一种实时计算平台的数据处理方法和装置

Also Published As

Publication number Publication date
CN106817295A (zh) 2017-06-09

Similar Documents

Publication Publication Date Title
CN106817295B (zh) 一种消息处理装置和方法
CN110661659B (zh) 一种告警方法、装置、系统及电子设备
US8055633B2 (en) Method, system and computer program product for duplicate detection
US5790779A (en) Method and system for consolidating related error reports in a computer system
CN111818112B (zh) 一种基于Kafka系统的发送消息的方法和装置
CN106878363B (zh) 一种信息处理方法、装置及系统
CN108710684B (zh) Etl任务数据源切换方法、系统、计算机设备和存储介质
CN111274052A (zh) 数据分发方法、服务器及计算机可读存储介质
CN109558260B (zh) Kubernetes故障排除系统、方法、设备及介质
CN110442564B (zh) 增量数据校验方法、存储介质
CN109766198B (zh) 流式处理方法、装置、设备及计算机可读存储介质
CN110162344A (zh) 一种隔离限流的方法、装置、计算机设备及可读存储介质
CN111782431A (zh) 一种异常的处理方法、装置、终端及存储介质
US8719622B2 (en) Recording and preventing crash in an appliance
US8667323B2 (en) Proactive error scan and isolated error correction
WO2024179138A1 (zh) 消息处理方法、装置、通信设备及存储介质
US9594622B2 (en) Contacting remote support (call home) and reporting a catastrophic event with supporting documentation
CN111831954B (zh) 内容数据更新方法、装置、计算机设备及存储介质
CN113220342A (zh) 中心化配置方法、装置、电子设备及存储介质
CN116308848A (zh) 信息处理方法、装置、计算机设备和存储介质
CN107025148B (zh) 一种海量数据的处理方法和装置
CN112580092B (zh) 一种敏感文件识别方法及装置
US8589354B1 (en) Probe based group selection
CN114416560A (zh) 程序崩溃分析聚合方法和系统
CN113704355A (zh) 数据同步方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200507

Address after: Room 1201-1, No. 323, Guoding Road, Yangpu District, Shanghai 200082

Applicant after: SHANGHAI YOVOLE COMPUTER NETWORK Co.,Ltd.

Address before: 518000 Guangdong Province, Shenzhen high tech Zone of Nanshan District City, No. 9018 North Central Avenue's innovation building A, 6-8 layer, 10-11 layer, B layer, C District 6-10 District 6 floor

Applicant before: NUBIA TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant