CN110535787B - 消息消费方法、装置及可读存储介质 - Google Patents

Abstract

本发明实施例提供了一种消息消费方法、装置及可读存储介质。本发明消息消费方法，包括：将每个消息缓存到与目标分区对应的第一目标消息队列，并将每个消息中的消息的最大偏移量发送给Kafka服务器，以获取最大偏移量之后的至少一个消息，从而无需等到将获取的一批消息处理完毕，即可以获取最大偏移量之后的至少一个消息，在一定程度上加快了从Kafka服务器获取消息的速率。并且可以通过与第一目标消息队列对应的线程池中的多个第一线程，从第一目标消息队列中获取消息，并消费消息，从而提高了消息消费的效率。

Description

消息消费方法、装置及可读存储介质

技术领域

本发明涉及通信领域，特别是涉及一种消息消费方法、装置及可读存储介质。

背景技术

Kafka是由Linkedin开发的一个分布式的消息队列系统。Kafka开发的主要目标是构建一个用来处理海量日志用户行为和网站运营统计等的数据处理框架。Kafka集群包含一个或多个Kafka服务器，每条发布到Kafka服务器的消息都有一个主题，该主题被称为Topic，一个Kafka服务器可以容纳多个Topic，每个Topic包含一个或多个分区。生产客户端可以向Kafka服务器发送消息，消费客户端可以消费Kafka服务器中的消息。

目前，在业务接入kafka服务器前需预估生产客户端和消费客户端的吞吐量来决定配置的主题(Topic)的分区数量。但是生产客户端的消息吞吐量突增超过预期时，这时需要提高消费客户端的消费能力来避免消息的滞留。但是目前的方案一个分区对应消费客户端的一个消费线程，通过一个消费线程将之前从与该消费线程对应的分区中获取的消息消费完之后，才能从该分区中获取下一批消息进行消费，因此，影响了消费客户端消费消息的速率。

发明内容

本发明实施例提供一种消息消费方法、装置及可读存储介质，以解决目前消费客户端对Kafka服务器中的消息消费的速率较低的问题。

本发明实施例的第一方面，提供了一种消息消费方法，包括：

根据配置的Kafka服务器的地址和主题，从所述Kafka服务器获取属于所述主题的至少一个消息，并确定每个所述消息所属的目标分区；

将属于所述目标分区的所述消息缓存到与所述目标分区对应的第一目标消息队列，并将每个所述消息中的消息的最大偏移量发送给所述Kafka服务器，以从所述Kafka服务器中获取所述最大偏移量之后的至少一个消息；

通过与所述第一目标消息队列对应的线程池中的多个第一线程，从所述第一目标消息队列中获取所述消息，并消费所述消息。

本发明实施例的第二方面，提供了一种消息消费装置，设置于消费客户端，包括：

第一获取模块，用于根据配置的Kafka服务器的地址和主题，从所述Kafka服务器获取属于所述主题的至少一个消息，并确定每个所述消息所属的目标分区；

缓存模块，用于将属于所述目标分区的所述消息缓存到与所述目标分区对应的第一目标消息队列，并将每个所述消息中的消息的最大偏移量发送给所述Kafka服务器，以从所述Kafka服务器中获取所述最大偏移量之后的至少一个消息；

第二获取模块，用于通过与所述第一目标消息队列对应的线程池中的多个第一线程，从所述第一目标消息队列中获取所述消息，并消费所述消息。

本发明实施例的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述所述的消息消费方法的步骤。

本发明的第四方面，提供了一种消息消费装置，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述所述的消息消费方法的步骤。

针对在先技术，本发明具备如下优点：

本发明实施例通过将每个消息缓存到与目标分区对应的第一目标消息队列，并将每个消息中的消息的最大偏移量发送给Kafka服务器，以获取最大偏移量之后的至少一个消息。也即将获取的消息缓存后即可以获取下一批消息(最大偏移量之后的至少一个消息)，从而无需等到将获取的一批消息处理完毕才能获取下一批消息，因此，在一定程度上加快了从Kafka服务器获取消息的速率。并且可以通过与第一目标消息队列对应的线程池中的多个第一线程，从第一目标消息队列中获取消息，并消费消息，从而提高了消息消费的效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为现有技术提供的一种实现消息消费的系统架构图；

图2为本发明实施例提供的一种系统架构图；

图3为本发明实施例提供的一种消息消费方法的步骤流程图；

图4为本发明实施例提供的另一种消息消费方法的步骤流程图；

图5为本发明实施例提供的一种消息消费装置的结构示意图；

图6为本发明实施例提供的另一种消息消费装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

应当理解，此处所描述的具体实施例仅用以解释本发明，仅仅是本发明一部分实施例，而不是全部的实施例，并不用于限定本发明。

为了更清楚介绍本发明实施例，在此结合图1介绍现有技术提供的消息消费方案。参照图1，图1为现有技术提供的一种实现消息消费的系统架构图。该系统包括生产客户端101、Kafka服务器102和消费客户端103。生产客户端101将消息发送到Kafka服务器102，Kafka服务器102将消息保存到Topic的分区P0或者保存到分区P1。消息保存在分区里面会有一个相应偏移量，例如消息1的偏移量为0，消息2的偏移量为1，消息3的偏移量为2，依次类推，将偏移量为0、2、4、以及后续的偏移量为偶数的的消息保存在分区P0，将偏移量为1、3、5、以及后续的偏移量为奇数的的消息保存在分区P1。消费客户端103的两个消费线程为消费线程1和消费线程2，消费线程1对应分区P0，用于消费分区P0中的消息；消费线程2对应分区P1，用于消费分区P1中的消息。

例如，消费客户端103的消费线程1消费完消息0后，需要将该消息的偏移量0提交Kafka服务器102，Kafka服务器102再将该偏移量后的未消费消息推送给消费客户端103。或者，Kafka服务器102可以一次向消费客户端103的消费线程1推送多条消息，消费客户端103的消费线程1消费完多条消息后，将消费的消息中的最大偏移量提交给Kafka服务器102。如果消费客户端103对消息的逻辑处理耗时长久，由于一个分区最多对应消费客户端103的一个消费线程，这样消费客户端103需等待该消费线程将从与该消费线程对应的分区中获取的消息处理完，再拉取下一批消息，因此，该方案影响消费速率。

并且，由于在业务接入Kafka服务器前需预估生产客户端和消费客户端的吞吐量来决定配置的主题(Topic)的分区数量。但是生产客户端的消息吞吐量突增超过预期时，这时需要提高消费客户端的消费能力来避免消息的滞留。此种情况下，为了提升消费客户端的消费能力，如果采用多个消费线程消费同一分区会出现并发问题，例如采用消费线程1和消费线程2消费分区0时会出现并发问题。如果通过为该Topic新增分区的方式实现，也会引起不少弊端(由于生产客户端是将消息按照消息标识哈希到各个分区的，新增分区后，会导致与旧分区对应的消费线程可能无法从旧分区获取到消息的问题)。例如原来有两个分区P0和P1，如果新增分区P2和分区P3，之前的存储规则是将例如偏移量为0、2、4的消息保存在分区P0，将偏移量为1、3、5的消息保存在分区P1。新增分区后例如将偏移量为6的消息保存到分区P2，将偏移量为7的消息保存到分区P3，消费线程1将无法从分区P0获取到偏移量为6的消息。

因此，为了解决上述技术问题，本发明实施例提供了一种消息消费方法。参照图2，图2为本发明实施例提供的一种系统架构图，该系统包括生产客户端201、Kafka服务器202、和消费客户端203。其中，如图2所示，以Kafka服务器中的主题(Topic)的分区包括分区P0、分区P1、分区P2、分区P3为例进行介绍。消费者客户端203可以根据分区的个数，初始化第二线程的个数。每个第二线程可以对应一个分区或者多个分区，在此以初始化的第二线程的个数为两个为例，即第二线程1和第二线程2，第二线程1与P0和P1对应，第二线程2与P2和P3对应。参照图3，图3为本发明实施例提供的一种消息消费方法的步骤流程图。基于图2所示系统架构图，该方法由消费客户端执行，该方法包括如下步骤：

步骤301、根据配置的Kafka服务器的地址和消息的主题，从Kafka服务器获取属于主题的至少一个消息，并确定每个消息所属的目标分区。

如果Kafka服务器将偏移量为0的第1个消息存储在P0、将偏移量为1的第2个消息存储在P1、将偏移量为2的第3个消息存储在P2、将偏移量为3的第4个消息存储在P3；将偏移量为4的第5个消息存储在P0、将偏移量为5的第6个消息存储在P1、将偏移量为6的第7个消息存储在P2、将偏移量为7的第8个消息存储在P3；依次类推，将从产客户端201获取的消息存放在对应的分区中。如下表1所示，表1中的第一列示出了P0中存储的偏移量为0、4、8、12的4个消息，第二列示出了P1中存储的偏移量为1、5、9、13的4个消息，第三列示出了P2中存储的偏移量为2、6、10、14的4个消息，第四列示出了P3中存储的偏移量为3、7、11、15的4个消息。

P0	P1	P2	P3
				0	1	2	3
4	5	6	7
				8	9	10	11
12	13	14	15

表1

参照图2和表1，如果消费客户端配置的消息的主题为(Topic),而Kafka服务器的该Topic的分区包括P0、P1、P2、P3，Kafka服务器可以将P0、P1、P2、P3中的一个分区或者多个分区分配给消费客户端，如果当前有一个消费客户端，则可以将这四个分区都分配给这个消费客户端，消费客户端就可以从P0、P1、P2、P3获取消息。可以根据消费客户端配置的预设个数，从P0、P1、P2、P3获取消息，例如，预设个数为4，则可以从P0、P1、P2、P3各获取一个消息，共获取4个消息，即从P0中获取偏移量为0的一个消息，从P1中获取偏移量为1的一个消息，从P2中获取偏移量为2的一个消息，从P3中获取偏移量为3的一个消息。

消息中携带有消息所属的分区的信息，因此，消费客户端可以根据获取的属于主题的每个消息中携带的分区的信息，确定消息所属的目标分区。例如，从Kafka服务器的分区1获取的消息携带P1的标识信息，消费客户端可以确定偏移量为0的消息所属的目标分区为P0，偏移量为1的消息所属的目标分区为P1，偏移量为2的消息所属的目标分区为P2，偏移量为3的消息所属的目标分区为P3。

步骤302、将目标分区的消息缓存到与目标分区对应的第一目标消息队列，并将每个消息中的消息的最大偏移量发送给Kafka服务器，以从Kafka服务器中获取最大偏移量之后的至少一个消息。

如图2所示，共有4个消息队列，4个消息队列包括消息队列A、消息队列B、消息队列C和消息队列D。创建的与每个消息队列对应的线程池为线程池a、线程池b、线程池c和线程池d。其中，消息队列A对应线程池a，消息队列B对应线程池b，消息队列C对应线程池c、消息队列D对应线程池d。每个线程池中包括多个第一线程，每个第一线程用于从消息队列中获取消息并消费消息。例如，线程池a中的第一线程可以从消息队列A中获取消息并消费消息。其中，消息队列A还对应分区P0，消息队列B还对应分区P1，消息队列C还对应分区P2，消息队列D还对应分区P3。

与目标分区P0对应的第一目标消息队列为消息队列A，与目标分区为P1对应的第一目标消息队列为消息队列B，与目标分区P2对应的第一目标消息队列为消息队列C，与目标分区为P3对应的第一目标消息队列为消息队列D。因此，可以将偏移量为0的消息缓存到消息队列A，将偏移量为1的消息缓存到消息队列B，偏移量为2的消息缓存到消息队列C，将偏移量为3的消息缓存到消息队列D。并将获得的消息的最大偏移量发送给Kafka服务器，例如消费客户端将偏移量3发送给Kafka服务器，Kafka服务器202则可以确定偏移量3之后的4个消息发送给消费客户端203，从而使消费客户端203可以立即获取到偏移量3之后的4个消息，例如可以将偏移量为4、5、6、7的四个消息发送给消费客户端，消费客户端可以继续缓存这4个消息，再向Kafka服务器202发送最大偏移量7，再获取偏移量7之后的4个消息。

需要说明的是，由于消费客户端203获取到消息后，可以立即将消息缓存到消息队列，无需等待获取的这批消息处理完毕，即可将每个消息中的消息的最大偏移量发送给Kafka服务器，以获取最大偏移量之后的至少一个消息，因此，可以在一定程度上提高从Kafka服务器拉取消息的速率。

步骤303、通过与第一目标消息队列对应的线程池中的多个第一线程，从第一目标消息队列中获取消息，并消费消息。

消息队列A对应线程池a，消息队列B对应线程池b，消息队列C对应线程池c、消息队列D对应线程池d。消息队列可以为分布式Redis消息队列。采用线程池a中的多个第一线程从消息队列A中获取消息，并消费消息；采用线程池b中的多个第一线程从消息队列B中获取消息，并消费消息；采用线程池c中的多个第一线程从消息队列C中获取消息，并消费消息；采用线程池d中的多个第一线程从消息队列D中获取消息，并消费消息。

需要说明的是，分布式Redis消息队列是支持多个阻塞线程进行读取的，因此可以采用线程池中的多个第一线程读取消息队列中的消息，并消费读取的消息。因此，可以提高消息的处理效率。

本实施例提供的消息消费方法，通过将每个消息缓存到与目标分区对应的第一目标消息队列，并将每个消息中的消息的最大偏移量发送给Kafka服务器，以获取最大偏移量之后的至少一个消息。也即将获取的消息缓存后即可以获取下一批消息(最大偏移量之后的至少一个消息)，从而无需等到将获取的一批消息处理完毕才能获取下一批消息，因此，在一定程度上加快了从Kafka服务器获取消息的速率。并且可以通过与第一目标消息队列对应的线程池中的多个第一线程，从第一目标消息队列中获取消息，并消费消息，从而提高了消息消费的效率。

参照图4，图4为本发明实施例提供的另一种消息消费方法的步骤流程图。该方法包括如下步骤：

步骤401、根据Kafka服务器的地址和主题，从Kafka服务器获取与主题对应的分区的个数。

消费客户端可以根据配置的Kafka服务器的地址和主题，从Kafka服务器获取与主题对应的分区的个数。例如，参照图2，Kafka服务器中与主题对应的分区的个数为4。

步骤402、根据分区的个数，初始化第二线程的个数，第二线程用于读取至少一个分区中的属于主题的Kafka消息。

如图2所示，初始化的第二线程的个数可以为分区个数的一半，或者是预设个数。本实施例对初始化的第二线程的个数不具体限定。

步骤403、创建与分区的个数相同的消息对列，并创建与每个消息队列对应的线程池，其中，一个分区对应一个消息对列，每个分区对应的消息对列不同，每个线程池中包括多个第一线程。

消息对列可以为分布式Redis消息队列。如图2所示，创建了4个消息队列，4个消息队列包括消息队列A、消息队列B、消息队列C和消息队列D。创建的与每个消息队列对应的线程池为线程池a、线程池b、线程池c和线程池d。其中，消息队列A对应线程池a，消息队列B对应线程池b，消息队列C对应线程池c、消息队列D对应线程池d。每个线程池中包括多个第一线程，每个第一线程用于从消息队列中获取消息并消费消息。例如，线程池a中的第一线程可以从消息队列A中获取消息并消费消息。

步骤404、从Kafka服务器获取属于主题的至少一个消息，并确定每个消息所属的目标分区。

步骤405、将每个消息缓存到与目标分区对应的第一目标消息队列，并将每个消息中的消息的最大偏移量发送给Kafka服务器，以从Kafka服务器中获取最大偏移量之后的至少一个消息。

步骤406、通过与第一目标消息队列对应的线程池中的第一线程，从第一目标消息队列中获取消息，并消费消息。

需要说明的是，在步骤404、从Kafka服务器获取属于主题的至少一个消息之后，还可以包括如下步骤：

每隔预设时间，获取Kafka服务器中属于主题的消息的数量；若获取的Kafka服务器中属于主题的消息的数量大于或等于第一预设数量，则增加第二线程的个数，且增加后的第二线程的个数小于或等于分区的个数。

需要说明的是，可以每隔预设时间，获取Kafka服务器中属于主题的消息的数量，以实现对Kafka服务器中的消息的数量进行监控，当Kafka服务器中的消息的数量积攒的越来越多，超过了第一预设数量，则可以增加第二线程的个数，如图2所示，初始化的第二线程的个数为2。可以将第二线程的个数增加到四个，即等于分区的个数。通过增加第二线程的个数，实现快速的从Kafka服务器中拉取消息并缓存到消息队列，从而在生产客户端的消息吞吐量突增时，进一步加快从分区拉取消息并缓存到消息队列的速率，避免消息滞留在Kafka服务器中。步骤407、每隔所述预设时间，获取每个消息队列的消息的消费速率。

步骤408、若获取的每个消息队列中的第二目标消息队列的消息的消费速率大于或等于第二预设数量，则增加与第二目标消息队列对应的线程池中的第一线程的数量。

通过步骤407和步骤408，可以实现对消息队列中缓存的消息进行监控，监控到某个消息队列中的消息的消费速率大于或等于第二预设数量，则需要增加与给消息队列对应的线程池中的第一线程的数量，以提高消费该消息队列中的消息的速率。

可选的，在步骤406、从第一目标消息队列中获取消息，并消费消息之后，还可以包括如下步骤：

每隔所述预设时间，获取每个线程池的所述第一线程的阻塞时间；

若获取的每个线程池中的目标线程池的所述第一线程的阻塞时间大于或等于预设时间，则减少目标线程池中的第一线程的数量。

如果获取的线程池的所述第一线程的阻塞时间过长，即获取的每个线程池中的目标线程池的所述第一线程的阻塞时间大于或等于预设时间，则说明目标线程池中的线程数量过多，则可以减少线程池中的第一线程的数量，以实现线程资源合理利用。

参照图5，图5为本发明实施例提供的一种消息消费装置的结构示意图。该装置500设置于消费客户端，该装置500包括如下模块：

第一获取模块510用于根据配置的Kafka服务器的地址和主题，从所述Kafka服务器获取属于所述主题的至少一个消息，并确定每个所述消息所属的目标分区；缓存模块520用于将属于所述目标分区的所述消息缓存到与所述目标分区对应的第一目标消息队列，并将每个所述消息中的消息的最大偏移量发送给所述Kafka服务器，以从所述Kafka服务器中获取所述最大偏移量之后的至少一个所述消息；第二获取模块530用于通过与所述第一目标消息队列对应的线程池中的多个第一线程，从所述第一目标消息队列中获取所述消息，并消费所述消息。

本实施例通过将每个消息缓存到与目标分区对应的第一目标消息队列，并将每个消息中的消息的最大偏移量发送给Kafka服务器，以获取最大偏移量之后的至少一个消息，从而无需等到将获取的一批消息处理完毕，即可以获取最大偏移量之后的至少一个消息，在一定程度上加快了从Kafka服务器获取消息的速率。并且可以通过与第一目标消息队列对应的线程池中的多个第一线程，从第一目标消息队列中获取消息，并消费消息，从而提高了消息消费的效率。

可选的，参照图6，图6为本发明实施例提供的另一种消息消费装置的结构示意图。装置500还可以包括：

第三获取模块610，用于根据所述Kafka服务器的地址和所述主题，从所述Kafka服务器获取与所述主题对应的分区的个数；

创建模块620，用于创建与所述分区的个数相同的消息对列，并创建与每个所述消息队列对应的线程池，其中，一个所述分区对应一个所述消息对列，每个所述分区对应的所述消息对列不同，每个所述线程池中包括多个第一线程。

可选的，还可以包括：

初始化模块630，用于根据所述分区的个数，初始化第二线程的个数，所述第二线程用于读取至少一个所述分区中的所述消息。

可选的，还可以包括：

第四获取模块640，用于每隔预设时间，获取所述目标分区中的未消费消息的数量；

更新模块650，用于若获取的所述目标分区中的未消费消息的数量大于或等于第一预设数量，则增加所述第二线程的个数，且增加后的所述第二线程的个数小于或等于所述分区的个数。

可选的，所述第四获取模块640还用于每隔所述预设时间，获取每个所述消息队列的未消费的消息的数量；

所述更新模块650还用于若获取的每个所述消息队列中的第二目标消息队列的未消费的消息的数量大于或等于第二预设数量，则增加与所述第二目标消息队列对应的线程池中的所述第一线程的数量。

可选的，所述第四获取模块640还用于每隔所述预设时间，获取每个所述线程池的所述第一线程的阻塞时间；

所述更新模块650还用于若获取的每个所述线程池中的目标线程池的所述第一线程的阻塞时间大于或等于预设时间，则减少所述目标线程池中的所述第一线程的数量。

另外，本发明实施例还提供一种消息消费装置，该消息消费装置包括处理器，存储器以及存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述实施例的消息消费方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述的消息消费方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，的计算机可读存储介质，可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

本发明实施例还提供了一种计算机程序，该计算机程序可以存储在云端或本地的存储介质上。在该计算机程序被计算机或处理器运行时用于执行本发明实施例的消息消费方法的相应步骤，并且用于实现根据本发明实施例的消息消费装置中的相应模块。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。

在此提供的消息消费方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的消息消费方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (13)

1.一种消息消费方法，其特征在于，执行于消费客户端，包括：

根据配置的Kafka服务器的地址和消息的主题，从所述Kafka服务器获取属于所述主题的至少一个消息，并确定每个所述消息所属的目标分区；

将所述目标分区的所述消息缓存到与所述目标分区对应的第一目标消息队列，并将每个所述消息中的消息的最大偏移量发送给所述Kafka服务器，以从所述Kafka服务器中获取所述最大偏移量之后的至少一个消息；

通过与所述第一目标消息队列对应的线程池中的多个第一线程，从所述第一目标消息队列中获取所述消息，并消费所述消息；

确定每个所述消息所属的目标分区，包括：根据每个所述消息中携带的分区的信息，确定所述消息所属的所述目标分区。

2.根据权利要求1所述的方法，其特征在于，在所述根据配置的Kafka服务器的地址和主题，从所述Kafka服务器获取属于所述主题的至少一个消息之前，还包括：

根据所述Kafka服务器的地址和所述主题，从所述Kafka服务器获取所述Kafka服务器为所述消费客户端分配的、且与所述主题对应的分区的个数；

创建与所述分区的个数相同的消息对列，并创建与每个所述消息队列对应的线程池，其中，一个所述分区对应一个所述消息对列，每个所述分区对应的所述消息对列不同，每个所述线程池中包括多个所述第一线程。

3.根据权利要求2所述的方法，其特征在于，在所述创建与所述分区的个数相同的消息对列之前，还包括：

根据所述分区的个数，初始化第二线程的个数，所述第二线程用于读取至少一个所述分区中的所述消息。

4.根据权利要求3所述的方法，其特征在于，在所述从所述第一目标消息队列中获取所述消息，并消费所述消息之后，还包括：

每隔预设时间，获取所述目标分区中的未消费消息的数量；

若获取的所述目标分区中的未消费消息的数量大于或等于第一预设数量，则增加所述第二线程的个数，且增加后的所述第二线程的个数小于或等于所述分区的个数。

5.根据权利要求4所述的方法，其特征在于，在所述从所述第一目标消息队列中获取所述消息，并消费所述消息之后，还包括：

每隔所述预设时间，获取每个所述消息队列的未消费的消息的数量；

若获取的每个所述消息队列中的第二目标消息队列的未消费的消息的数量大于或等于第二预设数量，则增加与所述第二目标消息队列对应的线程池中的所述第一线程的数量。

6.根据权利要求5所述的方法，其特征在于，在所述从所述第一目标消息队列中获取所述消息，并消费所述消息之后，还包括：

每隔所述预设时间，获取每个所述线程池的所述第一线程的阻塞时间；

若获取的每个所述线程池中的目标线程池的所述第一线程的阻塞时间大于或等于预设时间，则减少所述目标线程池中的所述第一线程的数量。

7.一种消息消费装置，其特征在于，设置于消费客户端，包括：

第一获取模块，用于根据配置的Kafka服务器的地址和消息的主题，从所述Kafka服务器获取属于所述主题的至少一个消息，并确定每个所述消息所属的目标分区；

缓存模块，用于将属于所述目标分区的所述消息缓存到与所述目标分区对应的第一目标消息队列，并将每个所述消息中的消息的最大偏移量发送给所述Kafka服务器，以从所述Kafka服务器中获取所述最大偏移量之后的至少一个消息；

第二获取模块，用于通过与所述第一目标消息队列对应的线程池中的多个第一线程，从所述第一目标消息队列中获取所述消息，并消费所述消息；

确定每个所述消息所属的目标分区，包括：根据每个所述消息中携带的分区的信息，确定所述消息所属的所述目标分区。

8.根据权利要求7所述的装置，其特征在于，还包括：

第三获取模块，用于根据所述Kafka服务器的地址和所述主题，从所述Kafka服务器获取与所述主题对应的分区的个数；

创建模块，用于创建与所述分区的个数相同的消息对列，并创建与每个所述消息队列对应的线程池，其中，一个所述分区对应一个所述消息对列，每个所述分区对应的所述消息对列不同，每个所述线程池中包括多个第一线程。

9.根据权利要求8所述的装置，其特征在于，还包括：

初始化模块，用于根据所述分区的个数，初始化第二线程的个数，所述第二线程用于读取至少一个所述分区中的所述消息。

10.根据权利要求9所述的装置，其特征在于，还包括：

第四获取模块，用于每隔预设时间，获取所述目标分区中的未消费消息的数量；

更新模块，用于若获取的所述目标分区中的未消费消息的数量大于或等于第一预设数量，则增加所述第二线程的个数，且增加后的所述第二线程的个数小于或等于所述分区的个数。

11.根据权利要求10所述的装置，其特征在于，

所述第四获取模块，还用于每隔所述预设时间，获取每个所述消息队列的未消费的消息的数量；

所述更新模块，还用于若获取的每个所述消息队列中的第二目标消息队列的未消费的消息的数量大于或等于第二预设数量，则增加与所述第二目标消息队列对应的线程池中的所述第一线程的数量。

12.根据权利要求11所述的装置，其特征在于，

所述第四获取模块，还用于每隔所述预设时间，获取每个所述线程池的所述第一线程的阻塞时间；

所述更新模块，还用于若获取的每个所述线程池中的目标线程池的所述第一线程的阻塞时间大于或等于预设时间，则减少所述目标线程池中的所述第一线程的数量。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的消息消费方法。

Images