CN106789741B - 消息队列的消费方法及装置 - Google Patents

Abstract

本发明公开了一种消息队列的消费方法及装置，至少能够解决现有技术中每次重启后均从消息队列的最旧数据偏移位置进行消费所导致的重复消费的技术问题。该方法包括：当消费任务启动时，建立与后台数据库之间的通信连接；通过所述通信连接从所述后台数据库中获取与所述消费任务对应的消息队列的当前偏移信息；若获取成功，则根据获取到的当前偏移信息读取所述消息队列中的消息数据；每当从所述消息队列中读取一条消息数据后，根据该条消息数据对应的偏移地址在所述后台数据库中更新所述消息队列的当前偏移信息。

Description

消息队列的消费方法及装置

技术领域

本发明涉及通信技术领域，具体涉及一种消息队列的消费方法及装置。

背景技术

目前，当业务前端生产者产生消息之后，通常是将待处理的消息存储于消息队列的消息分区中，然后交由后端的消费端进行处理。在现有技术中，每当消费端的消费任务启动时，默认从最旧的数据偏移位置(即存储时间最早的数据位置)开始消费。

但是，发明人在实现本发明的过程中发现，现有技术中的上述方式至少存在下述缺陷：由于消费任务每次启动时都从最旧的数据偏移位置进行消费，因此，若该消费任务在消费过程中出现了多次中断并重启的现象，则每次重启后均从消息队列的最旧数据偏移位置进行消费，从而很可能造成数据重复消费的现象发生，既降低了消费效率，又容易导致消费错误。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的消息队列的消费方法及装置。

根据本发明的一个方面，提供了一种消息队列的消费方法，包括：当消费任务启动时，建立与后台数据库之间的通信连接；通过所述通信连接从所述后台数据库中获取与所述消费任务对应的消息队列的当前偏移信息；若获取成功，则根据获取到的当前偏移信息读取所述消息队列中的消息数据；每当从所述消息队列中读取一条消息数据后，根据该条消息数据对应的偏移地址在所述后台数据库中更新所述消息队列的当前偏移信息。

可选地，所述根据该条消息数据对应的偏移地址在所述后台数据库中更新所述消息队列的当前偏移信息的步骤具体包括：创建用于更新偏移信息的事务，该事务包括：用于写入该条消息数据对应的偏移地址的第一操作，以及用于写入该条消息数据的数据内容的第二操作；当该事务中包含的第一操作和第二操作都执行成功时，向所述后台数据库提交该事务。

可选地，当该事务中包含的第一操作和/或第二操作执行失败时，回滚该事务，并重启所述消费任务。

可选地，所述通过所述通信连接从所述后台数据库中获取与所述消费任务对应的消息队列的当前偏移信息的步骤之后，进一步包括：获取所述消息队列的有效数据范围；若所述获取成功，则根据获取到的当前偏移信息逐条读取所述消息队列中的消息数据的步骤具体包括：判断所述获取到的当前偏移信息是否在所述有效数据范围内，若判断结果为是，从所述当前偏移信息对应的位置逐条读取所述消息队列中的消息数据；若判断结果为否，从所述有效数据范围中的最旧数据对应的位置逐条读取所述消息队列中的消息数据。

可选地，进一步包括：若获取失败，则从所述有效数据范围中的最旧数据对应的位置逐条读取所述消息队列中的消息数据。

可选地，所述消息队列包括多个消息分区，则所述消费任务对应的消息队列的当前偏移信息具体为：所述消费任务对应的消息分区的当前偏移信息。

可选地，所述消息队列为分布式消息队列。

依据本发明的另一方面，提供了一种消息队列的消费装置，包括：建立模块，适于当消费任务启动时，建立与后台数据库之间的通信连接；获取模块，适于通过所述通信连接从所述后台数据库中获取与所述消费任务对应的消息队列的当前偏移信息；读取模块，适于在获取成功时，根据获取到的当前偏移信息读取所述消息队列中的消息数据；更新模块，适于每当从所述消息队列中读取一条消息数据后，根据该条消息数据对应的偏移地址在所述后台数据库中更新所述消息队列的当前偏移信息。

可选地，所述更新模块具体适于：创建用于更新偏移信息的事务，该事务包括：用于写入该条消息数据对应的偏移地址的第一操作，以及用于写入该条消息数据的数据内容的第二操作；当该事务中包含的第一操作和第二操作都执行成功时，向所述后台数据库提交该事务。

可选地，所述更新模块进一步适于：当该事务中包含的第一操作和/或第二操作执行失败时，回滚该事务，并重启所述消费任务。

可选地，所述获取模块进一步用于：获取所述消息队列的有效数据范围；则所述读取模块具体用于在获取当前偏移信息成功时，判断所述获取到的当前偏移信息是否在所述有效数据范围内，若判断结果为是，从所述当前偏移信息对应的位置逐条读取所述消息队列中的消息数据；若判断结果为否，从所述有效数据范围中的最旧数据对应的位置逐条读取所述消息队列中的消息数据。

可选地，所述读取模块进一步用于：在获取当前偏移信息失败时，从所述有效数据范围中的最旧数据对应的位置逐条读取所述消息队列中的消息数据。

可选地，所述消息队列包括多个消息分区，则所述消费任务对应的消息队列的当前偏移信息具体为：所述消费任务对应的消息分区的当前偏移信息。

可选地，所述消息队列为分布式消息队列。

在本发明提供的一种消息队列的消费方法及装置中，在消费任务的消费过程中，将对应的消息队列的当前偏移信息记录在后台数据库中，相应地，每当消费任务启动时，均从后台数据库中获取对应的消息队列的当前偏移信息，进而根据获取到的当前偏移信息进行消费。由此可见，本申请中的各个消费端的消费进度由后台数据库负责维护，使消费任务每次启动时能够根据后台数据库记录的当前偏移信息进行消费，从而有效避免了数据重复消费的现象，提升了消费效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例一提供的一种消息队列的消费方法的流程示意图；

图2示出了本发明实施例二提供的一种消息队列的消费方法的流程示意图；

图3示出了本发明实施例三提供的一种消息队列的消费装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种消息队列的消费方法及装置，至少能够解决现有技术中每次重启后均从消息队列的最旧数据偏移位置进行消费所导致的重复消费的技术问题。

实施例一

图1示出了本发明实施例一提供的一种消息队列的消费方法的流程示意图，该方法包括：

步骤S110：当消费任务启动时，建立与后台数据库之间的通信连接。

其中，消费任务是指：消费端读取并处理消息队列的任务。其中，一个消息队列可能对应一个或多个消费任务，一个消费任务也可能对应一个或多个消息队列。当一个消费任务启动时，执行该消费任务的消费端建立与后台数据库之间的通信连接，该通信连接可通过多种方式建立，本发明对此不做限定。其中，消费任务的启动包括消费任务第一次开启以及消费任务中断后的重启等各种情形。

步骤S120：通过上述通信连接从后台数据库中获取与该消费任务对应的消息队列的当前偏移信息。

其中，后台数据库中记录了各个消费任务对应的消息队列的当前偏移信息。具体地，消费任务对应的消费端通过上述通信连接向后台数据库发送携带该消费任务的任务标识的请求信息，后台数据库根据接收到的请求信息中包含的任务标识，查询已记录的偏移信息列表，若从该偏移信息列表中查询到了该任务标识对应的消费任务的当前偏移信息，则向该消费任务对应的消费端返回携带当前偏移信息的响应消息；若从该偏移信息列表中未查询到该任务标识对应的消费任务的当前偏移信息，则向该消费任务对应的消费端返回失败消息。

步骤S130：若获取成功，则根据获取到的当前偏移信息读取消息队列中的消息数据。

具体地，若接收到后台数据库返回的携带当前偏移信息的响应消息，则根据响应消息中包含的当前偏移信息读取消息队列中的消息数据。例如，若响应消息中包含的当前偏移信息为50，则从50开始读取消息队列中的消息数据，而无需从该消息队列的最旧数据偏移读取，从而有效避免了重复消费现象。

步骤S140：每当从消息队列中读取一条消息数据后，根据该条消息数据对应的偏移地址在后台数据库中更新该消息队列的当前偏移信息。

通过本步骤能够动态更新后台数据库中记录的当前偏移信息，以确保每次消费任务启动时从后台数据库中获取到的当前偏移信息的准确性。

由此可见，本申请中的各个消费端的消费进度由后台数据库负责维护，使消费任务每次启动时能够根据后台数据库记录的当前偏移信息进行消费，从而有效避免了数据重复消费的现象，提升了消费效率。

实施例二

图2示出了本发明实施例二提供的一种消息队列的消费方法的流程示意图，如图2所示，该方法包括：

步骤S210：当消费任务启动时，建立与后台数据库之间的通信连接。

其中，消费任务是指：消费端读取并处理消息队列的任务。其中，一个消息队列可能对应一个或多个消费任务，一个消费任务也可能对应一个或多个消息队列。当一个消费任务启动时，执行该消费任务的消费端建立与后台数据库之间的通信连接，该通信连接可通过多种方式建立，本发明对此不做限定。其中，消费任务的启动包括消费任务第一次开启以及消费任务中断后的重启等各种情形。

另外，在本实施例中，为了便于说明，仅以一个消费任务为例进行描述，在实际场景中，通常有多个消费任务并行执行，相应地，需要分别针对每个消费任务并行执行步骤S210及其后续的各个步骤，以实现多任务的并行处理。

步骤S220：通过上述通信连接从后台数据库中获取与该消费任务对应的消息队列的当前偏移信息，若获取成功，则执行步骤S230，若获取失败，则执行步骤S240。

其中，后台数据库中记录了各个消费任务对应的消息队列的当前偏移信息。具体实现时，可以在后台数据库上设置偏移信息列表，该偏移信息列表中记录了各个消费任务的任务标识与各个消费任务对应的当前偏移信息之间的映射关系。该偏移信息列表随着消费任务的消费进度而动态更新。

具体地，消费任务对应的消费端通过上述通信连接向后台数据库发送携带该消费任务的任务标识的请求信息，后台数据库根据接收到的请求信息中包含的任务标识，查询上述的偏移信息列表，若从该偏移信息列表中查询到了该任务标识对应的消费任务的当前偏移信息，则向该消费任务对应的消费端返回携带当前偏移信息的响应消息，当消费端接收到该响应消息时，确定获取当前偏移信息的操作结果为成功，相应地执行步骤S230；若从该偏移信息列表中未查询到该任务标识对应的消费任务的当前偏移信息，则向该消费任务对应的消费端返回失败消息，当消费端接收到该失败消息时，确定获取当前偏移信息的操作结果为失败，相应地执行步骤S240。

通常情况下，偏移信息列表会记录所有消费任务对应的消息队列的当前偏移信息，但是，当一个消费任务首次启动时，该偏移信息列表可能尚未记录该消费任务对应的消息队列的当前偏移信息，因此，可能会出现未查询到当前偏移信息的情况，从而导致获取当前偏移信息的操作结果失败。

步骤S230：根据获取到的当前偏移信息读取消息队列中的消息数据。

根据当前偏移信息进行读取的方式能够有效避免重复消费现象。另外，消息队列中存储的消息数据由负责维护该消息队列的队列服务器定期更新，更新操作具体包括：向消息队列中持续写入新的消息数据，以及定期删除消息队列中旧的消息数据。例如，假设消息队列中原本存储了100条数据，其对应的偏移地址为1-100，此时，消息队列的最旧数据偏移为1(即：消息队列中存储的数据中时间最早的数据的偏移为1)，消息队列的最大数据偏移为100(即：消息队列中存储的数据中时间最晚的数据的偏移为100)。经过一段时间后，消息队列中又新增了200条数据，该新增的200数据对应的偏移地址为101-300，与此同时，为了防止消息队列的存储空间不足，队列服务器删除了其中偏移为1-50的50条数据，相应地，消息队列的最旧数据偏移为51，消息队列的最大数据偏移为300。

由此可见，消息队列的最旧数据偏移是动态变化的，小于最旧数据偏移的偏移地址所对应的消息已被删除，因此，小于最旧数据偏移的偏移地址为无效地址，因此，在本实施例中，为了防止由于消费端从无效地址处开始消费所导致的消费失败现象，步骤S230具体包括：获取消息队列的有效数据范围，判断获取到的当前偏移信息是否在有效数据范围内，若判断结果为是，从当前偏移信息对应的位置逐条读取消息队列中的消息数据；若判断结果为否，从有效数据范围中的最旧数据对应的位置逐条读取消息队列中的消息数据。其中，消息队列的有效数据范围是由上述的最旧数据偏移和最大数据偏移所界定的数据范围，例如，在上例中，消息队列的有效数据范围从最初的[1,100]变更为[51,300]。相应地，当从后台数据库获取到的当前偏移信息属于有效范围内时，例如，当消息队列的有效数据范围为[1,100]时，若读取到的当前偏移信息为49，则说明当前偏移信息属于有效范围内，因而根据当前偏移信息进行读取。当从后台数据库获取到的当前偏移信息不属于有效范围内时，例如，当消息队列的有效数据范围为[51,300]时，若读取到的当前偏移信息为49，则说明当前偏移信息不属于有效范围内，因而根据有效数据范围中的最旧数据对应的位置(即偏移地址为51的位置)进行读取。也就是说，在本实施例中，为了提高数据读取时的正确率，当消费任务启动后，可以分别获取后台数据库中存储的该消息队列的当前偏移信息以及消息队列集群(即：队列服务器)中存储的该消息队列的最旧数据偏移，比较当前偏移信息与最旧数据偏移的数值大小，根据数值较大的偏移地址进行读取。

具体地，由于维护各个消息对列的队列服务器上准确而及时地记录了各个消息队列的有效数据范围，因此，在上述过程中，为了准确地获取到消息队列当前的有效数据范围，消费端可以进一步与用于维护该消息对列的队列服务器之间建立通信连接，进而通过该通信连接获取该消息队列的有效数据范围。另外，发明人在实现本发明的过程中发现：在现有技术中，执行该消费任务的消费端仅在消费消息时，才会与用于维护消息队列的队列服务器建立一条用于读取消息的数据链路，由于该数据链路是在消息读取过程中建立的，因此，在消费任务刚刚启动时，该数据链路尚未建立，因而显然无法通过该数据链路获取队列服务器上存储的消息队列的最旧数据偏移，因此，在现有技术中，执行该消费任务的消费端显然无法根据队列服务器获取最旧数据偏移，由此导致现有技术中的消息消费方式无法获取到准确的最旧数据偏移，进而无法有效避免消息消费失败现象。在本发明中，发明人提出了如下改进方案：在执行该消费任务的消费端消费消息之前，与用于维护消息队列的队列服务器之间建立一条专用的通信连接，通过该专用的通信连接获取消息队列的最旧数据偏移，从而能够根据队列服务器获取到准确的最旧数据偏移。

步骤S240：从有效数据范围中的最旧数据对应的位置逐条读取消息队列中的消息数据。

其中，有效数据范围可通过步骤S230中描述的方式进行获取，此处不再赘述。具体地，若从后台数据库中未成功获取到与该消费任务对应的消息队列的当前偏移信息，则说明该消费任务为首次启动，因而后台数据库中尚未记录对应的当前偏移信息，因而从相应的消息队列的有效数据范围中的最旧数据对应的位置逐条读取消息队列中的消息数据即可。

步骤S250：每当从消息队列中读取一条消息数据后，根据该条消息数据对应的偏移地址在后台数据库中更新该消息队列的当前偏移信息。

通过本步骤能够动态更新后台数据库中记录的当前偏移信息，以确保每次消费任务启动时从后台数据库中获取到的当前偏移信息的准确性。具体更新频率可由本领域技术人员灵活设定，例如，除了采用每读取一条消息数据即进行一次更新操作的方式之外，在本发明其他的实施例中，还可以采用每隔预设时间间隔更新一次当前偏移信息的方式，具体的时间间隔可根据业务类型灵活设定。例如，对于业务可靠性要求较高的情况，将时间间隔设置得较短，以保证当前偏移信息的及时更新；对于业务可靠性要求较低的情况，将时间间隔设置得较长，以降低设备负载及网络传输开销。

发明人在实现本发明的过程中发现，在根据该条消息数据对应的偏移地址在后台数据库中更新消息队列的当前偏移信息时，若仅向后台数据库中写入当前已读取消息所对应的偏移信息，而不写入该偏移信息所对应的具体消息内容，则一旦因传输异常等原因导致写入的偏移信息出现失效或错误时，无法及时发现并纠正，进而会导致重复消费甚至消费失败等现象。因此，在后台数据库中更新消息队列的当前偏移信息时，需要同时写入已读取的最新消息数据所对应的偏移地址以及该条消息数据的数据内容，以防止出错。但是，由于写入已读取的最新消息数据所对应的偏移地址以及写入该条消息数据的数据内容时涉及到两次操作，即使将这两次操作通过并行执行的线程同步完成，也依然可能出现其中的一次操作执行成功而另一次操作执行失败的异常情况。例如，假设写入已读取的最新消息数据所对应的偏移地址的操作的执行结果为成功，但是写入该条消息数据的数据内容的操作的执行结果为失败，而此时恰逢消费端因故重启，则重启后的消费端从后台数据库中获取到的当前偏移信息所对应的消息内容实际上还未消费成功，因此，若消费端根据获取到的当前偏移信息进行消费则会遗漏该偏移信息所对应的消息内容。又如，假设写入该条消息数据的数据内容的操作的执行结果为成功，但是写入已读取的最新消息数据所对应的偏移地址的操作的执行结果为失败，而此时恰逢消费端因故重启，则重启后的消费端从后台数据库中获取到的当前偏移信息实际上为已读取的最新消息数据的上一个数据所对应的偏移信息，因此，若消费端根据获取到的当前偏移信息进行消费则会导致重复消费现象。

为了解决上述问题，发明人通过下述方式实现在后台数据库中更新消息队列的当前偏移信息的操作过程：首先，创建用于更新偏移信息的事务，该事务包括：用于写入该条消息数据对应的偏移地址的第一操作，以及用于写入该条消息数据的数据内容的第二操作；然后，检测该事务中包含的第一操作和第二操作的执行结果，当该事务中包含的第一操作和第二操作都执行成功时，向后台数据库提交该事务；当该事务中包含的第一操作和/或第二操作执行失败时，回滚该事务，并重启相应的消费任务。由此可见，每当在后台数据库中更新消息队列的当前偏移信息时，需要为本次更新操作创建一个事务，该事务是一个并发控制的单位，也叫自定义的一个操作序列，操作序列中包含的各个操作属于一个不可分割的工作单位，只有当该操作序列中的所有操作全部执行成功时，该事务才算执行完毕；只要该操作序列中有一个操作未执行成功，就会导致该事务执行失败。相应地，本实施例中的后台数据库为支持事务的数据库。通过将用于写入该条消息数据对应的偏移地址的第一操作以及用于写入该条消息数据的数据内容的第二操作全部添加到用于更新的事务当中，能够确保只有在两种操作都执行成功时，才向后台数据库提交本次事务，只要两种操作中有一个操作未执行成功，则回滚该事务，并重启相应的消费任务，以确保更新操作的准确性，进而确保消费的准确性，有效避免重复消费的现象。由于消费任务每次重启后都会从没有被成功消费的地方开始消费，进而确保了每个数据块被严格消费一次。

通过上述的各个步骤即可确保消息队列的准确消费、并防止重复消费的现象。由于在某些工程中，要求消息队列中的消息数据只能消费一次，一旦消息队列中的部分消息数据出现了重复消费的现象，则会对整个工程造成不可估量的损失，因此，本实施例中的方式尤其适用于严格限定消息的消费次数的应用场景中。

另外，本领域技术人员还可以对上述实施例进行各种改动和变形。例如，可以将上述实施例中的各个步骤拆分成更多的步骤，或合并为更少的步骤，还可以调整各个步骤之间的执行顺序，甚至可以删减部分步骤或新增一些步骤，总之，本发明对具体的实现细节不做限定。

而且，在上述实施例中，是以消息队列为单位进行描述的，在实际情况中，一个消息队列往往具有多个消息分区，相应地，消费任务通过消费各个消息分区的方式实现对整个消息队列的消费，而且，一个消息队列还可能对应于多个消费任务，每个消费任务负责消费预定的一个或多个消息分区。此时，上述实施例中提到的消费任务对应的消息队列的当前偏移信息可以进一步细化为消费任务对应的消息分区的当前偏移信息。另外，上述实施例中的消息队列可以采用分布式消息队列实现，从而更好地支持各类并行业务。

综上所述，通过本实施例中的消息队列的消费方法，一方面，能够由后台数据库记录各个消费任务对应的消息队列的当前偏移信息，从而根据后台数据库记录的当前偏移信息进行消费，实现防止重复消费的目的；另一方面，还能够从队列服务器中获取消息队列的有效数据范围，进而判断从后台数据库获取到的当前偏移信息是否属于有效数据范围之内，并在判断结果为否时根据有效数据范围进行消费，实现防止消费失败的目的。并且，在上述过程中，进一步利用事务来实现更新操作，从而有效提升了更新操作的准确性。

实施例三、

图3示出了本发明实施例三提供的一种消息队列的消费装置的结构示意图，如图3所示，该装置包括：

建立模块31，适于当消费任务启动时，建立与后台数据库之间的通信连接；

获取模块32，适于通过所述通信连接从所述后台数据库中获取与所述消费任务对应的消息队列的当前偏移信息；

读取模块33，适于在获取成功时，根据获取到的当前偏移信息读取所述消息队列中的消息数据；

更新模块34，适于每当从所述消息队列中读取一条消息数据后，根据该条消息数据对应的偏移地址在所述后台数据库中更新所述消息队列的当前偏移信息。

其中，所述更新模块34具体适于：创建用于更新偏移信息的事务，该事务包括：用于写入该条消息数据对应的偏移地址的第一操作，以及用于写入该条消息数据的数据内容的第二操作；当该事务中包含的第一操作和第二操作都执行成功时，向所述后台数据库提交该事务。

并且，所述更新模块34进一步适于：当该事务中包含的第一操作和/或第二操作执行失败时，回滚该事务，并重启所述消费任务。

可选地，为了防止读取到无效数据，所述获取模块32进一步用于：获取所述消息队列的有效数据范围；则所述读取模块33具体用于在获取当前偏移信息成功时，判断所述获取到的当前偏移信息是否在所述有效数据范围内，若判断结果为是，从所述当前偏移信息对应的位置逐条读取所述消息队列中的消息数据；若判断结果为否，从所述有效数据范围中的最旧数据对应的位置逐条读取所述消息队列中的消息数据。

可选地，所述读取模块进一步用于：在获取当前偏移信息失败时，从所述有效数据范围中的最旧数据对应的位置逐条读取所述消息队列中的消息数据。

可选地，所述消息队列包括多个消息分区，则所述消费任务对应的消息队列的当前偏移信息具体为：所述消费任务对应的消息分区的当前偏移信息。其中，所述消息队列包括分布式消息队列。

在本发明提供的一种消息队列的消费方法及装置中，在消费任务的消费过程中，将对应的消息队列的当前偏移信息记录在后台数据库中，相应地，每当消费任务启动时，均从后台数据库中获取对应的消息队列的当前偏移信息，进而根据获取到的当前偏移信息进行消费。由此可见，本申请中的各个消费端的消费进度由后台数据库负责维护，使消费任务每次启动时能够根据后台数据库记录的当前偏移信息进行消费，从而有效避免了数据重复消费的现象，提升了消费效率。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的消息队列的消费装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (12)

1.一种消息队列的消费方法，包括：

当消费任务启动时，建立与后台数据库之间的通信连接；

通过所述通信连接从所述后台数据库中获取与所述消费任务对应的消息队列的当前偏移信息；

若获取成功，则根据获取到的当前偏移信息读取所述消息队列中的消息数据；

每当从所述消息队列中读取一条消息数据后，根据该条消息数据对应的偏移地址在所述后台数据库中更新所述消息队列的当前偏移信息；

其中，所述通过所述通信连接从所述后台数据库中获取与所述消费任务对应的消息队列的当前偏移信息的步骤之后，进一步包括：获取所述消息队列的有效数据范围；

所述若获取成功，则根据获取到的当前偏移信息读取所述消息队列中的消息数据的步骤具体包括：

判断所述获取到的当前偏移信息是否在所述有效数据范围内，若判断结果为是，从所述当前偏移信息对应的位置逐条读取所述消息队列中的消息数据；若判断结果为否，从所述有效数据范围中的最旧数据对应的位置逐条读取所述消息队列中的消息数据。

2.根据权利要求1所述的方法，其中，所述根据该条消息数据对应的偏移地址在所述后台数据库中更新所述消息队列的当前偏移信息的步骤具体包括：

创建用于更新偏移信息的事务，该事务包括：用于写入该条消息数据对应的偏移地址的第一操作，以及用于写入该条消息数据的数据内容的第二操作；

当该事务中包含的第一操作和第二操作都执行成功时，向所述后台数据库提交该事务。

3.根据权利要求2所述的方法，其中，当该事务中包含的第一操作和/或第二操作执行失败时，回滚该事务，并重启所述消费任务。

4.根据权利要求1所述的方法，其中，进一步包括：若获取失败，则从所述有效数据范围中的最旧数据对应的位置逐条读取所述消息队列中的消息数据。

5.根据权利要求4所述的方法，其中，所述消息队列包括多个消息分区，则所述消费任务对应的消息队列的当前偏移信息具体为：所述消费任务对应的消息分区的当前偏移信息。

6.根据权利要求1-5任一所述的方法，其中，所述消息队列为分布式消息队列。

7.一种消息队列的消费装置，包括：

建立模块，适于当消费任务启动时，建立与后台数据库之间的通信连接；

获取模块，适于通过所述通信连接从所述后台数据库中获取与所述消费任务对应的消息队列的当前偏移信息；

读取模块，适于在获取成功时，根据获取到的当前偏移信息读取所述消息队列中的消息数据；

更新模块，适于每当从所述消息队列中读取一条消息数据后，根据该条消息数据对应的偏移地址在所述后台数据库中更新所述消息队列的当前偏移信息；

其中，所述装置进一步包括：有效数据范围获取模块，所述有效数据范围获取模块适于获取所述消息队列的有效数据范围；

所述读取模块适于判断所述获取到的当前偏移信息是否在所述有效数据范围内，若判断结果为是，从所述当前偏移信息对应的位置逐条读取所述消息队列中的消息数据；若判断结果为否，从所述有效数据范围中的最旧数据对应的位置逐条读取所述消息队列中的消息数据。

8.根据权利要求7所述的装置，其中，所述更新模块具体适于：创建用于更新偏移信息的事务，该事务包括：用于写入该条消息数据对应的偏移地址的第一操作，以及用于写入该条消息数据的数据内容的第二操作；

当该事务中包含的第一操作和第二操作都执行成功时，向所述后台数据库提交该事务。

9.根据权利要求8所述的装置，其中，所述更新模块进一步适于：当该事务中包含的第一操作和/或第二操作执行失败时，回滚该事务，并重启所述消费任务。

10.根据权利要求7所述的装置，其中，所述读取模块进一步用于：在获取当前偏移信息失败时，从所述有效数据范围中的最旧数据对应的位置逐条读取所述消息队列中的消息数据。

11.根据权利要求10所述的装置，其中，所述消息队列包括多个消息分区，则所述消费任务对应的消息队列的当前偏移信息具体为：所述消费任务对应的消息分区的当前偏移信息。

12.根据权利要求7-11任一所述的装置，其中，所述消息队列为分布式消息队列。

Images