CN114389759A - 一种消息传输方法及系统 - Google Patents

Abstract

本发明公开的一种消息传输方法及系统，生产端将待消费数据和事件编号发送至消息队列；生产端若接收到消息队列返回的接收成功消息，则在数据库中将事件编号对应的事件状态更新为已发送；消费者从消息队列中获取事件编号和待消费数据，并在数据库中将事件编号对应的事件状态更新为已接收；消费端接收到事件编号和待消费数据后开启事务，在事务中消费待消费数据，并在数据库中将事件编号对应的事件状态更新为已处理。因此，通过事务机制，在消费端消费数据时，能够保证事件状态和事件数据的保存或处理同时成功或者同时失败，避免生产端或者消费端因网络等问题导致的数据不一致问题。

Description

一种消息传输方法及系统

技术领域

本发明涉及消息队列技术领域，特别涉及一种消息传输方法及系统。

背景技术

消息队列(Message Queue，MQ)里消息丢失分为两种情况：生产者消息丢失和消费者消息丢失。

目前为了防止消费者消息丢失引入了消息确认ack机制，当消息处理完成后，给MQ发送一个确认消息告诉MQ消息已消费可以删除该消息。但是如果消费者因为异常连接断开的情况下，MQ没有收到消费者发出的确认信息，则会把消息转发给其他保持在线的消费者；另一种情况就是生产者执行完前置事务后，需要发送给MQ的消息还未发送成功时，生产者因为异常链接断开，这时候MQ还未收到消息，则此消息就会丢失。

发明内容

本发明所要解决的技术问题是：提供了一种消息传输方法及系统，能够有效避免消息队列的消息丢失情况，保证业务的一致性。

为了解决上述技术问题，本发明采用的技术方案为：

一种消息传输方法，包括步骤：

生产端将待消费数据和事件编号发送至消息队列；

生产端若接收到消息队列返回的接收成功消息，则在数据库中将所述事件编号对应的事件状态更新为已发送；

消费端从消息队列中获取所述事件编号和待消费数据，并在数据库中将所述事件编号对应的事件状态更新为已接收；

消费端接收到所述事件编号和待消费数据后开启事务，在事务中消费所述待消费数据，并在数据库中将所述事件编号对应的事件状态更新为已处理。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种消息传输系统，包括：

生产端，用于将待消费数据和事件编号发送至消息队列；若接收到消息队列返回的接收成功消息，则在数据库中将所述事件编号对应的事件状态更新为已发送；

消费端，用于从消息队列中获取所述事件编号和待消费数据，并在数据库中将所述事件编号对应的事件状态更新为已接收；接收到所述事件编号和待消费数据后开启事务，在事务中消费所述待消费数据，并在数据库中将所述事件编号对应的事件状态更新为已处理。

本发明的有益效果在于：生产端将待消费数据和事件编号发送至消息队列；生产端若接收到消息队列返回的接收成功消息，则在数据库中将事件编号对应的事件状态更新为已发送；消费者从消息队列中获取事件编号和待消费数据，并在数据库中将事件编号对应的事件状态更新为已接收；消费端接收到事件编号和待消费数据后开启事务，在事务中消费待消费数据，并在数据库中将事件编号对应的事件状态更新为已处理。因此，消费端根据事件编号消费待消费数据，能够通过判断幂等性来防止重复消费；并且通过事务机制，在消费端消费数据时，能够保证事件状态和事件数据的保存或处理同时成功或者同时失败，避免生产端或者消费端因网络等问题导致的数据不一致问题。

附图说明

图1为本发明实施例的一种消息传输方法的流程图；

图2为本发明实施例的一种消息传输系统的示意图；

图3为本发明实施例的一种消息传输方法的具体步骤流程图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1和图3，本发明实施例提供了一种消息传输方法，包括步骤：

生产端将待消费数据和事件编号发送至消息队列；

生产端若接收到消息队列返回的接收成功消息，则在数据库中将所述事件编号对应的事件状态更新为已发送；

消费端从消息队列中获取所述事件编号和待消费数据，并在数据库中将所述事件编号对应的事件状态更新为已接收；

消费端接收到所述事件编号和待消费数据后开启事务，在事务中消费所述待消费数据，并在数据库中将所述事件编号对应的事件状态更新为已处理。

从上述描述可知，本发明的有益效果在于：生产端将待消费数据和事件编号发送至消息队列；生产端若接收到消息队列返回的接收成功消息，则在数据库中将事件编号对应的事件状态更新为已发送；消费者从消息队列中获取事件编号和待消费数据，并在数据库中将事件编号对应的事件状态更新为已接收；消费端接收到事件编号和待消费数据后开启事务，在事务中消费待消费数据，并在数据库中将事件编号对应的事件状态更新为已处理。因此，消费端根据事件编号消费待消费数据，能够通过判断幂等性来防止重复消费；并且通过事务机制，在消费端消费数据时，能够保证事件状态和事件数据的保存或处理同时成功或者同时失败，避免生产端或者消费端因网络等问题导致的数据不一致问题。

进一步地，所述生产端将待消费数据和事件编号发送至消息队列之前包括：

生产端在数据库中新增事件数据，所述新增事件数据包括事件编号和事件状态；

生产端开启事务，在事务中新增待消费数据，并根据所述新增事件数据中的事件编号在数据库中修改对应的事件状态为未发送。

由上述描述可知，生产端在数据库中新增事件数据，且新增事件数据包括事件编号和事件状态，在事务中新增待消费数据并根据新增事件数据中的事件编号修改对应的事件状态为未发送，因此待消费数据新增和事件状态更新在事务中为一个原子操作，能够有效避免数据丢失的情况。

进一步地，所述生产端若接收到消息队列返回的接收成功消息，则在数据库中将所述事件编号对应的事件状态更新为已发送还包括：

生产端若未接收到消息队列返回的接收成功消息，则不更新所述事件编号对应的事件状态。

由上述描述可知，如果因网络抖动等异常导致生产端没有收到消息队列接收成功的消息，则事件状态仍为未发送，保证业务的一致性。

进一步地，消费端在数据库中将所述事件编号对应的事件状态更新为已接收之后包括：

消费端向消息队列发送确认字符后，删除数据库中的新增事件数据。

由上述描述可知，当消费者成功向消息队列发送确认字符后，删除数据库中的新增事件数据，从而结束事件的生命周期。

进一步地，还包括：

生产端定期将数据库的新增事件数据中事件状态为未发送的事件对应的事件编号和待消费数据重发至消息队列；

消费端定期从消息队列中获取事件状态为已发送的事件对应的事件编号和待消费数据。

由上述描述可知，生产端定期将数据库中已添加预设时间的未发送的或者已发送的事件对应的事件编号和待消费数据重发至消息队列，消费者定期从消息队列中获取事件状态为已发送的事件对应的事件编号和待消费数据，因此在宕机时能够及时进行重发，保证业务数据的一致性。

请参照图2，本发明另一实施例提供了一种消息传输系统，包括：

生产端，用于将待消费数据和事件编号发送至消息队列；若接收到消息队列返回的接收成功消息，则在数据库中将所述事件编号对应的事件状态更新为已发送；

消费端，用于从消息队列中获取所述事件编号和待消费数据，并在数据库中将所述事件编号对应的事件状态更新为已接收；接收到所述事件编号和待消费数据后开启事务，在事务中消费所述待消费数据，并在数据库中将所述事件编号对应的事件状态更新为已处理。

由上述描述可知，生产端将待消费数据和事件编号发送至消息队列；生产端若接收到消息队列返回的接收成功消息，则在数据库中将事件编号对应的事件状态更新为已发送；消费者从消息队列中获取事件编号和待消费数据，并在数据库中将事件编号对应的事件状态更新为已接收；消费端接收到事件编号和待消费数据后开启事务，在事务中消费待消费数据，并在数据库中将事件编号对应的事件状态更新为已处理。因此，消费端根据事件编号消费待消费数据，能够通过判断幂等性来防止重复消费；并且通过事务机制，在消费端消费数据时，能够保证事件状态和事件数据的保存或处理同时成功或者同时失败，避免生产端或者消费端因网络等问题导致的数据不一致问题。

进一步地，所述生产端在将待消费数据和事件编号发送至消息队列之前，还用于在数据库中新增事件数据，所述新增事件数据包括事件编号和事件状态；之后开启事务，在事务中新增待消费数据，并根据所述新增事件数据中的事件编号在数据库中修改对应的事件状态为未发送。

由上述描述可知，生产端在数据库中新增事件数据，且新增事件数据包括事件编号和事件状态，在事务中新增待消费数据并根据新增事件数据中的事件编号修改对应的事件状态为未发送，因此待消费数据新增和事件状态更新在事务中为一个原子操作，能够有效避免数据丢失的情况。

进一步地，所述生产端还用于在未接收到消息队列返回的接收成功消息时，不更新所述事件编号对应的事件状态。

由上述描述可知，如果因网络抖动等异常导致生产端没有收到消息队列接收成功的消息，则事件状态仍为未发送，保证业务的一致性。

进一步地，所述消费端在数据库中将所述事件编号对应的事件状态更新为已接收之后，还用于向消息队列发送确认字符后，删除数据库中的新增事件数据。

由上述描述可知，当消费者成功向消息队列发送确认字符后，删除数据库中的新增事件数据，从而结束事件的生命周期。

进一步地，所述生产端，还用于定期将数据库的新增事件数据中事件状态为未发送的事件对应的事件编号和待消费数据重发至消息队列；

所述消费端，还用于定期从消息队列中获取事件状态为已发送的事件对应的事件编号和待消费数据。

由上述描述可知，生产端定期将数据库中已添加预设时间的未发送的或者已发送的事件对应的事件编号和待消费数据重发至消息队列，消费者定期从消息队列中获取事件状态为已发送的事件对应的事件编号和待消费数据，因此在宕机时能够及时进行重发，保证业务数据的一致性。

本发明上述的一种消息传输方法及系统，适用于在使用消息队列进行消息传输时，避免消息丢失的情况发生，以下通过具体的实施方式进行说明：

实施例一

请参照图1和图3，一种消息传输方法，包括步骤：

S1、生产端将待消费数据和事件编号发送至消息队列；

其中，步骤S1之前包括：

将生产端和消费端都与数据库连接，预先在数据库中创建事件表event_tb，事件表中包括字段：事件编号event_id、事件状态event_state、事件值event_value。从而通过事件表存储事件从开始到消亡的过程。

S01、生产端在数据库中新增事件数据，所述新增事件数据包括事件编号和事件状态。

具体的，在本实施例中，生产端中的用户点击注册后，生产端新增一条事件到事件表event_tb中，得到新增事件编号event_id＝101，并设置事件状态为初始状态event_state＝0。

S02、生产端开启事务，在事务中新增待消费数据，并根据所述新增事件数据中的事件编号在数据库中修改对应的事件状态为未发送。

具体的，生产端开启并提交事务，该事务用于执行新增用户数据和更新事件状态，通过事务将新增用户数据和更新事件状态作为一个原子操作，二者同时成功或者同时失败。

在本实施例中，新增用户数据即在用户表中插入用户注册的信息，在生产端中执行以下语句：

“start transaction；

insert into user_tb values('叶子','18955555555')；

update event_tb set event_state＝1where event_id＝101；

select@@IDENTITY；

commit；”，

其中，事件状态event_state＝1表示未发送，即用户已注册成功，但事件还未发送至MQ。

生产端若提交事务失败，则发起重试。

其中，步骤S1具体为：

生产者将从数据库中获取的待消费数据和事件编号发送至消息队列。

具体的，在本实施例中，生产者通过select@@IDENTITY可以得到新增的待消费数据的用户编号user_id＝9828；

生产者生产一条消息，消息包括事件编号和用户编号，即消息为{"eventid":101,"userid":9828}，将该消息发送至消息队列user_registration中。

S2、生产端若接收到消息队列返回的接收成功消息，则在数据库中将所述事件编号对应的事件状态更新为已发送；

具体的，生产端若接收到消息队列返回的接收成功消息，则在数据库中根据事件编号将事件状态更新为已发送event_state＝2，即生产端执行语句：update event_tb setevent_state＝2where event_id＝101。

其中，步骤S2还包括：

生产端若未接收到消息队列返回的接收成功消息，则不更新所述事件编号对应的事件状态。

具体的，如果因网络抖动等异常导致生产端若未接收到消息队列返回的接收成功消息，则事件状态仍为未发送。

S3、消费端从消息队列中获取所述事件编号和待消费数据，并在数据库中将所述事件编号对应的事件状态更新为已接收；

具体的，在本实施例中，消费端消费消息队列user_registration的消息，得到消息{"eventid":101,"userid":9828}，判断事件编号对应的事件状态是否为event_state＝2，若是，则将事件状态设置为已接收event_state＝3。

S4、消费端接收到所述事件编号和待消费数据后开启事务，在事务中消费所述待消费数据，并在数据库中将所述事件编号对应的事件状态更新为已处理。

具体的，在本实施例中，消费端开启并提交事务，该事务用于执行更新用户积分数据和更新事件状态，二者同时成功或者同时失败。

具体的，在生产端中执行以下语句：

“start transaction；

update user_point_tb set point＝point+100where user_id＝9828；

update event_tb set event_state＝4where event_id＝101；

commit；”，

其中，事件状态event_state＝4表示已处理。

消费端若提交事务失败，则发起重试。

步骤S4之后包括：

消费端向消息队列发送确认字符后，删除数据库中的新增事件数据。

具体的，在本实施例中，消费端成功提交事务后回复消息队列一个确认字符(ack)，告知消息队列已完成消费，事件已完成，消费端可以删除事件表里的该事件，事件的生命周期结束。具体的，消费端执行语句delete from event_tb where event_id＝101。

实施例二

本实施例与实施例一的不同之处在于，进一步限定了对事件表进行定期监测，具体的：

生产端定期将数据库的新增事件数据中事件状态为未发送的事件对应的事件编号和待消费数据重发至消息队列；

消费端定期从消息队列中获取事件状态为已发送的事件对应的事件编号和待消费数据。

在本实施例中，正常消息都会按状态从0、1、2、3、4进行改变，最后完成后删除。但可能因为每个步骤之间存在程序宕机的情况，导致消息状态不变。

因此，定期检测数据库中的事件表数据，根据事件状态对消息数据进行处理：

若事件表中存在添加时间addtime为5分钟之前的event_state＝0的事件，则生产端重新开启事务，在事务中新增待消费数据，并修改对应的事件状态为未发送；

若事件表中存在event_state＝1的事件，则生产端重新将对应的事件编号和待消费数据发送至消息队列；

若事件表中存在添加时间addtime为5分钟之前的event_state＝2的事件，则消费端重新从消息队列中获取对应的事件编号和待消费数据；

若事件表中存在添加时间addtime为5分钟之前的event_state＝3的事件，则消费端者重新开启事务，在事务中消费对应的待消费数据，并修改对应的事件状态为已处理；

若事件表中存在event_state＝4的事件，则消费端删除事件表中对应的事件数据。

实施例三

请参照图2，一种消息传输系统，包括：

生产端，用于将待消费数据和事件编号发送至消息队列；若接收到消息队列返回的接收成功消息，则在数据库中将所述事件编号对应的事件状态更新为已发送；

消费端，用于从消息队列中获取所述事件编号和待消费数据，并在数据库中将所述事件编号对应的事件状态更新为已接收；接收到所述事件编号和待消费数据后开启事务，在事务中消费所述待消费数据，并在数据库中将所述事件编号对应的事件状态更新为已处理。

综上所述，本发明提供的一种消息传输方法及系统，生产端与消费端均与数据库连接，数据库中预先创建事件表；生产端新增事件数据并存储至事件表后，生产端开启事务，通过事务新增待消费数据并修改事件表中的事件状态；生产端将从数据库中获取到的待消费数据和事件编号发送至消息队列；生产端若接收到消息队列返回的接收成功消息，则在数据库中将事件编号对应的事件状态更新为已发送；消费者从消息队列中获取事件编号和待消费数据，若事件编号对应的事件状态为已发送，则在数据库中将事件编号对应的事件状态更新为已接收；消费端接收到事件编号和待消费数据后开启事务，在事务中消费待消费数据，并在数据库中将事件编号对应的事件状态更新为已处理。因此，消费端根据事件编号消费待消费数据，能够通过判断幂等性来防止重复消费；并且通过事务机制，在消费端消费数据时，能够保证事件状态和事件数据的保存或处理同时成功或者同时失败，避免生产端或者消费端因网络等问题导致的数据不一致问题。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种消息传输方法，其特征在于，包括步骤：

生产端将待消费数据和事件编号发送至消息队列；

生产端若接收到消息队列返回的接收成功消息，则在数据库中将所述事件编号对应的事件状态更新为已发送；

消费端从消息队列中获取所述事件编号和待消费数据，并在数据库中将所述事件编号对应的事件状态更新为已接收；

消费端接收到所述事件编号和待消费数据后开启事务，在事务中消费所述待消费数据，并在数据库中将所述事件编号对应的事件状态更新为已处理。

2.根据权利要求1所述的一种消息传输方法，其特征在于，所述生产端将待消费数据和事件编号发送至消息队列之前包括：

生产端在数据库中新增事件数据，所述新增事件数据包括事件编号和事件状态；

生产端开启事务，在事务中新增待消费数据，并根据所述新增事件数据中的事件编号在数据库中修改对应的事件状态为未发送。

3.根据权利要求1所述的一种消息传输方法，其特征在于，所述生产端若接收到消息队列返回的接收成功消息，则在数据库中将所述事件编号对应的事件状态更新为已发送还包括：

生产端若未接收到消息队列返回的接收成功消息，则不更新所述事件编号对应的事件状态。

4.根据权利要求1所述的一种消息传输方法，其特征在于，消费端在数据库中将所述事件编号对应的事件状态更新为已接收之后包括：

消费端向消息队列发送确认字符后，删除数据库中的新增事件数据。

5.根据权利要求1所述的一种消息传输方法，其特征在于，还包括：

生产端定期将数据库的新增事件数据中事件状态为未发送的事件对应的事件编号和待消费数据重发至消息队列；

消费端定期从消息队列中获取事件状态为已发送的事件对应的事件编号和待消费数据。

6.一种消息传输系统，其特征在于，包括：

生产端，用于将待消费数据和事件编号发送至消息队列；若接收到消息队列返回的接收成功消息，则在数据库中将所述事件编号对应的事件状态更新为已发送；

消费端，用于从消息队列中获取所述事件编号和待消费数据，并在数据库中将所述事件编号对应的事件状态更新为已接收；接收到所述事件编号和待消费数据后开启事务，在事务中消费所述待消费数据，并在数据库中将所述事件编号对应的事件状态更新为已处理。

7.根据权利要求6所述的一种消息传输系统，其特征在于，所述生产端在将待消费数据和事件编号发送至消息队列之前，还用于在数据库中新增事件数据，所述新增事件数据包括事件编号和事件状态；之后开启事务，在事务中新增待消费数据，并根据所述新增事件数据中的事件编号在数据库中修改对应的事件状态为未发送。

8.根据权利要求6所述的一种消息传输系统，其特征在于，所述生产端还用于在未接收到消息队列返回的接收成功消息时，不更新所述事件编号对应的事件状态。

9.根据权利要求6所述的一种消息传输系统，其特征在于，所述消费端在数据库中将所述事件编号对应的事件状态更新为已接收之后，还用于向消息队列发送确认字符后，删除数据库中的新增事件数据。

10.根据权利要求6所述的一种消息传输系统，其特征在于，所述生产端，还用于定期将数据库的新增事件数据中事件状态为未发送的事件对应的事件编号和待消费数据重发至消息队列；

所述消费端，还用于定期从消息队列中获取事件状态为已发送的事件对应的事件编号和待消费数据。

Images