CN113064950A - 一种数据同步方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据同步方法、装置、设备及存储介质。该方法包括：在监测到来源于消息队列的数据同步事件时，从消息队列中获取数据同步事件对应的待同步数据的数据标识；基于数据标识在第一数据库中进行查询，确定第一数据库中是否存在与数据标识对应的待同步数据；根据确定结果对第二数据库进行操作以将待同步数据同步至第二数据库中，其中操作包括将从第一数据库中查询到的待同步数据写入第二数据库中、或是删除第二数据库中的待同步数据。本发明实施例的技术方案，达到了同一数据在第一数据库和第二数据库中的最终一致性的效果。

Description

一种数据同步方法、装置、设备及存储介质

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据同步方法、装置、设备及存储介质。

背景技术

在电商业务中，同一库存量单位(Stock Keeping Unit，SKU)的库存可以共享给部分物品归属方来共同完成与该SKU对应的物品的权属迁移任务，此时会涉及到给每个物品归属方分配库存比例的需求。据此，用户可以将库存比例配置于电商系统的数据库中。

需要说明的是，该电商系统可以提供多种功能，比如给权属迁移系统提供接口来查询每个物品归属方下的物品的实时库存、库存比例等等，此种情况下的查询条件固定，适合在MySQL中进行查询；再如给用户在显示页面上提供多种查询条件来查询物品库存、库存比例、物品信息等等，此种情况下的查询条件并非固定，适合在ElasticSearch(ES)中进行查询。因此，为了保证在这两个数据库中均能准确查询到库存比例，其需要被同步至这两个数据库中。

在实现本发明的过程中，发明人发现现有技术中存在以下技术问题：现有的数据同步方案不一定能够保证同一数据在两个数据库中的最终一致性。

发明内容

本发明实施例提供了一种数据同步方法、装置、设备及存储介质，以实现同一数据在第一数据库和第二数据库中的最终一致性的效果。

第一方面，本发明实施例提供了一种数据同步方法，可以包括：

在监测到来源于消息队列的数据同步事件时，从消息队列中获取数据同步事件对应的待同步数据的数据标识；

基于数据标识在第一数据库中进行查询，确定第一数据库中是否存在与数据标识对应的待同步数据；

根据确定结果对第二数据库进行操作以将待同步数据同步至第二数据库中，其中操作包括将从第一数据库中查询到的待同步数据写入第二数据库中、或是删除第二数据库中的待同步数据。

第二方面，本发明实施例还提供了一种数据同步装置，可以包括：

数据标识获取模块，用于在监测到来源于消息队列的数据同步事件时，从消息队列中获取数据同步事件对应的待同步数据的数据标识；

待同步数据查询模块，用于基于数据标识在第一数据库中进行查询，确定第一数据库中是否存在与数据标识对应的待同步数据；

待同步数据同步模块，用于根据确定结果对第二数据库进行操作以将待同步数据同步至第二数据库中，其中操作包括将从第一数据库中查询到的待同步数据写入第二数据库中、或是删除第二数据库中的待同步数据。

第三方面，本发明实施例还提供了一种数据同步电子，可以包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例所提供的数据同步方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的数据同步方法。

本发明实施例的技术方案，在监测到来源于消息队列的数据同步事件时，通过从消息队列中获取到的与数据同步事件对应的待同步数据的数据标识，在第一数据库中进行查询来确定第一数据库中是否存在与数据标识对应的待同步数据，由此得到的确定结果是已经对第一数据库进行操作后的最新的数据结果，其可以呈现出待同步数据在第一数据库中的具体状态；进而，为了保证待同步数据在第一数据库中和第二数据库中的最终一致性，可以基于确定结果确定对第二数据库采用何种方式进行操作，即根据确定结果对第二数据库进行操作以将待同步数据同步至第二数据库中，具体的操作可以是将从第一数据库中查询到的待同步数据写入第二数据库中、或删除第二数据库中的待同步数据。上述技术方案，在数据同步过程中，因为不再强依赖于操作类型而达到了同一数据在第一数据库和第二数据库中的最终一致性的效果，并且因为不再依赖于MQ顺序消费而达到了高吞吐的效果，是一种更加灵活、高吞吐的数据同步机制。

附图说明

图1a是一种可选的将操作MySQL和发送MQ进行事务绑定的示意图；

图1b是一种可选的通过操作类型操作ES的示意图；

图2是本发明实施例一中的一种数据同步方法的流程图；

图3是本发明实施例二中的一种数据同步方法的流程图；

图4是本发明实施例三中的一种数据同步方法的流程图；

图5是本发明实施例四中的一种数据同步方法的流程图；

图6a是本发明实施例四中的一种数据同步方法中可选示例的操作MySQL和发送MQ的示意图；

图6b是本发明实施例四中的一种数据同步方法中可选示例的分布式事务补偿机制的示意图；

图6c是本发明实施例四中的一种数据同步方法中可选示例的MQ消费逻辑的示意图；

图7是本发明实施例五中的一种数据同步装置的结构框图；

图8是本发明实施例六中的一种数据同步设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在介绍本发明实施例之前，先对本发明实施例的应用场景进行示例性说明：一种可选的数据同步方案(即将数据双写至MySQL和ES中的方案)是基于BASE理论模型实现的，其含义如下：BA是基本业务可用性(Basic Availability)的简称，即在数据同步服务失效时仍可保障正常提供核心服务；S是柔性状态(Soft state)的简称，数据同步不强要求一致性，数据同步服务不存在锁机制；E是最终一致性(Eventual consistency)的简称，若存在数据同步失败的情况，通过补偿机制保证数据的最终一致性。基于这样的BASE理论模型，一种可选的数据同步方案如下所述：

a)在MySQL中存储用户导入的库存比例，具体来说可以是新增库存比例、修改库存比例、删除库存比例等等。

b)在MQ(消息队列，Message Queue)消息体中记录对应的操作类型，该操作类型可以是新增、修改、删除等等，发送MQ，参见图1a。需要说明的是，图1a中的操作MySQL和发送MQ这两部分是通过事务来执行的，这意味着这两个部分中的任一部分执行失败时，这两个部分均不会被执行。

c)根据MQ消息体中到操作类型，对ES进行相应的操作，如图1b所示。

上述数据同步方案的理论模式是正确的，但是在具体实现过程中存在以下三个技术问题：

技术问题一：MySQL与ES中无法保障数据的最终一致性，不一致的业务场景详细描述如下：

业务场景一：新增和删除

a)请求1，在MySQL中新增数据，数据内容orderId(1000)，order_status(0)。发送MQ1，新增数据到ES中；

b)请求2，删除a)在MySQL中新增的orderId(1000)这条数据。发送MQ2，删除ES中对应的数据；

c)MQ1新增数据到ES时发生重试，MQ1消费时间晚于MQ2；

最终结果：MySQL中没有这条数据，而ES中存在这条数据。

业务场景二：修改

a)请求1，在MySQL中修改数据，数据内容：orderId(1001)，order_status(1)。发送MQ1，修改ES中的数据；

b)请求2，在MySQL中修改数据，数据内容：orderId(1001)，order_status(2)。发送MQ2，修改ES中的数据；

c)MQ1发生重试，其消费时间晚于MQ2；

最终结果：MySQL中数据结果order_status(2)，而ES中数据结果order_status(1)。

业务场景三：新增和修改

a)请求1，在MySQL中新增数据，数据内容：orderId(1002)，order_status(1)。发送MQ1，新增数据到ES中；

b)请求2，在MySQL中修改数据，数据内容：orderId(1002)，order_status(2)。发送MQ2，修改ES数据；

c)MQ1发生重试，其消费时间晚于MQ2；

最终结果：MySQL中数据结果order_status(2)，而ES中数据结果order_status(1)。

技术问题二：当数据同步服务发生异常时，无法保障BA理论，没有做到服务间解耦，这会直接影响核心业务的正常运转。

技术问题三：无法监控MySQL与ES中的数据差异。

在此基础上，发明人对现有技术进行了充分研究，提出了下述各实施例中阐述的数据同步方法来依次解决上述各技术问题。

实施例一

图2是本发明实施例一中提供的一种数据同步方法的流程图。本实施例可适用于保证待同步数据在第一数据库和第二数据库中的最终一致性的情况。该方法可以由本发明实施例提供的数据同步装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在数据同步设备上，该设备可以是各种用户终端或服务器。

参见图2，本发明实施例的方法具体包括如下步骤：

S110、在监测到来源于消息队列的数据同步事件时，从消息队列中获取数据同步事件对应的待同步数据的数据标识。

其中，数据同步事件可以是经由消息队列(Message Queue，MQ)触发的用于实现与某数据标识对应的待同步数据在第一数据库和第二数据库中的最终一致性的事件，比如MQ在接收到某待同步数据的数据标识时触发的事件，该数据标识可以是该待同步数据的唯一标识，换言之，该待同步数据可以是与该数据标识唯一对应的数据，结合到本发明实施例可能涉及到的应用场景，该待同步数据可以是第一数据库中与该数据标识对应的已被操作过的待同步至第二数据库中的数据，可以是第二数据库中与该数据标识对应的待进行操作的数据，也可以是对第一数据库进行操作时的期望的数据操作结果，等，在此未做具体限定；上述操作可以是新增、修改、删除等等；第一数据库和第二数据库可以是部署在相同或是不同的服务器中的类型相同或是不同的数据库，如MySQL、ES、Oracle、SQL Server等等，示例性的，第一数据库可以是MySQL并且第二数据库可以是ES。在此基础上，在监测到该数据同步事件时，可以获取到与其对应的待同步数据的数据标识。

S120、基于数据标识在第一数据库中进行查询，确定第一数据库中是否存在与数据标识对应的待同步数据。

其中，目前从MQ中获取到的只有数据标识，基于该数据标识在第二数据库中只能查询到与其对应的待进行操作的待同步数据，但是无法确定需要对该待同步数据进行何种操作。为此，可以先基于该数据标识在第一数据库中进行查询确定其中是否存在与该数据标识对应的已进行过操作的待同步数据，而且不同的查询结果往往意味着不同的操作类型，比如第一数据库中未存在相应的待同步数据时，这说明先前对第一数据库中与该数据标识对应的待进行操作的待同步数据进行的操作是写入，具体来说可以是新增或是修改；反之，这说明先前对第一数据库进行的操作是删除，此时未查询到的待同步数据也可以理解为查询到的是内容为空的待同步数据。

需要说明的是，无论操作第一数据库和发送MQ这两部分是通过事物绑定执行的或是先后执行的，在基于数据标识对第一数据库进行查询后得到的查询结果必然是已经对第一数据库进行操作后的结果，即此时查询到的或未查询到的待同步数据必然是最新(即当前时刻下)的待同步数据。在此基础上，即使MQ因为发生重试而使得MQ接收到数据标识的时序性和将数据标识发送给MQ的时序性存在差异，比如先发送给MQ的数据标识后被MQ接收到了，而后发送给MQ的数据标识先被MQ接收到了，但是由于MQ接收到数据标识后会先去第一数据库中进行查询，因此即使消费顺序性无法得到保证，此时从第一数据库中查询到的待同步数据也是最新的待同步数据，这是与同一数据标识对应的数据在第一数据库和第二数据库中的最终一致性的有效保证，而且避免出现了因为必须保证消费顺序而导致的吞吐量不高的情况。

S130、根据确定结果对第二数据库进行操作以将待同步数据同步至第二数据库中，其中操作包括将从第一数据库中查询到的待同步数据写入第二数据库中、或是删除第二数据库中的待同步数据。

其中，确定结果可以是第一数据库中存在与数据标识对应的待同步数据、或是未存在与数据标识对应的待同步数据，基于不同的确定结果可以采用不同的操作方式对第二数据库中与该数据标识对应的待同步数据进行操作。示例性，如果确定结果为存在，则可以将从第一数据库中查询到的待同步数据写入第二数据库中；否则，这说明先前已经对第一数据库中与该数据标识对应的待同步数据进行删除，那么此时也可以删除第二数据库中相应的待同步数据。需要说明的是，正如上文所述，由于从第一数据库中查询到的待同步数据必然是最新的待同步数据，那么在将这样的待同步数据同步至第二数据库时，有效保证了同一数据在第一数据库中和第二数据库中的最终一致性，即达到了将同一数据双写至第一数据库和第二数据库后，其在两个数据库中的最终一致性的效果。

本发明实施例的技术方案，在监测到来源于消息队列的数据同步事件时，通过从消息队列中获取到的与数据同步事件对应的待同步数据的数据标识，在第一数据库中进行查询来确定第一数据库中是否存在与数据标识对应的待同步数据，由此得到的确定结果是已经对第一数据库进行操作后的最新的数据结果，其可以呈现出待同步数据在第一数据库中的具体状态；进而，为了保证待同步数据在第一数据库中和第二数据库中的最终一致性，可以基于确定结果确定对第二数据库采用何种方式进行操作，即根据确定结果对第二数据库进行操作以将待同步数据同步至第二数据库中，具体的操作可以是将从第一数据库中查询到的待同步数据写入第二数据库中、或删除第二数据库中的待同步数据。上述技术方案，在数据同步过程中，因为不再强依赖于操作类型而达到了同一数据在第一数据库和第二数据库中的最终一致性的效果，并且因为不再依赖于MQ顺序消费而达到了高吞吐的效果，是一种更加灵活、高吞吐的数据同步机制。

在此基础上，一种可选的技术方案，操作包括将从第一数据库中查询到的待同步数据写入第二数据库中，根据确定结果对第二数据库进行操作，可包括：若确定结果包括第一数据库中存在与数据标识对应的待同步数据，则基于数据标识在第二数据库中进行查询；若第二数据库中存在与数据标识对应的待同步数据，则基于从第一数据库中查询到的待同步数据对从第二数据库中查询到的待同步数据进行修改；和/或，若第二数据库中未存在与数据标识对应的待同步数据，则将从第一数据库中查询到的待同步数据新增至第二数据库。上述技术方案，在对第二数据库进行操作时，可以基于待同步数据在第一数据库和第二数据库中的具体状态采用不同的方式进行操作，由此有效保证了待同步数据在第一数据库和第二数据库中的最终一致性。

实施例二

图3是本发明实施例二中提供的一种数据同步方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，在根据确定结果对第二数据库进行操作以将待同步数据同步至第二数据库中之后，上述数据同步方法，还可以包括：若未接收到来源于第二数据库的操作成功标识，则增加第一数据库中与数据标识对应的数据抓取时间；和/或，若接收到来源于第二数据库的操作成功标识，则将第一数据库中与数据标识对应的数据同步状态调整为已同步状态。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。

参见图3，本实施例的方法具体可以包括如下步骤：

S210、在监测到来源于消息队列的数据同步事件时，从消息队列中获取数据同步事件对应的待同步数据的数据标识。

S220、基于数据标识在第一数据库中进行查询，确定第一数据库中是否存在与数据标识对应的待同步数据。

S230、根据确定结果对第二数据库进行操作以将待同步数据同步至第二数据库中，其中操作包括将从第一数据库中查询到的待同步数据写入第二数据库中、或是删除第二数据库中的待同步数据。

S240、若未接收到来源于第二数据库的操作成功标识，则增加第一数据库中与数据标识对应的数据抓取时间；和/或若接收到来源于第二数据库的操作成功标识，则将第一数据库中与数据标识对应的数据同步状态调整为已同步状态。

其中，在根据确定结果对第二数据库进行操作时，可能存在操作成功或是操作失败这两种情况，不同的情况可以采用不同的方式进行进一步处理，以便从多个角度保证数据的最终一致性。具体的，在对第二数据库进行操作且操作成功后，第二数据库可以反馈一个操作成功标识，因此如果接收到来源于第二数据库的操作成功标识，可以将第一数据库中与数据标识对应的数据同步状态调整为已同步状态，而数据同步状态为已同步状态的待同步数据可以理解为是已经同步至第二数据库中的无需再被抓取后同步的已同步数据；当然，如果未接收到来源于第二数据库的操作成功标识，这说明在操作第二数据库时发生了异常，数据同步失败，此时可以增加第一数据库中与数据标识对应的数据抓取时间(catch_time)，即在当前的数据抓取时间的基础上进行增加，该数据抓取时间可以表示出在何时对与该数据标识对应的待同步数据再次进行抓取，结合本发明实施例可能涉及到的应用场景，该当前的数据抓取时间可以为空，这是因为此次的数据同步失败是第一次发生，可以将该当前的数据抓取时间设置为当前时间(now())；其还可以为当前时间，这是因为此次的数据同步失败并非是第一次发生，此次的数据同步正是在当前时间大于等于数据抓取时间时再次进行的数据同步。

本发明实施例的技术方案，通过是否接收到来源于第二数据库的操作成功标识可以确定在对第二数据库进行操作时是否发生异常，即数据同步是否成功，若否则可以增加第一数据库中与数据标识对应的数据抓取时间，以便后续再次对与该数据标识对应的待同步数据进行抓取后同步；和/或，若是则可以将第一数据库中与该数据标识对应的数据同步状态调整为已同步状态，以便后续不再对与该数据标识对应的待同步数据(此时可称为已同步数据)进行抓取后同步，由此达到了从多方面保证数据的最终一致性的效果。

在此基础上，一种可选的技术方案，增加第一数据库中与数据标识对应的数据抓取时间，可以包括：确定与数据标识对应的待同步数据的同步失败次数，并根据同步失败次数增加第一数据库中与数据标识对应的数据抓取时间。其中，由于对第二数据库中与数据标识对应的待同步数据进行操作时发生的异常可能是偶然发生的异常，也可能是经常性发生的异常，那么为了保证后续抓取到的待同步数据是那些偶然发生异常的数据，而不是那些经常性发生异常的数据，可以根据同步失败次数设置相应的数据抓取时间，由此避免了那些经常性发生异常的数据一直被抓取到，然而那些偶然发生异常的数据无法被抓取到的情况出现，保证了那些能够被同步的待同步数据的最终一致性。示例性的，若同步失败次数是M，则可以在当前的数据抓取时间的基础上增加M*N秒，由此可降低那些真正异常的无法被同步的待同步数据的抓取频率。

实施例三

图4是本发明实施例三中提供的一种数据同步方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，在在监测到来源于消息队列的数据同步事件时之前，上述数据同步方法，还可包括：从第一数据库中查询得到待补偿数据，其中待补偿数据包括数据抓取时间小于等于当前时间且数据同步状态是未同步状态的待同步数据；将待补偿数据的数据标识发送给消息队列，以使消息队列触发数据同步事件。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。

参见图4，本实施例的方法具体可以包括如下步骤：

S310、从第一数据库中查询得到待补偿数据，并将待补偿数据的数据标识发送给消息队列，以使消息队列触发数据同步事件，其中待补偿数据包括数据抓取时间小于等于当前时间且数据同步状态是未同步状态的待同步数据。

其中，在发送MQ和/或操作第二数据库的过程中都有可能发生异常，这均会导致已经写入第一数据库中的待同步数据无法成功写入第二数据库中的情况出现。据此，可以采用分布式事务补偿机制来对这些因为发生异常而导致数据同步失败的待同步数据进行补偿。具体的，对第一数据库进行查询，确定第一数据库中是否存在数据抓取时间小于等于当前时间并且数据同步状态是未同步状态的待同步数据，需要说明的是，数据同步状态是未同步状态的待同步数据是还未同步到第二数据库中的数据，且数据抓取时间小于等于当前时间是可以进行抓取的数据，这样的待补偿数据是可以在当前时间进行抓取后同步到第二数据库中的待同步数据。进而，将该待补偿数据的数据标识发送给MQ，以便经由MQ触发消息同步事件来进行数据同步。

S320、在监测到来源于消息队列的数据同步事件时，从消息队列中获取数据同步事件对应的待同步数据的数据标识。

S330、基于数据标识在第一数据库中进行查询，确定第一数据库中是否存在与数据标识对应的待同步数据。

S340、根据确定结果对第二数据库进行操作以将待同步数据同步至第二数据库中，其中操作包括将从第一数据库中查询到的待同步数据写入第二数据库中、或是删除第二数据库中的待同步数据。

本发明实施例的技术方案，通过在第一数据库中进行查询来得到那些因为发生异常而未同步到第二数据库中(即数据同步状态是未同步状态)的且数据抓取时间小于等于当前时间的待补偿数据，并将待补偿数据的数据标识发送给MQ以使MQ触发相应的数据同步事件进行数据同步，由此达到了对那些因为发生异常而数据同步失败的待同步数据再次进行数据同步的效果。

在上述任一技术方案的基础上，可选的，上述数据同步方法，还可以包括：从第一数据库中查询得到异常数据，其中异常数据包括同步失败次数大于等于预设次数阈值且数据同步状态是未同步状态的待同步数据；若异常数据的数据数量大于等于预设数量阈值，则发送异常报警提示。上述技术方案，通过数据同步状态可以确定第一数据库中的哪些数据是未同步到第二数据库中的待同步数据，对这些待同步数据进行实时监控，并且在其中的同步失败次数超过预设次数阈值的异常数据的数据数量超过预设数量阈值时发送异常报警提示，由此使得线上服务运维人员在两个数据库中出现大规模的数据差异时能够及时收到异常报警提示，是一种更加安全的数据同步机制。

实施例四

图5是本发明实施例四中提供的一种数据同步方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，在在监测到来源于消息队列的数据同步事件时之前，上述数据同步方法，还可以包括：在监测到针对第一数据库的数据操作事件时，基于数据操作事件对应的数据标识和待同步数据对第一数据库进行操作，其中待同步数据的数据同步状态为未同步状态；若接收到来源于第一数据库的操作成功标识，则将数据标识发送给消息队列，以使消息队列触发数据同步事件；和/或，若未接收到来源于第一数据库的操作成功标识，则退出。与上述各实施例相同或相应的术语的解释在此不再赘述。

参见图5，本实施例的方法具体可以包括如下步骤：

S410、在监测到针对第一数据库的数据操作事件时，基于数据操作事件对应的数据标识和待同步数据对第一数据库进行操作，其中待同步数据的数据同步状态为未同步状态。

其中，数据操作事件是用于对第一数据库中的与数据标识对应的未被操作的待同步数据进行操作的事件，在监测到该数据操作事件时，获取与其对应的数据标识和待同步数据，该数据标识可以表示出需要对第一数据库中的哪个未被操作的待同步数据进行操作，该待同步数据可以是本次期望的数据操作结果。考虑本发明实施例可能涉及到的应用场景，基于数据标识和待同步数据对第一数据库进行操作的实现方式有多种，比如第一数据库中未存在与数据标识对应的未被操作的待同步数据，即第一数据库中存在的与数据标识对应的未被操作的待同步数据的内容为空，则可以将与数据标识对应的待同步数据(即期望的数据操作结果)新增到第一数据库中；再如第一数据库中存在与数据标识对应的未被操作的待同步数据且待同步数据(即期望的数据操作结果)的内容为空，则可以删除第一数据库中与数据标识对应的未被操作的待同步数据；再如第一数据库中存在与数据标识对应的未被操作的待同步数据且待同步数据(即期望的数据操作结果)的内容非空，则可以将第一数据库中与数据标识对应的未被操作的待同步数据修改为待同步数据(即期望的数据操作结果)；等，在此未做具体限定。另，在对第一数据库进行操作时，还可以将待同步数据的数据同步状态设置为未同步状态，即将待同步数据的未同步状态写入第一数据库中。

S420、若接收到来源于第一数据库的操作成功标识，则将数据标识发送给消息队列，以使消息队列触发数据同步事件；和/或若未接收到来源于第一数据库的操作成功标识，则退出。

其中，在对第一数据库进行操作时，可能存在操作成功或是操作失败两种情况，不同的情况可以采用不同的方式进行进一步处理，以实现操作第一数据库和发送MQ间的服务解耦的效果。具体的，在对第一数据库进行操作且操作成功后，第一数据库可以反馈一个操作成功标识，因此如果接收到来源于第一数据库的操作成功标识，可以将第一数据库中刚被操作过的待同步数据的数据标识发送给MQ，以使MQ根据该数据标识触发数据同步事件来将待同步数据同步到第二数据库中；当然，如果未接收到来源于第一数据库的操作成功标识，这说明在操作第一数据库时发生了异常，即第一数据库中与数据标识对应的未被操作的待同步数据未出现任何变化，此时因为未存在需要同步的待同步数据而可以直接退出，无需进行任何操作。这样一来，由于操作第一数据库和发送MQ具有先后执行关系，且只有当第一数据库操作成功后，才会发送MQ，这意味着无论发送MQ是否成功，均不会对操作第一数据库造成任何影响，操作第一数据库和发送MQ之间的服务解耦实现了核心业务服务不会受到数据同步服务的影响的效果。

S430、在监测到来源于消息队列的数据同步事件时，从消息队列中获取数据同步事件对应的待同步数据的数据标识。

S440、基于数据标识在第一数据库中进行查询，确定第一数据库中是否存在与数据标识对应的待同步数据。

S450、根据确定结果对第二数据库进行操作以将待同步数据同步至第二数据库中，其中操作包括将从第一数据库中查询到的待同步数据写入第二数据库中、或是删除第二数据库中的待同步数据。

本发明实施例的技术方案，在监测到针对第一数据库的数据操作事件时，通过数据操作事件对应的数据标识和数据同步状态为未同步状态的待同步数据对第一数据库进行操作，并且在对第一数据库操作成功后将数据标识发送给MQ来使MQ触发数据同步事件，和/或在对第一数据库操作失败后退出，操作第一数据库和发送MQ之间的服务解耦实现了核心业务服务不会受到数据同步服务的影响的效果。

为了更好地理解上述步骤的具体实现过程，下面结合具体示例，对各实施例中的数据同步方法进行示例性的说明。示例性的，参见图6a-图6c，在此以第一数据库为MySQL且第二数据库为ES为例进行说明。

(1)操作MySQL+发送MQ同步ES，如图6a所示：

a)操作MySQL(写入、修改、删除)失败，流程直接结束，不会发送MQ同步ES，MySQL与ES数据一致；

b)操作MySQL的待同步数据会携带未同步到ES中的数据同步状态，其作用是：在操作MySQL成功且发送MQ失败时，可以被分布式事务补偿机制(worker)抓取到，由此保证了MySQL与ES中的数据的最终一致性，并且解决了操作MySQL与发送MQ间的服务依赖问题，发送MQ的失败不会影响到核心业务。

(2)分布式事务补偿机制，如图6b所示：

a)查询MySQL数据库，获取待同步ES的数据集，查询条件如下：

条件一，数据抓取时间catch_time≤当前时间now()

条件二，数据同步状态(未同步到ES中)：sync_status＝0

条件三，抓取条数：limit#{catch_nums}；

b)为了保证MQ消费流程的统一，将查询得到的每条待同步数据的数据标识(orderId)发送一次MQ。

(3)MQ消费逻辑，同步ES，如图6c所示：

a)查询MySQL，根据MySQL中查询到的最新的待同步数据对ES执行相应操作，其目的是：MQ消费逻辑不再依赖于操作类型和MQ消费消费的顺序性，让MQ的定位变成数据同步的作用，而不是单纯地操作ES的作用；

b)操作ES发生异常时，增加MySQL中与本次异常相应的数据标识对应的catch_time，其目的是：区分各个待补偿数据的数据抓取时间，避免某些无法被同步的待补偿数据一直被抓取到，而那些可被同步的待补偿数据无法被抓取到，导致MQ一直无法处理那些可被同步的待补偿数据，分布式事务补偿机制失效。

(4)监控作用

可以实时对MySQL中的数据进行监控，基于查询条件如sync_status＝0、同步失败次数等等确定MySQL中是否存在异常数据，并且在异常数据的数据数量达到预设数量阈值时自动报警。

实施例五

图7为本发明实施例五提供的数据同步装置的结构框图，该装置用于执行上述任意实施例所提供的数据同步方法。该装置与上述各实施例的数据同步方法属于同一个发明构思，在数据同步装置的实施例中未详尽描述的细节内容，可以参考上述数据同步方法的实施例。参见图7，该装置具体可以包括：数据标识获取模块510、待同步数据查询模块520和待同步数据同步模块530。

其中，数据标识获取模块510，用于在监测到来源于消息队列的数据同步事件时，从消息队列中获取数据同步事件对应的待同步数据的数据标识；

待同步数据查询模块520，用于基于数据标识在第一数据库中进行查询，确定第一数据库中是否存在与数据标识对应的待同步数据；

待同步数据同步模块530，用于根据确定结果对第二数据库进行操作以将待同步数据同步至第二数据库中，其中操作包括将从第一数据库中查询到的待同步数据写入第二数据库中、或是删除第二数据库中的待同步数据。

可选的，操作包括将从第一数据库中查询到的待同步数据写入第二数据库，待同步数据同步模块530，具体可以包括：

数据标识查询单元，用于若确定结果包括第一数据库中存在与数据标识对应的待同步数据，则基于数据标识在第二数据库中进行查询；数据修改单元，用于若第二数据库中存在与数据标识对应的待同步数据，则基于从第一数据库中查询到的待同步数据对从第二数据库中查询到的待同步数据进行修改；和/或，数据新增单元，用于若第二数据库中未存在与数据标识对应的待同步数据，则将从第一数据库中查询到的待同步数据新增至第二数据库中。

可选的，上述数据同步装置，还可以包括：

数据抓取时间增加模块，用于在根据确定结果对第二数据库进行操作以将待同步数据同步至第二数据库中之后，若未接收到来源于第二数据库的操作成功标识，则增加第一数据库中与数据标识对应的数据抓取时间；和/或，

数据同步状态调整模块，用于在根据确定结果对第二数据库进行操作以将待同步数据同步至第二数据库中之后，若接收到来源于第二数据库的操作成功标识，则将第一数据库中与数据标识对应的数据同步状态调整为已同步状态。

在此基础上，可选的，数据抓取时间增加模块，具体可以包括：

数据抓取时间增加单元，用于确定数据标识对应的待同步数据的同步失败次数，并根据同步失败次数增加第一数据库中与数据标识对应的数据抓取时间。

可选的，上述数据同步装置，还可以包括：

待补偿数据得到模块，用于在在监测到来源于消息队列的数据同步事件时之前，从第一数据库中查询得到待补偿数据，其中，待补偿数据包括数据抓取时间小于等于当前时间且数据同步状态是未同步状态的待同步数据；

第一数据标识发送模块，用于将待补偿数据的数据标识发送给消息队列，以使消息队列触发数据同步事件。

可选的，上述数据同步装置，还可以包括：异常数据得到模块，用于从第一数据库中查询得到异常数据，其中异常数据包括同步失败次数大于等于预设次数阈值且数据同步状态是未同步状态的待同步数据；异常报警提示发送模块，用于若异常数据的数据数量大于等于预设数量阈值，则发送异常报警提示。

可选的，上述数据同步装置，还可以包括：

数据库操作模块，用于在在监测到来源于消息队列的数据同步事件时之前，在监测到针对第一数据库的数据操作事件时，基于数据操作事件对应的数据标识和待同步数据对第一数据库进行操作，其中待同步数据的数据同步状态为未同步状态；第二数据标识发送模块，用于若接收到来源于第一数据库的操作成功标识，则将数据标识发送给消息队列，以使消息队列触发数据同步事件；和/或，退出模块，用于若未接收到来源于第一数据库的操作成功标识，则退出。

本发明实施例五提供的数据同步装置，通过数据标识获取模块和待同步数据查询模块相互配合，在监测到来源于消息队列的数据同步事件时，可以从该消息队列中获取到的与数据同步事件对应的待同步数据的数据标识，并在第一数据库中进行查询来确定第一数据库中是否存在与数据标识对应的待同步数据，由此得到的确定结果是已对第一数据库进行操作后的最新的数据结果，其可以呈现出待同步数据在第一数据库中的具体状态；进而，为了保证待同步数据在第一数据库中和第二数据库中的最终一致性，通过待同步数据同步模块基于确定结果确定对第二数据库采用何种方式进行操作，即根据确定结果对第二数据库进行操作以将待同步数据同步至第二数据库中，具体的操作可以是将从第一数据库中查询到的待同步数据写入第二数据库中、或是删除第二数据库中的待同步数据。上述装置，在数据同步过程中，因为不再强依赖于操作类型而达到了同一数据在第一数据库和第二数据库中的最终一致性的效果，并且因为不再依赖于MQ顺序消费而达到了高吞吐的效果，是一种更加灵活、高吞吐的数据同步机制。

本发明实施例所提供的数据同步装置可执行本发明任意实施例所提供的数据同步方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，上述数据同步装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例六

图8为本发明实施例六提供的一种数据同步的结构示意图，如图8所示，该数据同步包括存储器610、处理器620、输入装置630和输出装置640。数据同步中的处理器620的数量可以是一个或多个，图8中以一个处理器620为例；数据同步中的存储器610、处理器620、输入装置630和输出装置640可以通过总线或其它方式连接，图8中以通过总线650连接为例。

存储器610作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据同步方法对应的程序指令/模块(例如，数据同步装置中的数据标识获取模块510、待同步数据查询模块520和待同步数据同步模块530)。处理器620通过运行存储在存储器610中的软件程序、指令以及模块，从而执行数据同步的各种功能应用以及数据处理，即实现上述的数据同步方法。

存储器610可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据数据同步的使用所创建的数据等。此外，存储器610可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器610可进一步包括相对于处理器620远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置630可用于接收输入的数字或字符信息，以及产生与装置的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。

实施例七

本发明实施例七提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种数据同步方法，该方法包括：

在监测到来源于消息队列的数据同步事件时，从消息队列中获取数据同步事件对应的待同步数据的数据标识；基于数据标识在第一数据库中进行查询，确定第一数据库中是否存在与数据标识对应的待同步数据；根据确定结果对第二数据库进行操作以将待同步数据同步至第二数据库中，其中操作包括将从第一数据库中查询到的待同步数据写入第二数据库中、或是删除第二数据库中的待同步数据。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的数据同步方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。依据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据同步方法，其特征在于，包括：

在监测到来源于消息队列的数据同步事件时，从所述消息队列中获取所述数据同步事件对应的待同步数据的数据标识；

基于所述数据标识在第一数据库中进行查询，确定所述第一数据库中是否存在与所述数据标识对应的所述待同步数据；

根据确定结果对第二数据库进行操作以将所述待同步数据同步至所述第二数据库中，其中所述操作包括将从所述第一数据库中查询到的所述待同步数据写入所述第二数据库中、或是删除所述第二数据库中的所述待同步数据。

2.根据权利要求1所述的方法，其特征在于，所述操作包括所述将从所述第一数据库中查询到的所述待同步数据写入所述第二数据库中，所述根据确定结果对第二数据库进行操作，包括：

若确定结果包括所述第一数据库中存在与所述数据标识对应的所述待同步数据，则基于所述数据标识在第二数据库中进行查询；

若所述第二数据库中存在与所述数据标识对应的所述待同步数据，则基于从所述第一数据库中查询到的所述待同步数据对从所述第二数据库中查询到的所述待同步数据进行修改；和/或，

若所述第二数据库中未存在与所述数据标识对应的所述待同步数据，则将从所述第一数据库中查询到的所述待同步数据新增至所述第二数据库中。

3.根据权利要求1所述的方法，其特征在于，在所述根据确定结果对第二数据库进行操作以将所述待同步数据同步至所述第二数据库中之后，还包括：

若未接收到来源于所述第二数据库的操作成功标识，则增加所述第一数据库中与所述数据标识对应的数据抓取时间；和/或，

若接收到所述来源于所述第二数据库的操作成功标识，则将所述第一数据库中与所述数据标识对应的数据同步状态调整为已同步状态。

4.根据权利要求3所述的方法，其特征在于，所述增加所述第一数据库中与所述数据标识对应的数据抓取时间，包括：

确定与所述数据标识对应的所述待同步数据的同步失败次数，并根据所述同步失败次数增加所述第一数据库中与所述数据标识对应的数据抓取时间。

5.根据权利要求1所述的方法，其特征在于，在所述在监测到来源于消息队列的数据同步事件时之前，还包括：

从所述第一数据库中查询得到待补偿数据，其中所述待补偿数据包括数据抓取时间小于等于当前时间且数据同步状态是未同步状态的所述待同步数据；

将所述待补偿数据的所述数据标识发送给所述消息队列，以使所述消息队列触发所述数据同步事件。

6.根据权利要求1所述的方法，其特征在于，还包括：

从所述第一数据库中查询得到异常数据，其中所述异常数据包括同步失败次数大于等于预设次数阈值且数据同步状态是未同步状态的所述待同步数据；

若所述异常数据的数据数量大于等于预设数量阈值，则发送异常报警提示。

7.根据权利要求1所述的方法，其特征在于，在所述在监测到来源于消息队列的数据同步事件时之前，还包括：

在监测到针对所述第一数据库的数据操作事件时，基于所述数据操作事件对应的所述数据标识和所述待同步数据对所述第一数据库进行操作，其中所述待同步数据的数据同步状态为未同步状态；

若接收到来源于所述第一数据库的操作成功标识，则将所述数据标识发送给所述消息队列，以使所述消息队列触发所述数据同步事件；和/或，

若未接收到所述来源于所述第一数据库的操作成功标识，则退出。

8.一种数据同步装置，其特征在于，包括：

数据标识获取模块，用于在监测到来源于消息队列的数据同步事件时，从所述消息队列中获取所述数据同步事件对应的待同步数据的数据标识；

待同步数据查询模块，用于基于所述数据标识在第一数据库中进行查询，确定所述第一数据库中是否存在与所述数据标识对应的所述待同步数据；

待同步数据同步模块，用于根据确定结果对第二数据库进行操作以将所述待同步数据同步至所述第二数据库中，其中所述操作包括将从所述第一数据库中查询到的所述待同步数据写入所述第二数据库中、或是删除所述第二数据库中的所述待同步数据。

9.一种数据同步设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的数据同步方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的数据同步方法。

Images