CN102843395B - 一种数据同步方法及装置 - Google Patents

Abstract

本申请公开了一种数据的同步方法，每一数据中心中设置数据表集合以及备份文件，该方法还包括：第一数据中心确定进行数据的写入时，向第一数据中心本地的数据表集合中第一数据中心对应的数据表写入所述数据，并且，将被写入的所述数据同时写入第一数据中心本地的备份文件中；当同步时刻到来时，将所述备份文件发送到其他数据中心，以便其他数据中心根据所述备份文件更新所述其他数据中心本地的数据表集合。本申请同时公开了一种数据同步装置，该方法及装置能够解决由于数据的同步和删除无序进行所导致的同步数据丢失问题。

Description

一种数据同步方法及装置

技术领域

本申请涉及数据处理技术，尤其涉及一种数据同步方法及装置。

背景技术

在一些电子商务网站的效果付费(P4P，Pay For Performance)系统中，是按照效果来付费的，也即在进行广告的收费时，只有用户点击了广告才会进行该广告的扣费。

在现有的P4P系统中，国外用户的广告点击数据一般由设置于国外例如美国的国外数据中心来进行处理，而设置于国内的国内数据中心则主要处理用户和客服人员对于广告商家的账户操作数据，例如修改广告商家的账户金额等。

P4P系统内部维护有各个广告在P4P系统中的位置信息。对于每一广告，不管是国外用户对该广告的点击所引起的对于该广告的扣费数据，还是广告商家修改金额引起的账户变化等账户操作数据，都会导致该广告在P4P系统中的位置发生变化，该位置的变化可以理解为广告在P4P系统中的排名，或者广告在P4P系统中是否可见等。

由于P4P系统中存在设置于不同物理位置的国外数据中心和国内数据中心，而广告的位置变化情况要求两数据中心必须一致。这样，就要求国外数据中心的扣费数据能够同步到国内数据中心，而国内数据中心的账户操作数据能够同步到国外数据中心。而两个数据中心在处理完数据后就要删除被处理的数据，以避免重复操作，影响广告在P4P系统中的位置。

在现有的P4P系统中，进行国外数据中心和国内数据中心之间扣费数据以及账户操作数据等广告位置相关数据的同步时，在国外数据中心和国内数据中心中各设置有1张数据表，用于进行广告位置相关数据的管理，而国外数据中心和国内数据中心中的两张数据表之间需要保证数据的同步，以便国外数据中心和国内数据中心能够读取到相同的数据，进行P4P系统中各个广告位置的计算。也即是说：国外数据中心的第一数据表中增加了一条关于某一广告的扣费数据的记录时，需要将增加的这条记录同步到国外数据中心的第二数据表中，以便国内数据中心也能读取到该条记录，从而使得两数据中心中计算得到的各个广告在P4P系统中的位置一致。

具体的，国外数据中心和国内数据中心之间广告位置相关数据的同步方法包括：预设同步周期，在同步周期指示的每个同步时刻到来时，国外数据中心和国内数据中心之间相互将本地的数据表发送给对端数据中心，以便对端数据中心根据接收到的数据表进行本地数据表的更新。

但是，在以上的数据同步方法中，存在以下的情况发生的可能：国外数据中心在本地的第一数据表中写入了一条关于某一广告的扣费数据的记录，而在下一个同步时刻到来之前，国外数据中心读取并对该条记录进行了处理，这时，国外数据中心将在本地的第一数据表中删除该条记录，以防止本地对该条记录进行重复处理，导致对应广告的位置产生偏差；但是在国外数据中心删除该条记录之前，国外数据中心和国内数据中心之间并未进行数据表的同步，因此，在下一个同步时刻到来时，国内数据中心将无法从国外数据中心获取到该条记录的数据。也即是说，在现有技术中，由于广告位置相关数据的同步和删除是无序进行的，如果出现广告位置相关数据的写入和删除操作均在数据同步之前进行的话，则会出现被写入和删除的上述数据在另一需要同步的数据中心无法读取的情况，造成需要同步的广告位置相关数据的丢失，进而造成国外数据中心和国内数据中心中广告位置的不一致。以上仅仅是以P4P系统中被推荐位置相关数据的同步为例进行说明，而现有技术中多个数据中心之间进行数据同步时的均会遇到各种数据的同步和删除是无序进行的情况，从而导致在一个数据中心被写入和删除的数据在另一需要同步的数据中心无法读取的情况，造成需要同步的数据的丢失。

发明内容

有鉴于此，本申请要解决的技术问题是，提供一种数据同步方法及装置，能够解决由于数据的同步和删除无序进行所导致的同步数据丢失问题。

为此，本申请实施例采用如下技术方案：

本申请实施例提供一种数据的同步方法，每一数据中心中设置数据表集合以及备份文件，该方法还包括：

第一数据中心确定进行数据的写入时，向第一数据中心本地的数据表集合中第一数据中心对应的数据表写入所述数据，并且，将被写入的所述数据同时写入第一数据中心本地的备份文件中；

当同步时刻到来时，将所述备份文件发送到其他数据中心，以便其他数据中心根据所述备份文件更新所述其他数据中心本地的数据表集合。

本申请实施例还提供一种数据同步装置，包括：

写入单元，用于确定进行数据的写入时，向自身所属数据中心本地的数据表集合中自身所属数据中心对应的数据表写入所述数据，并且，将被写入的数据同时写入自身所属数据中心本地的备份文件中；

同步单元，用于当同步时刻到来时，将所述备份文件发送到其他数据中心，以便其他数据中心根据所述备份文件更新所述其他数据中心本地的数据表集合；

存储单元，用于存储自身所属数据中心中设置的数据表集合以及备份文件。

对于上述技术方案的技术效果分析如下：

第一数据中心确定进行数据的写入时，同时在第一数据中心对应的数据表以及备份文件中写入该信息；当同步周期确定的同步时刻到来时，将所述备份文件发送到预设的其他数据中心，以便其他数据中心根据所述备份文件更新所述其他数据中心本地的数据表集合，从而当数据中心从本地的数据表集合中读取并删除某一数据时，备份文件中的数据并未受到影响，从而即使数据中心在同步之前进行了本地数据表集合中某些数据的写入和删除，也不会出现现有技术中指出的同步数据丢失的问题。

附图说明

图1a为本申请实施例所适用网络环境举例；

图1为本申请实施例一种数据同步方法流程示意图；

图2为本申请实施例另一种数据同步方法流程示意图；

图3为本申请实施例一种数据同步装置结构示意图。

具体实施方式

以下，结合附图详细说明本申请实施例数据同步方法及装置的实现。

首先，介绍本申请实施例数据同步方法及装置可以适用的网络环境，其中可以包括：至少两个数据中心，每一数据中心中均进行相同或者不同的数据的处理；并且，需要将自身获取到的数据同步到其他的数据中心。

在图1a所示的网络环境举例中，包括数据中心A、数据中心B以及数据中心C共三个数据中心，两两之间相互连接，以进行同步数据的交互。

本申请实施例出于理解的方便，将以被推荐数据的相关位置数据为例来作为各数据中心之间同步的数据，当然本申请对各数据中心之间同步的数据本身是什么并不作限定。其中，所述被推荐数据可以为广告，也可以为网络交易平台中的产品等。

当被推荐数据为广告时，所述位置相关数据可以为：用户点击引起的广告扣费数据；或者，广告对应账户的账户操作数据等；

当被推荐数据为产品时，所述位置相关数据可以为：用户对于产品的点击所引起的扣费，或者产品对应商家账户的帐户操作数据等。

图1为本申请实施例一种数据同步方法流程示意图，如图1所示，该方法包括：

预先在各个数据中心中设置并存储数据表集合以及备份文件，所述备份文件用于保存自身所属数据中心所写入的数据，示例性的可以是被推荐数据的位置相关数据；

步骤101：第一数据处理中心确定进行数据的写入时，向第一数据处理中心本地的数据表集合中第一数据处理中心对应的数据表写入所述数据，并且，将所述数据同时写入本地的备份文件中；

步骤102：当同步时刻到来时，将所述备份文件发送到预设的其他数据处理中心，以便其他数据处理中心根据所述备份文件更新所述其他数据中心本地的数据表集合。

其中，所述第一数据处理中心属于泛指，可以为图1a所示网络中的任一数据处理中心。

其中，可以将一条对于被推荐数据的位置相关数据作为一条记录，写入对应的数据表和备份文件中。例如，当所述被推荐数据为广告时，可以将用户对于该广告的一次点击所形成的扣费数据作为一条记录写入对应的数据表和备份文件中，具体需要写入哪些字段信息可以在实际应用中自主设置，这里不赘述。

在图1所示的本申请实施例数据同步方法中，在各个数据中心中均设置了备份文件，并且，将需要写入的被推荐数据的位置相关数据同时写入数据中心对应的数据表和备份文件中，每个同步时刻需要进行数据同步时，将备份文件发送给其他数据中心，而当进行数据的读取时，仍然从本地数据表集合中读取并删除对应的数据，并不进行备份文件对应数据的删除，备份文件中的数据并未受到影响，从而即使数据中心在同步之前进行了本地数据表中数据的删除，也不会出现现有技术中指出的同步数据丢失的问题，从而保证了不同数据中心中被推荐数据的位置相关数据的一致性，进而保证了不同数据中心中被推荐数据的位置一致。

在图1的基础上，通过图2对本申请实施例的数据同步方法进行更为详细的说明，如图2所示，该数据同步方法包括：

预先在各个数据中心中设置并存储数据表集合以及备份文件，所述备份文件用于保存备份文件所属数据中心所写入的所述位置相关数据；

所述数据表集合用于存储各个数据中心所写入的所述位置相关数据；

其中，数据中心中存储的数据表集合可以仅包含一个数据表，此时，该数据表中可以存储自身所属数据中心所写入的所述位置相关数据，并且还存储所有与自身所属数据中心进行数据同步的数据中心同步来的所述位置相关数据。

或者，数据中心中存储的数据表集合也可以由数据中心数目个数据表构成，此时，数据表集合中的每个数据表都对应着一个数据中心，例如，第一数据中心A1有(n-1)个需要与自身进行位置相关数据同步的数据中心，则第一数据中心A1本地设置的数据表集合中将存储n个数据表，每个数据表对应着一个数据中心，第一数据中心A1对应的数据表用于存储第一数据中心A1写入的所述被推荐数据的位置相关数据，而其他数据中心对应的数据表则用于存储其他数据中心通过备份文件传输来的同步数据，也即其他数据中心写入的所述被推荐数据的位置相关数据。n是大于1的整数。

步骤201：第一数据中心确定进行被推荐数据的位置相关数据的写入时，向本地的数据表集合中第一数据中心对应的数据表写入所述位置相关数据，并且，将被写入的所述位置相关数据同时写入本地的备份文件中；

其中，当第一数据中心本地存储的数据表集合中只包含一个数据表时，第一数据中心对应的数据表即是该数据表集合中的这个数据表。

步骤202：当同步周期确定的同步时刻到来时，第一数据中心将本地的备份文件发送到预设的其他数据中心，以便其他数据中心根据所述备份文件更新所述其他数据中心本地的数据表集合。

其中，其他数据中心根据备份文件更新本地数据表集合的方法参见步骤203中的描述。

步骤203：接收其他数据中心发来的备份文件，根据各个数据中心发来的备份文件更新本地的数据表集合。

第一数据中心本地的数据表集合中包含数据中心数目个数据表，且每个数据表对应一个数据中心时，本步骤中的所述根据各个数据中心发来的备份文件更新本地的数据表集合可以包括：

根据发送备份文件的数据中心，从本地的数据表集合中查找得到该数据中心对应的数据表，根据备份文件更新查找得到的所述数据表。

而第一数据中心本地的数据表集合中只包含一个数据表时，本步骤中直接根据备份文件更新该数据表即可。

步骤204：第一数据中心确定进行被推荐数据的位置相关数据的读取时，从本地数据表集合中读取对应的位置相关数据，并相应从本地数据表集合中删除被读取的位置相关数据。

步骤205：当删除周期确定的删除时刻到来时，第一数据中心从备份文件中删除保存时间超过预设时间长度的数据。

其中，所述预设时间长度大于所述同步周期，从而保证被删除的数据至少经过了一次数据同步，保证备份文件中删除的数据已经被同步到了其他数据中心中。

其中，步骤201～步骤205这5个步骤的执行顺序并非是固定的，在实际应用中，数据的写入以及读取一般是可以重复进行，且随机触发的；而步骤202中触发同步操作的时刻与同步周期有关，而步骤203中接收其他数据中心的备份文件的触发时刻与其他好总段的同步时刻有关，各个数据中心之间进行同步的同步时刻可以相同，也可以不同，当同步时刻相同时，步骤202和步骤203需要同时执行；步骤205中触发删除操作的时刻与删除周期有关；另外，在同步周期和删除周期不同时，在一段足够长的时间中，同步时刻和删除时刻之间并没有固定的执行顺序。

其中，所述备份文件可以为数据表，或者也可以为其他文件格式，只要能够实现对于写入数据的备份，并有利于其他数据中心根据该备份文件进行数据表更新即可。

对于通过数据表集合存储各个数据中心的数据的实现方式，现通过举例进行更为具体的说明：

假设存在数据中心A和数据中心B两个数据中心，数据中心A中建立了数据表messageA、messageA_sync(MessageA的备份文件)、messageB_sync(数据中心B的备份文件MessageB_sync在数据中心A上的同步文件)，数据中心B中建立了数据表messageB、messageA_sync(数据中心A的备份文件MessageA_sync在数据中心B上的同步文件)、messageB_sync(MessageB的备份文件)，数据中心A的数据写入MessageA，MessageA_sync，数据中心B的数据写入MessageB，MessageB-sync。进行同步时，数据中心A将备份文件MessageA_sync同步到数据中心B的MessageA_sync，数据中心B将备份文件MessageB_sync同步到A地的MessageB_sync。进行数据的读取并删除的时候，数据中心A读取MessageA和MessageB_sync，数据中心B读取MessageB和MessageB_sync；从而最终实现了本申请实施例的数据同步。

与上述的被推荐数据的位置相关数据同步的方法相对的，本申请实施例还提供一种数据同步装置，该装置可以设置于各个数据中心中，以便实现数据中心之间数据的同步。如图3所示，该装置包括：

写入单元310，用于确定进行数据的写入时，向自身所属数据中心本地的数据表集合中自身所属数据中心对应的数据表写入所述数据，并且，将被写入的所述数据同时写入本地的备份文件中；

同步单元320，用于当同步时刻到来时，将所述备份文件发送到预设的其他数据中心，以便其他数据中心根据所述备份文件更新所述其他数据中心本地的数据表集合；

存储单元330，用于存储数据表集合以及备份文件。

优选地，该装置还可以包括：

读取单元340，用于确定进行数据的读取时，从本地的数据表中读取对应的数据，并从本地的数据表中删除所读取的所述数据。

优选地，该装置还可以包括：

删除单元350，用于当删除时刻到来时，从备份文件中删除保存时间超过预设时间长度的所述数据。

优选地，该装置还可以包括：

更新单元360，用于接收其他数据中心发来的备份文件，根据各个数据中心发来的备份文件更新本地的数据表集合。

优选地，当存储单元330所存储的数据表集合包括数据中心数目个数据表，且每一数据表对应一数据中心时；相应的，更新单元360具体用于：接收其他数据中心发来的备份文件，根据发送备份文件的数据中心，从本地的数据表中查找得到该数据中心对应的数据表，根据备份文件更新查找得到的所述数据表。

优选地，所述预设时间长度不小于删除周期。

所述备份文件为数据表，或者也可以为其他文件格式，只要能够实现对于写入数据的备份，并有利于其他数据中心根据该备份文件进行数据表更新即可。

图3所示的数据同步装置中，写入单元确定进行数据的写入时，同时在所属数据中心对应的本地数据表以及备份文件中写入数据；当同步周期确定的同步时刻到来时，同步单元将所述备份文件发送到预设的其他数据中心，以便其他数据中心根据所述备份文件更新所述其他数据中心本地的数据表集合，从而当数据中心从本地的数据表集合中读取并删除所述数据时，备份文件中的数据并未受到影响，从而即使数据中心在同步之前进行了本地数据表中某个或某些数据的删除，也不会出现现有技术中指出的同步数据丢失的问题。

所述数据表以及备份文件在进行管理时，可以选择mysql或者oracle等能够支持数据同步的数据库系统。

本领域普通技术人员可以理解，实现上述实施例的方法的过程可以通过程序指令相关的硬件来完成，所述的程序可以存储于可读取存储介质中，该程序在执行时执行上述方法中的对应步骤。所述的存储介质可以如：ROM/RAM、磁碟、光盘等。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (8)

1.一种数据的同步方法，其特征在于，每一数据中心中设置数据表集合以及备份文件，该方法还包括：

第一数据中心确定进行数据的写入时，向第一数据中心本地的数据表集合中第一数据中心对应的数据表写入所述数据，并且，将被写入的所述数据同时写入第一数据中心本地的备份文件中；确定进行数据的读取时，第一数据中心从本地的数据表集合中读取对应的数据，从本地的数据表集合中删除所读取的数据，并且，在备份文件中不删除所读取的数据；

当同步时刻到来时，将所述备份文件发送到其他数据中心，以便其他数据中心根据所述备份文件更新所述其他数据中心本地的数据表集合。

2.根据权利要求1所述的方法，其特征在于，还包括：

当删除时刻到来时，第一数据中心从备份文件中删除保存时间超过预设时间长度的数据。

3.根据权利要求1或2所述的方法，其特征在于，还包括：

接收其他数据中心发来的备份文件，根据各个数据中心发来的备份文件更新本地的数据表集合。

4.根据权利要求3所述的方法，其特征在于，第一数据中心本地的数据表集合中包含数据中心数目个数据表，且每一数据表对应一数据中心；相应的，所述根据各个数据中心发来的备份文件更新本地的数据表集合包括：

根据发送备份文件的数据中心，从本地的数据表中查找得到发送备份文件的数据中心所对应的数据表，根据备份文件更新查找得到的所述数据表。

5.一种数据同步装置，其特征在于，包括：

写入单元，用于确定进行数据的写入时，向自身所属数据中心本地的数据表集合中自身所属数据中心对应的数据表写入所述数据，并且，将被写入的数据同时写入自身所属数据中心本地的备份文件中；

读取单元，用于确定进行数据的读取时，从本地的数据表中读取对应的数据，从本地的数据表中删除所读取的数据，并且，在备份文件中不删除所读取的数据；

同步单元，用于当同步时刻到来时，将所述备份文件发送到其他数据中心，以便其他数据中心根据所述备份文件更新所述其他数据中心本地的数据表集合；

存储单元，用于存储自身所属数据中心中设置的数据表集合以及备份文件。

6.根据权利要求5所述的装置，其特征在于，还包括：

删除单元，用于当删除时刻到来时，从备份文件中删除保存时间超过预设时间长度的数据。

7.根据权利要求5或6所述的装置，其特征在于，还包括：

更新单元，用于接收其他数据中心发来的备份文件，根据各个数据中心发来的备份文件更新存储单元中存储的数据表集合。

8.根据权利要求7所述的装置，其特征在于，存储单元所存储的数据表集合包括数据中心数目个数据表，且每个数据表对应一数据中心；相应的，更新单元具体用于：接收其他数据中心发来的备份文件，根据发送备份文件的数据中心，从存储单元存储的数据表中查找得到发送备份文件的数据中心所对应的数据表，根据备份文件更新查找得到的所述数据表。