CN112035418A - 多机房同步方法、计算设备及计算机存储介质 - Google Patents

Abstract

本发明公开了一种多机房同步方法、计算设备及计算机存储介质。方法包括：步骤S0，本机房的同步组件获取对端机房的主节点日志文件；步骤S1，按顺序读取对端机房的主节点日志文件的写数据日志记录，判断写数据日志记录是否为针对标记表的写数据日志记录；若是，执行步骤S2；若否，执行步骤S3；步骤S2，将标记数据记录到缓存中，执行步骤S1；步骤S3，根据写数据日志记录的日志信息生成写数据日志记录的标记数据，判断写数据日志记录的标记数据是否被缓存中记录的标记数据所命中；若是，则忽略写数据日志记录的同步，执行步骤S1；若否，则执行写数据日志记录的同步，执行步骤S1，打破了循环复制，解决了多机房双向同步中的复制回环的问题。

Description

多机房同步方法、计算设备及计算机存储介质

技术领域

本发明涉及数据处理技术领域，具体涉及一种多机房同步方法、计算设备及计算机存储介质。

背景技术

随着业务量的增长、业务范围的扩大，单机房往往不能提供稳定可靠的服务，此种情况下，部署多机房是较为普遍的选择。与此同时，各个机房中的数据保持一致同步，才能单独对外提供准确一致的服务。

多机房数据同步通常都是基于机房数据库的写数据日志记录实现的。任何对机房数据库的写数据操作都会在日志文件中产生一条记录，在另一个机房进行重放写数据日志记录，就完成了一条数据的同步。但这种同步方式在双向同步的机制下存在循环复制的问题。

目前，亟需一种高效的、能够解决多机房双向同步中的循环复制问题的技术方案。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的多机房同步方法、计算设备及计算机存储介质。

根据本发明实施例的一个方面，提供了一种多机房同步方法，方法适用于机房之间的双向同步，方法包括：

步骤S0，本机房的同步组件获取对端机房的主节点日志文件；

步骤S1，按顺序读取对端机房的主节点日志文件的写数据日志记录，判断写数据日志记录是否为针对标记表的写数据日志记录；若是，执行步骤S2；若否，执行步骤S3；

步骤S2，将标记数据记录到缓存中，执行步骤S1；

步骤S3，根据写数据日志记录的日志信息生成写数据日志记录的标记数据，判断写数据日志记录的标记数据是否被缓存中记录的标记数据所命中；若是，则忽略写数据日志记录的同步，执行步骤S1；若否，则执行写数据日志记录的同步，执行步骤S1。

根据本发明实施例的另一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；

存储器用于存放至少一可执行指令，可执行指令使处理器执行上述多机房同步方法对应的操作。

根据本发明实施例的又一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述多机房同步方法对应的操作。

根据本发明实施例提供的方案，利用标记数据来标识针对标记表而执行的写数据操作所对应的数据是由对端机房的同步组件写入的，而不是对端机房的本地事务，在判断出写数据日志记录的标记数据被缓存中记录的标记数据所命中的情况下，可以忽略写数据日志记录的同步，使得本机房无需再进行同步，从而打破了循环复制，解决了多机房双向同步中的复制回环的问题。

上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明实施例的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1A示出了本发明实施例提供的多机房同步方法流程图；

图1B示出了多机房同步的示意图；

图2A示出了本发明另一实施例提供的多机房同步方法的流程图；

图2B为根据对端机房的主节点日志文件中增量的写数据日志记录进行多机房同步的示意图；

图2C为发生主从切换时多机房同步的示意图；

图2D为本实施例提供的多机房同步的示意图；

图2E为本机房的主节点日志文件的示意图。

图3示出了本发明实施例提供的计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1A示出了本发明实施例提供的多机房同步方法的流程图；图1B示出了多机房同步的示意图。该方法适用于机房之间的双向同步，例如，涉及到机房A和机房B，机房A和机房B均包含同步组件，其中，机房A同步机房B的数据时，机房A称为本机房，机房B称为对端机房；机房B同步机房A的数据时，机房B称为本机房，机房A称为对端机房。如图1A-图1B所示，该方法包括以下步骤：

步骤S101，本机房的同步组件获取对端机房的主节点日志文件。

本实施例将需要进行数据同步的机房称为本机房，将提供同步所需数据的机房称为对端机房，本机房和对端机房均包含一个主节点和多个从节点，而且本机房和对端机房均部署了同步组件，负责数据同步。

通常情况下，对对端机房的写数据操作都会在对端机房的主节点日志文件中产生相应的记录，在将对端机房的数据同步给本机房时，可以利用主节点日志文件中的记录实现同步，因此，本机房的同步组件需要获取对端机房的主节点日志文件，其中，日志文件具体可以是Oplog文件。

步骤S102，按顺序读取对端机房的主节点日志文件的写数据日志记录。

在获取到对端机房的主节点日志文件后，按顺序读取对端机房的主节点日志文件的写数据日志记录，例如，按照写数据日志记录写入主节点日志文件的先后顺序来进行读取。

步骤S103，判断写数据日志记录是否为针对标记表的写数据日志记录；若是，执行步骤S104；若否，执行步骤S105。

在读取到写数据日志记录后，判断写数据日志记录是否为针对标记表的写数据日志记录，其中，标记表用来存储标记数据，用来标记针对标记表而执行的写数据操作所对应的数据是由同步组件同步而来的。

本步骤判断写数据日志记录是否为针对标记表的写数据日志记录是为了识别出该写数据日志记录是否是对端机房同步本机房数据过程中在对端机房的主节点日志文件记录的写数据日志记录，以进一步识别本机房即将同步的数据是否为本机房已拥有的数据。

步骤S104，将标记数据记录到缓存中，执行步骤S102。

在判断出写数据日志记录是针对标记表的写数据日志记录的情况下，可以确定写数据日志记录是对端机房的同步组件同步本机房的数据时针对将标记数据写入标记表中这一写数据操作而产生的写数据日志记录，为了能够进一步验证即将同步的数据是否为对端机房的同步组件写入至对端机房的，本步骤将标记数据记录到缓存中，然后，再次执行步骤S102。

步骤S105，根据写数据日志记录的日志信息生成写数据日志记录的标记数据。

在判断出写数据日志记录不是针对标记表的写数据日志记录的情况下，可以确定写数据日志记录为针对业务表的写数据日志记录，其中，业务表用于存储写入到机房的数据，写入到机房的数据可以是直接写入到机房的数据，是机房的本地事务，也可以是机房间数据同步而写入到机房的数据，在本实施例中，针对业务表的写数据日志记录可以是数据直接写入至对端机房而记录的，也可以是对端机房的同步组件同步本机房的数据时而记录的。

为了进一步确定写数据日志记录是否为对端机房的同步组件写入数据时而记录的写数据日志记录，本步骤根据写数据日志记录的日志信息生成写数据日志记录的标记数据。

步骤S106，判断写数据日志记录的标记数据是否被缓存中记录的标记数据所命中，若是，则执行步骤S107；若否，则执行步骤S108。

在生成写数据日志记录的标记数据之后，将写数据日志记录的标记数据与缓存中记录的标记数据进行匹配，以确定写数据日志记录的标记数据是否被缓存中记录的标记数据所命中，从而进一步确定写数据日志记录是否为本机房将数据同步给对端机房时在对端机房的主节点日志文件中记录的写数据日志记录，若写数据日志记录的标记数据被缓存中记录的标记数据所命中，可以确定写数据日志记录为本机房将数据同步给对端机房时在对端机房的主节点日志文件中记录的写数据日志记录，也就是说，是本机房之前的本地事务；若写数据日志记录的标记数据未被缓存中记录的标记数据所命中，可以确定写数据日志记录为对端机房的本地事务，是需要进行数据同步的。

步骤S107，忽略写数据日志记录的同步，执行步骤S102。

在判断出写数据日志记录的标记数据被缓存中记录的标记数据所命中的情况下，可以忽略写数据日志记录的同步，即，不执行写数据日志记录的同步。然后，跳转执行步骤S102。

步骤S108，执行写数据日志记录的同步，执行步骤S102。

在判断出写数据日志记录的标记数据未被缓存中记录的标记数据所命中的情况下，可以确定写数据日志记录为对端机房的本地事务，写数据日志记录不是对端机房同步本机房的数据时所产生的写数据日志记录，因此，执行写数据日志记录的同步。然后，跳转执行步骤S102。

本实施例利用标记数据来标识数据是由对端机房的同步组件写入的，而不是对端机房的本地事务，在判断出写数据日志记录的标记数据被缓存中记录的标记数据所命中的情况下，可以忽略写数据日志记录的同步，使得本机房无需再进行同步，从而打破了循环复制，解决了多机房双向同步中的复制回环的问题。

图2A示出了本发明另一个实施例提供的多机房同步方法的流程图。如图2A所示，该方法包括以下步骤：

步骤S201，本机房的同步组件获取对端机房的主节点日志文件中增量的写数据日志记录。

本实施例中的本机房和对端机房均为MongoDB机房，在MongoDB机房中日志文件称为Oplog文件，Oplog文件在MongoDB中采用一种特殊的表进行存储，这个表类型叫做cappedcollection，它是一个可以配置的固定大小的表，用来记录对机房的写数据操作而产生的写数据日志记录，超过配置大小后新产生的写数据日志记录会把旧的写数据日志记录覆盖，用来保证防止Oplog文件占用无限大的磁盘空间。

在本实施例中，机房间需要实时同步数据，就希望对端机房的主节点日志文件有增量的写数据日志记录产生时，本机房的同步组件能够及时的感知到，因此，本机房的同步组件需要监听对端机房的主节点日志文件中增量的写数据日志记录，并在对端机房的主节点日志文件中产生新的写数据日志记录时，本机房的同步组件及时获取对端机房的主节点日志文件中增量的写数据日志记录；在对端机房的主节点日志文件中的写数据日志记录未发生变声时，本机房的同步组件阻塞等待。

步骤S202，监听对端机房多个从节点日志文件的写数据日志记录的最新时间戳信息。

通常情况下，MongoDB机房包含一个主节点和多个从节点，这样部署的优点是如果主节点发生故障，那么MongoDB的高可用机制会把从节点提升为主节点，自动恢复保证数据库可用性。

但是写入从节点的数据有可能延迟于主节点，当从节点被提升为主节点后，写入新的主节点的数据可能少于旧的主节点，如果仅是根据对端机房的主节点日志文件中增量的写数据日志记录进行数据同步，而容易出现对端机房发生主从切换后，本机房的数据比对端机房的数据多，造成两个机房的数据不一致。

举例说明，对端机房的主节点日志文件中增量的写数据日志记录的编号为1、2、3、4、5，对端机房包含两个从节点，两个从节点由于网络等原因存在一定的数据延迟，从节点日志文件同步到写数据日志记录的编号为1、2、3，本机房的同步组件获取对端机房的主节点日志文件中增量的写数据日志记录，并应用于本机房，同步情况如图2B所示。

当对端机房的主节点发生故障时，需要进行主从切换，将一个从节点提升为主节点，原先的主节点变为从节点，若仅根据对端机房的主节点日志文件进行同步，那么本机房已经执行了编号为4、5的写数据日志记录的同步，就会出现本机房与对端机房的数据不一致，如图2C所示。

为了避免上述问题出现，需要考虑从节点写入数据的情况，具体地，监听对端机房多个从节点日志文件的写数据日志记录的最新时间戳信息，其中，最新时间戳信息是各个从节点日志文件中记录的最新的写数据日志文件所对应的时间戳信息。

步骤S203，根据最新时间戳信息及对端机房的主节点日志文件中增量的写数据日志记录确定待同步写数据日志记录。

在监听到多个从节点日志文件的写数据日志记录的最新时间戳信息后，对多个从节点日志文件的写数据日志记录的最新时间戳信息进行排序，筛选出时间最早的最新时间戳信息，根据所筛选出的时间最早的最新时间戳信息及对端机房主节点日志文件中增量的写数据日志记录确定待同步写数据日志记录。

举例说明，对端机房的主节点日志文件中增量的写数据日志记录编号为1、2、3、4、5，对端机房包含两个从节点，两个从节点由于网络等原因存在一定的数据延迟，从节点日志文件同步的写数据日志记录编号均为1、2、3，对应的最新时间戳信息为(1573613136，11)，那么由此可以确定待同步写数据日志记录编号为1、2、3，如图2D所示。这里以两个从节点日志文件的写数据日志记录的最新时间戳信息相同为例进行说明，在实际应用中，两个从节点日志文件的写数据日志记录的最新时间戳信息可能并不相同，这里不再赘述。

在本实施例中本机房的同步组件获取的是对端机房的主节点日志文件中增量的写数据日志记录，然后监听从节点日志文件的写数据日志记录的最新时间戳信息，来保证机房间数据同步的一致性。这里不直接获取对端机房的从节点日志文件是因为每个从节点都是有可能是被提升为主节点，当被提升为主节点时，DRC要重新监听新的从节点，这个工作量和监听主节点变化基本一样，只是逻辑反过来而已，而且从节点有多个，获取每个从节点日志文件会造成专线流量的浪费，只关注主节点这一个节点，最大程度上简化开发任务，节省专线流量。

另外，本机房的同步组件还需要监听对端机房的主节点的变化，在对端机房发生主从切换时，能再切换到新的主节点上来，保证持续监听最新主节点的日志文件的变更。

步骤S204，按顺序读取待同步写数据日志记录。

在确定待同步写数据日志记录后，按顺序读取待同步写数据日志记录，例如，按照写数据日志记录写入主节点日志文件的先后顺序来进行读取。

步骤S205，判断写数据日志记录的表标识是否为标记表标识；若是，则执行步骤S206；若否，则执行步骤S207。

在本实施例中，写数据日志记录的日志信息包括以下任一种或多种信息：时间戳信息、数据操作类型、数据库标识、表标识、操作字段、字段信息。

举例说明写数据日志记录的日志信息：

因此，在读取到写数据日志记录后，可以从写数据日志记录的日志信息中提取出表标识，通过判断写数据日志记录的表标识是否为标记表标识来确定写数据日志记录是否为针对标记表的写数据日志记录，以根据判断结果进行后续处理。

步骤S206，确定写数据日志记录为针对标记表的写数据日志记录，从写数据日志记录的日志信息中提取出标记数据，将标记数据记录到缓存中，执行步骤S204。

在判断写数据日志记录的表标识是标记表标识的情况下，可以确定写数据日志记录为针对标记表的写数据日志记录，是对端机房的同步组件同步本机房的数据时针对将标记数据写入标记表中这一写数据操作而产生的写数据日志记录。为了能够进一步验证即将同步的数据是否为对端机房的同步组件写入至对端机房的，本步骤需要从写数据日志记录的日志信息中提取出标记数据，对于写数据日志记录为针对标记表的写数据日志记录的情况，写数据日志记录的日志信息中的字段信息即为标记数据，在提取到标记数据后，将标记数据记录到缓存中，用于后续处理。然后，再次执行步骤S204。

步骤S207，确定写数据日志记录为针对业务表的写数据日志记录，根据写数据日志记录的日志信息生成写数据日志记录的标记数据。

在判断写数据日志记录的表标识不是标记表标识的情况下，可以确定写数据日志记录为针对业务表的写数据日志记录，为了进一步确定写数据日志记录是否为本机房将数据同步给对端机房时而产生的写数据日志记录，这里需要根据写数据日志记录的日志信息生成写数据日志记录的标记数据，例如，对写数据日志记录的日志信息进行哈希处理，生成哈希值，将哈希值作为标记数据，其中，可以采用现有常用哈希算法写数据日志记录的日志信息进行哈希处理，例如，MD5算法、SHA-1算法等，这里不再一一列举。

步骤S208，判断写数据日志记录的标记数据是否被缓存中记录的标记数据所命中；若是，则执行步骤S209；若否，则执行步骤S210。

在根据步骤S207生成写数据日志记录的标记数据后，将写数据日志记录的标记数据与缓存中记录的标记数据进行匹配，以确定写数据日志记录的标记数据是否被缓存中记录的标记数据所命中，从而进一步确定写数据日志记录是否为本机房将数据同步给对端机房时在对端机房的主节点日志文件中记录的写数据日志记录，若写数据日志记录的标记数据被缓存中记录的标记数据所命中，可以确定写数据日志记录为本机房将数据同步给对端机房时在对端机房的主节点日志文件中记录的写数据日志记录，也就是说，是本机房之前的本地事务；若写数据日志记录的标记数据未被缓存中记录的标记数据所命中，可以确定写数据日志记录为对端机房的本地事务，是需要进行数据同步的。

步骤S209，忽略写数据日志记录的同步，删除缓存中记录的命中的标记数据，执行步骤S204。

在判断出写数据日志记录的标记数据被缓存中记录的标记数据所命中的情况下，可以忽略写数据日志记录的同步，即，不执行写数据日志记录的同步，并将缓存中记录的命中的标记数据删除，以释放缓存。然后，跳转执行步骤S204，按顺序读取待同步写数据日志记录。

步骤S210，执行第一写数据操作，以将写数据日志记录的标记数据写入标记表中，在本机房的主节点日志文件中记录第一写数据操作的写数据日志记录；以及，执行第二写数据操作，以将写数据日志记录对应的数据写入业务表中，在本机房的主节点日志文件中记录第二写数据操作的写数据日志记录，执行步骤S204。

在判断出写数据日志记录的标记数据未被缓存中记录的标记数据所命中的情况下，可以确定写数据日志记录为对端机房的本地事务，写数据日志记录不是对端机房同步本机房的数据时所产生的写数据日志记录，是需要执行写数据日志记录同步的。

在本步骤中，本机房的同步组件在本机房写入数据之前，需要先预写标记表，因此，可以执行第一写数据操作，以将写数据日志记录的标记数据写入标记表中，例如，可以对写数据日志记录的日志信息进行哈希处理，生成哈希值，将哈希值作为标记数据写入至标记表中，在本机房的主节点日志文件中记录第一写数据操作的写数据日志记录，其中，标记数据用来标记针对标记表执行的写数据操作所对应的数据是由同步组件写入的，也就是说，是从对端机房同步过来的数据，例如，第一写数据操作的写数据日志记录可以包括：第一写数据操作对应的时间戳信息、插入类型、数据库名称、标记表名称、操作字段UID、字段信息：对应的哈希值，这里不做具体赘述；以及，执行第二写数据操作，以将写数据日志记录对应的数据写入业务表中，该业务表写入的是对端机房真实同步的数据，在本机房的主节点日志文件中记录第二写数据操作的写数据日志记录，其中，第二写数据操作的写数据日志记录可以包括：时间戳信息、数据操作类型、数据库标识、业务表标识、操作字段、字段信息，再次执行步骤S204。如图2E所示。

由于在本机房的主节点日志文件中记录了第写数据操作的写数据日志记录及第二写数据操作的写数据日志记录，因此，在对端机房同步本机房数据时，能够识别出数据是对端机房同步给本机房的，从而忽略上述同步，抑制了数据回环复制。

需要说明的是，数据直接写入至本机房，属于本机房的本地事务，这种情况并不会写标记表。

在本发明一种可选实施方式中，本机房的同步组件可能会遇到重启或者宕机等情况，再次启动同步组件时，不能又回到最开始的写数据日志记录重新同步数据，而是需要接着最近同步的点开始继续同步，因此，在执行写数据日志记录的同步之后，可以将已同步写数据日志记录的时间戳信息写入位置表中，每条写数据日志记录都对应着唯一的时间戳信息，因此，通过可以通过写入至位置表中的时间戳信息识别已经执行了哪些写数据日志记录的同步。而当本机房的同步组件遇到重启或者宕机等情况时，数据同步会发生中断，需要再次启动同步组件，本机房的同步组件启动后可以从位置表获取时间戳信息，根据时间戳信息获取对端机房的主节点日志文件。

具体地，在执行写数据日志记录的同步之后，可以将写数据日志记录的时间戳信息记录到内存中，每成功同步一条写数据日志记录，都会更新内存中记录的时间戳信息，用以标识已同步完成的写数据日志记录，并设置定时任务，当定时时间到达，将时间戳信息写入到数据库的位置表中。每次同步组件重启，先从位置表中获取时间戳信息，以此为获取起点，从对端机房的主节点日志文件向后获取写数据日志记录，继续同步。为了防止恶意修改时间戳信息，可以将位置表存在只有同步组件可访问的数据库中。

在本发明一种可选实施方式中，需要同步到本机房的写数据日志记录可能会很多，数据可能需要写入到不同的表中，而表和表之间一般没有依赖关系，因此，为了提高同步效率，可以调用多个写线程并行执行同步。每个表对应有唯一的表标识，表标识用于表示数据所应写入的表，因此，可以通过以下方法实现：调用多个写线程，多个写线程可以并行地根据写数据日志记录的表标识将写数据日志记录对应的数据并行写入至对应的表中。为了避免数据不一致性，这里由一个写线程负责一个表的数据写入，具体地，可以对多个写数据日志记录的表标识分别进行哈希处理，得到对应的哈希值；调用多个写线程，将多个哈希值分发给多个写线程，以供多个写线程根据哈希值将写数据日志记录对应的数据并行写入至对应的表中。

在本发明一种可选实施方式中，还可以通过以下方法来抑制回环复制：为机房的同步组件设置开关控制获取功能的打开与关闭，在数据由对端机房同步至本机房的过程中，关闭该开关，从而实现关闭对端机房的同步组件获取本机房主节点日志文件的获取功能，通过关闭获取功能，抑制了对端机房的同步组件对本机房的主节点日志文件的获取。

本实施例根据对端机房的多个从节点日志文件的写数据日志记录的最新时间戳信息来确定同步对端机房的主节点日志文件中哪些写数据日志记录，从而保证多机房的数据一致性，避免由于某个机房发生主从切换导致数据不一致的问题；利用标记数据来标识针对标记表而执行的写数据操作所对应的数据是由对端机房的同步组件写入的，而不是对端机房的本地事务，在判断出写数据日志记录的标记数据被缓存中记录的标记数据所命中的情况下，可以忽略写数据日志记录的同步，使得本机房无需再进行同步，从而打破了循环复制，解决了多机房双向同步中的复制回环的问题。

本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的多机房同步方法。

可执行指令具体可以用于使得处理器执行以下操作：

步骤S0，本机房的同步组件获取对端机房的主节点日志文件；

步骤S1，按顺序读取所述对端机房的主节点日志文件的写数据日志记录，判断所述写数据日志记录是否为针对标记表的写数据日志记录；若是，执行步骤S2；若否，执行步骤S3；

步骤S2，将标记数据记录到缓存中，执行步骤S1；

步骤S3，根据所述写数据日志记录的日志信息生成所述写数据日志记录的标记数据，判断所述写数据日志记录的标记数据是否被缓存中记录的标记数据所命中；若是，则忽略所述写数据日志记录的同步，执行步骤S1；若否，则执行所述写数据日志记录的同步，执行步骤S1。

在一种可选的实施方式中，可执行指令进一步使处理器执行以下操作：

执行第一写数据操作，以将所述写数据日志记录的标记数据写入标记表中，在所述本机房的主节点日志文件中记录第一写数据操作的写数据日志记录；以及，

执行第二写数据操作，以将所述写数据日志记录对应的数据写入业务表中，在所述本机房的主节点日志文件中记录第二写数据操作的写数据日志记录。

在一种可选的实施方式中，所述可执行指令还使所述处理器执行以下操作：若所述写数据日志记录的标记数据被缓存中记录的标记数据所命中，则删除缓存中记录的命中的标记数据。

在一种可选的实施方式中，所述标记数据具体为哈希值；

可执行指令进一步使处理器执行以下操作：对所述写数据日志记录的日志信息进行哈希处理，生成哈希值。

在一种可选的实施方式中，所述写数据日志记录的日志信息包括以下任一种或多种信息：时间戳信息、数据操作类型、数据库标识、表标识、操作字段、字段信息。

在一种可选的实施方式中，所述字段信息具体为标记数据；

可执行指令进一步使处理器执行以下操作：从写数据日志记录的日志信息中提取出标记数据，将标记数据记录到缓存中。

在一种可选的实施方式中，可执行指令进一步使处理器执行以下操作：

判断所述写数据日志记录的表标识是否为标记表标识；

若是，则确定所述写数据日志记录为针对标记表的写数据日志记录；

若否，则确定所述写数据日志记录为针对业务表的写数据日志记录。

在一种可选的实施方式中，所述可执行指令还使所述处理器执行以下操作：将已同步写数据日志记录的时间戳信息写入位置表中。

在一种可选的实施方式中，所述可执行指令还使所述处理器执行以下操作：若数据同步中断，则本机房的同步组件从所述位置表获取时间戳信息，根据所述时间戳信息获取对端机房的主节点日志文件。

在一种可选的实施方式中，所述可执行指令还使所述处理器执行以下操作：监听对端机房多个从节点日志文件的写数据日志记录的最新时间戳信息；

根据最新时间戳信息及对端机房的主节点日志文件确定待同步写数据日志记录；

按顺序读取待同步写数据日志记录。

在一种可选的实施方式中，可执行指令进一步使处理器执行以下操作：

调用多个写线程，根据所述写数据日志记录的表标识将所述写数据日志记录对应的数据并行写入至对应的表中。

在一种可选的实施方式中，可执行指令进一步使处理器执行以下操作：

对多个所述写数据日志记录的表标识分别进行哈希处理，得到对应的哈希值；

调用多个写线程，将多个哈希值分发给多个写线程，以供多个写线程根据哈希值将所述写数据日志记录对应的数据并行写入至对应的表中。

在一种可选的实施方式中，可执行指令进一步使处理器执行以下操作：

本机房的同步组件获取对端机房的主节点日志文件中增量的写数据日志记录。

在一种可选的实施方式中，所述日志文件具体为Oplog文件。

图3示出了根据本发明一个实施例的计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。

如图3所示，该计算设备可以包括：处理器(processor)302、通信接口(Communications Interface)304、存储器(memory)306、以及通信总线308。

其中：处理器302、通信接口304、以及存储器306通过通信总线308完成相互间的通信。

通信接口304，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器302，用于执行程序310，具体可以执行上述多机房同步方法实施例中的相关步骤。

具体地，程序310可以包括程序代码，该程序代码包括计算机操作指令。

处理器302可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器306，用于存放程序310。存储器306可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序310具体可以用于使得处理器302执行以下操作：

步骤S0，本机房的同步组件获取对端机房的主节点日志文件；

步骤S1，按顺序读取所述对端机房的主节点日志文件的写数据日志记录，判断所述写数据日志记录是否为针对标记表的写数据日志记录；若是，执行步骤S2；若否，执行步骤S3；

步骤S2，将标记数据记录到缓存中，执行步骤S1；

步骤S3，根据所述写数据日志记录的日志信息生成所述写数据日志记录的标记数据，判断所述写数据日志记录的标记数据是否被缓存中记录的标记数据所命中；若是，则忽略所述写数据日志记录的同步，执行步骤S1；若否，则执行所述写数据日志记录的同步，执行步骤S1。

在一种可选的实施方式中，程序310进一步使处理器302执行以下操作：

执行第一写数据操作，以将所述写数据日志记录的标记数据写入标记表中，在所述本机房的主节点日志文件中记录第一写数据操作的写数据日志记录；以及，

执行第二写数据操作，以将所述写数据日志记录对应的数据写入业务表中，在所述本机房的主节点日志文件中记录第二写数据操作的写数据日志记录。

在一种可选的实施方式中，程序310还使处理器302执行以下操作：若所述写数据日志记录的标记数据被缓存中记录的标记数据所命中，则删除缓存中记录的命中的标记数据。

在一种可选的实施方式中，所述标记数据具体为哈希值；

程序310进一步使处理器302执行以下操作：对所述写数据日志记录的日志信息进行哈希处理，生成哈希值。

在一种可选的实施方式中，所述写数据日志记录的日志信息包括以下任一种或多种信息：时间戳信息、数据操作类型、数据库标识、表标识、操作字段、字段信息。

在一种可选的实施方式中，所述字段信息具体为标记数据；

程序310进一步使处理器302执行以下操作：从写数据日志记录的日志信息中提取出标记数据，将标记数据记录到缓存中。

在一种可选的实施方式中，程序310进一步使处理器302执行以下操作：

判断所述写数据日志记录的表标识是否为标记表标识；

若是，则确定所述写数据日志记录为针对标记表的写数据日志记录；

若否，则确定所述写数据日志记录为针对业务表的写数据日志记录。

在一种可选的实施方式中，程序310还使处理器302执行以下操作：

将已同步写数据日志记录的时间戳信息写入位置表中。

在一种可选的实施方式中，程序310还使处理器302执行以下操作：若数据同步中断，则本机房的同步组件从所述位置表获取时间戳信息，根据所述时间戳信息获取对端机房的主节点日志文件。

在一种可选的实施方式中，程序310还使处理器302执行以下操作：

监听对端机房多个从节点日志文件的写数据日志记录的最新时间戳信息；

根据最新时间戳信息及对端机房的主节点日志文件确定待同步写数据日志记录；

按顺序读取待同步写数据日志记录。

在一种可选的实施方式中，程序310进一步使处理器302执行以下操作：

调用多个写线程，根据所述写数据日志记录的表标识将所述写数据日志记录对应的数据并行写入至对应的表中。

在一种可选的实施方式中，程序310进一步使处理器302执行以下操作：

对多个所述写数据日志记录的表标识分别进行哈希处理，得到对应的哈希值；

调用多个写线程，将多个哈希值分发给多个写线程，以供多个写线程根据哈希值将所述写数据日志记录对应的数据并行写入至对应的表中。

在一种可选的实施方式中，程序310进一步使处理器302执行以下操作：

本机房的同步组件获取对端机房的主节点日志文件中增量的写数据日志记录。

在一种可选的实施方式中，所述日志文件具体为Oplog文件。

在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明实施例的内容，并且上面对特定语言所做的描述是为了披露本发明实施例的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明实施例并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明实施例的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明实施例进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

本发明公开了：A1.一种多机房同步方法，所述方法适用于机房之间的双向同步，所述方法包括：

步骤S0，本机房的同步组件获取对端机房的主节点日志文件；

步骤S1，按顺序读取所述对端机房的主节点日志文件的写数据日志记录，判断所述写数据日志记录是否为针对标记表的写数据日志记录；若是，执行步骤S2；若否，执行步骤S3；

步骤S2，将标记数据记录到缓存中，执行步骤S1；

步骤S3，根据所述写数据日志记录的日志信息生成所述写数据日志记录的标记数据，判断所述写数据日志记录的标记数据是否被缓存中记录的标记数据所命中；若是，则忽略所述写数据日志记录的同步，执行步骤S1；若否，则执行所述写数据日志记录的同步，执行步骤S1。

A2.根据A1所述的方法，其中，所述执行所述写数据日志记录的同步进一步包括：

执行第一写数据操作，以将所述写数据日志记录的标记数据写入标记表中，在所述本机房的主节点日志文件中记录第一写数据操作的写数据日志记录；以及，

执行第二写数据操作，以将所述写数据日志记录对应的数据写入业务表中，在所述本机房的主节点日志文件中记录第二写数据操作的写数据日志记录。

A3.根据A1或A2所述的方法，其中，所述方法还包括：若所述写数据日志记录的标记数据被缓存中记录的标记数据所命中，则删除缓存中记录的命中的标记数据。

A4.根据A1-A3中任一项所述的方法，其中，所述标记数据具体为哈希值；

所述根据所述写数据日志记录的日志信息生成所述写数据日志记录的标记数据进一步包括：

对所述写数据日志记录的日志信息进行哈希处理，生成哈希值。

A5.根据A1-A4中任一项所述的方法，其中，所述写数据日志记录的日志信息包括以下任一种或多种信息：时间戳信息、数据操作类型、数据库标识、表标识、操作字段、字段信息。

A6.根据A5所述的方法，其中，所述字段信息具体为标记数据；

所述将标记数据记录到缓存中进一步包括：从写数据日志记录的日志信息中提取出标记数据，将标记数据记录到缓存中。

A7.根据A1-A6中任一项所述的方法，其中，所述判断所述写数据日志记录是否为针对标记表的写数据日志记录进一步包括：

判断所述写数据日志记录的表标识是否为标记表标识；

若是，则确定所述写数据日志记录为针对标记表的写数据日志记录；

若否，则确定所述写数据日志记录为针对业务表的写数据日志记录。

A8.根据A1-A7中任一项所述的方法，其中，在执行所述写数据日志记录的同步之后，所述方法还包括：

将已同步写数据日志记录的时间戳信息写入位置表中。

A9.根据A8所述的方法，其中，所述方法还包括：若数据同步中断，则本机房的同步组件从所述位置表获取时间戳信息，根据所述时间戳信息获取对端机房的主节点日志文件。

A10.根据A1-A9中任一项所述的方法，其中，在按顺序读取所述对端机房的主节点日志文件的写数据日志记录之前，所述方法还包括：

监听对端机房多个从节点日志文件的写数据日志记录的最新时间戳信息；

根据最新时间戳信息及对端机房的主节点日志文件确定待同步写数据日志记录；

所述按顺序读取所述对端机房的主节点日志文件的写数据日志记录进一步包括：按顺序读取待同步写数据日志记录。

A11.根据A1-A10中任一项所述的方法，其中，所述执行所述写数据日志记录的同步进一步包括：

调用多个写线程，根据所述写数据日志记录的表标识将所述写数据日志记录对应的数据并行写入至对应的表中。

A12.根据A11所述的方法，其中，调用多个写线程，根据所述写数据日志记录的表标识将所述写数据日志记录对应的数据并行写入至对应的表中进一步包括：

对多个所述写数据日志记录的表标识分别进行哈希处理，得到对应的哈希值；

调用多个写线程，将多个哈希值分发给多个写线程，以供多个写线程根据哈希值将所述写数据日志记录对应的数据并行写入至对应的表中。

A13.根据A1-A12中任一项所述的方法，其中，所述本机房的同步组件获取对端机房的主节点日志文件进一步包括：

本机房的同步组件获取对端机房的主节点日志文件中增量的写数据日志记录。

A14.根据A1-A13中任一项所述的方法，其中，所述日志文件具体为Oplog文件。

B15.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如A1-A14中任一项所述的多机房同步方法对应的操作。

C16.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如A1-A14中任一项所述的多机房同步方法对应的操作。

Claims (10)

1.一种多机房同步方法，所述方法适用于机房之间的双向同步，所述方法包括：

步骤S0，本机房的同步组件获取对端机房的主节点日志文件；

步骤S1，按顺序读取所述对端机房的主节点日志文件的写数据日志记录，判断所述写数据日志记录是否为针对标记表的写数据日志记录；若是，执行步骤S2；若否，执行步骤S3；

步骤S2，将标记数据记录到缓存中，执行步骤S1；

步骤S3，根据所述写数据日志记录的日志信息生成所述写数据日志记录的标记数据，判断所述写数据日志记录的标记数据是否被缓存中记录的标记数据所命中；若是，则忽略所述写数据日志记录的同步，执行步骤S1；若否，则执行所述写数据日志记录的同步，执行步骤S1。

2.根据权利要求1所述的方法，其中，所述执行所述写数据日志记录的同步进一步包括：

执行第一写数据操作，以将所述写数据日志记录的标记数据写入标记表中，在所述本机房的主节点日志文件中记录第一写数据操作的写数据日志记录；以及，

执行第二写数据操作，以将所述写数据日志记录对应的数据写入业务表中，在所述本机房的主节点日志文件中记录第二写数据操作的写数据日志记录。

3.根据权利要求1或2所述的方法，其中，所述方法还包括：若所述写数据日志记录的标记数据被缓存中记录的标记数据所命中，则删除缓存中记录的命中的标记数据。

4.根据权利要求1-3中任一项所述的方法，其中，所述标记数据具体为哈希值；

所述根据所述写数据日志记录的日志信息生成所述写数据日志记录的标记数据进一步包括：

对所述写数据日志记录的日志信息进行哈希处理，生成哈希值。

5.根据权利要求1-4中任一项所述的方法，其中，所述写数据日志记录的日志信息包括以下任一种或多种信息：时间戳信息、数据操作类型、数据库标识、表标识、操作字段、字段信息。

6.根据权利要求5所述的方法，其中，所述字段信息具体为标记数据；

所述将标记数据记录到缓存中进一步包括：从写数据日志记录的日志信息中提取出标记数据，将标记数据记录到缓存中。

7.根据权利要求1-6中任一项所述的方法，其中，所述判断所述写数据日志记录是否为针对标记表的写数据日志记录进一步包括：

判断所述写数据日志记录的表标识是否为标记表标识；

若是，则确定所述写数据日志记录为针对标记表的写数据日志记录；

若否，则确定所述写数据日志记录为针对业务表的写数据日志记录。

8.根据权利要求1-7中任一项所述的方法，其中，在执行所述写数据日志记录的同步之后，所述方法还包括：

将已同步写数据日志记录的时间戳信息写入位置表中。

9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-8中任一项所述的多机房同步方法对应的操作。

10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-8中任一项所述的多机房同步方法对应的操作。

Images