CN108197170B - 主从同步方法、装置、主服务器及存储介质 - Google Patents

Abstract

本发明公开了一种主从同步方法、装置、主服务器及存储介质，所述方法包括：确定增量文件占用的存储容量与主数据库备份文件占用的存储容量的比值；当确定的所述比值符合预设复制条件时，使从服务器根据所述从服务器的最大位移量，在预设的复制缓存区中对所述增量文件进行复制。本发明在保证数据一致性前提下，有效提高主从同步的效率，并延长业务的高可用时间。

Description

主从同步方法、装置、主服务器及存储介质

技术领域

本发明涉及数据同步领域，特别是涉及一种主从同步方法、装置、主服务器及存储介质。

背景技术

以某设备为参照物，每隔一定时间将参照物的数据拷贝到其他设备过程称之为主从同步。例如，在服务器的主从同步中，被复制的服务器为主服务器(Master)，而对主服务器进行复制的服务器则被称为从服务器(Slave)。

现有Redis数据库服务器的主从同步过程中，在主从服务器之间断线后，从服务器需要重新拷贝主服务器上所有数据，从而导致断线后主从同步效率低下。

发明内容

为了克服上述缺陷，本发明要解决的技术问题是提供一种主从同步方法、装置、主服务器及存储介质，用以至少提高主从同步的效率。

为解决上述技术问题，本发明实施例中的一种主从同步方法，包括：

确定增量文件占用的存储容量与主数据库备份文件占用的存储容量的比值；

当确定的所述比值符合预设复制条件时，使从服务器根据所述从服务器的最大位移量，在预设的复制缓存区中对所述增量文件进行复制。

为解决上述技术问题，本发明实施例中的一种主从同步装置，包括：

容量确定模块，确定增量文件占用的存储容量与主数据库备份文件占用的存储容量的比值；

同步模块，用于当确定的所述比值符合预设复制条件时，使从服务器根据所述从服务器的最大位移量，在预设的复制缓存区中对所述增量文件进行复制。

在本发明实施例中，可选地，所述确定增量文件占用的存储容量与主数据库备份文件占用的存储容量的比值，包括：

接收所述从服务器的同步请求；

根据所述同步请求，判定所述从服务器的最大位移量在所述复制缓存区；

确定所述增量文件的存储容量与所述主数据库备份文件的存储容量的比值。

在本发明实施例中，可选地，所述接收所述从服务器的同步请求之后，还包括：

根据所述同步请求，判定所述从服务器的最大位移量不在所述复制缓存区，使所述从服务器对所述主数据库备份文件进行复制。

在本发明实施例中，可选地，所述确定增量文件占用的存储容量与主数据库备份文件占用的存储容量的比值之前，包括：

根据对所述复制缓存区写入增量文件的写入速率和写入时间，确定所述增量文件的存储容量。

在本发明实施例中，可选地，所述当确定的所述比值符合预设复制条件时，使从服务器根据所述从服务器的最大位移量，在预设的复制缓存区中对所述增量文件进行复制，包括：

判断确定的所述比值是否达到预设的比例阈值；

若达到，则使所述从服务器对所述主数据库备份文件进行复制；

若未达到，则使所述从服务器根据所述从服务器的最大位移量，对所述增量文件进行复制。

在本发明实施例中，可选地，所述若未达到，则使所述从服务器根据所述从服务器的最大位移量，对所述增量文件进行复制，包括：

若未达到，在所述增量文件中，读取所述从服务器的最大位移量之前的数据；

将读取的数据与所述主数据库备份文件进行一致性校验；

在通过一致性校验时，使所述从服务器根据所述从服务器的最大位移量，对所述增量文件进行复制。

在本发明实施例中，可选地，所述将读取的数据与所述主数据库备份文件进行一致性校验，包括：

根据预设的数据数量和读取顺序，在所述增量文件中，读取所述从服务器的最大位移量之前的数据；

将读取的数据与所述主数据库备份文件进行比对；

根据比对结果进行一致性校验。

为解决上述技术问题，本发明实施例中的一种主从同步装置，包括：

容量确定模块，确定增量文件占用的存储容量与主数据库备份文件占用的存储容量的比值；

同步模块，用于当确定的所述比值符合预设复制条件时，使从服务器根据所述从服务器的最大位移量，在预设的复制缓存区中对所述增量文件进行复制。

为解决上述技术问题，本发明实施例中的一种主服务器，包括存储器和处理器；所述存储器存储有主从同步计算机程序，所述处理器执行所述计算机程序，以实现如上所述方法的步骤。

为解决上述技术问题，本发明实施例中的一种计算机可读存储介质，存储有主从同步计算机程序，所述计算机程序被至少一个处理器执行时，以实现如上所述方法的步骤。

本发明有益效果如下：

本发明实施例中主从同步方法、装置、主服务器及存储介质，根据增量文件占用的存储容量与主数据库备份文件占用的存储容量的比值，使从服务器对所述增量文件进行复制，从而在保证数据一致性前提下，有效提高主从服务器的同步效率。

附图说明

图1是本发明实施例中一种主从同步方法的流程图；

图2是本发明实施例中一种主从同步装置的结构示意图；

图3是本发明实施例中一种主服务器的结构示意图。

具体实施方式

为了解决现有技术的问题，本发明提供了一种主从同步方法、装置、主服务器及存储介质，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不限定本发明。

实施例一

如图1所示，本发明实施例提供一种主从同步方法，所述方法在主服务器中执行，如图1所示，所述方法包括：

S101，确定增量文件占用的存储容量与主数据库备份文件占用的存储容量的比值；

S102，当确定的所述比值符合预设复制条件时，使从服务器根据所述从服务器的最大位移量，在预设的复制缓存区中对所述增量文件进行复制。

本发明实施例首先确定增量文件占用的存储容量与主数据库备份文件占用的存储容量的比值，然后判断确定的比值与预设复制条件的关系，只有在确定的比值符合预设复制条件时，使从服务器根据所述从服务器的最大位移量，在预设的复制缓存区中对所述增量文件进行复制，从而在保证数据一致性前提下，快速高效的将主服务器数据同步到从服务器，以提高主从同步效率，进而延长业务的高可用时间。

本发明实施例相对于现有主从同步时间间隔可以缩短30％左右，性能提升20％左右。

本发明实施例中的主从同步表示主服务器和从服务器之间的同步。本发明实施例中主服务器和从服务器可以表示为主从服务器。

本发明实施例中增量文件存储在复制缓存区中，其中增量文件可以认为是主服务器中产生的还没有备份给从服务器的数据文件。

本发明实施例可以根据业务需求进行初始化设定参数。例如，初始化设定参数包括复制缓存区存储空间大小、复制缓存区和主备份区比例、复制时间间隔、默认主从服务器标识(例如ID)等。

本发明实施例中可以提前预设复制缓存区和主备份文件比例；例如，最大比例为4：6。

本发明实施例中可以根据从服务器复制的数据在增量文件中的偏移量，确定最大位移量PID。

本发明实施例中主数据库备份文件可以存储在主备份区，复制缓存区存储的为.aof文件，可以理解为增量文件。主备份区作用就是定时备份内存数据到复制缓存区。

实施例二

本发明实施例提供一种主从同步方法，具体地，本发明实施例提供一种增量复制和全量复制的选择方法，本发明实施例中方法首先判断从服务器的最大位移量是否在所述复制缓存区，如果不在，则进行全量复制，如果在，则进一步进行增量复制和全量复制的选择。

本发明实施例中增量复制表示从复制缓存区中的复制，全量复制表示对主数据库备份文件的复制。

本发明实施例对实施例一种的S101进行改进，也就是说，所述确定增量文件占用的存储容量与主数据库备份文件占用的存储容量的比值，可以包括：

接收所述从服务器的同步请求；

如果根据所述同步请求，判定所述从服务器的最大位移量在所述复制缓存区，则确定所述增量文件的存储容量与所述主数据库备份文件的存储容量的比值。

如果根据所述同步请求，判定所述从服务器的最大位移量不在所述复制缓存区，则使所述从服务器对所述主数据库备份文件进行复制。

例如，当从服务器重启后，优先判断从服务器是否之前有上次同步后主服务器ID、最大位移量PID，如果有，则读取从服务器的初始化设定参数，并同步请求对应主服务器。

进一步地，主服务器受到从服务器同步请求后，判断从服务器的最大位移量是否在复制缓存区，如果不在，则进行全量复制策略，并将最新的复制缓存区最大位移量PID发给从服务器。如果在复制缓存区，则进一步判断增量文件和主数据库备份文件存储容量的比值，如果符合条件，从复制缓存区中复制。否则，采用全量复制策略。

本发明实施例通过判断从服务器的最大位移量是否在复制缓存区，在有效提高主从服务器的同步效率的前提下，有效保证了增量复制过程中数据的准确性。

本发明实施例中，可选地，所述接收所述从服务器的同步请求，可以包括：

在所述主服务的标识变更后，接收所述从服务器的同步请求。

本发明实施例中，当从服务器发现主服务器ID已经变更，则改为同步请求变更的主服务器ID，其中，变更后的主服务器可以称之为新主服务器。

现有技术中，主服务器ID变更的情况下，只能采用全量复制的策略，而根据本发明实施例中方法，即便在主服务器ID变更的情况下也可以采用增量复制策略，进而有效提高主从同步的效率。

例如，将比例阈值设置为30％；新主服务器收到同步请求后，首先判断最大位移量PID是否在复制缓存区，如果在，则计算复制缓存区中增量文件存储容量，当增量文件超过主数据库备份文件30％时候，认为从数据已经大量过期，直接进行全量复制策略。

当复制缓存区没超过主数据库备份文件30％时，则读取从服务器PID前10条数据和主服务器进行对比，如果数据相似度超过90％，则认为从服务器已经拿到PID之前最新数据，只需要复制PID之后增量数据即可。例如，使从服务器根据所述从服务器的最大位移量，在预设的复制缓存区中对所述增量文件中从服务器的最大位移量之后的数据进行复制。

实施例三

本发明实施例提供一种主从同步方法，具体地，本发明实施例在实施例一的基础上，提供一种增量文件的存储容量的确定方法，也就是说，所述确定增量文件占用的存储容量与主数据库备份文件占用的存储容量的比值之前，可以包括：

根据对所述复制缓存区写入增量文件的写入速率和写入时间，确定所述增量文件的存储容量。

例如，将写入速率和写入时间进行乘积计算，得到增量文件的存储容量。

本发明实施例中通过写入速率和写入时间，确定所述增量文件的存储容量，确定方式快捷高效，进一步提高主从同步效率。

例如，增量文件的存储容量可以根据如下公式估算确定：

second*write_size_per_second(秒*每秒可写的存储容量)。

实施例四

本发明实施例提供一种主从同步方法，具体地，本发明实施例在上述各个实施例的基础上，进一步提供一种增量复制和全量复制的选择方法，本发明实施例中方法也可以与上述各个实施例结合在一起使用，也就是说，上述各个实施例中，所述当确定的所述比值符合预设复制条件时，使从服务器根据所述从服务器的最大位移量，在预设的复制缓存区中对所述增量文件进行复制，可以包括：

判断确定的所述比值是否达到预设的比例阈值；

若达到，则使所述从服务器对所述主数据库备份文件进行复制，可以理解为，在当前场景下，采用全量复制策略，即从服务器对主服务器进行全量复制

若未达到，则使所述从服务器根据所述从服务器的最大位移量，对所述增量文件进行复制，可以理解为，在当前场景下，采用增量复制策略，即从服务器对主服务器进行增量复制。

本发明实施例在有效提高主从服务器的同步效率的前提下，有效保证了增量复制过程中数据的准确性。

实施例五

本发明实施例提供一种主从同步方法，具体地，本发明实施例在实施例四的基础上，提供一种增量复制过程中保证数据同步的准确性方法，也就是说，实施例四中，如果确定出的比值未达到预设的比例阈值，则使所述从服务器根据所述从服务器的最大位移量，对所述增量文件进行复制，可以包括：

若确定出的比值未达到预设的比例阈值，在所述增量文件中，读取所述从服务器的最大位移量之前的数据；

将读取的数据与所述主数据库备份文件进行一致性校验；

在通过一致性校验时，使所述从服务器根据所述从服务器的最大位移量，对所述增量文件进行复制。

本发明实施例中，可选地，所述将读取的数据与所述主数据库备份文件进行一致性校验，包括：

根据预设的数据数量和读取顺序，在所述增量文件中，读取所述从服务器的最大位移量之前的数据；

将读取的数据与所述主数据库备份文件进行比对；

根据比对结果进行一致性校验。

实施例六

本发明实施例提供一种主从同步装置，如图2所示，所述装置包括：

容量确定模块20，确定增量文件占用的存储容量与主数据库备份文件占用的存储容量的比值；

同步模块22，用于当确定的所述比值符合预设复制条件时，使从服务器根据所述从服务器的最大位移量，在预设的复制缓存区中对所述增量文件进行复制。

本发明实施例在保证数据一致性前提下，快速高效的将主服务器数据同步到从服务器，以提高主从同步效率，进而延长业务的高可用时间。

本发明实施例相对于现有主从同步时间间隔可以缩短30％左右，性能提升20％左右。

在本发明实施例中，可选地，所述装置还包括请求接收模块和判断模块；其中请求接收模块用于接收所述从服务器的同步请求；

判断模块用于根据所述同步请求，判定所述从服务器的最大位移量在所述复制缓存区，并触发同步模块22确定所述增量文件的存储容量与所述主数据库备份文件的存储容量的比值。

在本发明实施例中，可选地，判断模块还用于根据所述同步请求，判定所述从服务器的最大位移量不在所述复制缓存区，并触发同步模块22使所述从服务器对所述主数据库备份文件进行复制。

在本发明实施例中，可选地，容量确定模块20还用于根据对所述复制缓存区写入增量文件的写入速率和写入时间，确定所述增量文件的存储容量。

在本发明实施例中，可选地，同步模块22具体用于判断确定的所述比值是否达到预设的比例阈值；

若达到，则使所述从服务器对所述主数据库备份文件进行复制；

若未达到，则使所述从服务器根据所述从服务器的最大位移量，对所述增量文件进行复制。

在本发明实施例中，可选地，所述若未达到，则使所述从服务器根据所述从服务器的最大位移量，对所述增量文件进行复制，还可以包括：

若未达到，在所述增量文件中，读取所述从服务器的最大位移量之前的数据；

将读取的数据与所述主数据库备份文件进行一致性校验；

在通过一致性校验时，使所述从服务器根据所述从服务器的最大位移量，对所述增量文件进行复制。

在本发明实施例中，可选地，所述将读取的数据与所述主数据库备份文件进行一致性校验，可以包括：

根据预设的数据数量和读取顺序，在所述增量文件中，读取所述从服务器的最大位移量之前的数据；

将读取的数据与所述主数据库备份文件进行比对；

根据比对结果进行一致性校验。

本发明实施例在具体实现时，还可以参阅上述各个方法实施例，具有相应技术效果。

实施例七

本发明实施例提供一种主服务器，如图3所示，所述主服务器包括存储器30和处理器32；所述存储器30存储有主从同步计算机程序，所述处理器32执行所述计算机程序，以实现如实施例一至实施例五中任意一项所述方法的步骤。

本发明实施例在保证数据一致性前提下，快速高效的将主服务器数据同步到从服务器，以提高主从同步效率，进而延长业务的高可用时间。

本发明实施例相对于现有主从同步时间间隔可以缩短30％左右，性能提升20％左右。

详细说，所述处理器32执行所述计算机程序，以实现如下步骤：

确定增量文件占用的存储容量与主数据库备份文件占用的存储容量的比值；

当确定的所述比值符合预设复制条件时，使从服务器根据所述从服务器的最大位移量，在预设的复制缓存区中对所述增量文件进行复制。

本发明实施例中，可选地，所述确定增量文件占用的存储容量与主数据库备份文件占用的存储容量的比值，包括：

接收所述从服务器的同步请求；

根据所述同步请求，判定所述从服务器的最大位移量在所述复制缓存区；

确定所述增量文件的存储容量与所述主数据库备份文件的存储容量的比值。

本发明实施例中，可选地，所述接收所述从服务器的同步请求之后，还包括：

根据所述同步请求，判定所述从服务器的最大位移量不在所述复制缓存区，使所述从服务器对所述主数据库备份文件进行复制。

本发明实施例中，可选地，所述确定增量文件占用的存储容量与主数据库备份文件占用的存储容量的比值之前，包括：

根据对所述复制缓存区写入增量文件的写入速率和写入时间，确定所述增量文件的存储容量。

本发明实施例中，可选地，所述当确定的所述比值符合预设复制条件时，使从服务器根据所述从服务器的最大位移量，在预设的复制缓存区中对所述增量文件进行复制，包括：

判断确定的所述比值是否达到预设的比例阈值；

若达到，则使所述从服务器对所述主数据库备份文件进行复制；

若未达到，则使所述从服务器根据所述从服务器的最大位移量，对所述增量文件进行复制。

本发明实施例中，可选地，所述若未达到，则使所述从服务器根据所述从服务器的最大位移量，对所述增量文件进行复制，包括：

若未达到，在所述增量文件中，读取所述从服务器的最大位移量之前的数据；

将读取的数据与所述主数据库备份文件进行一致性校验；

在通过一致性校验时，使所述从服务器根据所述从服务器的最大位移量，对所述增量文件进行复制。

本发明实施例中，可选地，所述将读取的数据与所述主数据库备份文件进行一致性校验，包括：

根据预设的数据数量和读取顺序，在所述增量文件中，读取所述从服务器的最大位移量之前的数据；

将读取的数据与所述主数据库备份文件进行比对；

根据比对结果进行一致性校验。

本发明实施例在具体实现时，还可以参阅上述各个方法实施例，具有相应技术效果。

实施例八

本发明实施例提供一种计算机可读存储介质，所示介质存储有主从同步计算机程序，所述计算机程序执行至少一个处理器，以实现如实施例一至实施例五中任意一项所述方法的步骤。

本发明实施例中计算机可读存储介质可以是RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域已知的任何其他形式的存储介质。可以将一种存储介质藕接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路中。

本发明实施例在具体实现时，可以参阅上述各个实施例，具有相应的技术效果。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种主从同步方法，其特征在于，所述方法在主服务器中执行，所述方法包括：

当从服务器重启或所述从服务器的主服务器ID变更后，确定预设的复制缓存区中增量文件占用的存储容量与主数据库备份文件占用的存储容量的比值；所述增量文件包括当从服务器与所述主服务器之间断线且所述从服务器重启后，所述复制缓存区中存储的所述主数据库备份文件中产生的未备份至所述从服务器的备份文件；所述主数据库备份文件存储在主备份区；

当确定的所述比值符合预设复制条件时，使从服务器根据所述从服务器的最大位移量，在所述预设的复制缓存区中对所述增量文件中所述从服务器的最大位移量之后的数据进行复制；所述从服务器的最大位移量是根据从服务器复制的主备份区中数据或所述复制缓存区中数据在增量文件中的偏移量确定的；所述预设复制条件指示所述复制缓存区中数据相对所述主备份区中数据的过期比例阈值，所述比值符合预设复制条件指示所述复制缓存区中数据相对所述主备份区中数据的过期比例小于或等于所述过期比例阈值；

当确定的所述比值不符合预设复制条件时，使从服务器对所述主备份区中主数据库备份文件进行全量复制；所述比值符合预设复制条件指示所述复制缓存区中数据相对所述主备份区中数据的过期比例大于所述过期比例阈值。

2.如权利要求1所述的方法，其特征在于，所述确定预设的复制缓存区中增量文件占用的存储容量与主数据库备份文件占用的存储容量的比值，包括：

接收所述从服务器的同步请求；

根据所述同步请求，若判定所述从服务器的最大位移量在所述复制缓存区；

则确定所述增量文件的存储容量与所述主数据库备份文件的存储容量的比值。

3.如权利要求2所述的方法，其特征在于，所述接收所述从服务器的同步请求之后，还包括：

根据所述同步请求，若判定所述从服务器的最大位移量不在所述复制缓存区，则使所述从服务器对所述主数据库备份文件进行复制。

4.如权利要求1所述的方法，其特征在于，所述确定预设的复制缓存区中增量文件占用的存储容量与主数据库备份文件占用的存储容量的比值之前，包括：

根据对所述复制缓存区写入增量文件的写入速率和写入时间，确定所述增量文件的存储容量。

5.如权利要求1所述的方法，其特征在于，所述当确定的所述比值符合预设复制条件时，使从服务器根据所述从服务器的最大位移量，在预设的复制缓存区中对所述增量文件进行复制，包括：

判断确定的所述比值是否达到预设的比例阈值；

若达到，则使所述从服务器对所述主数据库备份文件进行复制；

若未达到，则使所述从服务器根据所述从服务器的最大位移量，对所述增量文件进行复制。

6.如权利要求5所述的方法，其特征在于，所述若未达到，则使所述从服务器根据所述从服务器的最大位移量，对所述增量文件进行复制，包括：

若未达到，在所述增量文件中，读取所述从服务器的最大位移量之前的数据；

将读取的数据与所述主数据库备份文件进行一致性校验；

在通过一致性校验时，使所述从服务器根据所述从服务器的最大位移量，对所述增量文件进行复制。

7.如权利要求6所述的方法，其特征在于，所述将读取的数据与所述主数据库备份文件进行一致性校验，包括：

根据预设的数据数量和读取顺序，在所述增量文件中，读取所述从服务器的最大位移量之前的数据；

将读取的数据与所述主数据库备份文件进行比对；

根据比对结果进行一致性校验。

8.一种主从同步装置，其特征在于，所述装置包括：

容量确定模块，当从服务器重启或所述从服务器的主服务器ID变更后，确定预设的复制缓存区中增量文件占用的存储容量与主数据库备份文件占用的存储容量的比值；所述增量文件包括当从服务器与所述主服务器之间断线且所述从服务器重启后，所述复制缓存区中存储的所述主数据库备份文件中产生的未备份至所述从服务器的备份文件；所述主数据库备份文件存储在主备份区；

同步模块，用于当确定的所述比值符合预设复制条件时，使从服务器根据所述从服务器的最大位移量，在所述预设的复制缓存区中所述从服务器的最大位移量之后的数据进行复制；所述从服务器的最大位移量是根据从服务器复制的主备份区中数据或所述复制缓存区中数据在增量文件中的偏移量确定的；所述预设复制条件指示所述复制缓存区中数据相对所述主备份区中数据的过期比例阈值，所述比值符合预设复制条件指示所述复制缓存区中数据相对所述主备份区中数据的过期比例小于或等于所述过期比例阈值；

当确定的所述比值不符合预设复制条件时，使从服务器对所述主备份区中主数据库备份文件进行全量复制；所述比值符合预设复制条件指示所述复制缓存区中数据相对所述主备份区中数据的过期比例大于所述过期比例阈值。

9.一种主服务器，其特征在于，所述主服务器包括存储器和处理器；所述存储器存储有主从同步计算机程序，所述处理器执行所述计算机程序，以实现如权利要求1-7 中任意一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有主从同步计算机程序，所述计算机程序被至少一个处理器执行时，以实现如权利要求1-7 中任意一项所述方法的步骤。

Images