CN110413692A - 用于数据库集群的数据处理方法和服务器 - Google Patents

Abstract

本公开提供了一种用于数据库集群的数据处理方法，数据库集群包括第一主节点和一个或者多个第一从节点，该方法包括在服务器端执行以下操作：接收来自第一主节点的主从切换请求；响应于主从切换请求，执行主从切换操作，以便将第一主节点切换为第二从节点并将一个或者多个第一从节点中的一个第一从节点切换为第二主节点；将第二主节点设置为不可读写状态；接收来自第二主节点的补数命令；以及响应于补数命令，执行补数操作，以便为第二主节点补回在执行主从切换操作过程中丢失的数据。本公开还提供了一种服务器、一种电子设备以及一种计算机可读存储介质。

Description

用于数据库集群的数据处理方法和服务器

技术领域

本公开涉及计算机技术领域，特别是涉及一种用于数据库集群的数据处理方法方法和服务器。

背景技术

数据库集群如redis集群可以基于索引存储数据。而基于索引存储数据可以提高数据查询效率。传统的redis集群存储模式一般使用分片方式存储数据。比如3个redis主节点(即3个redis主数据库)可以组成一个redis集群，那么一个数据根据redis的hash算法一定会落在一个固定的主节点上。为了保障数据安全，redis集群中每个主节点一般都配置有一个或者多个从节点。实际使用时，redis集群中只有主节点提供读写服务，从节点只做数据备份使用。如果redis主节点因为网络时延或者自身宕机引发主从切换，那么新产生的redis主节点一般都会有数据丢失。

发明内容

本公开的一个方面提供了一种用于数据库集群的数据处理方法方法，所述数据库集群包括第一主节点和一个或者多个第一从节点，所述方法包括在服务器端执行以下操作：接收来自所述第一主节点的主从切换请求；响应于所述主从切换请求，执行主从切换操作，以便将所述第一主节点切换为第二从节点并将所述一个或者多个第一从节点中的一个第一从节点切换为第二主节点；将所述第二主节点设置为不可读写状态；接收来自所述所述第二主节点的补数命令；以及响应于所述补数命令，执行补数操作，以便为所述第二主节点补回在执行主从切换操作过程中丢失的数据。

可选地，所述方法还包括：响应于所述补数操作执行完成，将所述第二主节点设置为可读写状态。

可选地，所述补数操作包括针对多条数据进行补数的相关操作；以及所述执行补数操作，包括：以并发方式对所述第二主节点执行所述相关操作。

可选地，所述执行主从切换操作，包括：从所述一个或者多个第一从节点中随机选取一个第一从节点；以及将随机选取的第一从节点切换为所述第二主节点。

可选地，所述执行补数操作，包括：读取应用数据库中时间戳处于主从切换时间段内的数据，所述主从切换时间段为与所述执行主从切换操作对应的时间段；以及根据读取的数据，对所述第二主节点执行所述补数操作。

本公开的另一个方面提供了一种服务器，用于数据库集群的数据处理，所述数据库集群包括第一主节点和一个或者多个第一从节点，所述服务器包括：第一接收模块，用于接收来自所述第一主节点的主从切换请求；切换模块，用于响应于所述主从切换请求，执行主从切换操作，以便将所述第一主节点切换为第二从节点并将所述一个或者多个第一从节点中的一个第一从节点切换为第二主节点；第一设置模块，用于将所述第二主节点设置为不可读写状态；第二接收模块，用于接收来自所述所述第二主节点的补数命令；以及补数模块，用于响应于所述补数命令，执行补数操作，以便为所述第二主节点补回在执行主从切换操作过程中丢失的数据。

可选地，所述服务器还包括：第二设置模块，用于响应于所述补数操作执行完成，将所述第二主节点设置为可读写状态。

可选地，所述补数操作包括针对多条数据进行补数的相关操作；以及所述补数模块还用于：以并发方式对所述第二主节点执行所述相关操作。

本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。

本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了根据本公开实施例的适于用于数据库集群的数据处理方法的系统架构；

图2示意性示出了根据本公开实施例的用于数据库集群的数据处理方法的流程图；

图3示意性示出了根据本公开实施例的执行主从切换操作的流程图；

图4示意性示出了根据本公开实施例的服务器的框图；以及

图5示意性示出了根据本公开实施例的电子设备的框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。

本公开的实施例提供了一种用于数据库集群的数据处理方法以及能够应用该方法的服务器。该数据库集群例如可以包括一个第一主节点和多个第一从节点。该方法例如可以包括在服务器端执行以下操作。接收来自第一主节点的主从切换请求。响应于主从切换请求，执行主从切换操作，以便将第一主节点切换为第二从节点并将多个第一从节点中的一个第一从节点切换为第二主节点。将第二主节点设置为不可读写状态。接收来自第二主节点的补数命令。响应于补数命令，执行补数操作，以便为第二主节点回补在执行主从切换操作过程中丢失的数据。

图1示意性示出了根据本公开实施例的适于用于数据库集群的数据处理方法的系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，该系统架构例如可以包括：一个或者多个服务器101以及一个数据库集群(如redis集群)。一个数据库集群例如可以包括一个或者多个主节点102以及一个或者多个从节点(如从节点103、从节点104和从节点105)。应该理解，在本公开实施例中，集群中每个主节点例如可以包括一个或者多个从节点。并且应该理解，每个服务器可以单独负责一个主节点的主从切换的相关操作，或者所有主节点的主从切换的相关操作都可以由同一个服务器负责完成。

实际使用时，redis集群中只有主节点提供读写服务，所有的从节点只做数据备份使用。如果redis主节点因为网络时延或者自身宕机引发主从切换，那么新产生的redis主节点一般都会有数据丢失。对此，通过本公开提供的技术方案，可以通过服务器执行补数操作，从而为新产生的redis主节点补回主从切换过程中丢失的数据，进而可以保障数据安全。

图2示意性示出了根据本公开实施例的用于数据库集群的数据处理方法的流程图。

数据库集群例如可以包括一个或者多个第一主节点，以及一个或者多个第一从节点。应该理解，集群中每个第一主节点可以包括一个或者多个第一从节点。

如图2所示，该方法例如可以包括在服务器端执行以下操作S210～S250。

在操作S210，接收来自第一主节点的主从切换请求。

应该理解，在本公开实施例中，该第一主节点可以是集群中所有主节点中的任意一个。

具体地，如果网络延迟或者某个主节点自身宕机，则该主节点可以向服务器发送主从切换请求，从而要求将该主节点切换为新的从节点或者将该主节点挂起，并将隶属于该主节点的从节点中的一个切换为新的主节点。

接下来，在操作S220，响应于主从切换请求，执行主从切换操作，以便将第一主节点切换为第二从节点并将一个或者多个第一从节点中的一个第一从节点切换为第二主节点。

应该理解，在本公开实施例中，对于发起主从切换的主节点，既可以将其切换新的从节点，也可以将其挂起。需要说明的是，切换成新的从节点之后，该节点只能用于数据备份，不再用于存储数据。

同时，对于发起主从切换的主节点，还需要从该主节点的所有从节点中找出一个从节点，并将该从节点切换为新的主节点。需要说明的是，该从节点切换成新的主节点之后，只能用于存储数据，不再用于备份数据。

然后，在操作S230，将第二主节点设置为不可读写状态。

具体地，在本公开实施例中，可以使用二进制数标记各主节点的读写状态。例如可以将一个主节点的读写状态值设置为1，用以表示该主节点当前处于可读写状态，将一个主节点的读写状态值设置为0，用以表示该主节点当前处于不可读写状态。或者还可以做相反设置，即将一个主节点的读写状态值设置为0，用以表示该主节点当前处于可读写状态，将一个主节点的读写状态值设置为1，用以表示该主节点当前处于不可读写状态。对此，本公开实施例不做限定。

基于此，在操作S230，对于由从节点切换得到的新的主节点，例如可以按照预先设定的设置规则将其读写状态值设置为1，用以表示该新的主节点目前处于不可读写状态。

再然后，在操作S240，接收来自第二主节点的补数命令。

在本公开实施例中，为了防止数据丢失，由从节点切换得到的新的主节点例如可以向服务器发送补数命令，从而要求将主从切换过程中丢失的数据补回到该新的主节点中。

再然后，在操作S250，响应于补数命令，执行补数操作，以便为第二主节点补回在执行主从切换操作过程中丢失的数据。

具体地，在本公开实施例中，可以通过查看数据修改日志，并查看各数据修改日志的时间戳，来将与时间戳处于主从切换过程对应的时间范围内的数据修改操作所产生的数据对应的索引写入由从节点切换得到的新的主节点中，以便为该新的主节点补回在上述主从切换过程中丢失的数据。

通过本公开提供的技术方案，可以通过服务器执行补数操作，从而为新产生的redis主节点补回主从切换过程中丢失的数据，进而可以保障数据安全。

作为一种可选的实施例，该方法例如还可以包括响应于补数操作执行完成，将第二主节点设置为可读写状态。

具体地，在本公开实施例中，例如如果在操作S230中对于由从节点切换得到的新的主节点，已按照预先设定的设置规则将该新的主节点的读写状态值设置为1来表示该新的主节点目前处于不可读写状态，那么在补数操作完成后，可以将该新的主节点的读写状态值重置为1来表示该新的主节点目前处于可读写状态。

作为一种可选的实施例，上述补数操作例如可以包括针对多条数据进行补数的相关操作。上述执行补数操作例如可以包括：以并发方式对第二主节点执行相关操作。

具体地，例如在主从切换过程中，对于由从节点切换得到的新的主节点，如果在写入时有N条数据丢失，并且在修改时有M条数据丢失，则补数时可以对该新的主节点同时发起N条数据写入操作请求或者同时发起M条数据修改操作请求，以提高补数效率。M和N是大于1的整数。

图3示意性示出了根据本公开实施例的执行主从切换操作的流程图。

如图3所示，作为一种可选的实施例，操作S220执行主从切换操作例如可以包括如下操作S310～S320。

在操作S310，从多个第一从节点中随机选取一个第一从节点。

接下来，在操作S320，将随机选取的第一从节点切换为第二主节点。

应该理解，在本公开实施例中，对于发起主从切换的主节点而言，如果该主节点仅有一个从节点，则可以直接将该节点切换为新的主节点。而如果该主节点具有多个从节点，则可以先随机选择一个从节点，再将随机选出的这个从节点切换为新的主节点。

此外，在本公开实施例中，如果该主节点具有多个从节点，则还可以先按照预先设定的选择机制选择一个从节点，再将选出的这个从节点切换为新的主节点。

作为一种可选的实施例，上述执行补数操作例如可以包括如下操作。即读取应用数据库中时间戳处于主从切换时间段内的数据，并根据读取的数据，对第二主节点执行补数操作。其中，应该理解，在本公开实施例中，主从切换时间段为与执行主从切换操作对应的时间段。换言之，主从切换时间段为执行主从切换操作所占用时间段。

具体地，在本公开实施例中，例如可以从应用数据库中读取时间戳处于主从切换时间段内的数据，并将与读取的数据关联的索引写入由从节点切换得到的新的主节点中，从而实现对该新的主节点的补数。

图4示意性示出了根据本公开实施例的服务器的框图。

应该理解，在本公开实施例中，该服务器例如可以用于数据库集群的数据处理。该数据库集群例如可以包括一个第一主节点和多个第一从节点。

如图4所示，该服务器400例如可以包括第一接收模块401、切换模块402、第一设置模块403、第二接收模块404和补数模块405。该服务器400例如可以执行上面参考方法实施例部分描述的方法，在此不再赘述。

具体地，第一接收模块401例如可以用于接收来自第一主节点的主从切换请求。

切换模块402例如可以用于响应于主从切换请求，执行主从切换操作，以便将第一主节点切换为第二从节点并将多个第一从节点中的一个第一从节点切换为第二主节点。

第一设置模块403例如可以用于将第二主节点设置为不可读写状态。

第二接收模块404例如可以用于接收来自第二主节点的补数命令。

补数模块405例如可以用于响应于补数命令，执行补数操作，以便为第二主节点回补在执行主从切换操作过程中丢失的数据。

通过本公开提供的技术方案，可以通过服务器执行补数操作，从而为新产生的redis主节点补回主从切换过程中丢失的数据，进而可以保障数据安全。

作为一种可选的实施例，该服务器例如还可以包括第二设置模块。

具体地，第二设置模块例如可以用于响应于补数操作执行完成，将第二主节点设置为可读写状态。

作为一种可选的实施例，上述补数操作例如可以包括针对多条数据进行补数的相关操作。对应地，上述补数模块例如还可以用于以并发方式对第二主节点执行相关操作。

需要说明的是，装置部分的实施例方式与方法部分的实施例方式对应类似，并且所达到的技术效果也对应类似，在此不再赘述。

根据本公开的实施例的模块中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，第一接收模块401、切换模块402、第一设置模块403、第二接收模块404和补数模块405中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第一接收模块401、切换模块402、第一设置模块403、第二接收模块404和补数模块405中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一接收模块401、切换模块402、第一设置模块403、第二接收模块404和补数模块405中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图5示意性示出了根据本公开实施例的电子设备的框图。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图5所示，电子设备500包括处理器510、计算机可读存储介质520。该电子设备500可以执行根据本公开实施例的方法。

具体地，处理器510例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器510还可以包括用于缓存用途的板载存储器。处理器510可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

计算机可读存储介质520，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；等等。

计算机可读存储介质520可以包括计算机程序521，该计算机程序521可以包括代码/计算机可执行指令，其在由处理器510执行时使得处理器510执行根据本公开实施例的方法或其任何变形。

计算机程序521可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序521中的代码可以包括一个或多个程序模块，例如包括521A、模块521B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器510执行时，使得处理器510可以执行根据本公开实施例的方法或其任何变形。

根据本公开的实施例，第一接收模块401、切换模块402、第一设置模块403、第二接收模块404和补数模块405中的至少一个可以实现为参考图5描述的计算机程序模块，其在被处理器510执行时，可以实现上面描述的相应操作。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种用于数据库集群的数据处理方法，所述数据库集群包括第一主节点和一个或者多个第一从节点，所述方法包括在服务器端执行以下操作：

接收来自所述第一主节点的主从切换请求；

响应于所述主从切换请求，执行主从切换操作，以便将所述第一主节点切换为第二从节点并将所述一个或者多个第一从节点中的一个第一从节点切换为第二主节点；

将所述第二主节点设置为不可读写状态；

接收来自所述所述第二主节点的补数命令；以及

响应于所述补数命令，执行补数操作，以便为所述第二主节点补回在执行主从切换操作过程中丢失的数据。

2.根据权利要求1所述的方法，其中，所述方法还包括：

响应于所述补数操作执行完成，将所述第二主节点设置为可读写状态。

3.根据权利要求1所述的方法，其中，

所述补数操作包括针对多条数据进行补数的相关操作；以及

所述执行补数操作，包括：

以并发方式对所述第二主节点执行所述相关操作。

4.根据权利要求1所述的方法，其中，所述执行主从切换操作，包括：

从所述一个或者多个第一从节点中随机选取一个第一从节点；以及

将随机选取的第一从节点切换为所述第二主节点。

5.根据权利要求1所述的方法，其中，所述执行补数操作，包括：

读取应用数据库中时间戳处于主从切换时间段内的数据，所述主从切换时间段为与所述执行主从切换操作对应的时间段；以及

根据读取的数据，对所述第二主节点执行所述补数操作。

6.一种服务器，用于数据库集群的数据处理，所述数据库集群包括第一主节点和一个或者多个第一从节点，所述服务器包括：

第一接收模块，用于接收来自所述第一主节点的主从切换请求；

切换模块，用于响应于所述主从切换请求，执行主从切换操作，以便将所述第一主节点切换为第二从节点并将所述一个或者多个第一从节点中的一个第一从节点切换为第二主节点；

第一设置模块，用于将所述第二主节点设置为不可读写状态；

第二接收模块，用于接收来自所述所述第二主节点的补数命令；以及

补数模块，用于响应于所述补数命令，执行补数操作，以便为所述第二主节点补回在执行主从切换操作过程中丢失的数据。

7.根据权利要求6所述的服务器，其中，所述服务器还包括：

第二设置模块，用于响应于所述补数操作执行完成，将所述第二主节点设置为可读写状态。

8.根据权利要求6所述的装置，其中，

所述补数操作包括针对多条数据进行补数的相关操作；以及

所述补数模块还用于：以并发方式对所述第二主节点执行所述相关操作。

9.一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至5中任一项所述的方法。

10.一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现权利要求1至5中任一项所述的方法。