CN118296019A - 一种大数据一致性处理方法 - Google Patents

Abstract

本发明涉及一种大数据一致性处理方法，该方法在大数据系统中使用一致性协调服务器对数据记录进行一致性检查，根据存储数据记录的存储服务器所计算的hash值，确定不一致的数据记录，并对其进行修正。该方法能够及时发现和处理大数据系统中不一致的数据，保证大数据系统中的数据一致性，从而提高了整个系统的稳定性。

Description

一种大数据一致性处理方法

【技术领域】

本发明属于大数据处理领域，尤其涉及一种大数据一致性处理方法。

【背景技术】

现有技术中，海量数据通常采用多个存储服务器进行存储，具体而言，每个存储服务器上都具有一个数据库用于存储数据，且每份数据同时存储于多个数据库中。也就是说，每个数据记录同时存在多个副本，因此需要保证多个副本中该数据记录的一致性，这是大数据管理的核心要求之一，也是满足数据库最基本的ACID特性的要求。

在大数据领域，数据的安全不再由硬件来保证，而是通过软件手段，通过同时将数据写入到多个数据库中，来确保数据安全。但是，在同时向多个数据库写入数据记录后，由于硬件或软件错误，也有可能出现数据错误，导致数据不一致。在此种情况下，如何保证数据一致性是本领域中需要解决的一个问题。

【发明内容】

为了解决现有技术中的上述问题，本发明提供了一种大数据一致性处理方法。

本发明采用的技术方案具体如下：

一种大数据一致性处理方法，包括以下步骤：

步骤100：中心服务器接收外部应用的数据操作请求，并确定执行所述数据操作请求的一个或多个存储服务器；

步骤200：所述中心服务器将所述数据操作请求的相关信息发送给一致性协调服务器；

步骤300：所述一致性协调服务器在满足预定条件后，启动对部分数据记录的一致性检查；

步骤400：若所述一致性协调服务器确定对数据记录R进行一致性检查，则所述一致性协调服务器确定存储所述数据记录R的所有存储服务器，作为所述数据记录R所对应的存储服务器集合C_R；所述存储服务器集合C_R中包括n个存储服务器S₁，S₂，……S_n；

步骤500：所述一致性协调服务器向所述存储服务器集合C_R中的每个存储服务器发送针对所述数据记录R的一致性检查消息；

步骤600：接收到所述一致性检查消息的存储服务器，锁定该数据记录R，并计算该数据记录R的hash值，将计算结果返回给所述一致性协调服务器；

步骤700：所述一致性协调服务器确定该数据记录R所对应的所有n个hash值是否一致，如果一致，则针对该数据记录R的一致性检查结束；如果不一致，则从所述n个hash值中确定该数据记录R的最可靠hash值H_R；

步骤800：所述一致性协调服务器根据计算出所述H_R的存储服务器中的数据记录R，修正其他存储服务器中不一致的数据记录R；在修正完毕后，所述一致性协调服务器通知所有存储服务器解锁数据记录R；

其中，所述步骤700具体包括：

步骤710：判断所述n个hash值中，是否存在k个相等的hash值，且满足k＞n/2；如果有，则这k个相等的hash值就是最可靠的hash值H_R；如果没有，则继续执行后续步骤；

步骤720：确定每个存储服务器S_i的原始信任度Z_i，1≤i≤n；

步骤730：对于存储服务器S_i，判断涉及该存储服务器S_i的最近的m次一致性检查中，其计算的hash值没有被选择为最可靠hash值的次数L_i；其中m是预先确定的次数；

步骤740：根据存储服务器的原始信任度Z_i和所述次数L_i，计算存储服务器S_i的信任度W_i；

步骤750：对于所述n个hash值中的任一个hash值H_i，确定与H_i相对应的存储服务器集合SH_i；所述存储服务器集合SH_i是存储服务器集合C_R的子集，且SH_i中的任一存储服务器在步骤600中计算得到的hash值等于H_i；

步骤760：对于任一个hash值H_i，计算其对应的SH_i中所有存储服务器的信任度之和，作为H_i的信任度；将信任度最大的hash值作为最可靠hash值H_R。

进一步地，所述数据操作请求的相关信息包括数据操作请求所涉及的数据记录标识、数据操作类型。

进一步地，所述预定条件包括预定的时间间隔，即每隔预定的时间间隔启动一次一致性检查。

进一步地，所述预定条件包括：所述部分数据记录的数据操作历史满足相应的条件。

进一步地，该数据记录R在锁定期间被禁止接受中心服务器的任何写操作，但是可以读取。

进一步地，系统管理员基于存储服务器的硬件可靠性和/或软件可靠性为其设置原始信任度。

进一步地，所述步骤740中，W_i＝Z_i-aL_i；其中，a是预定义的常数。

进一步地，所述步骤740中，W_i＝Z_i-A_iL_i；其中，A_i是基于存储服务器S_i的具体情况所确定的数值。

进一步地，A_i＝Z_i/m。

进一步地，所述步骤800具体包括：基于H_R相对应的存储服务器集合SH_R，所述一致性协调服务器随机从SH_R中选择一个存储服务器，向其发送一致性读取命令，读取数据记录R，然后向需要修正的存储服务器发送一致性修正命令，所述一致性修正命令包括数据记录R和H_R；接收到一致性修正命令的存储服务器根据命令中的数据记录R修正本地存储的数据记录R，并根据H_R验证修正结果的正确性。

本发明的有益效果是：及时发现并准确地处理大数据系统中不一致的数据，保证大数据系统中的数据一致性，从而提高了整个系统的稳定性。

【附图说明】

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：

图1是本发明涉及的大数据处理系统的基本架构图。

【具体实施方式】

下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。

本发明的大数据一致性处理方法应用于对大数据进行存储和处理的系统。参见附图1，其示出了该系统的基本架构，该系统包括多个存储服务器1、中心服务器2和一致性协调服务器3，各个服务器之间通过网络相互连接和通信。

所述存储服务器用于存储数据。作为大数据系统，其通常存储了海量数据，为了保证数据存储的效率和安全性，系统中包括了多个可以并行工作的存储服务器。在实际应用中，每个存储服务器可以存储整个系统的一部分数据记录，而一个数据记录可以同时存储在多个(甚至全部)存储服务器中，从而自然实现数据记录的灾备功能，即使其中一个存储服务器损坏，该数据记录也可以从其他存储服务器中读取。在具体实现上，每个存储服务器可以设置一个数据库来存储相应的数据，不同存储服务器的数据库通常是同一类型的数据库，当然也可以是不同类型的数据库，本发明对此不作限制。

所述中心服务器是系统与外部应用的接口，用于接收外部应用的数据操作请求，例如增加数据记录、删除数据记录、查询数据记录等等。通常而言，当外部应用需要操作数据时，其将数据操作请求通过网络发送给中心服务器，中心服务器根据数据操作请求的具体内容，向存储服务器发起相应的数据操作。例如，如果所述数据操作请求是增加一个数据记录，则中心服务器需要确定所述数据记录应当存储于哪些存储服务器中，然后将增加数据记录的请求发送给所确定的存储服务器，从而实现数据记录在多个存储服务器上的分布式存储。中心服务器对数据操作请求的处理方法是本领域已有的现有技术，在此不再赘述。

所述一致性协调服务器是本发明中用于执行大数据一致性处理方法的核心服务器。如前所述，一个数据记录可以同时存储于多个存储服务器上，也就是说，该数据记录同时存在多个副本。由于硬件或软件错误，这些副本可能出现不一致的情况，从而可能导致后续的一系列数据错误。因此本发明通过所述一致性协调服务器执行大数据一致性处理方法，以发现不一致的数据记录，并对数据的一致性进行协调。

基于上述系统架构，下面详细说明本发明的大数据一致性处理方法。

步骤100：中心服务器接收外部应用的数据操作请求，并确定执行所述数据操作请求的一个或多个存储服务器。

如前所述，所述数据操作请求涉及对系统中数据记录的增加、删除、修改、查询等操作。中心服务器根据数据操作请求，确定用于执行该数据操作请求的一个或多个存储服务器，然后将数据操作请求发送给所确定的存储服务器，存储服务器执行该数据操作请求，并将执行结果返回给中心服务器，中心服务器再将执行结果返回给外部应用。

例如，如果数据操作请求涉及对数据记录的修改，中心服务器需要确定该数据记录对应的所有存储服务器，让这些存储服务器同步执行相应的修改操作。又例如，如果数据操作请求是读取指定的数据记录，中心服务器仅需要确定该数据记录对应的一个存储服务器，通过该存储服务器读取相应的数据记录。上述过程的具体实现方法是本领域大数据处理系统的现有技术，为本领域技术人员所熟知，也并非本发明的重点内容，在此不再赘述。

步骤200：所述中心服务器将所述数据操作请求的相关信息发送给一致性协调服务器。

具体的，所述中心服务器通过分析所述数据操作请求，确定出一致性协调服务器所需要的相关信息，所述相关信息包括数据操作请求所涉及的数据记录标识、数据操作类型(例如增加、删除、修改、查询等等)，但不包括所述数据记录的具体内容。所述一致性协调服务器存储接收到的相关信息，用于后续的一致性协调任务。

步骤300：所述一致性协调服务器在满足预定条件后，启动对部分数据记录的一致性检查。

所述预定条件可以由系统管理员根据管理策略预先设定。具体的，所述预定条件可以包括预定的时间间隔，即每隔预定的时间间隔启动一次一致性检查。所述预定条件还可以包括：所述部分数据记录的数据操作历史满足相应的条件，例如，数据记录在经过上一次一致性检查后，对其进行的修改操作次数大于预定阈值。也就是说，如果某个数据记录在经过一致性检查后，对其进行的修改操作次数大于预定阈值，则该数据记录就需要再次进行一致性检查，因此所述一致性协调服务器本次启动对该数据记录的一致性检查。又例如，可以综合考虑数据记录在上一次一致性检查后各种操作的次数，计算各种操作次数的加权和，将所述加权和是否超过预定阈值作为所述预定条件。

步骤400：若所述一致性协调服务器确定对数据记录R进行一致性检查，则所述一致性协调服务器确定存储所述数据记录R的所有存储服务器，作为所述数据记录R所对应的存储服务器集合C_R。

具体的，当所述一致性协调服务器启动对某个数据记录R进行一致性检查后，所述一致性协调服务器首先通过查询，确定存储该数据记录R的所有存储服务器作为相应的存储服务器集合C_R。所述一致性协调服务器可以通过步骤200中所收集的相关信息来确定所述存储服务器集合C_R，也可以直接通过询问中心服务器来确定所述存储服务器集合C_R；或者，如果使用的大数据系统中具有相应的全局索引服务器或者全局编目服务器，所述一致性协调服务器也可以通过查询这些服务器来确定所述存储服务器集合C_R。总之，本领域技术人员可以根据具体的大数据系统来决定如何确定所述存储服务器集合C_R，本发明对此不作限制。

步骤500：所述一致性协调服务器向所述存储服务器集合C_R中的每个存储服务器发送针对所述数据记录R的一致性检查消息。

具体的，假设所述存储服务器集合C_R中包括n个存储服务器S₁，S₂，……S_n，即C_R＝{S₁，S₂，……，S_n}，则所述一致性协调服务器向每个S_i(1≤i≤n)发送一个一致性检查消息，所述一致性检查消息用于指示存储服务器S_i，启动对所述数据记录R的一致性检查。当然，如果所述一致性协调服务器需要对存储服务器S_i上的多个数据记录进行一致性检查，则发给该存储服务器S_i的一致性检查消息也可以包括对多个数据记录启动一致性检查的指示。

步骤600：接收到所述一致性检查消息的存储服务器，锁定该数据记录R，并计算该数据记录R的hash值，将计算结果返回给所述一致性协调服务器。

具体的，对于所述存储服务器集合C_R中的任意一个存储服务器S_i，其在接收到针对数据记录R的所述一致性检查消息后，就锁定该数据记录R。这里“锁定”的意思是指该数据记录R在锁定期间被禁止接受中心服务器的任何写操作(包括修改、删除)，但是可以读取该数据记录R。

在锁定该数据记录R后，所述存储服务器S_i计算该数据记录R的hash值H_i，即H_i＝hash(R)。具体的hash函数可以采用本领域中任意一种hash函数，例如MD5，SHA-1等等，本发明对此不作限制。

每个存储服务器S_i(1≤i≤n)将计算得到的H_i返回给所述一致性协调服务器，这样所述一致性协调服务器就可以得到该数据记录R的n个hash值H₁，H₂，……，H_n。

步骤700：所述一致性协调服务器确定该数据记录R所对应的所有hash值是否一致，如果一致，则针对该数据记录R的一致性检查结束；如果不一致，则从所有hash值中确定该数据记录R的最可靠hash值H_R。

具体的，所述一致性协调服务器在步骤600中，从n个存储服务器接收到该数据记录R的n个hash值H₁，H₂，……，H_n。如果这n个hash值都相等，说明这n个存储服务器所存储的数据记录R都是相同的，即系统中数据记录R是一致的，完成对该数据记录R的一致性检查。

如果这n个hash值并不完全相等，说明这n个存储服务器存储的数据记录R是不一致的，此时所述一致性协调服务器需要从这n个hash值中确定最可靠的hash值，因此，本发明提出了一种基于存储服务器的信任度来确定最可靠hash值的方法，具体包括如下步骤。

步骤710：判断所述n个hash值中，是否存在k个相等的hash值，且满足k＞n/2；如果有，则这k个相等的hash值就是最可靠的hash值H_R；如果没有，则继续执行后续步骤；

具体而言，如果n个hash值中，有超过半数的hash值相等，则这个hash值就可以认定为最可靠的hash值。

步骤720：确定每个存储服务器S_i的原始信任度Z_i，1≤i≤n。

具体的，每个存储服务器都具有一个原始信任度，所述原始信任度是由系统管理员预先设置的。系统管理员可以基于存储服务器的硬件可靠性和/或软件可靠性，根据经验为其设置一个原始信任度。也就是说，如果一台存储服务器本身的硬件和/或软件可靠性越高，则其原始信任度应当越高，具体数值由系统管理员根据经验设置。

步骤730：对于存储服务器S_i，判断涉及该存储服务器S_i的最近的m次一致性检查中，其计算的hash值没有被选择为最可靠hash值的次数L_i；其中m是预先确定的数值。

具体的，对于每个存储服务器S_i，其在历史上参与过多次一致性检查，检查的数据记录可以是本次数据记录R，也可以是其他数据记录。总之，选择其参与的最近m次一致性检查，每次一致性检查基于步骤600都会计算出一个hash值，这个hash值有可能被选择为最可靠的hash值(在步骤700)中，也有可能不是最可靠hash值，因此可以统计这m次计算的hash值中，没有被选择为最可靠hash值的次数L_i。

步骤740：根据存储服务器的原始信任度Z_i和所述次数L_i，计算存储服务器S_i的信任度W_i。

根据本发明的一个优选实施例，W_i＝Z_i-aL_i；其中，a是预定义的常数，即每一次计算出不可靠的hash值，该存储服务器的信任度都会下降一个数值，且信任度不小于零。

根据本发明的另一个优选实施例，W_i＝Z_i-A_iL_i；其中，A_i是基于存储服务器S_i具体情况所确定的数值，优选的，A_i＝Z_i/m。

在确定了n个存储服务器S_i的信任度后，就可以基于这n个信任度确定最可靠hash值。

步骤750：对于所述n个hash值中的任一个hash值H_i，确定与H_i相对应的存储服务器集合SH_i；所述存储服务器集合SH_i是存储服务器集合C_R的子集，且SH_i中的任一存储服务器在步骤600中计算得到的hash值等于H_i。

具体的，所述hash值虽然有n个，但是其中部分值是相等的。基于步骤710的结果，所述n个hash值中至少包括2个不同的具体值，步骤750实际上是针对其中任意一个具体值，获取计算得到该值的所有存储服务器集合。因此，如果n个hash值中包括k个不同的具体值，则实际上得到的是k个不同存储服务器集合SH_i，也就是说，如果H_i＝H_j，则有SH_i＝SH_j；否则必然有SH_i不等于SH_j。

步骤760：对于任一个hash值H_i，计算其对应的SH_i中所有存储服务器的信任度之和，作为H_i的信任度；将信任度最大的hash值作为最可靠hash值H_R。

至此，一致性协调服务器从n个不完全相等的hash值中得到了最可靠的hash值H_R，作为数据记录R的hash值。同时，一致性协调服务器也可以得到计算出所述H_R的所有存储服务器，这些存储服务器中存储数据记录R将作为一致性协调的基础，替换其他存储服务器中不一致的数据记录R。

步骤800：所述一致性协调服务器根据计算出所述H_R的存储服务器中的数据记录R，修正其他存储服务器中不一致的数据记录R。在修正完毕后，所述一致性协调服务器通知所有存储服务器解锁数据记录R。

具体的，基于H_R相对应的存储服务器集合SH_R，SH_R中的存储服务器存储的数据记录R视为可靠的，而SH_R之外存储的数据记录R是不一致、不可靠的，因此可以从SH_R中任意一个存储服务器读取数据记录R，然后根据该数据记录R修正其他不一致的数据记录R。

在具体实现上，一致性协调服务器可以随机从SH_R中选择一个存储服务器，向其发送一致性读取命令，读取数据记录R，然后向需要修正的存储服务器发送一致性修正命令，所述一致性修正命令包括数据记录R和H_R。接收到一致性修正命令的存储服务器可以根据命令中的数据记录R修正本地存储的数据记录R，并根据hash值H_R验证修正结果的正确性。

通过以上步骤，完成了大数据系统的一致性检查和处理，本发明通过在系统中设置一个一致性协调服务器来执行上述步骤，可以及时发现并准确地处理大数据系统中不一致的数据，保证大数据系统中的数据一致性，从而提高了整个系统的稳定性。

以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (10)

1.一种大数据一致性处理方法，其特征在于，包括以下步骤：

步骤100：中心服务器接收外部应用的数据操作请求，并确定执行所述数据操作请求的一个或多个存储服务器；

步骤200：所述中心服务器将所述数据操作请求的相关信息发送给一致性协调服务器；

步骤300：所述一致性协调服务器在满足预定条件后，启动对部分数据记录的一致性检查；

步骤400：若所述一致性协调服务器确定对数据记录R进行一致性检查，则所述一致性协调服务器确定存储所述数据记录R的所有存储服务器，作为所述数据记录R所对应的存储服务器集合C_R；所述存储服务器集合C_R中包括n个存储服务器S₁，S₂，……S_n；

步骤500：所述一致性协调服务器向所述存储服务器集合C_R中的每个存储服务器发送针对所述数据记录R的一致性检查消息；

步骤600：接收到所述一致性检查消息的存储服务器，锁定该数据记录R，并计算该数据记录R的hash值，将计算结果返回给所述一致性协调服务器；

步骤700：所述一致性协调服务器确定该数据记录R所对应的所有n个hash值是否一致，如果一致，则针对该数据记录R的一致性检查结束；如果不一致，则从所述n个hash值中确定该数据记录R的最可靠hash值H_R；

步骤800：所述一致性协调服务器根据计算出所述H_R的存储服务器中的数据记录R，修正其他存储服务器中不一致的数据记录R；在修正完毕后，所述一致性协调服务器通知所有存储服务器解锁数据记录R；

其中，所述步骤700具体包括：

步骤710：判断所述n个hash值中，是否存在k个相等的hash值，且满足k＞n/2；如果有，则这k个相等的hash值就是最可靠的hash值H_R；如果没有，则继续执行后续步骤；

步骤720：确定每个存储服务器S_i的原始信任度Z_i，1≤i≤n；

步骤730：对于存储服务器S_i，判断涉及该存储服务器S_i的最近的m次一致性检查中，其计算的hash值没有被选择为最可靠hash值的次数L_i；其中m是预先确定的次数；

步骤740：根据存储服务器的原始信任度Z_i和所述次数L_i，计算存储服务器S_i的信任度W_i；

步骤750：对于所述n个hash值中的任一个hash值H_i，确定与H_i相对应的存储服务器集合SH_i；所述存储服务器集合SH_i是存储服务器集合C_R的子集，且SH_i中的任一存储服务器在步骤600中计算得到的hash值等于H_i；

步骤760：对于任一个hash值H_i，计算其对应的SH_i中所有存储服务器的信任度之和，作为H_i的信任度；将信任度最大的hash值作为最可靠hash值H_R。

2.根据权利要求1所述的方法，其特征在于，所述数据操作请求的相关信息包括数据操作请求所涉及的数据记录标识、数据操作类型。

3.根据权利要求1-2任意一项所述的方法，其特征在于，所述预定条件包括预定的时间间隔，即每隔预定的时间间隔启动一次一致性检查。

4.根据权利要求1-2任意一项所述的方法，其特征在于，所述预定条件包括：所述部分数据记录的数据操作历史满足相应的条件。

5.根据权利要求1-4任意一项所述的方法，其特征在于，该数据记录R在锁定期间被禁止接受中心服务器的任何写操作，但是可以读取。

6.根据权利要求1-5任意一项所述的方法，其特征在于，系统管理员基于存储服务器的硬件可靠性和/或软件可靠性为其设置原始信任度。

7.根据权利要求1所述的方法，其特征在于，所述步骤740中，W_i＝Z_i-aL_i；其中，a是预定义的常数。

8.根据权利要求1所述的方法，其特征在于，所述步骤740中，W_i＝Z_i-A_iL_i；其中，A_i是基于存储服务器S_i的具体情况所确定的数值。

9.根据权利要求8所述的方法，其特征在于，A_i＝Z_i/m。

10.根据权利要求1所述的方法，其特征在于，所述步骤800具体包括：基于H_R相对应的存储服务器集合SH_R，所述一致性协调服务器随机从SH_R中选择一个存储服务器，向其发送一致性读取命令，读取数据记录R，然后向需要修正的存储服务器发送一致性修正命令，所述一致性修正命令包括数据记录R和H_R；接收到一致性修正命令的存储服务器根据命令中的数据记录R修正本地存储的数据记录R，并根据H_R验证修正结果的正确性。