CN111541762A - 数据处理的方法、管理服务器、设备及存储介质 - Google Patents

Abstract

本申请公开了一种数据处理的方法、管理服务器、设备及存储介质，属于计算机技术领域。所述方法包括：接收终端发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；基于所述数据标识，确定每个集群中存储所述待处理数据的目标主节点设备；分别向每个集群中的目标主节点设备，发送处理权限获取请求，其中，所述处理权限请求中携带有所述数据标识；如果接收到的权限获取成功通知的数目超过阈值，则分别向每个集群中的目标主节点设备，发送数据处理通知，其中，所述处理权限请求中携带有所述数据标识。通过本申请可以提升处理数据的效率。

Description

数据处理的方法、管理服务器、设备及存储介质

技术领域

本申请涉及计算机技术领域，特别涉及一种数据处理的方法、管理服务器、设备及存储介质。

背景技术

随着计算机技术的发展，分布式存储系统逐渐被普及，技术人员经常将其用于存储应用程序的数据。分布式存储系统由一个管理服务器和一个集群组成，集群中包括多个主节点设备，主节点设备还可以连接有从节点设备，管理服务器与每个主节点设备连接。

在使用上述分布式存储系统存储数据时，该分布式存储系统通过管理服务器接收终端发送的数据处理请求，该数据处理请求携带有待处理数据的数据标识。进而管理服务器根据数据标识，确定集群中存储待处理数据的目标主节点设备。进而向该目标主节点设备发送携带有数据标识处理权限获取请求，该目标主节点设备会根据处理权限获取请求获取数据标识对应的权限状态，该目标主节点设备中存储有数据标识与权限状态的对应关系。如果该权限状态为未占用状态，则向管理服务器发送权限获取成功通知。进而管理服务器向目标主节点设备，发送数据处理通知，目标主节点设备会进行相应的数据处理。

在实现本申请的过程中，发明人发现现有技术至少存在以下问题：

在主节点设备出现故障时，该主节点设备不能对数据进行处理，只有等待该主节点设备恢复正常后，或者该主节点设备进行主从切换后才可以对数据进行处理，上述两种处理都要耗费很多时间，进而影响了处理数据的效率。

发明内容

本申请实施例提供了一种数据处理的方法、管理服务器、设备及存储介质,能够解决处理数据的效率低的问题。所述技术方案如下：

一方面，提供了一种数据处理的方法，所述方法应用于管理服务器，所述管理服务器与多个集群的主节点设备连接，每个集群包括至少一个主节点设备，所述方法包括：

接收终端发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；

基于所述数据标识，确定每个集群中存储所述待处理数据的目标主节点设备；

分别向每个集群中的目标主节点设备，发送处理权限获取请求，其中，所述处理权限请求中携带有所述数据标识；

如果接收到的权限获取成功通知的数目超过阈值，则分别向每个集群中的目标主节点设备，发送数据处理通知，其中，所述数据处理通知中携带有所述数据标识。

可选的，所述如果接收到的权限获取成功通知的数目超过阈值，则分别向每个集群中的目标主节点设备，发送数据处理通知，包括：

当接收到的权限获取成功通知的数目超过所述多个集群中的集群数目的一半时，分别向每个集群中的目标主节点设备，发送数据处理通知。

可选的，所述方法还包括：

获取待存储数据和所述待存储数据的数据标识；

在每个集群中，分别确定用于存储所述待存储数据的主节点设备；

将所述待存储数据的数据标识与所述用于存储所述待存储数据的主节点设备的设备标识对应存储；

向每个集群中用于存储所述待存储数据的主节点设备，发送所述待存储数据和所述待存储数据的数据标识。

可选的，所述在每个集群中，分别确定用于存储所述待存储数据的主节点设备，包括：

在每个集群中，分别通过轮询的方式，确定用于存储所述待存储数据的主节点设备。

可选的，所述在每个集群中，分别确定用于存储所述待存储数据的主节点设备，包括：

对于每个集群，在所述集群的各主节点设备中，确定剩余存储空间最多的主节点设备为用于存储所述待存储数据的主节点设备。

可选的，所述方法还包括：

当检测到第一集群中的第一主节点设备中存在已损坏数据时，基于所述数据标识，确定所述第二集群中存储所述已损坏数据的第二主节点设备；

在所述第二主节点设备中获取所述已损坏数据对应的未损坏数据，将所述第一主节点设备中的所述已损坏数据替换为所述未损坏数据。

可选的，所述分别向每个集群中的目标主节点设备，发送数据处理通知之后，所述方法还包括：

如果在预设的反馈等待时长内各目标主节点设备中存在第一主节点设备没有发送权限获取成功通知或权限获取失败通知，则在接收到任一目标主节点设备发送的处理完成通知后，向所述任一目标主节点设备获取所述数据标识对应的处理后的数据；

当接收到所述第一主节点设备发送的恢复工作通知时，向所述第一主节点设备，发送所述处理后的数据，以使所述第一主节点设备将存储的所述数据标识对应的数据更新为所述处理后的数据；或者，当接收到第二主节点设备发送的恢复工作通知且所述第二主节点设备是所述第一主节点设备对应的更新的主节点设备时，向所述第二主节点设备，发送所述处理后的数据，以使所述第二主节点设备将存储的所述数据标识对应的数据更新为所述处理后的数据。

另一方面，提供了一种管理服务器，所述管理服务器与多个集群的主节点设备连接，每个集群包括至少一个主节点设备，所述管理服务器包括：

接收模块，用于接收终端发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；

确定模块，用于基于所述数据标识，确定每个集群中存储所述待处理数据的目标主节点设备；

请求模块，用于分别向每个集群中的目标主节点设备，发送处理权限获取请求，其中，所述处理权限请求中携带有所述数据标识；

通知模块，用于如果接收到的权限获取成功通知的数目超过阈值，则分别向每个集群中的目标主节点设备，发送数据处理通知，其中，所述数据处理通知中携带有所述数据标识。

可选的，所述通知模块，用于：

当接收到的权限获取成功通知的数目超过所述多个集群中的集群数目的一半时，分别向每个集群中的目标主节点设备，发送数据处理通知。

可选的，所述管理服务器还包括发送模块，所述发送模块，用于：

获取待存储数据和所述待存储数据的数据标识；

在每个集群中，分别确定用于存储所述待存储数据的主节点设备；

将所述待存储数据的数据标识与所述用于存储所述待存储数据的主节点设备的设备标识对应存储；

向每个集群中用于存储所述待存储数据的主节点设备，发送所述待存储数据和所述待存储数据的数据标识。

可选的，所述发送模块，用于：

在每个集群中，分别通过轮询的方式，确定用于存储所述待存储数据的主节点设备。

可选的，所述发送模块，用于：

对于每个集群，在所述集群的各主节点设备中，确定剩余存储空间最多的主节点设备为用于存储所述待存储数据的主节点设备。

可选的，述管理服务器还包括替换模块，所述替换模块，用于：

当检测到第一集群中的第一主节点设备中存在已损坏数据时，基于所述数据标识，确定所述第二集群中存储所述已损坏数据的第二主节点设备；

在所述第二主节点设备中获取所述已损坏数据对应的未损坏数据，将所述第一主节点设备中的所述已损坏数据替换为所述未损坏数据。

可选的，所述通知模块，还用于：

如果在预设的反馈等待时长内各目标主节点设备中存在第一主节点设备没有发送权限获取成功通知或权限获取失败通知，则在接收到任一目标主节点设备发送的处理完成通知后，向所述任一目标主节点设备获取所述数据标识对应的处理后的数据；

当接收到所述第一主节点设备发送的恢复工作通知时，向所述第一主节点设备，发送所述处理后的数据，以使所述第一主节点设备将存储的所述数据标识对应的数据更新为所述处理后的数据；或者，当接收到第二主节点设备发送的恢复工作通知且所述第二主节点设备是所述第一主节点设备对应的更新的主节点设备时，向所述第二主节点设备，发送所述处理后的数据，以使所述第二主节点设备将存储的所述数据标识对应的数据更新为所述处理后的数据。

再一方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器中存储有指令，所述处理器执行所述指令使得所述计算机设备实现所述数据处理的方法。

再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有指令，计算机设备执行所述指令使得所述计算机设备实现所述数据处理的方法。

本申请实施例提供的技术方案带来的有益效果是：

本申请通过管理服务器接收终端发送的数据处理请求，并基于数据处理请求中包含的数据标识，确定每个集群中存储待处理数据的目标主节点设备，然后分别向每个集群中的目标主节点设备，发送处理权限获取请求，如果接收到的权限获取成功通知的数目超过阈值，则分别向每个集群中的目标主节点设备，发送数据处理通知，进而目标主节点设备可以对数据进行处理，这样即使存在个别目标主节点设备无法进行数据处理，也可以对其他目标主节点设备中的数据进行处理，无需等待该主节点设备恢复正常，或者等待该主节点设备进行主从切换，从而提升处理数据的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种数据处理的方法的实施环境示意图；

图2是本申请实施例提供的一种数据处理的方法流程图；

图3是本申请实施例提供的一种数据处理的方法的示意图；

图4是本申请实施例提供的一种数据处理的方法的示意图；

图5是本申请实施例提供的一种数据处理的方法的示意图；

图6是本申请实施例提供的一种数据处理的管理服务器结构示意图；

图7是本申请实施例提供的服务器结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请实施例提供了一种数据处理的方法，该方法可以由管理系统和目标设备共同实现，该管理系统可以由管理服务器和集群组成，该集群中包含有多个主节点设备，主节点设备中存储有数据。目标设备可以是用户使用的终端，该目标设备可以是手机、台式电脑、平板电脑、智能穿戴设备等。该目标设备可以具有通信功能、存储数据的功能，该目标设备可以安装有应用程序，比如，直播应用程序、聊天应用程序、短视频应用程序。本实施例以直播应用程序为例进行说明，此后不在一一赘述。该管理服务器可以是外部的业务服务器或者内部的业务服务器，该管理服务器可以是上述直播应用程序的后台服务器，该管理服务器可以是一个单独的服务器也可以是一个服务器组，如果是单独的服务器，该管理服务器可以负责下述方案中的所有需要由管理服务器进行的处理，如果是服务器组，服务器组中的不同服务器分别可以负责下述方案中的不同处理，具体的处理分配情况可以由技术人员根据实际需求任意设置，此处不再赘述。该主节点设备之间可以建立通信，该主节点设备还可以与管理服务器建立通信。

如图1所示，终端可以向管理服务器发送数据处理请求，该数据处理请求中携带有数据标识。进而管理服务器可以根据数据处理请求，生成处理权限获取请求，进而管理服务器可以根据数据标识确定对应的主节点设备，并将上述处理权限获取请求发送给对应的主节点设备。主节点设备基于接收到的处理权限获取请求后可以获取处理权限。还可以为主节点设备设置从节点设备，该从节点设备中存储的数据与其对应的主节点设备中存储的数据相同。

图2是本申请实施例提供的一种数据处理的方法的流程图。参见图2，该流程包括：

步骤201、接收终端发送的数据处理请求。

其中，数据处理请求中携带有待处理数据的数据标识，以及处理信息。

在实施中，终端基于待处理数据的数据标识以及接收到的指令生成数据处理请求，进而终端向管理服务器发送数据处理请求，相应的，管理服务器接收终端发送的数据处理请求，如图3所示。

例如，每个用户在使用直播应用程序时，每个用户都可以使用终端选中特定的虚拟礼物并触发赠送控件，进而终端可以获取待处理数据的数据标识，并根据该用户选择的虚拟礼物种类、数量生成相应指令，然后基于该数据标识以及上述指令生成数据处理请求，并向管理服务器发送该数据处理请求，进而管理服务器可以接收到各个终端发送的数据处理请求。

在进行上述处理之前，可以通过集群中的主节点设备存储数据，其具体处理可以如下：

第一步，获取待存储数据和待存储数据的数据标识。

终端可以生成待存储数据和待存储数据的数据标识，进而将其发送给管理服务器，管理服务器可以接收并获取待存储数据和待存储数据的数据标识。

例如，用户通过终端上的直播应用程序注册一个新的账户，进而终端可以向管理服务器发送待存储数据和待存储数据的数据标识，比如，该待存储数据是账户余额，该待存储数据的数据标识是账户标识。进而，管理服务器接收并获取待存储数据和待存储数据的数据标识。

第二步，在每个集群中，分别确定用于存储待存储数据的主节点设备。

管理服务器在获取到待存储数据和待存储数据的数据标识后，管理服务器可以在每个集群中，分别确定用于存储待存储数据的主节点设备，其处理可以通过以下几种方式：

第一种，在每个集群中，分别通过轮询的方式，确定用于存储待存储数据的主节点设备。

管理服务器在获取到待存储数据和待存储数据的数据标识后，管理服务器在每一个集群中，按照预设顺序依次向的各个主节点设备发送数据存储请求，各个主节点设备可以对上述数据存储请求进行反馈，在进行上述轮询时，当管理服务器向一主节点设备发送数据存储请求，并接收到该主节点设备的反馈的可存储通知时，管理服务器即可确定该主节点设备为用于存储待存储数据的主节点设备。进而管理服务器可以根据上述处理确定出每个集群中用于存储该待存储数据的主节点设备。

第二种，对于每个集群，在集群的各主节点设备中，确定剩余存储空间最多的主节点设备为用于存储待存储数据的主节点设备。

管理服务器在获取到待存储数据和待存储数据的数据标识后，管理服务器在向各个集群发送剩余存储空间获取请求，进而各个集群中的各个主节点设备反馈剩余存储空间的多少及其对应的主节点设备的设备标识，进而管理服务器可以根据主节点设备的设备标识以及管理服务器中存储的集群与主节点设备的设备标识的对应关系，将同一集群的主节点设备反馈的剩余存储空间的多少分为一组，进而可以确定各个集群中剩余存储空间最多的主节点设备，并将该主节点设备作为用于存储待存储数据的主节点设备。

第三步，将待存储数据的数据标识与用于存储待存储数据的主节点设备的设备标识对应存储。

管理服务器基于上述处理得到存储待存储数据的主节点设备后，管理服务器可以存储数据标识与每个集群中存储待处理数据的主节点设备的对应关系。

第四步，向每个集群中用于存储待存储数据的主节点设备，发送待存储数据和待存储数据的数据标识。

在上述处理完成后，管理服务器可以将待存储数据和待存储数据的数据标识发送给每个集群中用于存储待存储数据的主节点设备，进而每个集群中用于存储待存储数据的主节点设备可以对该待存储数据进行存储。

步骤202、基于数据标识，确定每个集群中存储待处理数据的目标主节点设备。

其中，管理服务器中存储有数据标识与每个集群中存储待处理数据的主节点设备的对应关系。

在实施中，管理服务器在接收到终端发送的数据处理请求之后，管理服务器可以获取数据处理请求中的数据标识，然后根据上述数据标识以及上述数据标识与每个集群中存储待处理数据的主节点设备的对应关系，确定每个集群中存储待处理数据的目标主节点设备。

步骤203、分别向每个集群中的目标主节点设备，发送处理权限获取请求。

其中，处理权限请求中携带有数据标识。

在实施中，在经过上述步骤202得到每个集群中存储待处理数据的目标主节点设备后，即管理服务器获取到每个集群中的目标主节点设备后，管理服务器可以基于数据处理请求生成处理权限获取请求，进而管理服务器可以分别向每个集群中的目标主节点设备，发送处理权限获取请求，如图3所示。

步骤204、如果接收到的权限获取成功通知的数目超过阈值，则分别向每个集群中的目标主节点设备，发送数据处理通知。

其中，数据处理通知中携带有数据标识，以及处理信息。

在实施中，在管理服务器发送处理权限获取请求之后，每个集群中的目标主节点设备可以接收上述处理权限获取请求，进而每个集群中的目标主节点设备可以生成权限获取成功通知或者权限获取失败通知，进而管理服务器可以接收到权限获取成功通知或者权限获取失败通知，并检测接收到的权限获取成功通知的数目与阈值的关系，以及权限获取失败通知的数目与阈值的关系，然后根据不同的检测结果分别向每个集群中的目标主节点设备发送数据处理通知，或者将上述数据处理请求加入等待队列，其具体处理可以如下：

首先，在管理服务器发送处理权限获取请求之后，每个集群中的目标主节点设备可以接收上述处理权限获取请求，进而每个集群中的目标主节点设备可以生成权限获取成功通知或者权限获取失败通知，具体可以进行以下几种处理：

第一种，如果经检测在目标主节点设备中，数据标识所对应权限状态为未占用状态，则生成权限获取成功通知。

在主节点设备接收到处理权限获取请求后，目标主节点设备可以获取处理权限获取请求中包含的数据标识，并获取目标主节点设备中存储的数据标识与权限状态的对应关系，进而目标主节点设备可以根据该数据标识获取对应的权限状态。当检测到获取到的权限状态为未占用状态时，目标主节点设备生成并向管理服务器发送权限获取成功通知，如图4所示。

例如，目标主节点设备通过setNX(SET if Not eXists，如果不存在则设置)命令检测数据标识所对应权限状态，如果将权限状态设置为占用状态则，返回1，即如果将权限状态从未占用状态设置为占用状态则生成权限获取成功通知。

在此需要说明的是，setNX(SET if Not eXists，如果不存在则设置)命令可以为占用状态设置过期时间，即当达到该过期时间时，将权限状态设置为未占用状态。

第二种，如果经检测在该主节点设备中，数据标识所对应权限状态为占用状态，则生成权限获取失败通知。

在主节点设备接收到处理权限获取请求后，目标主节点设备可以获取处理权限获取请求中包含的数据标识，并获取目标主节点设备中存储的数据标识与权限状态的对应关系，进而目标主节点设备可以根据该数据标识获取对应的权限状态。当检测到获取到的权限状态为占用状态时，目标主节点设备生成并向管理服务器发送权限获取失败通知，如图4所示。

例如，目标主节点设备通过setNX(SET if Not eXists，如果不存在则设置)命令检测数据标识所对应权限状态，如果将权限状态为占用状态则，返回0，即如果将权限状态为占用状态则生成权限获取失败通知。

第三种，目标主节点设备出现故障，正在进行重新选主节点设备，该目标主节点设备无法接收处理权限获取请求，如果管理服务器在通知等待时长内没有接收到目标主节点设备发送的权限获取成功通知或者权限获取失败通知时，将存储的损坏设备的数目加一，如图4所示。

其中，该损坏设备的数目初始为0。

在管理服务器发送处理权限获取请求之后，管理服务器可以根据目标主节点设备所在集群的不同，为各个集群中的目标主节点设备对应设置不同的通知等待时长，比如，有三个集群分别在空间上与管理服务器的距离为近、中、远，进而管理服务器可以分别将每个集群中的目标主节点设备对应的通知等待时长设置为30毫秒、50毫秒、100毫秒。然后管理服务器在发出处理权限获取请求时，开始记录管理服务器针对每个目标主节点设备的等待时长，当检测到针对任一目标主节点设备的等待时长达到上述通知等待时长时，则判定该目标主节点设备已损坏，并将存储的损坏设备的数目加一。

可选的，当检测到第一集群中的第一主节点设备中存在已损坏数据时，基于数据标识，确定第二集群中存储已损坏数据的第二主节点设备，在第二主节点设备中获取已损坏数据对应的未损坏数据，将第一主节点设备中的已损坏数据替换为未损坏数据。

如图5所示，主节点设备之间可以进行通信，且各个集群中存储有相同数据的主节点设备之间的对应关系，即存储有数据标识与各个集群中的主节点设备的对应关系，上述各个主节点设备之间可以按照预设周期进行数据检测，当检测到第一集群中的第一主节点设备中存储的数据与一半以上其他各个主节点设备中存储的数据不相同时，则判定第一集群中的第一主节点设备中存在已损坏数据。然后，该第一主节点设备可以基于数据标识，确定第二集群中的第二主节点设备，进而第二主节点设备可以获取第二中存储的未损坏数据，并将该未损坏数据发送给第一集群中的第一主节点设备，进而第一主节点设备可以将第一主节点设备中的已损坏数据替换为未损坏数据。

其次，在管理服务器接收权限获取成功通知以及权限获取失败通知时，当接收到的权限获取成功通知的数目超过多个集群中的集群数目的一半时，分别向每个集群中的目标主节点设备，发送数据处理通知，其具体处理可以如下：

在经过上述步骤的处理后，管理服务器可以接收到各个主节点设备发送的权限获取成功通知以及权限获取失败通知，当管理服务器接收到的权限获取成功通知的数目超过多个集群中的集群数目的一半时，管理服务器可以分别向每个集群中的目标主节点设备，发送数据处理通知。

在此需要说明的是，由于只有管理服务器接收到的权限获取成功通知的数目超过多个集群中的集群数目的一半时，管理服务器才可以向各个目标主节点设备发送数据处理通知，因此，无论是设置3个集群还是设置4个集群都只能允许一个目标主节点设备损坏，出于节省资源考虑可以将上述多个集群的集群数目设置为奇数。

可选的，在管理服务器接收权限获取成功通知以及权限获取失败通知时，当接收到的权限获取失败通知的数目以及检测到的设备损坏的数目超过多个集群中的集群数目的一半时，则管理服务器将上述数据处理请求加入等待队列，其具体处理可以如下：

在经过上述步骤的处理后，管理服务器可以接收到各个主节点设备发送的权限获取成功通知以及权限获取失败通知，当接收到的权限获取失败通知的数目以及检测到的设备损坏的数目超过多个集群中的集群数目的一半时，管理服务器将上述该权限获取请求对应的数据处理请求加入等待队列中，并为其设置等待处理时长，当达到上述等待时长后，管理服务器可以再次基于数据处理请求生成权限获取请求，并重复上述处理。

在此需要说明的是，在进行完上述处理之后，目标主节点设备可以接收到数据处理通知，进而该目标主节点设备可以基于上述数据处理通知中的数据标识获取对应的数据，并基于处理信息对数据进行处理，比如，该处理信息是对存储的数字进行加2处理，则该目标主节点设备存储进行加2处理后的数字。

可选的，当管理服务器检测到在预设的反馈等待时长内各目标主节点设备中存在第一主节点设备没有发送权限获取成功通知或权限获取失败通知时，可以进行如下处理：

首先，如果在预设的反馈等待时长内各目标主节点设备中存在第一主节点设备没有发送权限获取成功通知或权限获取失败通知，则在接收到任一目标主节点设备发送的处理完成通知后，向任一目标主节点设备获取数据标识对应的处理后的数据。

例如，有目标主节点设备A、B、C,在达到预设的反馈等待时长后，A没有发送权限获取成功通知或权限获取失败通知，B、C发送了权限获取成功通知，则管理服务器获取B或者C中数据标识对应的处理后的数据。

其次，在管理服务器获取到数据标识对应的处理后的数据后，管理服务器可以同步目标主节点设备中存储的数据。可以有以下几种处理方式：

第一种，当接收到第一主节点设备发送的恢复工作通知时，向第一主节点设备，发送处理后的数据，以使第一主节点设备将存储的数据标识对应的数据更新为处理后的数据。

例如，第一主节点设备可以是上述目标主节点设备中的A，当管理服务器接收到A发送的恢复工作通知时,向A发送处理后的数据，进而A可以将存储的数据标识对应的数据更新为处理后的数据。

第二种，当接收到第二主节点设备发送的恢复工作通知且第二主节点设备是第一主节点设备对应的更新的主节点设备时，向第二主节点设备，发送处理后的数据，以使第二主节点设备将存储的数据标识对应的数据更新为处理后的数据。

例如，第一主节点设备可以是上述目标主节点设备中的A，A的从节点设备可以是B，在进行重新选主节点设备时，B可以作为A的从节点设备可以被更新为第二主节点设备，并向管理服务器发送恢复工作通知，当管理服务器接收到B发送的恢复工作通知时，管理服务器可以向B发送处理后的数据，B在接收到上述数据后，可以将存储的数据标识对应的数据更新为处理后的数据。

在此需要说明的是，上述实施例是以各个集群中同时存储权限数据以及待处理数据进行说明的，本申请还可以将存储权限数据以及待处理数据存储在不同的设备中，相应的，管理服务器可以存储有权限获取成功通知与存储地址的对应关系。在管理服务器接收到权限获取成功通知后，管理服务器可以获取权限获取成功通知对应的存储地址，进而管理服务器可以将数据处理通知发送给存储待处理数据的设备，以使存储待处理数据的设备根据数据处理通知对待处理数据进行处理。上述存储权限数据的设备可以是集群，存储待处理数据的设备可以是集群中的主节点设备或者后台服务器，在此不作限定。

本申请通过管理服务器接收终端发送的数据处理请求，并基于数据处理请求中包含的数据标识，确定每个集群中存储待处理数据的目标主节点设备，然后分别向每个集群中的目标主节点设备，发送处理权限获取请求，如果接收到的权限获取成功通知的数目超过阈值，则分别向每个集群中的目标主节点设备，发送数据处理通知，进而目标主节点设备可以对数据进行处理，这样即使存在个别目标主节点设备无法进行数据处理，也可以对其他目标主节点设备中的数据进行处理，无需等待该主节点设备恢复正常，或者等待该主节点设备进行主从切换，从而提升处理数据的效率。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

本申请实施例提供一种数据处理的管理服务器，该管理服务器可以是上述管理服务器，所述管理服务器与多个集群的主节点设备连接，每个集群包括至少一个主节点设备，如图6所示，所述管理服务器包括：

接收模块610，用于接收终端发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；

确定模块620，用于基于所述数据标识，确定每个集群中存储所述待处理数据的目标主节点设备；

请求模块630，用于分别向每个集群中的目标主节点设备，发送处理权限获取请求，其中，所述处理权限请求中携带有所述数据标识；

通知模块640，用于如果接收到的权限获取成功通知的数目超过阈值，则分别向每个集群中的目标主节点设备，发送数据处理通知，其中，所述数据处理通知中携带有所述数据标识。

可选的，所述通知模块640，用于：

当接收到的权限获取成功通知的数目超过所述多个集群中的集群数目的一半时，分别向每个集群中的目标主节点设备，发送数据处理通知。

可选的，所述管理服务器还包括发送模块，所述发送模块，用于：

获取待存储数据和所述待存储数据的数据标识；

在每个集群中，分别确定用于存储所述待存储数据的主节点设备；

将所述待存储数据的数据标识与所述用于存储所述待存储数据的主节点设备的设备标识对应存储；

向每个集群中用于存储所述待存储数据的主节点设备，发送所述待存储数据和所述待存储数据的数据标识。

可选的，所述发送模块，用于：

在每个集群中，分别通过轮询的方式，确定用于存储所述待存储数据的主节点设备。

可选的，所述发送模块，用于：

对于每个集群，在所述集群的各主节点设备中，确定剩余存储空间最多的主节点设备为用于存储所述待存储数据的主节点设备。

可选的，述管理服务器还包括替换模块，所述替换模块，用于：

当检测到第一集群中的第一主节点设备中存在已损坏数据时，基于所述数据标识，确定所述第二集群中存储所述已损坏数据的第二主节点设备；

在所述第二主节点设备中获取所述已损坏数据对应的未损坏数据，将所述第一主节点设备中的所述已损坏数据替换为所述未损坏数据。

可选的，所述通知模块640，还用于：

如果在预设的反馈等待时长内各目标主节点设备中存在第一主节点设备没有发送权限获取成功通知或权限获取失败通知，则在接收到任一目标主节点设备发送的处理完成通知后，向所述任一目标主节点设备获取所述数据标识对应的处理后的数据；

当接收到所述第一主节点设备发送的恢复工作通知时，向所述第一主节点设备，发送所述处理后的数据，以使所述第一主节点设备将存储的所述数据标识对应的数据更新为所述处理后的数据；或者，当接收到第二主节点设备发送的恢复工作通知且所述第二主节点设备是所述第一主节点设备对应的更新的主节点设备时，向所述第二主节点设备，发送所述处理后的数据，以使所述第二主节点设备将存储的所述数据标识对应的数据更新为所述处理后的数据。

本申请通过管理服务器接收终端发送的数据处理请求，并基于数据处理请求中包含的数据标识，确定每个集群中存储待处理数据的目标主节点设备，然后分别向每个集群中的目标主节点设备，发送处理权限获取请求，如果接收到的权限获取成功通知的数目超过阈值，则分别向每个集群中的目标主节点设备，发送数据处理通知，进而目标主节点设备可以对数据进行处理，这样即使存在个别目标主节点设备无法进行数据处理，也可以对其他目标主节点设备中的数据进行处理，无需等待该主节点设备恢复正常，或者等待该主节点设备进行主从切换，从而提升处理数据的效率。

需要说明的是：上述实施例提供的数据处理的管理服务器在处理数据时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的数据处理的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图7是本申请实施例提供的一种服务器的结构示意图，该服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)701和一个或一个以上的存储器702，其中，所述存储器702中存储有至少一条指令，所述至少一条指令由所述处理器701加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述实施例中数据处理的方法。例如，所述计算机可读存储介质可以是只读存储器(Read-only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (16)

1.一种数据处理的方法，其特征在于，所述方法应用于管理服务器，所述管理服务器与多个集群的主节点设备连接，每个集群包括至少一个主节点设备，所述方法包括：

接收终端发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；

基于所述数据标识，确定每个集群中存储所述待处理数据的目标主节点设备；

分别向每个集群中的目标主节点设备，发送处理权限获取请求，其中，所述处理权限请求中携带有所述数据标识；

如果接收到的权限获取成功通知的数目超过阈值，则分别向每个集群中的目标主节点设备，发送数据处理通知，其中，所述数据处理通知中携带有所述数据标识。

2.根据权利要求1所述的方法，其特征在于，所述如果接收到的权限获取成功通知的数目超过阈值，则分别向每个集群中的目标主节点设备，发送数据处理通知，包括：

当接收到的权限获取成功通知的数目超过所述多个集群中的集群数目的一半时，分别向每个集群中的目标主节点设备，发送数据处理通知。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

获取待存储数据和所述待存储数据的数据标识；

在每个集群中，分别确定用于存储所述待存储数据的主节点设备；

将所述待存储数据的数据标识与所述用于存储所述待存储数据的主节点设备的设备标识对应存储；

向每个集群中用于存储所述待存储数据的主节点设备，发送所述待存储数据和所述待存储数据的数据标识。

4.根据权利要求3所述的方法，其特征在于，所述在每个集群中，分别确定用于存储所述待存储数据的主节点设备，包括：

在每个集群中，分别通过轮询的方式，确定用于存储所述待存储数据的主节点设备。

5.根据权利要求3所述的方法，其特征在于，所述在每个集群中，分别确定用于存储所述待存储数据的主节点设备，包括：

对于每个集群，在所述集群的各主节点设备中，确定剩余存储空间最多的主节点设备为用于存储所述待存储数据的主节点设备。

6.根据权利要求3所述的方法，其特征在于，所述方法还包括：

当检测到第一集群中的第一主节点设备中存在已损坏数据时，基于所述数据标识，确定所述第二集群中存储所述已损坏数据的第二主节点设备；

在所述第二主节点设备中获取所述已损坏数据对应的未损坏数据，将所述第一主节点设备中的所述已损坏数据替换为所述未损坏数据。

7.根据权利要求1所述的方法，所述分别向每个集群中的目标主节点设备，发送数据处理通知之后，所述方法还包括：

如果在预设的反馈等待时长内各目标主节点设备中存在第一主节点设备没有发送权限获取成功通知或权限获取失败通知，则在接收到任一目标主节点设备发送的处理完成通知后，向所述任一目标主节点设备获取所述数据标识对应的处理后的数据；

当接收到所述第一主节点设备发送的恢复工作通知时，向所述第一主节点设备，发送所述处理后的数据，以使所述第一主节点设备将存储的所述数据标识对应的数据更新为所述处理后的数据；或者，当接收到第二主节点设备发送的恢复工作通知且所述第二主节点设备是所述第一主节点设备对应的更新的主节点设备时，向所述第二主节点设备，发送所述处理后的数据，以使所述第二主节点设备将存储的所述数据标识对应的数据更新为所述处理后的数据。

8.一种管理服务器，其特征在于，所述管理服务器与多个集群的主节点设备连接，每个集群包括至少一个主节点设备，所述管理服务器包括：

接收模块，用于接收终端发送的数据处理请求，其中，所述数据处理请求中携带有待处理数据的数据标识；

确定模块，用于基于所述数据标识，确定每个集群中存储所述待处理数据的目标主节点设备；

请求模块，用于分别向每个集群中的目标主节点设备，发送处理权限获取请求，其中，所述处理权限请求中携带有所述数据标识；

通知模块，用于如果接收到的权限获取成功通知的数目超过阈值，则分别向每个集群中的目标主节点设备，发送数据处理通知，其中，所述数据处理通知中携带有所述数据标识。

9.根据权利要求8所述的管理服务器，其特征在于，所述通知模块，用于：

当接收到的权限获取成功通知的数目超过所述多个集群中的集群数目的一半时，分别向每个集群中的目标主节点设备，发送数据处理通知。

10.根据权利要求8或9所述的管理服务器，其特征在于，所述管理服务器还包括发送模块，所述发送模块，用于：

获取待存储数据和所述待存储数据的数据标识；

在每个集群中，分别确定用于存储所述待存储数据的主节点设备；

将所述待存储数据的数据标识与所述用于存储所述待存储数据的主节点设备的设备标识对应存储；

向每个集群中用于存储所述待存储数据的主节点设备，发送所述待存储数据和所述待存储数据的数据标识。

11.根据权利要求10所述的管理服务器，其特征在于，所述发送模块，用于：

在每个集群中，分别通过轮询的方式，确定用于存储所述待存储数据的主节点设备。

12.根据权利要求10所述的管理服务器，其特征在于，所述发送模块，用于：

对于每个集群，在所述集群的各主节点设备中，确定剩余存储空间最多的主节点设备为用于存储所述待存储数据的主节点设备。

13.根据权利要求10所述的管理服务器，其特征在于，所述管理服务器还包括替换模块，所述替换模块，用于：

当检测到第一集群中的第一主节点设备中存在已损坏数据时，基于所述数据标识，确定所述第二集群中存储所述已损坏数据的第二主节点设备；

在所述第二主节点设备中获取所述已损坏数据对应的未损坏数据，将所述第一主节点设备中的所述已损坏数据替换为所述未损坏数据。

14.根据权利要求8所述的方法，所述通知模块，还用于：

如果在预设的反馈等待时长内各目标主节点设备中存在第一主节点设备没有发送权限获取成功通知或权限获取失败通知，则在接收到任一目标主节点设备发送的处理完成通知后，向所述任一目标主节点设备获取所述数据标识对应的处理后的数据；

当接收到所述第一主节点设备发送的恢复工作通知时，向所述第一主节点设备，发送所述处理后的数据，以使所述第一主节点设备将存储的所述数据标识对应的数据更新为所述处理后的数据；或者，当接收到第二主节点设备发送的恢复工作通知且所述第二主节点设备是所述第一主节点设备对应的更新的主节点设备时，向所述第二主节点设备，发送所述处理后的数据，以使所述第二主节点设备将存储的所述数据标识对应的数据更新为所述处理后的数据。

15.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至权利要求7任一项所述的数据处理的方法所执行的操作。

16.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至权利要求7任一项所述的数据处理的方法所执行的操作。

Images