CN106375382B - 数据分配的方法、系统、控制服务器及节点客户端 - Google Patents

Abstract

本申请提供一种数据分配的方法、系统、控制服务器及节点客户端，其中，所述方法包括：控制服务器接收节点客户端发来的数据分配请求；响应于所述数据分配请求，确定与所述节点客户端对应的数据集，所述数据集中包括至少一个数据块；按照预设调度算法从所述数据集中确定目标数据块，并将所述目标数据块发送至所述节点客户端。本申请提供的一种数据分配的方法、系统、控制服务器及节点服务器，能够提高数据分配以及后续数据处理的效率。

Description

数据分配的方法、系统、控制服务器及节点客户端

技术领域

本申请涉及数据处理技术领域，特别涉及一种数据分配的方法、系统、控制服务器及节点客户端。

背景技术

随着信息技术的不断发展，需要处理的数据也在日益增多。现有技术中可以采用集中式计算的方法对数据进行处理。集中式计算的系统架构往往包括一台大型的计算机以及多个与该大型的计算机相连接的终端设备。终端设备处产生的数据可以传输至所述大型的计算机，从而由所述大型的计算机进行处理。

随着数据量的不断增加，如果采用集中式计算的方法，将会耗费相当长的时间来完成数据处理的过程。因此，当前在进行数据处理时，通常可以采用分布式计算的方法。

分布式计算的系统架构可以包括由多个物理机构成的节点网络，每个物理机均可以作为网络中的一个节点。在所述分布式计算的系统架构中还可以包括一个服务器，该服务器可以将待处理的数据划分为若干小的数据块，然后可以将这些小的数据块分发至不同的节点来进行处理，从而可以提高数据处理的速度。

在现有技术中，服务器可以按照一定的时间周期来检测各个节点的工作状态，当检测到节点处于空闲状态时，便可以向节点分配需要处理的数据。然后，这种数据分配的方法往往存在以下缺陷：

服务器无法实时获取各个节点的工作状态，从而无法高效地完成数据分配的过程。如果为了实时地获取各个节点的工作状态而降低对节点进行检测的周期，那么会增加服务器的负载，从而也会影响数据分配的效率。

此外，服务器在进行数据分配时，往往是随机挑选未处理的数据分配给空闲节点，然而由于不同数据对应的处理需求可能不同，从而导致空闲节点可能无法高效地处理分配到的数据。

由上可见，现有技术中的数据分配过程，无法高效地完成数据分配和处理的过程，从而会造成分布式计算系统中资源的浪费。

应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

本申请实施方式的目的在于提供一种数据分配的方法、系统、控制服务器及节点服务器，能够提高数据分配以及后续数据处理的效率。

为实现上述目的，本申请一方面提供一种分布式系统中数据分配的方法，所述分布式系统包括控制服务器和节点客户端，所述方法包括：所述控制服务器接收所述节点客户端发来的数据分配请求；响应于所述数据分配请求，确定与所述节点客户端对应的数据集，所述数据集中包括至少一个数据块；按照预设调度算法从所述数据集中确定目标数据块，并将所述目标数据块发送至所述节点客户端。

为实现上述目的，本申请另一方面提供一种分布式系统中数据分配的方法，所述分布式系统包括控制服务器和节点客户端，所述方法包括：所述节点客户端检测自身的节点状态，当所述节点状态满足预设条件时，向所述控制服务器发送数据分配请求；接收所述控制服务器响应于所述数据分配请求发来的待处理数据。

为实现上述目的，本申请另一方面提供一种数据分配系统，所述系统包括控制服务器和节点客户端，所述节点客户端用于检测自身的节点状态，当所述节点状态满足预设条件时，向所述控制服务器发送数据分配请求；接收所述控制服务器响应于所述数据分配请求发来的待处理数据；所述控制服务器用于接收所述节点客户端发来的数据分配请求；响应于所述数据分配请求，确定与所述节点客户端对应的数据集，所述数据集中包括至少一个数据块；按照预设调度算法从所述数据集中确定目标数据块，并将所述目标数据块发送至所述节点客户端。

为实现上述目的，本申请另一方面提供一种数据分配的控制服务器，所述控制服务器包括：网络通信模块，用于进行网络数据通信；存储器，用于存储至少一个数据集；处理器，用于控制所述网络通信模块接收节点客户端发来的数据分配请求；响应于所述数据分配请求，从所述存储器中确定与所述节点客户端对应的数据集，所述数据集中包括至少一个数据块；按照预设调度算法从所述数据集中确定目标数据块，并控制所述网络通信模块将所述目标数据块发送至所述节点客户端。

为实现上述目的，本申请另一方面提供一种数据分配的节点客户端，所述节点客户端包括：网络通信模块，用于进行网络数据通信；处理器，用于检测所述节点客户端自身的节点状态，当所述节点状态满足预设条件时，控制所述网络通信模块向控制服务器发送数据分配请求；控制所述网络通信模块接收所述控制服务器响应于所述数据分配请求发来的待处理数据。

由以上本申请实施方式提供的技术方案可见，本申请通过节点客户端对自身的节点状态进行检测，一方面能够实时获取节点状态，另一方面还能减轻控制服务器的负载，以方便控制服务器高效地进行数据分配的过程。此外，所述控制服务器在分配数据时，可以为不同的节点客户端分配相对应的数据集中的目标数据块，使得节点客户端能够满足目标数据块的处理需求，从而能够提高后续数据处理的效率。

参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本申请的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

所包括的附图用来提供对本申请实施方式的进一步的理解，其构成了说明书的一部分，用于例示本申请的实施方式，并与文字描述一起来阐释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本申请一个实施方式提供的数据分配的方法流程图；

图2为本申请另一个实施方式提供的数据分配的方法流程图；

图3为本申请提供的一种控制服务器的结构示意图；

图4为本申请提供的一种节点客户端的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施方式，都应当属于本申请保护的范围。

本申请提供一种分布式系统中数据分配的方法。在本申请中，所述分布式系统可以包括控制服务器和节点客户端。图1为本申请一个实施方式提供的数据分配的方法流程图。虽然下文描述流程包括以特定顺序出现的多个操作，但是应该清楚了解，这些过程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行(例如使用并行处理器或多线程环境)。请参阅图1，所述方法可以包括以下步骤。

步骤S1：所述控制服务器接收所述节点客户端发来的数据分配请求。

在本实施方式中，所述控制服务器可以是具备数据存储和数据处理能力的计算机(包括台式电脑、笔记本电脑等)。所述节点客户端可以是虚拟的客户端。所述虚拟的客户端可以架设于物理机上，并且可以利用所述物理机的资源(例如CPU、内存等)。同一个物理机上可以架设多个虚拟的客户端，这些虚拟的客户端可以共享所述物理机的资源。当然，所述节点客户端也可以是实体的客户端。所述实体的客户端便可以是上述的物理机，每台物理机便可以构成一个节点客户端。

在本实施方式中，当所述节点客户端处于空闲状态时，可以向所述控制服务器发送数据分配请求。这样，所述控制服务器便可以接收所述节点客户端发来的数据分配请求。所述数据分配请求中可以包括所述节点客户端在分布式系统中的通讯地址或者所述节点客户端的MAC地址等能够唯一标识所述节点客户端的字符串。这样，当所述控制服务器接收到所述资源分配请求时，便可以获知是分布式系统中的哪个节点客户端需要分配数据。

步骤S2：响应于所述数据分配请求，确定与所述节点客户端对应的数据集，所述数据集中包括至少一个数据块。

在本实施方式中，所述控制服务器中可以存储待处理的数据，所述待处理的数据可以预先被划分为若干数据块。在本实施方式中，不同的数据块所需要的处理方式可能不同。所述处理方式例如可以包括数据处理所需的软件环境或者算法流程。在节点客户端上可以预先设置某种软件环境并加载相应的算法流程。这样，当节点客户端处理与自身的软件环境和算法流程相兼容的数据时，便可以提升数据处理的效率。需要说明的是，待处理的数据也可以单独存储于预设存储器中，所述控制服务器可以从所述存储器中读取待处理的数据。本申请对待处理的数据的存储方式并不做限定。

在本实施方式中，可以将需求的软件环境和算法流程相同的数据块划分至同一个数据集中，这样，在数据集中便可以包含至少一个数据块。在本实施方式中，可以将节点客户端与数据集之间进行关联，相关联的节点客户端和数据集所对应的软件环境和算法流程均可以相同。那么所述控制服务器在接收到节点客户端发来的数据分配请求之后，可以确定与所述节点客户端对应的数据集。这样，后续便可以将确定的数据集中的数据块分配至该节点客户端，以提高数据处理的效率。

在本实施方式中，由于待处理的数据量比较大，仅靠一个节点客户端对数据集中的数据进行处理可能会比较缓慢，因此可以将多个具备相同软件环境和算法流程的节点客户端构成节点池，从而可以通过节点池中的节点客户端对数据集中的数据进行处理。这样，在本实施方式中，便可以建立节点池和数据集之间的关联关系。所述控制服务器在接收到节点客户端发来的数据分配请求时，可以判断所述节点客户端所处的节点池，从而可以确定与所述节点池相关联的数据集。

在本实施方式中，不同的节点池可以与不同的节点标识相对应。位于同一个节点池内的节点客户端可以共享同一个节点标识。这样，在节点客户端发送资源分配请求时，可以在所述资源分配请求中添加自身所处节点池对应的节点标识。这样，所述控制服务器通过所述节点标识便可以分辨出发送资源分配请求的节点客户端所处的节点池，从而可以确定与所述节点客户端对应的数据集。

步骤S3：按照预设调度算法从所述数据集中确定目标数据块，并将所述目标数据块发送至所述节点客户端。

在本实施方式中，在确定了所述节点客户端对应的数据集之后，便可以从所述数据集中确定待处理的目标数据块。具体地，在本实施方式中，可以按照预设调度算法从所述数据集中确定目标数据块。所述预设调度算法可以包括先进先出调度算法、基于优先级的先进先出调度算法以及全局循环调度算法。

其中，所述先进先出调度算法可以按照下述步骤进行：在本实施方式中，所述数据集中的数据块可以按照生成时间从先到后的顺序进行排列。这样，在从所述数据集中确定目标数据块时，可以首先确定所述数据集中是否具有未处理的数据块。当具有未处理的数据块时，可以在所述未被处理的数据块中，将生成时间最早的数据块确定为所述目标数据块。

所述基于优先级的先进先出调度算法可以按照下述步骤进行：在本实施方式中，所述数据集中的各个数据块可以按照优先级从高到低的顺序进行排列，处于同一优先级的数据块可以按照生成时间从先到后的顺序进行排列，其中，优先级越高的数据块可以越早被处理。这样，在从所述数据集中确定目标数据块时，同样可以首先确定所述数据集中是否具有未处理的数据块。当具有未处理的数据块时，可以在所述未被处理的数据块中确定优先级最高的至少一个数据块，并且将所述至少一个数据块中生成时间最早的数据块确定为所述目标数据块。

所述全局循环调度算法可以按照下述步骤进行：在本实施方式中，所述数据集中的各个数据块可以按照数据类型进行排列，处于同一数据类型中的数据块可以按照生成时间从先到后的顺序进行排列。具体地，所述数据类型可以通过数据块的文件名称的后缀来区分。具备相同后缀的数据块可以属于同一个数据类型。在本实施方式中，为了确保同一个数据集中不同类型的数据块能够均衡地被处理，可以统计所述数据集中各个数据类型对应的未被处理的数据块的数量。这样，可以在数量最大的数据类型中将生成时间最早的数据块确定为所述目标数据块，从而可以均衡地处理同一个数据集中不同类型的数据块。

在确定了所述目标数据块之后，所述控制服务器便可以将所述目标数据块发送至所述节点客户端，以让所述节点客户端对所述目标数据块进行处理。

在本实施方式中，在所述控制服务器将所述目标数据块发送至所述节点客户端之后，便可以修改所述目标数据块在所述数据集中的状态。例如可以将所述目标数据块的状态由“未处理”修改为“处理中”。这样，在后续分配数据块的过程中，便不会重复分配已经分配过的数据块。

在本申请一个实施方式中，一个控制服务器可以与预设数量的节点客户端相对应。在本实施方式中，可以预先将预设数量的节点客户端划分为多个节点池。具体地，可以将多个具备相同软件环境和算法流程的节点客户端构成一个节点池。每个节点池可以与唯一的节点标识相对应，位于同一个节点池内的节点客户端可以共享同一个节点标识。

在本实施方式中，在划分了节点池之后，可以建立节点池与数据集之间的关联关系，相关联的节点池和数据集所对应的软件环境和算法流程均可以相同。这样，在节点客户端发送资源分配请求时，可以在所述资源分配请求中添加自身所处节点池对应的节点标识。所述控制服务器通过所述节点标识便可以分辨出发送资源分配请求的节点客户端所处的节点池，从而可以确定与所述节点客户端对应的数据集。

在本申请一个实施方式中，不同节点客户端对应的数据处理能力也往往不同。数据处理能力往往可以通过节点客户端的空闲资源量来表示。所述空闲资源量可以通过对所述节点客户端对应的CPU未使用率和空闲的内存量进行换算后，得到的表征所述节点客户端能够处理的最大数据量。

这样，为了最大化利用节点客户端的空闲资源，同时还能不使得节点客户端长期处于过载状态，当所述节点客户端发送数据分配请求时，可以在所述数据分配请求中包括所述节点客户端的空闲资源量。这样，所述控制服务器在分配数据块时，可以将所述数据集中数据量与所述空闲资源量相匹配的数据块确定为所述目标数据块。其中，目标数据块的数据量与所述空闲资源量相匹配可以表示所述目标数据块的数据量与所述空闲资源量之间的差值小于或者等于预设数据量阈值。这样便可以保证最大化利用节点客户端的空闲资源，同时还能不使得节点客户端长期处于过载状态。

本申请还提供一种分布式系统中数据分配的方法，所述分布式系统同样可以包括控制服务器和节点客户端。请参阅图2，所述方法可以包括以下步骤。

步骤S10：所述节点客户端检测自身的节点状态，当所述节点状态满足预设条件时，向所述控制服务器发送数据分配请求。

在本实施方式中，所述节点客户端自身的节点状态可以通过预先设置的状态标识来表示，这样，节点状态便可以与状态标识相关联。所述状态标识可以是能够被客户端程序识别的字符串或者数字编码。其中，每个状态标识均可以与一个节点状态相关联。具体地，例如所述状态标识可以为00，10和11。其中，00可以表示所述节点客户端当前处于数据处理失败状态，10可以表示所述节点客户端当前处于数据处理成功状态，11可以表示所述节点客户端当前处于数据处理中状态。其中，00和10所表示的节点状态均表明当前节点客户端已经处理完上一次分配的数据，当前处于空闲状态。而11表示所述节点客户端正处于处理数据的过程中，也就是当前处于忙碌状态。

这样，所述节点客户端在对自身的节点状态进行检测时，可以获取状态标识，并根据所述状态标识判断所述节点状态是否为空闲状态。当与自身的节点状态相关联的状态标识为预设标识时，可以向所述控制服务器发送数据分配请求。其中，所述预设标识表征所述节点客户端当前处于空闲状态。例如所述预设标识可以是上述的00和10。

步骤S20：接收所述控制服务器响应于所述数据分配请求发来的待处理数据。

在本实施方式中，在所述控制服务器确定了待处理的目标数据块之后，所述节点客户端便可以接收所述控制服务器响应于所述数据分配请求发来的待处理数据。

本申请还提供一种数据分配系统，所述系统可以包括控制服务器和节点客户端。其中，所述节点客户端可以用于检测自身的节点状态，当所述节点状态满足预设条件时，向所述控制服务器发送数据分配请求；接收所述控制服务器响应于所述数据分配请求发来的待处理数据。

所述控制服务器可以用于接收所述节点客户端发来的数据分配请求；响应于所述数据分配请求，确定与所述节点客户端对应的数据集，所述数据集中包括至少一个数据块；按照预设调度算法从所述数据集中确定目标数据块，并将所述目标数据块发送至所述节点客户端。

也就是说，在本实施方式中，所述控制服务器可以执行上述步骤S1至S3的流程，所述节点客户端可以执行上述步骤S10至S20的流程。具体地实现方式可以参见对应的方法步骤，这里便不再赘述。

请参阅图3，本申请还提供一种数据分配的控制服务器。所述控制服务器包括网络通信模块100、存储器200和处理器300。

其中，所述网络通信模块100可以用于进行网络数据通信。

在本实施方式中，所述网络通信模块100可以是依照TCP/IP协议设置，并在该协议框架下进行网络通信。具体地，其可以为无线移动网络通信芯片，如GSM、CDMA等；其还可以为WiFi芯片或者蓝牙芯片。

所述存储器200可以用于存储至少一个数据集。

在本实施方式中，所述存储器200可以是用于保存信息的记忆设备。在数字系统中，能保存二进制数据的设备可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也可以为存储器，如RAM、FIFO等；在系统中，具有实物形式的存储设备也可以叫存储器，如内存条、TF卡等。

所述处理器300可以用于控制所述网络通信模块100接收节点客户端发来的数据分配请求；响应于所述数据分配请求，从所述存储器200中确定与所述节点客户端对应的数据集，所述数据集中包括至少一个数据块；按照预设调度算法从所述数据集中确定目标数据块，并控制所述网络通信模块100将所述目标数据块发送至所述节点客户端。

在本实施方式中，所述处理器300可以按任何适当的方式实现。例如，可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。本申请并不作限定。

上述实施方式公开的控制服务器，其网络通信模块100、存储器200和处理器300实现的具体功能，可以与本申请实施方式中步骤S1至S3的流程相对照解释，可以实现本申请步骤S1至S3中描述的实施方式并达到该实施方式的技术效果。

请参阅图4，本申请还提供一种节点客户端。如图4所示，所述节点客户端包括网络通信模块110和处理器210。

所述网络通信模块110可以用于进行网络数据通信。

在本实施方式中，所述网络通信模块110可以是依照TCP/IP协议设置，并在该协议框架下进行网络通信。具体地，其可以为无线移动网络通信芯片，如GSM、CDMA等；其还可以为WiFi芯片或者蓝牙芯片。

所述处理器210可以用于检测所述节点客户端自身的节点状态，当所述节点状态满足预设条件时，控制所述网络通信模块110向控制服务器发送数据分配请求；控制所述网络通信模块110接收所述控制服务器响应于所述数据分配请求发来的待处理数据。

在本实施方式中，所述处理器210可以按任何适当的方式实现。例如，可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。本申请并不作限定。

由以上本申请实施方式提供的技术方案可见，本申请通过节点客户端对自身的节点状态进行检测，一方面能够实时获取节点状态，另一方面还能减轻控制服务器的负载，以方便控制服务器高效地进行数据分配的过程。此外，所述控制服务器在分配数据时，可以为不同的节点客户端分配相对应的数据集中的目标数据块，使得节点客户端能够满足目标数据块的处理需求，从而能够提高后续数据处理的效率。

上面对本申请的各种实施方式的描述以描述的目的提供给本领域技术人员。其不旨在是穷举的、或者不旨在将本发明限制于单个公开的实施方式。如上所述，本申请的各种替代和变化对于上述技术所属领域技术人员而言将是显而易见的。因此，虽然已经具体讨论了一些另选的实施方式，但是其它实施方式将是显而易见的，或者本领域技术人员相对容易得出。本申请旨在包括在此已经讨论过的本发明的所有替代、修改、和变化，以及落在上述申请的精神和范围内的其它实施方式。

本说明书中的各个实施方式均采用递进的方式描述，各个实施方式之间相同相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。尤其，对于系统、服务器和客户端实施方式而言，由于其基本相似于方法实施方式，所以描述的比较简单，相关之处参见方法实施方式的部分说明即可。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

虽然通过实施方式描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。

Claims (10)

1.一种分布式系统中数据分配的方法，所述分布式系统包括控制服务器和节点客户端，其特征在于，所述方法包括：

所述控制服务器接收所述节点客户端发来的数据分配请求，所述数据分配请求中包括所述节点客户端的空闲资源量；

响应于所述数据分配请求，确定与所述节点客户端关联的数据集，所述数据集中包括至少一个数据块；其中，需求的软件环境和算法流程相同的数据块处于同一个数据集中，对应的软件环境和算法流程均相同的节点客户端与数据集之间存在关联；

按照预设调度算法从所述数据集中确定目标数据块，并将所述目标数据块发送至所述节点客户端，以让所述节点客户端对所述目标数据块进行处理；其中，按照预设调度算法从所述数据集中确定目标数据块包括：将所述数据集中数据量与所述空闲资源量相匹配的数据块确定为所述目标数据块。

2.根据权利要求1所述的方法，其特征在于，确定与所述节点客户端关联的数据集具体包括：

预先将预设数量的节点客户端根据具备的软件环境和算法流程划分为多个节点池并建立各个节点池与数据集之间的关联关系，其中，各个所述节点池包括至少一个节点客户端；

确定发来所述数据分配请求的节点客户端所处的节点池，并将与确定的节点池相关联的数据集确定为发来所述数据分配请求的节点客户端关联的数据集。

3.根据权利要求1所述的方法，其特征在于，所述数据集中的数据块按照以下方式中的一种进行排列：

按照生成时间从先到后的顺序进行排列；或者

按照优先级从高到低的顺序进行排列，处于同一优先级的数据块按照生成时间从先到后的顺序进行排列；或者

按照数据类型进行排列，处于同一数据类型中的数据块按照生成时间从先到后的顺序进行排列；

相应地，按照预设调度算法从所述数据集中确定目标数据块具体包括：

在所述数据集的未被处理的数据块中，将生成时间最早的数据块确定为所述目标数据块；或者

在所述数据集的未被处理的数据块中确定优先级最高的至少一个数据块，并且将所述至少一个数据块中生成时间最早的数据块确定为所述目标数据块；或者

统计所述数据集中各个数据类型对应的未被处理的数据块的数量，并在数量最大的数据类型中将生成时间最早的数据块确定为所述目标数据块。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述数据分配请求为所述节点客户端处于空闲状态时向所述控制服务器发送的。

5.一种分布式系统中数据分配的方法，所述分布式系统包括控制服务器和节点客户端，其特征在于，所述方法包括：

所述节点客户端检测自身的节点状态，当所述节点状态满足预设条件时，向所述控制服务器发送数据分配请求，所述数据分配请求中包括所述节点客户端的空闲资源量；

接收所述控制服务器响应于所述数据分配请求发来的待处理数据，以让所述节点客户端对所述待处理数据块进行处理，其中，所述控制服务器发来的待处理数据需求的软件环境和算法流程与所述节点客户端具备的软件环境和算法流程相同。

6.根据权利要求5所述的方法，其特征在于，当所述节点状态满足预设条件时，向所述控制服务器发送数据分配请求，包括：

当所述节点状态为空闲状态时，向所述控制服务器发送数据分配请求。

7.根据权利要求5所述的方法，其特征在于，所述节点客户端检测自身的节点状态，包括：

所述节点客户端获取状态标识；

根据所述状态标识判断所述节点状态是否为空闲状态。

8.一种数据分配系统，包括控制服务器和节点客户端，其特征在于：

所述节点客户端用于检测自身的节点状态，当所述节点状态满足预设条件时，向所述控制服务器发送数据分配请求，所述数据分配请求中包括所述节点客户端的空闲资源量；接收所述控制服务器响应于所述数据分配请求发来的待处理数据；

所述控制服务器用于接收所述节点客户端发来的数据分配请求；响应于所述数据分配请求，确定与所述节点客户端关联的数据集，所述数据集中包括至少一个数据块；按照预设调度算法从所述数据集中确定目标数据块，并将所述目标数据块发送至所述节点客户端，以让所述节点客户端对所述目标数据块进行处理，其中，确定的与所述节点客户端关联的数据集需求的软件环境和算法流程与所述节点客户端具备的软件环境和算法流程相同；按照预设调度算法从所述数据集中确定目标数据块包括：将所述数据集中数据量与所述空闲资源量相匹配的数据块确定为所述目标数据块。

9.一种数据分配的控制服务器，其特征在于，所述控制服务器包括：

网络通信模块，用于进行网络数据通信；

存储器，用于存储至少一个数据集；

处理器，用于控制所述网络通信模块接收节点客户端发来的数据分配请求，所述数据分配请求中包括所述节点客户端的空闲资源量；响应于所述数据分配请求，从所述存储器中确定与所述节点客户端关联的数据集，所述数据集中包括至少一个数据块；按照预设调度算法从所述数据集中确定目标数据块，并控制所述网络通信模块将所述目标数据块发送至所述节点客户端，以让所述节点客户端对所述目标数据块进行处理，其中，确定的与所述节点客户端关联的数据集需求的软件环境和算法流程与所述节点客户端具备的软件环境和算法流程相同；按照预设调度算法从所述数据集中确定目标数据块包括：将所述数据集中数据量与所述空闲资源量相匹配的数据块确定为所述目标数据块。

10.一种数据分配的节点客户端，其特征在于，所述节点客户端包括：

网络通信模块，用于进行网络数据通信；

处理器，用于检测所述节点客户端自身的节点状态，当所述节点状态满足预设条件时，控制所述网络通信模块向控制服务器发送数据分配请求，所述数据分配请求中包括所述节点客户端的空闲资源量；控制所述网络通信模块接收所述控制服务器响应于所述数据分配请求发来的待处理数据，以让所述节点客户端对所述待处理数据进行处理，其中，所述控制服务器发来的待处理数据需求的软件环境和算法流程与所述节点客户端具备的软件环境和算法流程相同。