CN104468638B - 一种分布式数据处理方法及系统 - Google Patents

Abstract

本发明涉及一种分布式数据处理方法及系统，其中，服务器为符合处理条件的客户端分配并发送符合其处理能力的任务；客户端接收任务后，对任务进行处理得到插件地址及待处理数据地址；所述客户端根据插件地址加载插件，根据待处理数据地址取出待处理数据；客户端用所述插件来处理待处理数据得到处理后数据。当增加对新类型待处理数据的处理时，由于客户端采用调用插件的方式来处理待处理数据，因此只需开发一个处理该新类型待处理数据的插件，并将插件放入插件库即可以被不同的客户端所调用，不用大规模的升级客户端，因此，本发明具有对处理新类型待处理数据适应性强的优点。

Description

一种分布式数据处理方法及系统

技术领域

本发明涉及一种数据处理方法及系统，具体地说是一种客户端和服务器端运行的分布式数据处理方法及系统。

背景技术

所谓的分布式数据处理就是将不同地点的或具有不同功能的或拥有不同数据的多台计算机用通信网络连接起来，在统一的管理控制下，协调地完成信息处理任务的计算机数据处理方式。在可拆分的文件数据处理过程引入了分布式数据处理，即将单个计算机处理的数据由多台计算机来进行并发合作处理，能够为大量的文件数据处理提供有力的技术保障。在对应用大量数据文件进行处理的时候，特别是涉及到频繁图片压缩、文件格式转换等特别消耗计算机的性能，分布式数据处理的优势就会特别明显。

现有技术中公开了一种分布式系统及分布式系统处理任务流的方法，该专利对任务流进行处理时，针对任务流中的各个不同的可执行任务，服务器可以分别为其分配不同的客户端，由不同的客户端分别进行处理，从而实现对任务流的分布式处理。该专利虽然能够提供很好的数据处理性能和资源共享方式，但是当需要对新类型的数据进行处理时，由于客户端已有的数据处理方式无法完成该新类型数据的处理，因此就需要及时对客户端及服务器进行大规模的修改，比如修改分布式处理程序的服务器端控制器，并且新增客户端实现程序，这样对新类型数据处理的实现就会变得非常复杂和困难。当新增加客户端时，需要给每个新增的客户端逐个安装插件，整个分布式数据处理系统的可扩展性差。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中由于插件安装在客户端而导致的整个分布式文件系统可扩展性差的问题，提供一种可扩展性强的客户端和服务器端运行的分布式数据处理方法及系统。

为解决上述技术问题，本发明提供一种服务器端运行的分布式数据处理方法，包括如下步骤：

所述服务器实时获取客户端的资源信息；

所述服务器根据所述资源信息确定符合所述客户端处理能力的任务；

所述服务器为所述客户端分配并发送符合其处理能力的任务；

其中，所述任务中包含待处理数据的地址、插件库地址和处理所述待处理数据需要的处理指令类型；所述插件库里存储有即插即用的插件。

一种服务器端运行的分布式数据处理方法，还包括如下更新插件库的步骤：

将新的插件存储到所述插件库中；

将新的插件所对应的处理指令类型存储到所述服务器中。

一种服务器端运行的分布式数据处理方法，所述服务器为符合任务处理条件的客户端分配并发送符合该客户端处理能力的任务的步骤中，所述任务还包括待处理数据的状态，所述待处理数据的状态进一步包括客户端信息和标记信息，其中，

所述客户端信息为所述待处理数据分配给的所述客户端的信息；

所述标记信息为标记所述待处理数据被取走的信息。

一种服务器端运行的分布式数据处理方法，所述服务器实时获取客户端的资源信息的步骤进一步包括：

所述服务器接收客户端以周期T发送的心跳请求，其中，首次所述心跳请求为注册心跳请求，非首次心跳请求均为任务心跳请求，所述任务心跳请求包括所述客户端的资源信息和待处理数据的状态；

所述服务器为每个客户端建立一个存放该客户端心跳请求的消息队列；

所述服务器读取位于所述消息队列首部的所述心跳请求，读取后的心跳请求从所述消息队列中出列；当所述服务器读取的所述心跳请求为注册心跳请求时，则对发送该注册心跳请求的客户端进行注册；否则转入下一步；

所述服务器对所述心跳请求进行解析获取该客户端的资源信息。

一种服务器端运行的分布式数据处理方法，所述服务器对所述心跳请求进行解析后，得到所述客户端的待处理数据的状态，并根据所述待处理数据的状态对所述服务器中的任务的信息进行更新。

一种服务器端运行的分布式数据处理方法，所述服务器读取位于所述消息队列首部的所述心跳请求的步骤进一步包括：

所述服务器为每个消息队列中位于首部的一个心跳请求分配一个线程；

所述线程读取所述消息队列中位于首部的所述心跳请求；

所述服务器对所述心跳请求进行解析获取该客户端的资源信息的步骤进一步包括：

所述线程对取出的心跳请求进行解析；

所述线程判断发出该心跳请求的客户端是否有空闲资源。

一种服务器端运行的分布式数据处理方法，所述线程判断发出该心跳请求的客户端是否有空闲资源的步骤进一步包括：

所述线程对解析后的所述心跳请求进行分析；

所述线程判断心跳请求中记载的该客户端中是否有空闲的CPU内核，如有空闲的CPU内核，则判断该客户端资源空闲。

一种客户端运行的分布式数据处理方法，包括如下步骤：

所述客户端接收服务器发送的任务，并对所述任务进行解析得到待处理数据地址、插件库地址和处理指令类型，并根据解析出的插件库地址和处理指令类型得到用于处理该待处理数据的插件地址；其中，所述插件库里存储有即插即用的插件；

所述客户端根据所述插件地址加载所述插件；

所述客户端根据所述待处理数据地址取出所述待处理数据；

所述客户端用加载的所述插件来处理所述待处理数据得到处理后数据。

一种客户端运行的分布式数据处理方法，所述客户端以周期T将资源信息和待处理数据的状态以任务心跳请求的方式发送给所述服务器；并且所述客户端在发送首次任务心跳请求之前还包括发送注册心跳请求的步骤，发送所述注册心跳请求和发送所述首次任务心跳请求的时间间隔为T。

一种服务器端运行的分布式数据处理系统，包括资源信息获取装置、任务处理条件判断装置和任务分配装置，其中，

所述资源信息获取装置,用于实时获取客户端的资源信息；

所述任务处理条件判断装置，用于根据所述资源信息确定符合所述客户端处理能力的任务；

所述任务分配装置，用于为所述客户端分配并发送符合其处理能力的任务；

其中，所述任务中包含待处理数据的地址、插件库地址和处理所述待处理数据需要的处理指令类型；所述插件库里存储有即插即用的插件。

一种服务器端运行的分布式数据处理系统，还包括更新装置，所述更新装置进一步包括插件库更新装置和处理指令类型存储装置，其中，

所述插件库更新装置，用于将新的插件存储到所述插件库中；

所述处理指令类型存储装置，用于将新的插件所对应的处理指令类型存储到所述服务器中。

一种服务器端运行的分布式数据处理系统，所述任务分配装置所分配的所述任务还包括待处理数据的状态，所述待处理数据的状态进一步包括客户端信息和标记信息，其中，

所述客户端信息为所述待处理数据分配的所述客户端的信息；

所述标记信息为标记所述待处理数据被取走的信息。

一种服务器端运行的分布式数据处理系统，还包括心跳请求接收装置、队列建立装置、心跳请求读取装置和心跳请求解析装置，其中，

所述心跳请求接收装置，用于接收客户端以周期T发送的心跳请求，其中，首次所述心跳请求为注册心跳请求，非首次心跳请求均为任务心跳请求，所述任务心跳请求包括所述客户端的资源信息和待处理数据的状态；

所述队列建立装置，用于为每个客户端建立一个存放自身心跳请求的消息队列；

所述心跳请求读取装置，用于读取位于所述消息队列首部的所述心跳请求，读取后的心跳请求从所述消息队列中出列；当所述服务器读取的所述心跳请求为注册心跳请求时，则对发送该注册心跳请求的客户端进行注册；

所述心跳请求解析装置，用于对所述心跳请求中的任务心跳请求进行解析获取该客户端的资源信息。

一种服务器端运行的分布式数据处理系统，还包括任务更新装置，

所述任务更新装置，用于在所述心跳请求装置对所述心跳请求进行解析后，得到所述客户端的待处理数据的状态，并根据所述待处理数据的状态对所述服务器中的任务的信息进行更新。

一种服务器端运行的分布式数据处理系统，所述心跳请求读取装置进一步包括线程分配装置和线程读取装置，其中，

所述线程分配装置，用于为每个消息队列中位于首部的一个心跳请求分配一个线程；

所述线程读取装置，用于通过分配的所述线程读取所述消息队列中位于首部的所述心跳请求；

所述心跳请求装置进一步包括心跳请求解析装置和空闲资源判断装置，其中，

所述心跳请求解析装置，用于使用所述线程对取出的心跳请求进行解析；

所述空闲资源判断装置，用于使用所述线程判断发出该心跳请求的客户端是否有空闲资源。

一种服务器端运行的分布式数据处理系统，所述空闲资源判断装置进一步包括心跳请求分析装置和CPU内核判断装置，其中，

所述心跳请求分析装置，用于使用所述线程对解析后的所述心跳请求进行分析；

所述CPU内核判断装置，用于使用所述线程判断心跳请求中记载的该客户端中是否有空闲的CPU内核，如有空闲的CPU内核，则判断该客户端资源空闲。

一种客户端运行的分布式数据处理系统，包括任务解析装置、加载装置、待处理数据读取装置、数据处理装置和处理后数据存储装置，其中，

所述任务解析装置，用于接收服务器发送的任务，并对所述任务进行解析得到待处理数据地址、插件库地址和处理指令类型，并根据解析出的插件库地址和处理指令类型得到用于处理该待处理数据的插件地址；其中，所述插件库里存储有即插即用的插件；

所述加载装置，用于根据所述插件地址加载所述插件；

所述待处理数据读取装置，用于根据所述待处理数据地址取出所述待处理数据；

所述数据处理装置，用于用加载的所述插件来处理所述待处理数据得到处理后数据。

一种客户端运行的分布式数据处理系统，还包括心跳请求发送装置，

所述心跳请求发送装置，用于使所述客户端以周期T将所述资源信息和待处理数据的状态以任务心跳请求的方式发送给所述服务器；并且所述客户端在发送首次任务心跳请求之前还包括发送注册心跳请求的步骤，发送所述注册心跳请求和发送所述首次任务心跳请求的时间间隔为T。

本发明的上述技术方案相比现有技术具有以下优点：

1、本发明所述的一种客户端和服务器端运行的分布式数据处理方法及系统；其中，服务器端运行的分布式数据处理方法和系统中，服务器实时获取客户端的资源信息，并根据所述资源信息确定符合所述客户端处理能力的任务，所述服务器为所述客户端分配并发送符合其处理能力的任务；其中，所述任务中包含待处理数据的地址、插件库地址和处理所述待处理数据需要的处理指令类型；所述插件库里存储有即插即用的插件；这样服务器分发的任务中含有处理待处理数据需要的插件的地址，客户端处理任务时无需事先分别单独安装相应的插件即可完成数据处理，无需再客户端上逐个安装插件；相应地，客户端运行的分布式数据处理方法和系统中，客户端获取到的任务中就含有插件库的地址，通过调用插件库里的插件即可完成对分布式数据的处理。当增加新客户端时，该客户端处理任务时只需要调用即插即用的插件即可，无需安装任何插件，因此，本发明的分布式数据处理方法和系统具有可扩展性和适应性强的优点。

2.本发明所述的一种分布式数据处理方法及系统，还可以对插件库进行更新，当增加了新类型的待处理数据时，只需要研发出处理此种类型待处理数据的插件，并将该新插件补充进插件库，各个客户端在处理新任务时即可调用新插件处理，可以实现对新类型的数据进行分布式数据处理，因此具有系统改动小、适应性强的优点。

3.本发明所述的一种分布式数据处理方法及系统，采用客户端向所述服务器发送心跳请求的方式来进行数据处理，由于所述服务器不用向所述客户端发出邀请，因此在所述分布式系统扩大或缩小客户端数量时，不用在服务器中做出关于服务器向客户端邀请的参数配置，具有客户端数量配置灵活、系统运行效率高的优点。

4.本发明所述的一种分布式数据处理方法及系统，其中所述服务器为每个心跳请求队列中位于首部的一个心跳请求分配一个线程，即所述分布式系统采用多线程对多个所述客户端发送的心跳请求进行并发操作，避免了多个心跳请求队列抢夺线程，因而提高了系统资源使用效率。

5.本发明所述的一种分布式数据处理方法及系统，其中，待处理数据的状态信息显示该待处理数据是否已被取走并分配，已经被取走的，所述线程在打包任务时就待处理数据状态为已取走分配的就不再重复读取分配，避免了对所述待处理数据的重复操作，从资源分配的层面就避免了分布式系统资源死锁的发生，为系统正常运行提高技术支持和保障。

6.本发明所述的一种分布式数据处理方法及系统，其中所述服务器通过心跳请求来得到所述客户端的CPU内核空闲个数，从而判断出所述客户端是否有空闲资源，从而避免了由于服务器对客户端分配过多的任务而导致客户端的拥堵，降低了任务响应时间，提高了分布式系统的处理效率。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1是本发明一个实施例的一种客户端运行的分布式数据处理方法的流程图；

图2是本发明一个实施例的一种服务器端运行的分布式数据处理方法的流程图；

图3是本发明一个实施例的一种分布式数据处理系统的结构示意图；

图4是本发明一个实施例的一种分布式数据处理方法的关于心跳请求的示意图；

图5是本发明一个实施例的一种客户端运行的分布式数据处理系统的结构示意图；

图6是本发明一个实施例的一种服务器端运行的分布式数据处理系统的结构示意图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

实施例1

作为本发明所述的一种服务器端运行的分布式数据处理方法，如图2所示，包括如下步骤：

所述服务器实时获取客户端的资源信息。

所述服务器根据所述资源信息确定符合所述客户端处理能力的任务。

所述服务器为所述客户端分配并发送符合其处理能力的任务。

其中，所述任务中包含待处理数据的地址、插件库地址和处理所述待处理数据需要的处理指令类型。所述插件库里存储有即插即用的插件。

本发明的服务器运行的分布式数据处理方法中，分发的任务中含有处理待处理数据需要的插件的地址，客户端处理任务时无需事先分别单独安装相应的插件即可完成数据处理，对新类型数据处理的实现仅需在服务器统一处理即可，使得整个数据处理变得非常简单易行。

实施例2

作为本发明的一个实施例，在实施例1的基础上，所述服务器端运行的分布式数据处理方法，还包括如下更新插件库的步骤：

将新的插件存储到所述插件库中。

将新的插件所对应的处理指令类型存储到所述服务器中。

将新的插件所对应的版本存储到所述服务器中。相对应的，所述任务还可以包括插件版本信息，包括插件版本信息的任务的具体形式如下：＜待处理数据地址="具体地址"插件库地址="具体地址"插件版本信息="具体版本信息"待处理指令类型="具体类型"＞。

在服务器正常运行期间，如果出现了新的类型的数据处理，此时，仅仅需要更新插件库即可，将新类型的数据处理用插件补充进已有的插件库即可，所述服务器分配的任务中含有新的插件的地址，客户端处理该任务时，只需要按照该新的插件的地址调用该新插件即可。

实施例3

作为本发明的一个实施例，在上述实施例1或实施例2的基础上，所述服务器为符合任务处理条件的客户端分配并发送符合该客户端处理能力的任务的步骤中，所述任务还包括待处理数据的状态，所述待处理数据的状态进一步包括客户端信息和标记信息，其中，

所述客户端信息为所述待处理数据分配的所述客户端的信息；所述标记信息为标记所述待处理数据被取走的信息。

所述服务器在分配新任务取待处理数据时，带所述标记信息的都说明该待处理数据被取走，不能再被重新取走分配；能有效较少甚至避免同一待处理数据被分配到不同任务中进而被重复分配处理造成的资源浪费现象的发生。而且，从资源分配的层面就避免了分布式系统资源死锁的发生，为系统正常运行提高技术支持和保障。

实施例4

作为本发明的一个实施例，上实施例3的基础上，如图4所示，所述服务器实时获取客户端的资源信息的步骤进一步包括：

所述服务器接收客户端以周期T发送的心跳请求，其中，首次所述心跳请求为注册心跳请求，非首次心跳请求均为任务心跳请求，所述任务心跳请求包括所述客户端的资源信息和待处理数据的状态。

所述服务器为每个客户端建立一个存放该客户端心跳请求的消息队列；

所述服务器读取位于所述消息队列首部的所述心跳请求，读取后的心跳请求从所述消息队列中出列；当所述服务器读取的所述心跳请求为注册心跳请求时，则对发送该注册心跳请求的客户端进行注册。否则转入下一步。

所述服务器对所述心跳请求进行解析获取该客户端的资源信息。

服务器为每个客户端建立一个存放该客户端心跳请求的消息队列，并按照先进先出的顺序顺次读取位于该消息队列队首的心跳请求，保证不遗漏任何一个心跳请求。而且，实现了对不同客户端发送的心跳请求的单独管理，清晰明了。

实施例5

作为本发明的一个实施例，上实施例4的基础上，所述服务器对所述心跳请求进行解析后，得到所述客户端的待处理数据的状态，并根据所述待处理数据的状态对所述服务器中的任务的信息进行更新。

这样服务器能随时获取各个客户端处理任务的进程，便于实现对各个客户端任务的跟踪和管理。

实施例6

作为本发明的一个实施例，上实施例5的基础上，所述服务器读取位于所述消息队列首部的所述心跳请求的步骤进一步包括：

所述服务器为每个消息队列中位于首部的一个心跳请求分配一个线程。

所述线程读取所述消息队列中位于首部的所述心跳请求。

所述服务器对所述心跳请求进行解析获取该客户端的资源信息的步骤进一步包括：

所述线程对取出的心跳请求进行解析。

所述线程判断发出该心跳请求的客户端是否有空闲资源。

所述服务器为每个心跳请求队列中位于首部的一个心跳请求分配一个线程，即所述分布式系统采用多线程对多个所述客户端发送的心跳请求进行读取和解析的并发操作，避免了多个心跳请求队列抢夺线程，提高了系统资源使用效率。

当然，作为本发明的其他实施例，所述服务器也可以为多个消息队列分配一个线程，但是这样在多个消息队列就需要根据时间片轮换处理，多个消息队列处理无法并行执行，因此响应速度较慢。

实施例7

作为本发明的一个实施例，上实施例6的基础上，所述线程判断发出该心跳请求的客户端是否有空闲资源的步骤进一步包括：

所述线程对解析后的所述心跳请求进行分析。

所述线程判断心跳请求中记载的该客户端中是否有空闲的CPU内核，如有空闲的CPU内核，则判断该客户端资源空闲。

所述服务器通过心跳请求来得到所述客户端的CPU内核空闲个数，从而判断出所述客户端是否有空闲资源，从而避免了由于服务器对客户端分配过多的任务而导致客户端的拥堵，降低了任务响应时间，提高了分布式系统的处理效率。

相应地，本发明提供一种客户端和服务器端运行的分布式数据处理系统。

实施例8

本发明一个实施例的一种客户端运行的分布式数据处理方法，如图1所示，包括如下步骤：

所述客户端接收服务器发送的任务，并对所述任务进行解析得到待处理数据地址、插件库地址和处理指令类型，并根据解析出的插件库地址和处理指令类型得到用于处理该待处理数据的插件地址。其中，所述插件库里存储有即插即用的插件。所述处理指令类型为所述待处理数据类型和处理该类型待处理数据的插件的对应关系，所述客户端根据插件库地址访问所述插件库，再根据所述处理指令类型找出与所述待处理数据类型相对应的插件。所谓的即插即用的插件指不用安装即可以加载使用的插件。所述任务包括，＜待处理数据地址="具体地址"插件库地址="具体地址"待处理指令类型="具体类型"＞。

所述客户端根据所述插件地址加载所述插件。

所述客户端根据所述待处理数据地址取出所述待处理数据。

所述客户端用加载的所述插件来处理所述待处理数据得到处理后数据。

所述任务中所涉及的待处理数据和所述插件库可以存储在分布式数据处理系统的任意位置，包括服务器和客户端。作为优选实施方式，如图3所示，所述待处理数据存储于所述分布式数据处理系统的服务器上。所述插件库存储于所述数据文件服务器上。一般客户端执行所述任务获得的处理后数据也存储在所述数据文件服务器的指定位置。因此，与优选实施方案相对应的所述客户端接收服务器发送的任务，还应包括用于存储任务执行结果的指定位置的地址，所述任务包括，＜待处理数据地址="具体地址"插件库地址="具体地址"待处理指令类型="具体类型"指定位置地址="具体地址"＞。

本发明所述的一种客户端运行的分布式数据处理方法，由于所述客户端采用调用插件的方式来处理待处理数据，因此只需要开发一个用于处理特定类型待处理数据的插件放入插件库即可以，不用大规模的在客户端上逐个安装插件；尤其当增加客户端时，无需在客户端上安装任何插件，因此本发明客户端运行的分布式数据处理方法具有可扩展性强和适应性强的优点。

作为本发明的其他实施例，在所述客户端根据所述待处理数据地址取出所述待处理数据的步骤后，还可以包括:所述客户端在任务执行完毕后，将任务执行结果反馈给服务器的步骤。或者还包括将所述客户端将资源信息发送给服务器的步骤。

实施例9

作为本发明的一个实施例，在实施例8的基础上，如图4所示，所述客户端以周期T将所述资源信息和待处理数据的状态以任务心跳请求的方式发送给所述服务器；并且所述客户端在发送首次任务心跳请求之前还包括发送注册心跳请求的步骤，发送所述注册心跳请求和发送所述首次任务心跳请求的时间间隔为T。所述任务心跳请求以如下形式发送，＜资源信息="具体资源信息"待处理数据的状态="具体状态"＞。所述注册心跳请求如下形式发送，＜资源信息="具体资源信息"＞。作为一种优选方式，所述任务心跳请求和所述注册心跳请求中还包括心跳请求类型，其中，所述任务心跳请求以如下形式发送，＜心跳请求类型="任务心跳请求类型"资源信息="具体资源信息"待处理数据的状态="具体状态"＞，所述注册心跳请求如下形式发送，＜心跳请求类型="注册心跳请求类型"资源信息="具体资源信息"＞。

周期T采用如下设置，<MsgCircle>T</MsgCircle>，当周期为5s时，具体设置如下：<MsgCircle>5</MsgCircle>。

本发明所述的一种客户端运行的分布式数据处理方法，采用客户端向所述服务器发送心跳请求的方式来进行数据通讯，当然作为本发明的其他实施例，除了本实施例中所采用的发送心跳请求的方法，还可以采用传统计算机网络中的三次握手的方式，即所述服务器先向客户端发出邀请，客户端回应给服务器客户端当前状态的信息，服务器再向客户端发送任务的方式，同样，能实现任务的分配和发送。但是三次握手的方式，在客户端的数量变化时，需要在服务器上修改向客户端邀请的参数配置，相对本实施例中的心跳请求比较复杂。相对于三次握手的通讯方式，本实施例中的发送心跳请求的方式，由于客户端自发进行，实际分布式数据处理系统中的服务器不用向所述客户端发出邀请，因此在所述分布式系统扩大或缩小客户端数量时，只需直接增减客户端即可，不用在服务器中做出有关于服务器向客户端邀请的参数配置，因此具有客户端数量配置灵活、系统运行效率高的优点。

实施例10

作为本发明一个实施例的一种服务器端运行的分布式数据处理系统，如图6所示，包括资源信息获取装置、任务处理条件判断装置和任务分配装置。其中

所述资源信息获取装置,用于实时获取客户端的资源信息。

所述任务处理条件判断装置，用于根据所述资源信息判断该客户端是否符合任务处理条件，并在所述客户端符合任务分配条件时触发所述任务分配装置工作。

所述任务分配装置，用于为符合任务分配条件的所述客户端分配并发送符合其处理能力的任务，同时，将该任务的信息存储在所述服务器中。

其中，所述任务中包含待处理数据的地址、插件库地址和处理所述待处理数据需要的处理指令类型；所述插件库里存储有即插即用的插件。

本发明的服务器运行的分布式数据处理系统中，分发的任务中含有处理待处理数据需要的插件的地址，客户端处理任务时无需事先分别单独安装相应的插件即可完成数据处理，对新类型数据处理的实现仅需在服务器统一处理即可，使得整个数据处理变得非常简单易行。

实施例11

作为本发明一个实施例的一种服务器端运行的分布式数据处理系统，在上述实施例10的基础上，还包括更新装置，所述更新装置进一步包括插件库更新装置和处理指令类型存储装置，其中，

所述插件库更新装置，用于将新的插件存储到所述插件库中。

所述处理指令类型存储装置，用于将新的插件所对应的处理指令类型存储到所述服务器中。

在服务器正常运行期间，如果出现了新的类型的数据处理，此时，仅仅需要更新插件库即可，将新类型的数据处理用插件补充进已有的插件库即可，所述服务器分配的任务中含有新的插件的地址，客户端处理该任务时，只需要按照该新的插件的地址调用该新插件即可。

实施例12

作为本发明一个实施例的一种服务器端运行的分布式数据处理系统，在上述实施例10或实施例11的基础上，所述任务分配装置所分配的所述任务还包括待处理数据的状态，所述待处理数据的状态进一步包括客户端信息和标记信息，其中，

所述客户端信息为所述待处理数据分配的所述客户端的信息。

所述标记信息为标记所述待处理数据被取走的信息。

所述服务器在分配新任务取待处理数据时，带所述标记信息的都说明该待处理数据被取走，不能再被重新取走分配。能有效较少甚至避免同一待处理数据被分配到不同任务中进而被重复分配处理造成的资源浪费现象的发生。

实施例13

作为本发明一个实施例的一种服务器端运行的分布式数据处理系统，在上述实施例12的基础上，还包括心跳请求接收装置、队列建立装置、心跳请求读取装置和心跳请求解析装置，其中，

所述心跳请求接收装置，用于接收客户端以周期T发送的心跳请求，其中，首次所述心跳请求为注册心跳请求，非首次心跳请求均为任务心跳请求，所述任务心跳请求包括所述客户端的资源信息和待处理数据的状态。

所述队列建立装置，用于为每个客户端建立一个存放自身心跳请求的消息队列。

所述心跳请求读取装置，用于读取位于所述消息队列首部的所述心跳请求，读取后的心跳请求从所述消息队列中出列；当所述服务器读取的所述心跳请求为注册心跳请求时，则对发送该注册心跳请求的客户端进行注册。

所述心跳请求解析装置，用于对所述心跳请求中的任务心跳请求进行解析获取该客户端的资源信息。

服务器为每个客户端建立一个存放该客户端心跳请求的消息队列，并按照先进先出的顺序顺次读取位于该消息队列队首的心跳请求，保证不遗漏任何一个心跳请求。而且，实现了对不同客户端发送的心跳请求的单独管理，清晰明了。

实施例14

作为本发明一个实施例的一种服务器端运行的分布式数据处理系统，在上述实施例13的基础上，还包括任务更新装置，所述任务更新装置，用于在所述心跳请求装置对所述心跳请求进行解析后，得到所述客户端的待处理数据的状态，并根据所述待处理数据的状态对所述服务器中的任务的信息进行更新。

这样服务器能随时获取各个客户端处理任务的进程，便于实现对各个客户端任务的跟踪和管理。

实施例15

作为本发明一个实施例的一种服务器端运行的分布式数据处理系统，在上述实施例14的基础上，所述心跳请求读取装置进一步包括线程分配装置和线程读取装置，其中，

所述线程分配装置，用于为每个消息队列中位于首部的一个心跳请求分配一个线程。

所述线程读取装置，用于通过分配的所述线程读取所述消息队列中位于首部的所述心跳请求。

所述心跳请求装置进一步包括心跳请求解析装置和空闲资源判断装置，其中，

所述心跳请求解析装置，用于使用所述线程对取出的心跳请求进行解析。

所述空闲资源判断装置，用于使用所述线程判断发出该心跳请求的客户端是否有空闲资源。

所述服务器为每个心跳请求队列中位于首部的一个心跳请求分配一个线程，即所述分布式系统采用多线程对多个所述客户端发送的心跳请求进行读取和解析的并发操作，避免了多个心跳请求队列抢夺线程，提高了系统资源使用效率。

实施例16

作为本发明一个实施例的一种服务器端运行的分布式数据处理系统，在上述实施例15的基础上，所述空闲资源判断装置进一步包括心跳请求分析装置和CPU内核判断装置，其中，

所述心跳请求分析装置，用于使用所述线程对解析后的所述心跳请求进行分析。

所述CPU内核判断装置，用于使用所述线程判断心跳请求中记载的该客户端中是否有空闲的CPU内核，如有空闲的CPU内核，则判断该客户端资源空闲。

所述服务器通过心跳请求来得到所述客户端的CPU内核空闲个数，从而判断出所述客户端是否有空闲资源，从而避免了由于服务器对客户端分配过多的任务而导致客户端的拥堵，降低了任务响应时间，提高了分布式系统的处理效率。

实施例17

作为本发明一个具体实施例的一种客户端运行的分布式数据处理系统，如图5所示，包括任务解析装置、加载装置、待处理数据读取装置、数据处理装置和处理后数据存储装置。其中，

所述任务解析装置，用于接收服务器发送的任务，并对所述任务进行解析得到待处理数据地址、插件库地址和处理指令类型，并根据解析出的插件库地址和处理指令类型得到用于处理该待处理数据的插件地址；其中，所述插件库里存储有即插即用的插件。

所述加载装置，用于根据所述插件地址加载所述插件。

所述待处理数据读取装置，用于根据所述待处理数据地址取出所述待处理数据。

所述数据处理装置，用于用加载的所述插件来处理所述待处理数据得到处理后数据。

所述处理后数据存储装置，将所述处理后数据输出至指定位置存储。

本发明所述的一种客户端运行的分布式数据处理系统，由于所述客户端采用调用插件的方式来处理待处理数据，因此只需要将用于处理特定类型待处理数据的插件放入插件库即可，不用大规模的在客户端上逐个安装插件。尤其当增加客户端时，无需在客户端上安装任何插件，因此本发明客户端运行的分布式数据处理方法具有可扩展性强和适应性强的优点。

作为本发明其他实施例，客户端运行的分布式数据处理系统还包括资源信息发送装置，所述资源信息发送装置用于将所述客户端的资源信息发送给服务器。

实施例18

作为本发明一个具体实施例的一种客户端运行的分布式数据处理系统，在上述实施例17的基础上，所述资源信息发送装置为心跳请求发送装置，

所述心跳请求发送装置，用于使所述客户端以周期T将所述资源信息和待处理数据的状态以任务心跳请求的方式发送给所述服务器；并且所述客户端在发送首次任务心跳请求之前还包括发送注册心跳请求的步骤，发送所述注册心跳请求和发送所述首次任务心跳请求的时间间隔为T。

本发明所述的一种客户端运行的分布式数据处理系统，采用客户端向所述服务器发送心跳请求的方式来进行数据通讯，当然作为本发明的其他实施例，所述客户端也可以采用其他通讯方式，比如被动应答式，也就是服务器端发起的主动询问式，所述客户端仅在收到询问信息时才进行数据上报；相对于被动应答式的通讯方式，本实施例中的发送心跳请求的方式，由于客户端自发进行，实际分布式数据处理系统中的服务器不用向所述客户端发出邀请，因此在所述分布式系统扩大或缩小客户端数量时，只需直接增减客户端即可，不用在服务器中做出有关于服务器向客户端邀请的参数配置，因此具有客户端数量配置灵活、系统运行效率高的优点。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (18)

1.一种服务器端运行的分布式数据处理方法，其特征在于，包括如下步骤：

所述服务器实时获取客户端的资源信息；

所述服务器根据所述资源信息确定符合所述客户端处理能力的任务；

所述服务器为所述客户端分配并发送符合其处理能力的任务；

其中，所述任务中包含待处理数据的地址、插件库地址和处理所述待处理数据需要的处理指令类型；所述插件库里存储有即插即用的插件，以使得所述客户端根据所述插件库地址和所述处理指令类型得到用于处理所述待处理数据的插件地址，根据所述插件地址加载所述插件，根据所述待处理数据地址取出所述待处理数据，用加载的所述插件来处理所述待处理数据得到处理后数据。

2.根据权利要求1所述的一种服务器端运行的分布式数据处理方法，其特征在于，还包括如下更新插件库的步骤：

将新的插件存储到所述插件库中；

将新的插件所对应的处理指令类型存储到所述服务器中。

3.根据权利要求1或2所述的一种服务器端运行的分布式数据处理方法，其特征在于，所述服务器为符合任务处理条件的客户端分配并发送符合该客户端处理能力的任务的步骤中，所述任务还包括待处理数据的状态，所述待处理数据的状态进一步包括客户端信息和标记信息，其中，

所述客户端信息为所述待处理数据分配给的所述客户端的信息；

所述标记信息为标记所述待处理数据被取走的信息。

4.根据权利要求3所述的一种服务器端运行的分布式数据处理方法，其特征在于，所述服务器实时获取客户端的资源信息的步骤进一步包括：

所述服务器接收客户端以周期T发送的心跳请求，其中，首次所述心跳请求为注册心跳请求，非首次心跳请求均为任务心跳请求，所述任务心跳请求包括所述客户端的资源信息和待处理数据的状态；

所述服务器为每个客户端建立一个存放该客户端心跳请求的消息队列；

所述服务器读取位于所述消息队列首部的所述心跳请求，读取后的心跳请求从所述消息队列中出列；当所述服务器读取的所述心跳请求为注册心跳请求时，则对发送该注册心跳请求的客户端进行注册；否则转入下一步；

所述服务器对所述心跳请求进行解析获取该客户端的资源信息。

5.根据权利要求4所述的一种服务器端运行的分布式数据处理方法，其特征在于，所述服务器对所述心跳请求进行解析后，得到所述客户端的待处理数据的状态，并根据所述待处理数据的状态对所述服务器中的任务的信息进行更新。

6.根据权利要求5所述的一种服务器端运行的分布式数据处理方法，其特征在于，所述服务器读取位于所述消息队列首部的所述心跳请求的步骤进一步包括：

所述服务器为每个消息队列中位于首部的一个心跳请求分配一个线程；

所述线程读取所述消息队列中位于首部的所述心跳请求；

所述服务器对所述心跳请求进行解析获取该客户端的资源信息的步骤进一步包括：

所述线程对取出的心跳请求进行解析；

所述线程判断发出该心跳请求的客户端是否有空闲资源。

7.根据权利要求6所述的一种服务器端运行的分布式数据处理方法，其特征在于，所述线程判断发出该心跳请求的客户端是否有空闲资源的步骤进一步包括：

所述线程对解析后的所述心跳请求进行分析；

所述线程判断心跳请求中记载的该客户端中是否有空闲的CPU内核，如有空闲的CPU内核，则判断该客户端资源空闲。

8.一种客户端运行的分布式数据处理方法，其特征在于，包括如下步骤：

所述客户端接收服务器发送的任务，并对所述任务进行解析得到待处理数据地址、插件库地址和处理指令类型，并根据解析出的插件库地址和处理指令类型得到用于处理该待处理数据的插件地址；其中，所述插件库里存储有即插即用的插件；

所述客户端根据所述插件地址加载所述插件；

所述客户端根据所述待处理数据地址取出所述待处理数据；

所述客户端用加载的所述插件来处理所述待处理数据得到处理后数据。

9.根据权利要求8所述的一种客户端运行的分布式数据处理方法，其特征在于，所述客户端以周期T将资源信息和待处理数据的状态以任务心跳请求的方式发送给所述服务器；并且所述客户端在发送首次任务心跳请求之前还包括发送注册心跳请求的步骤，发送所述注册心跳请求和发送所述首次任务心跳请求的时间间隔为T。

10.一种服务器端运行的分布式数据处理系统，其特征在于，包括资源信息获取装置、任务处理条件判断装置和任务分配装置，其中，

所述资源信息获取装置,用于实时获取客户端的资源信息；

所述任务处理条件判断装置，用于根据所述资源信息确定符合所述客户端处理能力的任务；

所述任务分配装置，用于为所述客户端分配并发送符合其处理能力的任务；

其中，所述任务中包含待处理数据的地址、插件库地址和处理所述待处理数据需要的处理指令类型；所述插件库里存储有即插即用的插件，以使得所述客户端根据所述插件库地址和所述处理指令类型得到用于处理所述待处理数据的插件地址，根据所述插件地址加载所述插件，根据所述待处理数据地址取出所述待处理数据，用加载的所述插件来处理所述待处理数据得到处理后数据。

11.根据权利要求10所述的一种服务器端运行的分布式数据处理系统，其特征在于，还包括更新装置，所述更新装置进一步包括插件库更新装置和处理指令类型存储装置，其中，

所述插件库更新装置，用于将新的插件存储到所述插件库中；

所述处理指令类型存储装置，用于将新的插件所对应的处理指令类型存储到所述服务器中。

12.根据权利要求10或11所述的一种服务器端运行的分布式数据处理系统，其特征在于，所述任务分配装置所分配的所述任务还包括待处理数据的状态，所述待处理数据的状态进一步包括客户端信息和标记信息，其中，

所述客户端信息为所述待处理数据分配的所述客户端的信息；

所述标记信息为标记所述待处理数据被取走的信息。

13.根据权利要求12所述的一种服务器端运行的分布式数据处理系统，其特征在于，还包括心跳请求接收装置、队列建立装置、心跳请求读取装置和心跳请求解析装置，其中，

所述心跳请求接收装置，用于接收客户端以周期T发送的心跳请求，其中，首次所述心跳请求为注册心跳请求，非首次心跳请求均为任务心跳请求，所述任务心跳请求包括所述客户端的资源信息和待处理数据的状态；

所述队列建立装置，用于为每个客户端建立一个存放自身心跳请求的消息队列；

所述心跳请求读取装置，用于读取位于所述消息队列首部的所述心跳请求，读取后的心跳请求从所述消息队列中出列；当所述服务器读取的所述心跳请求为注册心跳请求时，则对发送该注册心跳请求的客户端进行注册；

所述心跳请求解析装置，用于对所述心跳请求中的任务心跳请求进行解析获取该客户端的资源信息。

14.根据权利要求13所述的一种服务器端运行的分布式数据处理系统，其特征在于，还包括任务更新装置，

所述任务更新装置，用于在所述心跳请求装置对所述心跳请求进行解析后，得到所述客户端的待处理数据的状态，并根据所述待处理数据的状态对所述服务器中的任务的信息进行更新。

15.根据权利要求14所述的一种服务器端运行的分布式数据处理系统，其特征在于，所述心跳请求读取装置进一步包括线程分配装置和线程读取装置，其中，

所述线程分配装置，用于为每个消息队列中位于首部的一个心跳请求分配一个线程；

所述线程读取装置，用于通过分配的所述线程读取所述消息队列中位于首部的所述心跳请求；

所述心跳请求装置进一步包括心跳请求解析装置和空闲资源判断装置，其中，

所述心跳请求解析装置，用于使用所述线程对取出的心跳请求进行解析；

所述空闲资源判断装置，用于使用所述线程判断发出该心跳请求的客户端是否有空闲资源。

16.根据权利要求15所述的一种服务器端运行的分布式数据处理系统，其特征在于，所述空闲资源判断装置进一步包括心跳请求分析装置和CPU内核判断装置，其中，

所述心跳请求分析装置，用于使用所述线程对解析后的所述心跳请求进行分析；

所述CPU内核判断装置，用于使用所述线程判断心跳请求中记载的该客户端中是否有空闲的CPU内核，如有空闲的CPU内核，则判断该客户端资源空闲。

17.一种客户端运行的分布式数据处理系统，其特征在于，包括任务解析装置、加载装置、待处理数据读取装置、数据处理装置和处理后数据存储装置，其中，

所述任务解析装置，用于接收服务器发送的任务，并对所述任务进行解析得到待处理数据地址、插件库地址和处理指令类型，并根据解析出的插件库地址和处理指令类型得到用于处理该待处理数据的插件地址；其中，所述插件库里存储有即插即用的插件；

所述加载装置，用于根据所述插件地址加载所述插件；

所述待处理数据读取装置，用于根据所述待处理数据地址取出所述待处理数据；

所述数据处理装置，用于用加载的所述插件来处理所述待处理数据得到处理后数据。

18.根据权利要求17所述的一种客户端运行的分布式数据处理系统，其特征在于，还包括心跳请求发送装置，

所述心跳请求发送装置，用于使所述客户端以周期T将资源信息和待处理数据的状态以任务心跳请求的方式发送给所述服务器；并且所述客户端在发送首次任务心跳请求之前还包括发送注册心跳请求的步骤，发送所述注册心跳请求和发送所述首次任务心跳请求的时间间隔为T。