CN102547756B - 一种数据处理系统、节点及方法 - Google Patents

Abstract

本发明公开了一种数据处理系统、节点及方法，用以均质化部署分发节点和计算节点，从而简化数据处理系统的维护难度，提高系统资源使用率。所述数据处理系统，包括至少两个数据处理节点，每一个数据处理节点包括：分发模块，用于根据接收到的控制指令进入暂停状态或者工作状态；以及在工作状态下，从数据源获取需要处理的数据，并按照预先配置的分发规则进行数据分发；计算模块，用于根据接收到的控制指令进入暂停状态或者工作状态；以及接收需要处理的数据，并在工作状态下按照预先配置的处理规则进行数据处理；控制模块，用于获取根据获取到的系统参数信息及预先配置的状态控制策略，分别生成相应的控制指令下发给分发模块和计算模块。

Description

一种数据处理系统、节点及方法

技术领域

本发明涉及移动通信领域，尤其涉及一种数据处理系统、节点及方法。

背景技术

在大规模数据处理应用(如通信话单处理)中，通常将数据分散到数据处理系统不同的节点上并行处理，以加快数据处理速度。现有技术中的解决方案为：分别部署M个分发节点和N个计算节点组成并行的数据处理系统，其中M和N均为预先指定的数值。如图1所示，为现有技术中，数据处理系统的系统架构图，包括分发节点和计算节点，分发节点上部署有分发模块，其功能是从数据源获取一个或一批数据，按照一定的分发规则将数据分发到对应的计算节点。计算节点上部署有计算模块，其功能是接收来自分发节点的数据，按照一定的处理规则对接收到的数据进行处理。

现有技术的解决方案中存在如下问题：分发节点和计算节点是两类不同的节点，无法实现均质化部署，当分发节点和计算节点数量超过一定数目时，各节点的数据配置、软件版本升级、硬件调整等系统维护困难，导致数据处理系统维护难度高；同时，分别部署分发节点和处理节点，导致各自的系统资源无法共享，系统资源存在浪费，分发模块没有数据需要分发时，分发节点的系统资源处于空闲状态，这些空闲的系统资源无法给计算模块使用，造成系统资源的浪费；且由于分发节点和计算节点的数量是预先设定好的，因此数据处理系统的分发能力和计算能力无法根据系统待处理数据量的变化进行动态调整。一方面，如果分发节点和计算节点数据数目设置不合理，导致系统负荷不均衡。比如：假设分发节点设置过多，而计算节点设置过少，则会出现数据很快被分发，但是无法得到及时处理的情况，这样各个分发节点的系统负载空闲，而计算节点系统负载繁忙；另外一方面，由于数据源的数据量是动态变化的，固定数目的分发节点或者计算节点就会存在忙时无法及时处理数据，闲时系统资源空闲的情况，从而导致系统资源使用率低的问题。

因此，如何均质化部署分发节点和计算节点，以达到简化数据处理系统的维护难度、并提高系统资源使用率的目的，成为现有技术中亟待解决的技术问题之一。

发明内容

本发明实施例提供一种数据处理系统、节点及方法，用以均质化部署分发节点和计算节点，从而简化数据处理系统的维护难度、提高系统资源使用率。

相应的，本发明实施例还提供一种数据处理控制方法，用以实现对分发节点和计算节点的均质化部署。

本发明实施例提供的数据处理系统，包括至少两个数据处理节点，每一个数据处理节点包括分发模块、计算模块和控制模块，其中：

所述分发模块，用于接收位于同一数据处理节点中的控制模块下发的指示处于暂停状态或者工作状态的控制指令，根据所述控制指令进入暂停状态或者工作状态；以及在工作状态下，从数据源获取需要处理的数据，并按照预先配置的分发规则将数据分发给相应的计算模块；

所述计算模块，用于接收位于同一数据处理节点中的控制模块下发的指示处于暂停状态或者工作状态的控制指令，根据所述控制指令进入暂停状态或者工作状态；以及接收相应的分发模块分发的需要处理的数据，并在工作状态下按照预先配置的处理规则进行数据处理；

所述控制模块，用于获取自身所在的数据处理节点的系统参数信息，根据获取到的系统参数信息以及预先配置的状态控制策略，分别生成相应的控制指令下发给位于同一数据处理节点中的分发模块和计算模块。

本发明实施例提供的数据处理节点，包括分发模块、计算模块和控制模块，其中：

所述分发模块，用于接收所述控制模块下发的指示处于暂停状态或者工作状态的控制指令，根据所述控制指令进入暂停状态或者工作状态；以及在工作状态下，从数据源获取需要处理的数据，并按照预先配置的分发规则进行数据分发；

所述计算模块，用于接收所述控制模块下发的指示处于暂停状态或者工作状态的控制指令，根据所述控制指令进入暂停状态或者工作状态；以及接收需要处理的数据，并在工作状态下按照预先配置的处理规则进行数据处理；

所述控制模块，用于获取所述数据处理节点的系统参数信息，根据获取到的系统参数信息以及预先配置的状态控制策略，分别生成相应的控制指令下发给所述分发模块和计算模块。

本发明实施例提供的数据处理方法，包括：

数据处理节点中的控制模块获取自身所在的数据处理节点的系统参数信息；并

根据获取到的系统参数信息以及预先配置的状态控制策略，分别生成相应的控制指令下发给位于同一数据处理节点中的计算模块和分发模块，所述控制指令用于指示处于暂停状态或者工作状态；

所述分发模块根据接收到的控制指令进入暂停状态或者工作状态，以及在工作状态下，从数据源获取需要处理的数据，并按照预先配置的分发规则进行数据分发；

所述计算模块根据接收到的控制指令进入暂停状态或者工作状态，以及接收需要处理的数据，并在工作状态下按照预先配置的处理规则进行数据处理。

本发明实施例提供的数据处理控制方法，包括：

数据处理节点中的控制模块获取自身所在的数据处理节点的系统参数信息；并

根据获取到的系统参数信息以及预先配置的状态控制策略，分别生成相应的控制指令下发给位于同一数据处理节点中的计算模块和分发模块，所述控制指令用于指示处于暂停状态或者工作状态。

本发明实施例提供的数据处理系统、节点及方法，数据处理系统包括结构相同的至少两个数据处理节点，每一个数据处理节点包括分发模块、计算模块和控制模块，控制模块用于获取自身所在的数据处理节点的系统参数信息，根据该系统参数信息以及预先配置的状态控制策略，分别生成相应的控制指令下发给位于同一数据处理节点中的分发模块和计算模块；分发模块和计算模块根据接收到的控制指令进入工作状态或者暂停状态，并在工作状态下分别进行数据分发和数据处理；通过在同一数据处理节点中部署分发模块和计算模块，并通过控制模块控制分发模块和计算模块的状态，实现了对分发节点和计算节点的均质化部署，从而达到了简化数据处理系统的维护难度、提高系统资源使用率的目的。

本发明实施例提供的数据处理控制方法，通过控制部署在同一数据处理节点中的分发模块和计算模块的状态，实现了对分发节点和计算节点的均质化部署，为简化数据处理系统的维护难度、提高系统资源使用率提供基础。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

图1为现有技术中，数据处理系统的系统架构图；

图2为本发明实施例中，数据处理系统一种可能的结构示意图；

图3为本发明实施例中，数据处理节点一种可能的结构示意图；

图4为本发明实施例中，数据处理方法的实施流程示意图；

图5为本发明实施例中，数据处理控制方法的实施流程示意图；

图6为本发明实施例中，通信话单处理流程示意图。

具体实施方式

为了实现均质化部署分发节点和计算节点，以达到简化数据处理系统的维护难度，提高系统资源使用率的目的，本发明实施例提供了一种数据处理系统、节点及方法。

以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

如图2所示，为本发明实施例提供的数据处理系统一种可能的结构示意图，包括至少两个数据处理节点20，每一个数据处理节点包括分发模块201、计算模块202和控制模块203，其中：

分发模块201，用于接收位于同一数据处理节点20中的控制模块203下发的指示处于暂停状态或者工作状态的控制指令，根据该控制指令进入暂停状态或者工作状态；以及在工作状态下，从数据源获取需要处理的数据，并按照预先配置的分发规则将数据分发给相应的计算模块202；

计算模块202，用于接收位于同一数据处理节点中的控制模块203下发的指示处于暂停状态或者工作状态的控制指令，根据所述控制指令进入暂停状态或者工作状态；以及接收相应的分发模块201分发的需要处理的数据，并在工作状态下按照预先配置的处理规则进行数据处理；

控制模块203，用于获取自身所在的数据处理节点的系统参数信息，根据获取到的系统参数信息以及预先配置的状态控制策略，分别生成相应的控制指令下发给位于同一数据处理节点中的分发模块201和计算模块202。

具体实施中，数据处理节点的系统参数信息可以包括：数据处理节点20的系统资源使用率、数据处理节点20中的分发模块201的待分发数据量和数据处理节点20中的计算模块202的待处理数据量；其中，数据处理节点20的系统资源使用率可以包括CPU(Central Processing Unit，中央处理器)使用率或者内存使用率。

具体实施中，控制模块203可以按照预先配置的采集周期，周期性获取每一个采集时间点上自身所在的数据处理节点的系统参数信息，以及将当前采集时间点上系统参数的实时采集值作为当前的系统参数信息；或者，控制模块203可以按照预先配置的采集周期，周期性获取每一个采集时间段内自身所在的数据处理节点的系统参数信息，以及将当前采集时间段内系统参数的统计平均值作为当前的系统参数信息。举例说明，采集周期可以设置为一小时，则可以在每小时内设置一个采集时间点(例如采集周期的开始时间点)，或者在每小时内设置一个采集时间段(例如从采集周期的开始时间点起计时10分钟)，用以采集数据处理节点的系统参数信息。

具体实施中，可以为分发模块201和计算模块202分别设置一个开关，在接收到控制模块203下发的指示处于暂停状态或者工作状态的控制指令后，进入暂停状态或者工作状态。具体的，控制模块203可以通过脉冲信号“0”或“1”的方式下发控制指令，例如当脉冲信号为“0”时，相应的控制指令用于指示处于工作状态；当脉冲信号为“1”时，相应的控制指令用于指示处于暂停状态。用脉冲信号“0”或“1”的方式下发控制指令只是一种可能的实施方式，具体实施中，只要是可以指示处于暂停状态或者工作状态的任何方式都可以。

具体实施中，可以预先配置状态控制策略，下面介绍几种常用的状态控制策略，实际应用中状态控制策略包括但不限于以下几种：

(1)第一种状态控制策略

在第一种状态控制策略中，采用系统资源使用率、待分发数据量、待处理数据量三个参数来确定。假设使用率阈值设置为80％，比率阈值设置为10，如表1所示，为系统资源使用率、待分发数据量与待处理数据量之比在不同场景下的状态控制策。具体实施中，使用率阈值、比率阈值可以根据系统配置情况、需要处理的数据量来确定。

表1

基于上述第一种状态控制策略，控制模块203，具体用于判断获取到的系统资源使用率是否超过预先设置的使用率阈值，如果否，生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的计算模块202，以及生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的分发模块201；如果是，进一步判断获取到的待分发数据量与待处理数据量之比是否超过预先设置的比率阈值，如果是，生成指示处于暂停状态的控制指令下发给位于同一数据处理节点中的计算模块202，以及生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的分发模块201，如果否，生成指示处于暂停状态的控制指令下发给位于同一数据处理节点中的分发模块201，以及生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的计算模块202。

(2)第二种状态控制策略

在第二种状态控制策略中，也采用系统资源使用率、待分发数据量、待处理数据量三个参数来确定。在第二种状态控制策略中，分别设置使用率阈值、待分发数据阈值、待处理数据阈值。同理，使用率阈值、待分发数据阈值、待处理数据阈值也可以根据系统配置、需要处理的数据量确定。假设，使用率阈值设置为80％，待分发数据阈值设置为10000条，待处理数据阈值设置为1000条，如表2所示，为系统资源使用率、待处理数据量、待分发数据量在不同场景下的状态控制策略。

表2

(2)第三种状态控制策略

第三种状态控制策略中，通过两个参数作为系统参数信息。即采用系统资源使用率和待处理数据量，或者采用系统资源使用率和待分发数据量作为系统参数信息。具体实施中，需要预先设置两个参数阈值，使用率阈值、待分发数据阈值或者待处理数据阈值。具体的，假设预先设置使用率阈值为80％，待分发数据阈值为10000条。如表3所示，系统资源使用率和待分发数据量在不同场景下的状态控制策略。

表3

在第三种状态控制策略中，采用系统资源使用率和待处理数据量两个参数的状态控制策略与采用系统资源使用率和待分发数据量两个参数的状态控制策略类似，不再赘述。

基于同一技术构思，本发明实施例中还提供了一种数据处理节点及数据处理方法，由于数据处理节点、数据处理方法解决技术问题的原理与数据处理系统相似，因此数据处理节点、数据处理方法的实施可以参见系统的实施，重复之处不再赘述。

如图3所示，为本发明实施例中，数据处理节点一种可能的结构示意图，包括分发模块301、计算模块302和控制模块303，其中：

分发模块301，用于接收控制模块303下发的指示处于暂停状态或者工作状态的控制指令，根据该控制指令进入暂停状态或者工作状态；以及在工作状态下，从数据源获取需要处理的数据，并按照预先配置的分发规则进行数据分发；

计算模块302，用于接收控制模块303下发的指示处于暂停状态或者工作状态的控制指令，根据该控制指令进入暂停状态或者工作状态；以及接收需要处理的数据，并在工作状态下按照预先配置的处理规则进行数据处理；

控制模块303，用于获取数据处理节点的系统参数信息，根据获取到的系统参数信息以及预先配置的状态控制策略，分别生成相应的控制指令下发给分发模块301和计算模块302。

其中，数据处理节点的系统参数信息包括：系统资源使用率、分发模块301的待分发数据量和计算模块302的待处理数据量；以及

控制模块303，具体用于判断获取到的系统资源使用率是否超过预先设置的使用率阈值，如果否，生成指示处于工作状态的控制指令下发给计算模块302，以及生成指示处于工作状态的控制指令下发给分发模块301；如果是，进一步判断获取到的待分发数据量与待处理数据量之比是否超过预先设置的比率阈值，如果是，生成指示处于暂停状态的控制指令下发给计算模块302，以及生成指示处于工作状态的控制指令下发给分发模块301，如果否，生成指示处于暂停状态的控制指令下发给分发模块301，以及生成指示处于工作状态的控制指令下发给计算模块302。

较佳的，控制模块303，具体用于按照预先配置的采集周期，周期性获取每一个采集时间点上所述数据处理节点的系统参数信息，以及将当前采集时间点上系统参数的实时采集值作为当前的系统参数信息；或者，周期性获取每一个采集时间段内所述数据处理节点的系统参数信息，以及将当前采集时间段内系统参数的统计平均值作为当前的系统参数信息。

如图4所示，为本发明实施例提供的数据处理方法实施流程示意图，包括如下步骤：

S401、数据处理节点中的控制模块获取自身所在的数据处理节点的系统参数信息；

S402、控制模块根据获取到的系统参数信息以及预先配置的状态控制策略，分别生成相应的控制指令下发给位于同一数据处理节点中的计算模块和分发模块，该控制指令用于指示处于暂停状态或者工作状态；

S403、分发模块根据接收到的控制指令进入暂停状态或者工作状态，以及在工作状态下，从数据源获取需要处理的数据，并按照预先配置的分发规则进行数据分发；

S404、计算模块根据接收到的控制指令进入暂停状态或者工作状态，以及接收需要处理的数据，并在工作状态下按照预先配置的处理规则进行数据处理。

具体实施中，数据处理节点的系统参数信息包括所述数据处理节点的系统资源使用率、所述数据处理节点中的分发模块的待分发数据量和所述数据处理节点中的计算模块的待处理数据量；以及

根据获取到的系统参数信息以及预先配置的状态控制策略，分别生成相应的控制指令下发给位于同一数据处理节点中的计算模块和分发模块，具体包括：

该控制模块判断获取到的系统资源使用率是否超过预先设置的使用率阈值；

如果否，生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的分发模块，以及生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的分发模块；

如果是，进一步判断获取到的待分发数据量与待处理数据量之比是否超过预先设置的比率阈值；

如果是，生成指示处于暂停状态的控制指令下发给位于同一数据处理节点中的计算模块，以及生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的分发模块；

如果否，生成指示处于暂停状态的控制指令下发给位于同一数据处理节点中的分发模块，以及生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的计算模块。

较佳的，数据处理节点中的控制模块获取自身所在的数据处理节点的系统参数信息，具体包括：

控制模块按照预先配置的采集周期，周期性获取每一个采集时间点上所述数据处理节点的系统参数信息，以及将当前采集时间点上系统参数的实时采集值作为当前的系统参数信息；或者，周期性获取每一个采集时间段内所述数据处理节点的系统参数信息，以及将当前采集时间段内系统参数的统计平均值作为当前的系统参数信息。

为本发明实施还提供了一种数据处理控制方法，通过控制部署在同一数据处理节点中的分发模块和计算模块的状态，实现了对分发节点和计算节点的均质化部署，为简化数据处理系统的维护难度、提高系统资源使用率提供基础。如图5所示，其实施流程示意图包括如下步骤：

S501、数据处理节点中的控制模块获取自身所在的数据处理节点的系统参数信息；

S502、控制模块根据获取到的系统参数信息以及预先配置的状态控制策略，分别生成相应的控制指令下发给位于同一数据处理节点中的计算模块和分发模块，该控制指令用于指示处于暂停状态或者工作状态。

为了更好的理解本发明实施例的实施过程，以下通过通信话单处理过程对本发明实施例的实施过程进行详细说明。数据源即话单采集机持续从各网元采集通信话单文件后将通信话单文件保存在本地磁盘上，形成通信话单文件池，每个通信话单文件中包含多条不同用户号码的通信话单记录。下面，以任一数据处理节点中各模块对通信话单文件的数据处理过程为例进行说明，一般情况下，计算模块和分发模块的初始状态均为工作状态。如图6所示，包括如下步骤：

S601、该数据处理节点中的分发模块从话单采集机中获取通信话单文件，每次获取一个通信话单文件；

S602、该分发模块依次读取获取到的通信话单文件中的每一条通信话单记录，根据预先设置的分发规则将每一条通信话单记录分发给相应的计算模块；

具体的，该分发模块打开获取到的通信话单文件，依次读取每一条通信话单记录，按照预先设置的规则将通信话单文件中的所有通信话单记录分发到相应的计算模块。需要说明的是，该数据处理节点中的分发模块可能将通信话单记录分发给该数据处理节点中的计算模块，也可能分发给其它数据处理节点中的计算模块。例如，规则可以设置为：根据通信话单记录中主叫用户号码的尾数进行分发，每个计算模块只处理指定尾数的话单。比如，1号数据处理节点的计算模块负责处理主叫用户号码尾数为“1”的通信话单记录，这样，各分发模块在读取到主叫用户号码尾数为“1”的通信话单记录时，便会将该通信话单记录发送给1号数据处理节点的计算模块。

S603、该数据处理节点中的计算模块对接收到的通信话单记录进行数据处理；

该计算模块在接收到相应的分发模块分发的通信话单记录后缓存在本地，之后根据一定的处理规则对本地缓存的通信话单记录依次进行数据处理，包括检错、查重、批价、入库等，需要说明的是，该数据处理节点中的计算模块接收到的通信话单记录，可能是该数据处理节点中的分发模块发送的，也可能是其它数据处理节点中的分发模块发送的。

S604、该数据处理节点中的控制模块根据预先设置的采集周期，获取第一个采集周期内自身所在的数据处理节点的系统资源使用率、以及该数据处理节点的分发模块的待分发数据量和该数据处理节点的计算模块的待处理数据量；

具体的，系统资源使用率可以为CPU使用率，也可以为内存使用率；

S605、该控制模块判断获取到的系统资源使用率是否超过预先设置的使用率阈值，如果是，执行步骤S606，如果否，执行步骤S611；

具体的，可以设置使用率阀值为80％；

S606、该控制模块进一步判断自身所在数据处理节点的分发模块的待分发数据量与计算模块的待处理数据量之比是否超过预先设置的比率阈值；如果是，则执行步骤S607，如果否，则执行步骤S609；

具体的，可以设置待分发数据量与待处理数据量的比率阈值为10；

S607、该控制模块生成指示处于暂停状态的控制指令下发给计算模块，同时，生成指示处于工作状态的控制指令下发给分发模块，以保障分发模块对数据的分发能力；

具体的，可以通过脉冲信号“0”或“1”的方式实现控制指令的下发；

S608、计算模块进入暂停状态，分发模块进入工作状态，继续执行步骤S613；

具体的，如果计算模块当前处于工作状态，则进入暂停状态；如果计算模块当前处于暂停状态，则保持暂停状态；同理，如果分发模块当前处于工作状态，则保持工作状态，如果分发模块当前处于暂停状态，则进入工作状态；

S609、该控制模块生成指示处于暂停状态的控制指令下发给分发模块，同时，生成指示处于工作状态的控制指令下发给计算模块，以保证计算模块的数据处理能力；

S610、分发模块进入暂停状态，计算模块进入工作状态，继续执行步骤S613；

具体的，如果分发模块当前处于工作状态，则进入暂停状态，如果分发模块当前处于暂停状态，则保持暂停状态；同理，如果计算模块当前处于工作状态，则保持工作状态，如果计算模块当前处于暂停状态，则进入工作状态；

S611、该控制模块生成指示处于工作状态的控制指令下发给计算模块，同时，生成指示处于工作状态的控制指令下发给分发模块；

S612、分发模块进入工作状态，计算模块进入工作状态，继续执行步骤S613；

具体的，如果分发模块当前处于工作状态，则保持工作状态，如果分发模块当前处于暂停状态，则进入工作状态；同理，如果计算模块当前处于工作状态，则保持工作状态；如果计算模块当前处于暂停状态，则进入工作状态；

S613、该控制模块获取下一采集周期内自身所在的数据处理节点的系统资源使用率、分发模块的待分发数据量以及计算模块的待处理数据量，并返回执行步骤S605；

如此循环，控制模块通过周期性进行系统参数信息的采集、以及基于系统参数信息的判断，生成相应的控制指令下发给位于同一数据处理节点中的分发模块和计算模块，分发模块和计算模块根据控制模块下发的控制指令进入暂停状态或者工作状态。

本发明实施例提供的数据处理系统、节点及方法，数据处理系统包括结构相同的至少两个数据处理节点，每一个数据处理节点包括分发模块、计算模块和控制模块，控制模块用于获取自身所在的数据处理节点的系统参数信息，根据该系统参数信息以及预先配置的状态控制策略，分别生成相应的控制指令下发给位于同一数据处理节点中的分发模块和计算模块；分发模块和计算模块根据接收到的控制指令进入工作状态或者暂停状态，并在工作状态下分别进行数据分发和数据处理；通过在同一数据处理节点中部署分发模块和计算模块，并通过控制模块控制分发模块和计算模块的状态，实现了对分发节点和计算节点的均质化部署，从而达到了简化数据处理系统的维护难度、提高系统资源使用率的目的。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种数据处理系统，其特征在于，包括至少两个数据处理节点，每一个数据处理节点包括分发模块、计算模块和控制模块，其中：

所述分发模块，用于接收位于同一数据处理节点中的控制模块下发的指示处于暂停状态或者工作状态的控制指令，根据所述控制指令进入暂停状态或者工作状态；以及在工作状态下，从数据源获取需要处理的数据，并按照预先配置的分发规则将数据分发给相应的计算模块；

所述计算模块，用于接收位于同一数据处理节点中的控制模块下发的指示处于暂停状态或者工作状态的控制指令，根据所述控制指令进入暂停状态或者工作状态；以及接收相应的分发模块分发的需要处理的数据，并在工作状态下按照预先配置的处理规则进行数据处理；

所述控制模块，用于获取自身所在的数据处理节点的系统参数信息，根据获取到的系统参数信息以及预先配置的状态控制策略，分别生成相应的控制指令下发给位于同一数据处理节点中的分发模块和计算模块，所述数据处理节点的系统参数信息包括所述数据处理节点的系统资源使用率、所述数据处理节点中的分发模块的待分发数据量和所述数据处理节点中的计算模块的待处理数据量。

2.如权利要求1所述的数据处理系统，其特征在于，

所述控制模块，具体用于判断获取到的系统资源使用率是否超过预先设置的使用率阈值，如果否，生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的计算模块，以及生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的分发模块；如果是，进一步判断获取到的待分发数据量与待处理数据量之比是否超过预先设置的比率阈值，如果是，生成指示处于暂停状态的控制指令下发给位于同一数据处理节点中的计算模块，以及生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的分发模块，如果否，生成指示处于暂停状态的控制指令下发给位于同一数据处理节点中的分发模块，以及生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的计算模块。

3.如权利要求2所述的数据处理系统，其特征在于，所述数据处理节点的系统资源使用率包括中央处理器CPU使用率或者内存使用率。

4.如权利要求1或2所述的数据处理系统，其特征在于，

所述控制模块，具体用于按照预先配置的采集周期，周期性获取每一个采集时间点上自身所在的数据处理节点的系统参数信息，以及将当前采集时间点上系统参数的实时采集值作为当前的系统参数信息；或者，周期性获取每一个采集时间段内自身所在的数据处理节点的系统参数信息，以及将当前采集时间段内系统参数的统计平均值作为当前的系统参数信息。

5.一种数据处理节点，其特征在于，包括分发模块、计算模块和控制模块，其中：

所述分发模块，用于接收所述控制模块下发的指示处于暂停状态或者工作状态的控制指令，根据所述控制指令进入暂停状态或者工作状态；以及在工作状态下，从数据源获取需要处理的数据，并按照预先配置的分发规则进行数据分发；

所述计算模块，用于接收所述控制模块下发的指示处于暂停状态或者工作状态的控制指令，根据所述控制指令进入暂停状态或者工作状态；以及接收需要处理的数据，并在工作状态下按照预先配置的处理规则进行数据处理；

所述控制模块，用于获取所述数据处理节点的系统参数信息，其中，所述数据处理节点的系统参数信息包括：系统资源使用率、所述分发模块的待分发数据量和所述计算模块的待处理数据量；判断获取到的系统资源使用率是否超过预先设置的使用率阈值，如果否，生成指示处于工作状态的控制指令下发给所述计算模块，以及生成指示处于工作状态的控制指令下发给所述分发模块；如果是，进一步判断获取到的待分发数据量与待处理数据量之比是否超过预先设置的比率阈值，如果是，生成指示处于暂停状态的控制指令下发给所述计算模块，以及生成指示处于工作状态的控制指令下发给所述分发模块，如果否，生成指示处于暂停状态的控制指令下发给所述分发模块，以及生成指示处于工作状态的控制指令下发给所述计算模块。

6.如权利要求5所述的数据处理节点，其特征在于，

所述控制模块，具体用于按照预先配置的采集周期，周期性获取每一个采集时间点上所述数据处理节点的系统参数信息，以及将当前采集时间点上系统参数的实时采集值作为当前的系统参数信息；或者，周期性获取每一个采集时间段内所述数据处理节点的系统参数信息，以及将当前采集时间段内系统参数的统计平均值作为当前的系统参数信息。

7.一种数据处理方法，其特征在于，包括：

数据处理节点中的控制模块获取自身所在的数据处理节点的系统参数信息，所述数据处理节点的系统参数信息包括所述数据处理节点的系统资源使用率、所述数据处理节点中的分发模块的待分发数据量和所述数据处理节点中的计算模块的待处理数据量；并判断获取到的系统资源使用率是否超过预先设置的使用率阈值；如果否，生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的计算模块，以及生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的分发模块；如果是，进一步判断获取到的待分发数据量与待处理数据量之比是否超过预先设置的比率阈值；如果是，生成指示处于暂停状态的控制指令下发给位于同一数据处理节点中的计算模块，以及生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的分发模块；如果否，生成指示处于暂停状态的控制指令下发给位于同一数据处理节点中的分发模块，以及生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的计算模块；

所述分发模块根据接收到的控制指令进入暂停状态或者工作状态，以及在工作状态下，从数据源获取需要处理的数据，并按照预先配置的分发规则进行数据分发；

所述计算模块根据接收到的控制指令进入暂停状态或者工作状态，以及接收需要处理的数据，并在工作状态下按照预先配置的处理规则进行数据处理。

8.如权利要求7所述的数据处理方法，其特征在于，所述数据处理节点中的控制模块获取自身所在的数据处理节点的系统参数信息，具体包括：

所述控制模块按照预先配置的采集周期，周期性获取每一个采集时间点上所述数据处理节点的系统参数信息，以及将当前采集时间点上系统参数的实时采集值作为当前的系统参数信息；或者，周期性获取每一个采集时间段内所述数据处理节点的系统参数信息，以及将当前采集时间段内系统参数的统计平均值作为当前的系统参数信息。

9.一种数据处理控制方法，其特征在于，包括：

数据处理节点中的控制模块获取自身所在的数据处理节点的系统参数信息，所述数据处理节点的系统参数信息包括所述数据处理节点的系统资源使用率、所述数据处理节点中的分发模块的待分发数据量和所述数据处理节点中的计算模块的待处理数据量；并

判断获取到的系统资源使用率是否超过预先设置的使用率阈值；

如果否，生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的计算模块，以及生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的分发模块；

如果是，进一步判断获取到的待分发数据量与待处理数据量之比是否超过预先设置的比率阈值；

如果是，生成指示处于暂停状态的控制指令下发给位于同一数据处理节点中的计算模块，以及生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的分发模块；

如果否，生成指示处于暂停状态的控制指令下发给位于同一数据处理节点中的分发模块，以及生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的计算模块。