CN114884948A - 一种数据处理系统 - Google Patents

Abstract

本申请提供一种数据处理系统，包括多个节点，每个节点上布设有基础服务，基础服务包括通信模块和应用管理模块，通信模块用于实现所在节点与其他节点之间的通信连接，应用管理模块用于按照所在节点的当前需求功能，启用与当前需求功能对应的应用程序；多个节点中包括：当前需求功能为任务调度的调度节点和当前需求功能为任务执行的执行节点；其中，调度节点用于通过所对应的应用程序将待处理任务分配给执行节点，执行节点用于通过所对应的应用程序执行待处理任务。该方式用户只需要进行应用程序和基础服务的维护即可，需要扩展节点时也只需要在新的设备上部署基础服务并接入已有的数据处理系统即可，运维复杂度低，维护难度小。

Description

一种数据处理系统

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种数据处理系统。

背景技术

目前在涉及大数据量计算的场景中，Hadoop被业内公认为首选技术方案。但是Hadoop技术门槛较高，运维复杂度高，需要专业的运维人员进行部署和维护。若业务方无专业的运维人员，则需要花费大量的资金来购买成熟的技术产品和相关的运维服务。

发明内容

本申请实施例的目的在于提供一种数据处理系统，用以解决相关技术存在着的，技术门槛较高，运维复杂度高，维护难度大的问题。

本申请实施例提供了一种数据处理系统，包括：多个节点，每个节点上布设有基础服务，所述基础服务包括通信模块和应用管理模块，所述通信模块用于实现所在节点与其他节点之间的通信连接，所述应用管理模块用于按照所在节点的当前需求功能，启用与所述当前需求功能对应的应用程序；所述多个节点中包括：当前需求功能为任务调度的调度节点和当前需求功能为任务执行的执行节点；其中，所述调度节点用于通过所对应的应用程序将待处理任务分配给所述执行节点，所述执行节点用于通过所对应的应用程序执行所述待处理任务。

在上述实现方式中，通过将包含执行节点、调度节点在内的多个节点通信连接在一起，可以实现对于数据的分布式处理。在大数据场景下，可以通过调度节点将大量数据以待处理任务的形式分别分配给不同的执行节点进行处理，满足大数据场景的要求。且本申请通过在每一个节点上都配置相同的基础服务，从而通过基础服务实现对于每一个节点所需求的功能的管理与控制，这样，一方面，用户只需要进行应用程序和基础服务的维护即可，需要扩展节点时也只需要在新的设备上部署基础服务并接入已有的数据处理系统即可，运维复杂度低，维护难度小。另一方面，通过各节点中的基础服务，也可以很灵活地控制节点所实现的功能，从而改变节点在整个系统中身份，例如可以通过改变启用的应用程序，将调度节点改为执行节点，从而使得数据处理系统更为灵活多变，可以更好的适应不同的实际情况。

进一步地，所述多个节点中还包括：当前需求功能为作业规则管理的业务规划节点；所述业务规划节点用于通过所对应的应用程序接收作业规则，并下发给所述作业规则涉及的节点。

在上述实现方式中，通过配置业务规划节点，从而使得用户可以通过业务规划节点实现作业规则的配置以及下发，保证整个数据处理系统可以按照所需的作业规则进行作业。

进一步地，所述多个节点中还包括：当前需求功能为数据质量审核的审核节点；所述审核节点用于通过所对应的应用程序对所述调度节点或所述执行节点传来的数据进行质量审核。

在上述实现方式中，通过设置审核节点来进行数据质量审核，从而可以保证数据处理系统的数据处理质量。

进一步地，所述多个节点中还包括：当前需求功能为数据存储的存储节点；所述存储节点用于通过所对应的应用程序对接收到的数据进行存储。

在上述实现方式中，通过设置存储节点来进行数据存储，可以实现对于数据的持久化，便于后续进行数据调用、分析、溯源等处理。

进一步地，所述调度节点还用于，在接收到所述多个节点中除该调度节点外的其他节点在部署完成时发送的上线消息后，记录该上线消息对应的节点的信息，并向该节点返回信息确收消息，以使该节点启动信息监听服务；所述信息监听服务用于接收调度节点发送的数据。

在上述实现方式中，通过在部署完成时发送的上线消息以及调度节点返回的信息确收消息，可以实现对于部署完成的节点的纳管。然后由部署完成的节点启动信息监听服务，实现对于调度节点发送的数据的监听，从而可以保证对于调用节点的数据可靠获取。

进一步地，所述调度节点还用于，获取各所述执行节点的资源状态和业务执行状态；所述调度节点具体用于，根据各所述执行节点的资源状态和业务执行状态，通过所述调度节点所对应的应用程序，将所述待处理任务分配给所述资源状态和所述业务执行状态均与所述待处理任务匹配的目标执行节点。

在上述实现方式中，通过获取各节点的资源状态和业务执行状态，从而将待处理任务发送给资源状态和业务执行状态与待处理任务的匹配的目标执行节点，从而可以保证待处理任务的执行效果。

进一步地，所述应用管理模块还用于，在所在节点的当前需求功能发生变化时，按照所在节点变化后的需求功能，启用与所述变化后的需求功能对应的应用程序。

在上述实现方式中，通过应用管理模块对启用的应用程序进行替换，即可很容易地实现所在节点的功能切换，从而使得数据处理系统更为灵活多变，可以更好的适应不同的实际情况。

进一步地，所述调度节点还用于，获取所述多个节点中除该调度节点外的其他节点的资源状态和业务执行状态，向所述资源状态和/或所述业务执行状态不满足所述当前需求功能的状态要求的目标节点，发送需求功能切换信息；所述需求功能切换信息中指示有所需切换的需求功能。

在上述实现方式中，通过调度节点来综合各节点的资源状态，实现对于各节点所需实现的功能的切换控制，从而可以使得调整后的数据处理系统，在整体上资源利用率更高，从而使得数据处理系统具有更高的数据处理能力。

进一步地，所述应用管理模块还用于，在所在节点的资源状态和/或业务执行状态不满足所述当前需求功能的状态要求时，确定所在节点的资源状态所满足的目标需求功能，并启用与所述目标需求功能对应的应用程序。

在上述实现方式中，节点可以根据自身的资源状态和/或业务执行状态的情况，进行需求功能的调整，从而提高数据处理系统整体上的资源利用率。

进一步地，所述多个节点中的至少两个节点复用同一宿主机；或，所述多个节点分别布设于不同的宿主机上。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种基本的数据处理系统的结构示意图；

图2为本申请实施例提供的一种具有存储节点的数据处理系统的结构示意图；

图3为本申请实施例提供的一种具有审核节点的数据处理系统的结构示意图；

图4为本申请实施例提供的一种具有业务规划节点的数据处理系统的结构示意图；

图5为本申请实施例提供的一种具体的数据处理系统结构示意图；

图6为本申请实施例提供的一种基础服务结构示意图；

图7为本申请实施例提供的一种节点纳管的流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

实施例一：

为了解决相关技术存在着的，技术门槛较高，运维复杂度高，维护难度大的问题，本申请实施例中提供了一种数据处理系统。可以参见图1所示，图1为本申请实施例中提供的数据处理系统的基本结构示意图，包括多个节点。

其中，每个节点上布设有基础服务，而基础服务包括通信模块和应用管理模块。其中，通信模块用于实现所在节点与其他节点之间的通信连接，应用管理模块用于按照所在节点的当前需求功能，启用与当前需求功能对应的应用程序。

在本申请实施例中，一个宿主机上可以有且仅布设有一个节点，但是也可以布设多个节点。也即，在本申请实施例中，可以是至少两个节点复用同一宿主机，也可以是多个节点分别布设于不同的宿主机上，对此本申请实施中不做限制，可以根据实际业务需求进行布设。

在本申请实施例中，在一个宿主机上布设多个节点时，这多个节点之间可以对应同一个基础服务。也即，可以通过一个基础服务实现对于这多个节点之间的管理。

应理解，在本申请实施例中，节点是搭载应用程序的容器。节点可以是布设在宿主机(例如电脑主机、服务器等具有数据处理能力的电子设备上)。而通信模块和应用管理模块则可以是以软件或固件的形式存储于宿主机的存储器中或固化在宿主机的操作系统中的，可以调用宿主机硬件设备的软件功能模块。

在本申请实施例中，通信模块内可以包括通信协议(例如TCP(TransmissionControl Protocol，传输控制协议)、Http(Hyper Text Transfer Protocol，超文本传输协议)等)、通信方式(例如通过socket(套接字)等方式通信)、可调用的实体通信接口等，从而可以按照设定的通信协议和通信方式，通过调用可调用的实体通信接口实现节点间的通信连接。

在本申请实施例中，应用管理模块用于进行节点内应用程序的管理。可选的，应用管理模块除了可以用于启用应用程序外，还可以用于进行应用程序的替换、应用程序的停止、应用程序的状态检查等操作。

为了便于进行应用程序的管理，在本申请实施例的一种可选实施方式中，节点内可以预先下载好在数据处理系统中所有的应用程序，然后基于节点的当前需求功能，应用管理模块启用与当前需求功能对应的应用程序，以实现该当前需求功能。在前需求功能发生变化时，应用管理模块停止原本的应用程序，转而启用变化后的需求功能对应的应用程序。

而在本申请实施例的一种可选实施方式中，节点内也可以仅下载当前需求功能对应的应用程序，由应用管理模块进行启用与停止控制。在当前需求功能发生变化时，应用管理模块去预设的应用程序下载位置下载最新的需求功能对应的应用程序，并卸载原有的应用程序，启用新下载的应用程序。这样，节点内始终仅具有一个应用程序，可以有效节约节点的存储资源。

应理解，参见图1所示，在本申请实施例中，为了实现对于数据的处理，构成数据处理系统的多个节点中，至少包括调度节点和执行节点。

其中：调度节点是指：节点内当前启用的应用程序实现的是任务调度功能的节点；而执行节点是指：节点内当前启用的应用程序实现的是任务执行功能的节点。也即，调度节点是指当前需求功能为任务调度的节点，执行节点是指当前需求功能为任务执行的节点。

当调度节点收到待处理任务时，可以将待处理任务分配给相应的执行节点，以使执行节点执行该待处理任务。

需要说明的是，在本申请实施例中，调度节点可以获取各执行节点的资源状态(例如空闲资源大小等)和业务执行状态(例如业务执行成功或失败等)，进而将待处理任务分配给资源状态和业务执行状态均与待处理任务匹配的目标执行节点。

例如，可以根据待处理任务的大小，确定其所需的最小资源，然后从空闲资源大于该最小资源，且业务执行状态为空闲的执行节点中，选取出一个执行节点作为目标执行节点，将该待处理任务分配给该目标执行节点。

还需要说明的是，在实际应用过程中，可能对于不同类型的待处理任务，需要采用不同的应用程序进行执行，从而在数据处理系统中，可以配置不同类型的执行节点，分别用以执行不同类型的待处理任务。

从而，调度节点在确定待处理任务对应的目标执行节点时，可以先确定待处理任务的类型，然后根据待处理任务的类型确定执行节点的类型，然后根据该类型的各执行节点的资源状态和业务执行状态，选取出目标执行节点，然后向该目标执行节点下发该待处理任务。

还需要说明的是，本申请实施例的数据处理系统应用于大数据处理场景中时，待处理任务的瞬时数量将会很大，为了提高数据处理系统的数据吞吐能力，可以设置多个调用节点，这多个调用节点之间可以进行数据同步，从而作为一个整体对所有执行节点提供服务。同时，通过设置多个调用节点，在一个调度节点故障后，数据处理系统也不会瘫痪，从而也可以提高数据处理系统的可靠性

还需要说明的是，在本申请实施例中，如图2所示，构成数据处理系统的多个节点中，还可以包括用于进行数据存储的存储节点。在本申请实施例中，存储节点可以通过所对应的应用程序对接收到的数据进行存储。

示例性的，存储节点可以接收上游节点(例如可以是调度节点、执行节点等)下发的数据，并按照数据存储要求，存储该数据。

示例性的，存储节点可以使用多种数据存储方式对数据进行存储。例如，可以通过所对应的应用程序将数据的元数据信息存储至非关系型数据库存储数据中，将数据的内容存储至关系型数据库中。

示例性的，存储节点还可以通过所对应的应用程序，根据数据的使用频率，定期将已存储的数据划分为热数据、冷数据和归档数据，并进行分类存储。其中，热数据是指数据的使用频率大于预设第一频率阈值的数据，冷数据是指数据的使用频率小于等于预设第一频率阈值，但大于预设第二频率阈值的数据，而归档数据是指数据小于等于预设第二频率阈值的数据。其中，预设第一频率阈值大于预设第二频率阈值。示例性的，预设第二频率阈值可以取0或接近0的数，从而使得归档数据表征数据不会或几乎不会被调用和访问，仅作为存放备查使用。

还需要说明的是，在本申请实施例中，如图3所示，构成数据处理系统的多个节点中，还可以包括用于进行数据质量审核的审核节点。在本申请实施例中，审核节点中可以配置审核规则，从而通过所对应的应用程序对调度节点或执行节点传来的数据进行质量审核。

其中，调度节点传来的数据即为待处理任务，在审核通过后，审核节点可以将该待处理任务发送给相应的目标执行节点。若审核未通过，则可以进行报警或者返回错误通知等操作。

执行节点传来的数据可以包括执行节点对待处理任务执行完成后的执行结果数据。若审核通过，则可以将执行结果数据发给存储节点进行存储。若审核不通过，则可以进行报警或者返回错误通知等操作。

还需要说明的是，在本申请实施例中，如图4所示，构成数据处理系统的多个节点中，还可以包括用于进行作业规则管理的业务规划节点。应理解，业务规划节点也可以通过节点内的应用管理模块去启用相应的应用程序来实现。业务规划节点可以通过所对应的应用程序接收作业规则，并下发给作业规则涉及的节点。

其中，作业规则可以由工程师构建并下发。示例性的，工程师可以通过用户终端向业务规划节点发送编写的作业规则，或者，工程师可以通过业务规划节点的应用程序所提供的编写接口，直接在业务规划节点上编写作业规则。

在本申请实施例中，业务规划节点可以将作业规则发送给数据处理系统中的各节点。

可选的，作业规则可以分为多个部分，例如可以分为调度节点的作业规则、执行节点的作业规则、审核节点的作业规则、存储节点的作业规则等，从而业务规划节点可以仅将每部分作业规则，发送给相应的节点。而各节点在接收到作业规则后，即可按照相应的作业规则进行作业。

示例性的，调度节点的作业规则可以包括哪些类型的待处理任务是需要直接发送给目标执行节点的，哪些类型的待处理任务需要先发送给审核节点，哪些类型的待处理任务直接发给存储节点等规则。执行节点的作业规则可以包括，待处理任务的处理逻辑，待处理任务执行后的数据传输目的地(审核节点、存储节点等)等规则。审核节点的作业规则可以包括，数据的审核规则(审核方式)，审核通过后数据的传输目的地(执行节点、存储节点等)，审核未通过时的操作方式(报警、返回错误信息等)等规则。存储节点的作业规则可以包括数据的存储方式等规则。

需要说明的是，在本申请实施例中，为便于对数据处理系统内的各节点进行纳管，每一节点在部署完成后，可以向调度节点发送上线消息。而调度节点在接收到该节点的上线消息后，即可以记录该上线消息对应的节点的信息(例如端口号、IP地址、节点类型等)，并向该节点返回信息确收消息。而节点在接收到信息确收消息，即可启动信息监听服务，通过该信息监听服务实现对于调度节点发送的数据监听。

需要说明的是，该信息监听服务可以配置于节点的基础服务中。

还需要说明的是，在本申请实施例中，在部署节点时，可以在节点内预先写入调度节点的网络地址，从而在部署完成后，可以直接向调度节点发送上线消息。此外，为了降低部署难度，在部署节点时，也可以不在节点内预先写入调度节点的网络地址，而是在部署完成后，通过在网络中广播上线消息，从而使得调度节点可以接收到该上线消息。

应理解，在需要对数据处理系统中增加节点，进行扩容时，通过上述方式即可很容易的实现对于新增加的节点的纳管。

如前文所述，在本申请实施例中，应用管理模块可以在所在节点的当前需求功能发生变化时，按照所在节点变化后的需求功能，启用与变化后的需求功能对应的应用程序，从而实现节点功能的切换。例如，假设当前启用的应用程序为任务调用程序，若当前需要将节点切换为审核节点，实现数据审核功能，则可以应用管理模块可以停止当前使用的任务调用程序，然后启用数据审核程序。又例如，假设当前启用的应用程序为执行第一类待处理任务的第一任务执行程序，若当前需要将节点切换为执行第二类待处理任务的执行节点，则可以应用管理模块可以停止当前使用的第一任务执行程序，然后启用可以执行第二类待处理任务的第二任务执行程序。

在本申请实施例中，节点的当前需求功能的切换，可以由工程师在该节点上进行手动切换，或者通过业务规划节点下发节点功能的切换指令，实现切换。

除此之外，在本申请实施例的一种可选实施方式中，也可以是由调度节点获取数据处理系统内各节点中的资源状态和业务执行状态，进而在发现任一节点的资源状态和/或业务执行状态不满足该节点的当前需求功能的状态要求时，即向该节点发送需求功能切换信息，以使该节点进行当前需求功能的切换。

应理解，调度节点在向该节点发送需求功能切换信息之前，还可以先根据该节点的资源状态，确定该节点的资源状态所满足的目标需求功能，然后将目标需求功能作为所需切换的需求功能，携带于需求功能切换信息中。

例如，假设调度节点发现任一节点的业务执行状态连续出现n次失败状态，则可以认为该节点不满足其所具有的当前需求功能的状态要求，从而向该节点发送需求功能切换信息，以使该节点进行当前需求功能的切换。

又例如，假设调度节点发现任一节点的空闲资源连续m分钟均小于其当前需求功能所对应的最小资源，则可以认为该节点不满足其所具有的当前需求功能的状态要求，从而向该节点发送需求功能切换信息，以使该节点进行当前需求功能的切换。

又例如，假设调度节点发现任一节点的业务执行状态连续出现n次失败状态，且空闲资源连续m分钟均小于其当前需求功能所对应的最小资源，则可以认为该节点不满足其所具有的当前需求功能的状态要求，从而向该节点发送需求功能切换信息，以使该节点进行当前需求功能的切换。

需要说明的是，调度节点在确定该节点的资源状态所满足的目标需求功能时，可以首先确定该节点的资源状态所满足的需求功能集合，进而根据整个数据处理系统中各节点当前实际的需求功能，从而选择出能够补足数据处理系统的不足的需求功能作为目标需求功能。

例如，假设确定出的需求功能集合为第一类数据的审核、第二类数据的审核、第一类数据的执行，假设调度节点最近多次监测到第二类数据的审核节点均处于执行状态，第二类数据无法立刻下发到第二类数据的审核节点的情况，则可以将第二类数据的审核作为目标需求功能。

应理解，除上述方式之外，在本申请实施例的另一种可选实施方式中，也可以是由应用管理模块根据自身监测到的所在节点的资源状态和/或业务执行状态，进行需求功能的切换控制。例如，应用管理模块可以在所在节点的资源状态和/或业务执行状态不满足所述当前需求功能的状态要求时，确定所在节点的资源状态所满足的目标需求功能，并启用与该目标需求功能对应的应用程序。

例如，应用管理模块可以在所在节点的业务执行状态连续出现n次失败状态时，确定所在节点的资源状态所满足的目标需求功能，并启用与该目标需求功能对应的应用程序。

又例如，假设调度节点发现所在节点的空闲资源连续m分钟均小于其当前需求功能所对应的最小资源，确定所在节点的资源状态所满足的目标需求功能，并启用与该目标需求功能对应的应用程序。

又例如，假设调度节点发现所在节点的业务执行状态连续出现n次失败状态，且空闲资源连续m分钟均小于其当前需求功能所对应的最小资源，则确定所在节点的资源状态所满足的目标需求功能，并启用与该目标需求功能对应的应用程序。

应理解，应用管理模块可以从所在节点的资源状态所满足的需求功能集合中任选一个需求功能作为目标需求功能。

本申请实施例提供的数据处理系统，通过将包含执行节点、调度节点在内的多个节点通信连接在一起，可以实现对于数据的分布式处理。在大数据场景下，可以通过调度节点将大量数据以待处理任务的形式分别分配给不同的执行节点进行处理，满足大数据场景的要求。且本申请通过在每一个节点上都配置相同的基础服务，从而通过基础服务实现对于每一个节点所需求的功能的管理与控制，这样，一方面，用户只需要进行应用程序和基础服务的维护即可，需要扩展节点时也只需要在新的设备上部署基础服务并接入已有的数据处理系统即可，运维复杂度低，维护难度小。另一方面，通过各节点中的基础服务，也可以很灵活地控制节点所实现的功能，从而改变节点在整个系统中身份，例如可以通过改变启用的应用程序，将调度节点改为执行节点，从而使得数据处理系统更为灵活多变，可以更好的适应不同的实际情况。

为便于理解本申请实施例的方案，下面以图5所示的数据处理系统为例，为本申请实施例做进一步的细化说明。

在本申请实施例中，可以依据宿主机的资源和性能情况，部署单个应用程序或部署多个应用程序(即同一台宿主机，部署多于一种应用程序)。

在部署多个应用程序的情况下，可以依据宿主机的资源和性能情况，部署一个节点或多个节点。

各个宿主机之间使用以太网作为网络传输的媒介。使用socket进行节点间的通信。

其中，节点作为搭载应用程序的容器，每个节点上部署一个通用的基础服务。基础服务包含通信模块和应用管理模块。

其中，通信模块中包含可以被各个节点所使用的通信协议，应用程序通过调用通信模块提供的接口，进行消息通信及数据传输。

应用管理模块可以管理集合需要运行的应用程序，并实现节点内应用程序的更换、启用、停止、状态检查等功能。

节点的基础服务结构如图6所示。

下面，针对图5中涉及的各节点进行说明：

1)业务规划节点：

运维人员可以在节点中查看数据处理系统内各节点的状态，并进行节点调整。

业务人员可以在节点进行作业规则的设计和规划，并根据需要进行待处理任务的下发。

2)调度节点：

a)接收从业务规划节点下发的待处理任务，依据作业规则或根据数据处理系统中相应节点的空闲资源情况，分配待处理任务到指定节点。

b)接收数据处理系统内各节点的消息，记录数据处理系统内各节点的资源状态。

3)执行节点：

a)接收调度节点下发的待处理任务并执行，根据任务的要求，转发处理结果到下游节点。

b)定期上报自身的资源状态和业务执行状态。

c)接收调度节点发送的状态查询消息，并进行反馈。

4)审核节点：

a)接收上游节点(调度节点或执行节点)下发的数据，并根据作业规则进行审核，转发审核通过的数据到下游节点(执行节点或存储节点)。

b)定期上报自身的资源状态和业务执行状态。

c)接收调度节点发送的状态查询消息，并进行反馈。

5)存储节点：

a)接收上游节点(业务规划节点、调度节点、执行节点或审核节点)下发的数据并存储。

b)使用多种数据存储方式对数据进行分类存储。例如，使用非关系型数据库存储数据的元数据，使用关系型数据库持久化存储数据内容。

c)根据数据的使用频次，定期将数据按照热数据、冷数据和归档数据的进行分类，并将分类后的数据分类存储。

在数据处理系统运行时，可以通过图7所示的流程实现节点的纳管：

调度节点在部署完成，启动“节点消息监听”服务。该服务用于监听数据处理系统内各节点发布的消息。

业务规划站点、执行节点、审核节点、存储节点在部署完成后，向数据处理系统内广播上线消息，调度节点的消息监听服务会接收到该上线消息。调度节点在记录该节点信息后，回复“ACK(Acknowledgement，确认字符)”表示已收到节点的上线消息。节点接收到“ACK”后，启动“调度任务监听”服务，该服务用于接收调度节点发送的数据(服务包或规则作业)。

然后，在数据处理系统内多种节点上线后，调度节点将会先向各节点下发服务包。节点接收到服务包下发的消息后，将会对服务包进行装配，同时回复调度节点“ACK”表示消息已接收，并开始装配。

节点装配完成并实现服务的启动后，向调度节点上报节点状态。

在以上的任务都完成后，即表明节点做好的任务处理准备，调度节点和节点将会进入监听作业下发的状态，同时各节点会定时上报节点状态。

系统的使用方，在业务规划节点中规划作业规则，并分别下发给各节点。

调度节点的监听服务在接收到业务规划节点下发的待处理任务后，依据待处理任务的类型，将待处理任务下发到指定节点，同时发送消息给业务规划节点。

指定节点依据作业规则，对待处理任务进行处理(执行节点进行任务执行，审核节点进行数据审核，存储节点进行数据存储)。待处理完成后，发送处理结果给调度节点，同时调度节点向业务规划节点上报处理结果。

系统使用方可以在业务规划节点或者指定节点中查看待处理任务的执行状态和处理结果。

基于本申请实施例所提供的上述数据处理系统，各节点基于基础服务，实现了节点功能的可插拔替换，从而可以依据实际的节点资源状态和节点的业务执行状态进行动态的功能调整，优化资源的利用率。

本申请实施例所提供的上述数据处理系统，可以对作业规则进行细化，调度节点下发的待处理任务可以依据各节点的状态进行分配。

本申请实施例所提供的上述数据处理系统，可以支持分布式部署与动态扩容。

本申请实施例所提供的上述数据处理系统，运维复杂度相对较低，降低了使用方的维护难度。

在本申请所提供的实施例中，应该理解到，以上所描述的实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

在本文中，多个是指两个或两个以上。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据处理系统，其特征在于，包括：

多个节点，每个节点上布设有基础服务，所述基础服务包括通信模块和应用管理模块，所述通信模块用于实现所在节点与其他节点之间的通信连接，所述应用管理模块用于按照所在节点的当前需求功能，启用与所述当前需求功能对应的应用程序；

所述多个节点中包括：当前需求功能为任务调度的调度节点和当前需求功能为任务执行的执行节点；其中，所述调度节点用于通过所对应的应用程序将待处理任务分配给所述执行节点，所述执行节点用于通过所对应的应用程序执行所述待处理任务。

2.如权利要求1所述的数据处理系统，其特征在于，

所述多个节点中还包括：当前需求功能为作业规则管理的业务规划节点；所述业务规划节点用于通过所对应的应用程序接收作业规则，并下发给所述作业规则涉及的节点。

3.如权利要求1所述的数据处理系统，其特征在于，

所述多个节点中还包括：当前需求功能为数据质量审核的审核节点；所述审核节点用于通过所对应的应用程序对所述调度节点或所述执行节点传来的数据进行质量审核。

4.如权利要求1所述的数据处理系统，其特征在于，

所述多个节点中还包括：当前需求功能为数据存储的存储节点；所述存储节点用于通过所对应的应用程序对接收到的数据进行存储。

5.如权利要求1-4任一项所述的数据处理系统，其特征在于，

所述调度节点还用于，在接收到所述多个节点中除该调度节点外的其他节点在部署完成时发送的上线消息后，记录该上线消息对应的节点的信息，并向该节点返回信息确收消息，以使该节点启动信息监听服务；所述信息监听服务用于接收调度节点发送的数据。

6.如权利要求1-4任一项所述的数据处理系统，其特征在于，

所述调度节点还用于，获取各所述执行节点的资源状态和业务执行状态；

所述调度节点具体用于，根据各所述执行节点的资源状态和业务执行状态，通过所述调度节点所对应的应用程序，将所述待处理任务分配给所述资源状态和所述业务执行状态均与所述待处理任务匹配的目标执行节点。

7.如权利要求1-4任一项所述的数据处理系统，其特征在于，

所述应用管理模块还用于，在所在节点的当前需求功能发生变化时，按照所在节点变化后的需求功能，启用与所述变化后的需求功能对应的应用程序。

8.如权利要求7所述的数据处理系统，其特征在于，

所述调度节点还用于，获取所述多个节点中除该调度节点外的其他节点的资源状态和业务执行状态，向所述资源状态和/或所述业务执行状态不满足所述当前需求功能的状态要求的目标节点，发送需求功能切换信息；所述需求功能切换信息中指示有所需切换的需求功能。

9.如权利要求1-4任一项所述的数据处理系统，其特征在于，

所述应用管理模块还用于，在所在节点的资源状态和/或业务执行状态不满足所述当前需求功能的状态要求时，确定所在节点的资源状态所满足的目标需求功能，并启用与所述目标需求功能对应的应用程序。

10.如权利要求1-4任一项所述的数据处理系统，其特征在于，

所述多个节点中的至少两个节点复用同一宿主机；

或，所述多个节点分别布设于不同的宿主机上。

Images