CN108255820B - 分布式系统中数据入库的方法、装置以及电子设备 - Google Patents

Abstract

本申请公开了一种分布式系统中数据入库的方法，包括：本申请提供一种分布式系统中数据入库的方法，包括：将接收到的入库请求根据其涉及的计算集群当中的计算节点拆分为与被涉及计算节点一一对应的子请求；向所述被涉及计算节点上的第一子节点发送对应的子请求；并基于每一个所述被涉及计算节点执行下述步骤：所述第一子节点利用接收到的子请求携带的地址信息下载待入库数据；所述第一子节点所在计算节点上的第二子节点将下载获得的所述待入库数据载入预设数据表中，完成数据入库。所述分布式系统中数据入库的方法，提升了计算节点的网络资源利用率，同时也提升了计算集群整体的网络资源利用率。

Description

分布式系统中数据入库的方法、装置以及电子设备

技术领域

本申请涉及分布式计算领域，具体涉及一种分布式系统中数据入库的方法。本申请同时涉及一种分布式系统中数据入库的装置，以及一种电子设备。

背景技术

随着分布式计算的发展，出现了许多针对海量数据进行实时计算处理的分布式系统，这种分布式系统的用户响应要求为秒级，主要通过数据的实时入库和数据的实时计算来确保实时性，但是大批量数据在入库时需要占用大量系统资源，如CPU、内存、磁盘空间等资源，随着硬件存储技术的快速发展，内存和磁盘的写入速度得到了大幅提升，固态硬盘(Solid State Drives，SSD)的写入速度可达500M/s，不再是限制大批量数据实时入库的瓶颈，而网络带宽成为限制大批量数据实时的主要制约因素，千兆网卡速度通常在100M/s左右，如果在硬件层面选择万兆网卡进行数据传输，不仅会带来硬件成本上升的问题，同时网络资源会因入库的不定时性造成大量浪费。在此基础上，如果考虑到多租户应用场景，即一个集群同时为多个客户提供数据服务，如何保证用户在使用过程中互不影响，同时又能较好地利用系统网络资源，成为限制实时计算的分布式系统进一步发展的又一个制约因素。

目前的分布式系统如附图1所示，Client A和Client B为访问分布式系统的用户程序，Frontnode为接收DDL/DML语句、查询、数据入库等请求的前端节点，Computenode为进行数据计算和数据入库的数据处理节点，如果用户通过Client A发起入库操作，则通过Client A将入库请求发送给Frontnode，再由调度模块将入库请求转发至该用户的所有Computenode(数据处理节点)上，由Computenode执行数据的入库操作，具体数据入库过程中，待入库数据在数据源与Computenode之间通过网络传输。由于网络资源绑定在单个物理机器上，且单个物理机器上通常会分配多个Computenode，导致每个Computenode能分配到的网络资源较少，当用户A有一个较大的数据需要通过物理机器M1上的Computenode 1和物理机器M2上的Computenode 2执行入库操作时，入库耗时可能会比较长，但物理机器M1和物理机器M2整体的网络资源却非常空闲，造成网络资源浪费，从而导致网络资源的利用率较低。

发明内容

本申请提供一种分布式系统中数据入库的方法，以解决现有技术存在的网络资源利用率低的问题。本申请另外提供一种分布式系统中数据入库的装置，以及一种电子设备。

本申请提供一种分布式系统中数据入库的方法，包括：

将接收到的入库请求根据其涉及的计算集群当中的计算节点拆分为与被涉及计算节点一一对应的子请求；

向所述被涉及计算节点上的第一子节点发送对应的子请求；并基于每一个所述被涉及计算节点执行下述步骤：

所述第一子节点利用接收到的子请求携带的地址信息下载待入库数据；

所述第一子节点所在计算节点上的第二子节点将下载获得的所述待入库数据载入预设数据表中，完成数据入库。

可选的，所述计算节点上设置至少1个第二子节点，且最多设置有1个第一子节点。

可选的，所述第一子节点利用接收到的子请求携带的地址信息下载待入库数据，采用如下方式实现：

所述第一子节点从所述地址信息对应数据源下载其中存储的所述待入库数据；

所述第一子节点将所述待入库数据移至其所在计算节点上第二子节点的预设存储目录下。

可选的，所述第一子节点利用接收到的子请求携带的地址信息下载待入库数据步骤执行后，且所述第一子节点所在计算节点上的第二子节点将下载获得的所述待入库数据载入预设数据表中，完成数据入库步骤执行前，执行下述步骤：

所述第一子节点向预先设置的调度模块发送当前待入库数据下载完成的确认消息；

所述调度模块向所述第一子节点所在计算节点上当前待入库数据对应的第二子节点发送数据载入指令。

可选的，所述第一子节点所在计算节点上的第二子节点将下载获得的所述待入库数据载入预设数据表中，采用如下方式实现：

所述第一子节点所在计算节点上当前待入库数据对应的第二子节点接收所述调度模块发送的所述数据载入指令，并根据接收到的所述数据载入指令将所述待入库数据载入所述预设数据表中，完成数据入库。

可选的，所述入库请求中包含至少一个第二子节点的标识信息，以及所述标识信息确定的第二子节点对应的待入库数据的地址信息；相应的，所述子请求中包含其对应计算节点上第二子节点的标识信息，以及其对应计算节点的第二子节点对应的待入库数据的地址信息。

可选的，所述被涉及计算节点包括：所述标识信息对应的第二子节点所在计算节点。

可选的，所述第一子节点所在计算节点上的第二子节点将下载获得的所述待入库数据载入预设数据表中，完成数据入库步骤执行后，执行下述步骤：

判断所述入库请求中包含各标识信息对应的第二子节点是否全部完成数据入库，若是，通知预先设置的前端节点所述入库请求中包含各标识信息对应的第二子节点开始对外提供数据服务；若否，返回执行所述第一子节点利用接收到的子请求携带的地址信息下载待入库数据步骤。

可选的，若所述计算节点上第二子节点的数目大于1，所述第一子节点采用多线程方式并行下载其所在计算节点上第二子节点对应的待入库数据，或者，所述第一子节点采用单线程处理方式依次下载其所在计算节点上第二子节点对应的待入库数据。

可选的，所述分布式系统中向数据库导入数据的方法，包括：

若检测到用户输入的线程调度指令时，基于所述线程调度指令中包含的线程参数对所述第一子节点进行线程配置，并在配置完成后重启所述第一子节点。

可选的，所述计算集群由至少一台物理机器组成；相应的，所述计算节点包括：物理机器节点。

可选的，所述将接收到的入库请求根据其涉及的计算集群当中的计算节点拆分为与被涉及计算节点一一对应的子请求步骤，以及所述向所述被涉及计算节点上的第一子节点发送对应的子请求步骤，由预先设置的调度模块执行。

可选的，所述将接收到的入库请求根据其涉及的计算集群当中的计算节点拆分为与被涉及计算节点一一对应的子请求步骤执行前，执行下述步骤：

预先设置的前端节点接收用户发送的所述入库请求并向所述调度模块转发；

所述调度模块接收所述前端节点转发的所述入库请求。

可选的，所述调度模块包括：控制子模块、节点检测子模块、资源申请子模块和下载检测子模块。

可选的，所述分布式系统中向数据库导入数据的方法，包括：

当检测到所述计算集群当中物理机器节点发生变化时，对所述计算集群当中的物理机器节点发生变化前后的机器节点信息进行比对，根据比对结果判断所述计算集群是否发生扩容变化，若是，根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源。

可选的，所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源步骤执行前，执行下述步骤：

判断当前所述计算集群发生的扩容变化是否为所述计算集群的首次初始化，若是，所述控制子模块通过预先设置的全局资源管理器创建应用调度器，并在所述应用调度器创建完成后执行所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源步骤；若否，执行所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源步骤。

可选的，所述计算集群当中物理机器节点发生的变化基于所述节点检测子模块进行检测；所述对所述计算集群当中的物理机器节点发生变化前后的机器节点信息进行比对，根据比对结果判断所述计算集群是否发生扩容变化步骤由所述控制子模块执行；以及，所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源步骤由所述资源申请子模块执行。

可选的，所述节点检测子模块检测所述计算集群当中物理机器节点发生变化前，执行下述步骤：

所述节点检测子模块获取所述计算集群当中物理机器节点的机器节点信息，并将当前获取到的所述机器节点信息向所述控制子模块发送。

可选的，所述节点检测子模块检测到所述计算集群当中物理机器节点发生变化后，且所述对所述计算集群当中的物理机器节点发生变化前后的机器节点信息进行比对，根据比对结果判断所述计算集群是否发生扩容变化步骤执行前，执行下述步骤：

所述节点检测子模块获取所述计算集群当中物理机器节点发生变化后的机器节点信息，并向所述控制子模块发送所述计算集群当中物理机器节点发生变化后的机器节点信息。

可选的，所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源步骤执行前，执行下述步骤：

所述控制子模块向所述资源申请子模块发送所述计算集群当中物理机器节点发生变化后的机器节点信息。

可选的，所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源，采用如下方式实现：

所述资源申请子模块向预先设置的全局资源管理器发送资源申请请求；

所述全局资源管理器根据接收到所述资源申请请求创建相应的资源申请指令，并分别向所述资源申请请求涉及的所述计算集群当中的物理机器节点一一对应的节点管理器发送对应的资源申请指令；

所述节点管理器接收所述全局资源管理器发送的资源申请指令；

所述节点管理器根据所述资源申请指令中包含的下载路径下载用于设置第一子节点的配置文件，并基于下载的所述配置文件在当前所在物理机器节点上设置所述第一子节点，为当前设置的所述第一子节点分配物理资源。

可选的，所述节点管理器接收所述全局资源管理器发送的资源申请指令步骤执行后，且所述节点管理器根据所述资源申请指令中包含的下载路径下载用于设置第一子节点的配置文件，并基于下载的所述配置文件在当前所在物理机器节点上设置所述第一子节点，为当前设置的所述第一子节点分配物理资源步骤执行前，执行下述步骤：

所述节点管理器判断当前物理机器节点上是否存在第一子节点，若是，过滤掉所述资源申请指令；若否，执行所述节点管理器根据所述资源申请指令中包含的下载路径下载用于设置第一子节点的配置文件，并基于下载的所述配置文件在当前所在物理机器节点上设置所述第一子节点，为当前设置的所述第一子节点分配物理资源步骤。

可选的，所述资源申请请求中包含：所述计算集群当中增加的物理机器节点中在其上设置第一子节点的机器节点列表，设置的所述第一子节点分配的物理资源的资源配置信息，以及下载设置的所述第一子节点所需配置文件的下载路径；相应的，所述资源申请指令中包含：在当前物理机器节点上设置所述第一子节点对应的所述资源配置信息和所述下载路径。

可选的，所述物理资源包括：CPU、内存、磁盘和网络资源；其中，所述网络资源包括：网络带宽和数据流量。

可选的，所述分布式系统中向数据库导入数据的方法，包括：

所述控制子模块按照预设检测周期向所述下载检测子模块发送检测指令。

可选的，所述控制子模块按照预设检测周期向所述下载检测子模块发送检测指令步骤执行后，执行下述步骤：

所述下载检测子模块接收所述控制子模块发送的所述检测指令；

获取所述计算集群当中物理机器节点上第一子节点的状态参数；所述状态参数包括运行状态信息和占用的物理资源信息；

根据获取到的所述状态参数中包含的运行状态信息判断所述第一子节点是否存在运行异常，若是，对存在运行异常的所述第一子节点执行重启操作。

本申请还提供一种分布式系统中向数据库导入数据的装置，包括：

入库请求拆分单元，用于将接收到的入库请求根据其涉及的计算集群当中的计算节点拆分为与被涉及计算节点一一对应的子请求；

子请求发送单元，用于向所述被涉及计算节点上的第一子节点发送对应的子请求；并基于每一个所述被涉及计算节点运行待入库数据下载单元和待入库数据载入单元；

所述待入库数据下载单元，基于所述第一子节点利用接收到的子请求携带的地址信息下载待入库数据；

所述待入库数据载入单元，基于所述第一子节点所在计算节点上的第二子节点将下载获得的所述待入库数据载入预设数据表中，完成数据入库。

本申请另外提供一种电子设备，，包括：

存储器，以及处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：

将接收到的入库请求根据其涉及的计算集群当中的计算节点拆分为与被涉及计算节点一一对应的子请求；

向所述被涉及计算节点上的第一子节点发送对应的子请求；并基于每一个所述被涉及计算节点执行下述计算机可执行指令：

所述第一子节点利用接收到的子请求携带的地址信息下载待入库数据；

所述第一子节点所在计算节点上的第二子节点将下载获得的所述待入库数据载入预设数据表中，完成数据入库。

本申请提供一种分布式系统中数据入库的方法，包括：将接收到的入库请求根据其涉及的计算集群当中的计算节点拆分为与被涉及计算节点一一对应的子请求；向所述被涉及计算节点上的第一子节点发送对应的子请求；并基于每一个所述被涉及计算节点执行下述步骤：所述第一子节点利用接收到的子请求携带的地址信息下载待入库数据；所述第一子节点所在计算节点上的第二子节点将下载获得的所述待入库数据载入预设数据表中，完成数据入库。

本申请提供的所述分布式系统中数据入库的方法，接收到用户发出的入库请求之后，将所述入库请求根据其涉及的计算集群当中的计算节点拆分为与被涉及计算节点一一对应的子请求，向每一个所述被涉及计算节点上的第一子节点发送对应的子请求，并在每一个所述被涉及计算节点上，由其上的第一子节点利用接收到的子请求携带的地址信息下载待入库数据，并由其上的第二子节点将下载获得的所述待入库数据载入预设数据表中，完成数据入库。所述分布式系统中数据入库的方法，通过将计算集群当中计算节点上的业务进行分离，将待入库数据的下载分配给计算节点上第一子节点执行，计算节点上第二子节点用于执行数据计算以及待入库数据的载入，使第一子节点在下载待入库数据时能够更充分的利用其所在计算节点的网络资源，提升了在执行数据入库操作时计算集群中计算节点的网络资源利用率，同时也提升了计算集群整体的网络资源利用率。

附图说明

附图1是本申请提供的一种分布式系统的示意图；

附图2是本申请提供的一种分布式系统中数据入库的方法实施例的处理流程图；

附图3是本申请提供的另一种分布式系统的示意图；

附图4是本申请提供的一种分布式系统中数据入库的装置实施例的示意图；

附图5是本申请提供的一种电子设备实施例的示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

本申请提供一种分布式系统中数据入库的方法，本申请还提供一种分布式系统中数据入库的装置，以及一种电子设备。以下分别结合本申请提供的实施例的附图逐一进行详细说明，并且对方法的各个步骤进行说明。

本申请提供的一种分布式系统中数据入库的方法实施例如下：

参照附图2，其示出了本申请提供的一种分布式系统中数据入库的方法实施例的处理流程图；参照附图3，其示出了本申请提供的另一种分布式系统的示意图。

步骤S201，将接收到的入库请求根据其涉及的计算集群当中的计算节点拆分为与被涉及计算节点一一对应的子请求。

本申请实施例所述分布式系统主要侧重于多租户场景下的资源隔离与优化，核心是如何实现租户之间的资源隔离，避免用户之间的资源竞争，消除因用户之间的资源竞争给分布式系统带来的影响，并在有限网络资源的前提下，通过实现用户之间资源隔离来降低用户之间的影响，从而使分布式系统整体的网络资源利用达到最大化。

本申请实施例所述计算集群，包括由至少一台物理机器组成的物理机器集群，相应的，所述计算集群当中计算节点包括：物理机器集群当中的物理机器节点。针对所述计算集群当中的任意一个计算节点，其上可设置用于进行数据计算处理的第二子节点，当然也不排除某计算节点上不设置第二子节点的情形，但如果该计算节点上未设置第二子节点，则无法进行数据处理计算，也无法对外提供数据服务，这种计算节点不在本实施例的讨论范围内，本实施例下面描述的计算节点均是指能够进行数据计算处理的计算节点，基于此，所述计算节点上设置至少1个第二子节点。此外，所述计算节点上还设置有用于下载待入库数据(数据入库操作针对的数据)的第一子节点，所述第一子节点仅设置在设置有第二子节点的计算节点上，并且一个计算节点最多设置有1个第一子节点。例如，附图3所示的分布式系统中，Computenode Cluster(计算集群)中包含计算节点M1、M2、…Mn，计算节点M1、M2、…Mn上均设置有Download Agent(第一子节点)，以及第二子节点Computenode 1、…Computenode n。

所述物理机器节点的网络资源由所述第二子节点和第一子节点共同占用，一般而言，可将所述第一子节点占用的网络资源设置为所述物理机器节点的网络资源的50％，比如物理机器节点的网络带宽为30M，分配给第一子节点的网络带宽为15M，物理机器节点上所有第二子节点占用另外15M网络带宽。但所述第一子节点和所述第二子节点占用所述物理机器节点的网络资源的比例并不限于此，可根据实际应用中的各自对网络资源的需求来调整各自占用的网络资源。

在实际应用中，可通过给所述计算节点(物理机器节点)打标签的方式来区别所述计算节点，针对设置有第二子节点的计算节点打上计算节点标签，通过所述计算节点标签可判断所述计算节点上是否设置有所述第二子节点，从而避免入库请求落在没有设置第二子节点的计算节点上造成的网络资源浪费。

所述入库请求中包含至少一个第二子节点的标识信息，以及所述标识信息确定的第二子节点对应的待入库数据的地址信息；所述入库请求中包含的标识信息用于确定所述计算集群当中进行数据入库操作的计算节点上的第二子节点。相应的，所述子请求中包含其对应计算节点上第二子节点的标识信息，以及其对应计算节点的第二子节点对应的待入库数据的地址信息。基于此，所述被涉及计算节点包括：所述标识信息对应的第二子节点所在的计算节点。在具体实施时，本步骤将接收到的所述入库请求根据其涉及的计算集群当中的计算节点拆分为与被涉及计算节点一一对应的子请求，基于预设设置的调度模块执行。例如，附图3所示的分布式系统中，入库请求A中包含计算节点M1上Computenode 1和计算节点M2上Computenode 1的标识信息，即入库请求A在Computenode Cluster中涉及的计算节点为计算节点M1和M2，由调度模块将入库请求A拆分为子请求A1和A2；子请求A1中包含对应计算节点M1上Computenode 1的标识信息，以及计算节点M1上Computenode 1对应的待入库数据的下载地址；子请求A2中包含对应计算节点M2上Computenode 1的标识信息，以及计算节点M2上Computenode 1对应的待入库数据的下载地址。

除此之外，在本步骤执行前，即将所述入库请求拆分为与所述被涉及计算节点一一对应的子请求之前，还可以执行下述步骤：由分布式系统中预先设置的前端节点接收用户发送的所述入库请求并向所述调度模块转发；所述调度模块接收所述前端节点转发的所述入库请求。例如，如附图3所示的分布式系统中，由Frontnode(前端节点)接收用户通过Client A发送的入库请求A，Frontnode向调度模块发送接收到的入库请求A，调度模块接收Frontnode发送的入库请求A。

步骤S202，向所述被涉及计算节点上的第一子节点发送对应的子请求。

上述步骤S201将接收到的入库请求根据其涉及的计算集群当中的计算节点拆分为与被涉及计算节点一一对应的子请求，本步骤根据上述步骤S201拆分获得的所述子请求，向所述被涉及计算节点上的第一子节点发送对应的子请求。在具体实施时，向所述被涉及计算节点上的第一子节点发送对应的子请求可由所述调度模块来执行。例如，附图3所示的分布式系统中，入库请求A在Computenode Cluster中涉及的计算节点为计算节点M1和M2，由调度模块将入库请求A拆分为分别与计算节点M1和M2对应的子请求A1和A2，则由调度模块向计算节点M1上Download Agent发送对应的子请求A1，并向计算节点M2上DownloadAgent发送对应的子请求A2。

步骤S203，在每一个所述被涉及计算节点上，所述第一子节点利用接收到的子请求携带的地址信息下载待入库数据。

上述步骤S202由所述调度模块向所述被涉及计算节点上的第一子节点发送对应的子请求，基于此，所述被涉及计算节点中的每一个计算节点在接收到所述调度模块发送的对应的子请求之后，执行本步骤，针对每一个所述被涉及计算节点，其上的第一子节点利用接收到的子请求携带的地址信息下载所述待入库数据，具体实现如下：

1)所述第一子节点从所述地址信息对应数据源下载其中存储的所述待入库数据；

2)所述第一子节点将所述待入库数据移至其所在计算节点上第二子节点的预设存储目录下。

例如，附图3所示的分布式系统中，计算节点M1上Download Agent接收到调度模块发送的子请求A1后，Download Agent从当前子请求A1中包含的下载地址对应数据源下载其中存储的待入库数据Data1，并将下载后的待入库数据Data1移至计算节点M1上Computenode 1的目录下；计算节点M2上Download Agent接收到调度模块发送的子请求A2后，Download Agent从子请求A2中包含的下载地址对应数据源下载其中存储的待入库数据Data2，并将下载后的待入库数据Data2移至计算节点M2上Computenode 1的目录下。

在具体实施时，在本步骤执行后，即所述被涉及计算节点当中任意一个计算节点上第一子节点利用接收到的子请求携带的地址信息下载获得所述待入库数据后，可执行下述步骤：所述第一子节点向预先设置的调度模块发送当前待入库数据下载完成的确认消息；所述调度模块向所述第一子节点所在计算节点上当前待入库数据对应的第二子节点发送数据载入指令。例如，附图3所示的分布式系统中，计算节点M1上Download Agent向调度模块发送待入库数据Data1下载完成的确认消息，调度模块接收到确认消息后向计算节点M1上Computenode 1发送数据载入指令；计算节点M2上Download Agent向调度模块发送待入库数据Data2下载完成的确认消息，调度模块接收到确认消息后向计算节点M2上Computenode 1发送数据载入指令。

在具体实施时，若所述计算节点上第二子节点的数目大于1，所述第一子节点可采用多线程方式并行下载其所在计算节点上第二子节点对应的待入库数据；此外，所述第一子节点还可以采用单线程处理方式依次下载其所在计算节点上第二子节点对应的待入库数据。在此基础上，还可以向用户提供所述第一子节点下载所述待入库数据的线程配置接口，当检测到用户通过所述线程配置接口输入的线程调度指令时，基于所述线程调度指令中包含的线程参数对所述第一子节点进行线程配置，并在配置完成后重启所述第一子节点。例如，附图3所示的分布式系统中，计算节点M1、M2、…Mn上的Download Agent默认使用单线程模式下载待入库数据，当用户对Download Agent的下载线程进行调整时，根据用户输入的线程参数重新配置Download Agent的下载线程，并重启Download Agent。

步骤S204，在每一个所述被涉及计算节点上，所述第一子节点所在计算节点上的第二子节点将下载获得的所述待入库数据载入预设数据表中，完成数据入库。

上述步骤S203所述被涉及计算节点当中任意一个计算节点上第一子节点下载获得所述待入库数据后，并且该第一子节点所在计算节点上的第二子节点接收到所述调度模块发送的数据载入指令后，执行本步骤，该第一子节点所在计算节点上的第二子节点将下载获得的所述待入库数据载入预设数据表中，完成数据入库，具体实现如下：

所述第一子节点(下载获得所述待入库数据的第一子节点)所在计算节点上当前待入库数据对应的第二子节点接收所述调度模块发送的所述数据载入指令，并根据接收到的所述数据载入指令将所述待入库数据载入所述预设数据表中，完成数据入库。例如，附图3所示的分布式系统中，下载待入库数据Data1的Download Agent所在计算节点M1上Computenode 1接收到调度模块发送的数据载入指令后，计算节点M1上Computenode 1将待入库数据Data1载入用户指定的数据表中，完成数据入库；下载待入库数据Data2的Download Agent所在计算节点M2上Computenode 1接收到调度模块发送的数据载入指令后，计算节点M2上Computenode 1将待入库数据Data2载入用户指定的数据表中，完成数据入库。

在具体实施时，在本步骤执行之后，即：将下载获得所述待入库数据的第一子节点所在计算节点上的第二子节点将所述待入库数据载入所述预设数据表中，完成数据入库之后，还可以执行下述入库请求执行判断操作，来判断所述入库请求中包含各标识信息对应的第二子节点是否全部完成数据入库，所述入库请求执行判断操作具体实现如下：判断所述入库请求中包含各标识信息对应的第二子节点是否全部完成数据入库，若是，通知预先设置的前端节点所述入库请求中包含各标识信息对应的第二子节点开始对外提供数据服务；若否，返回执行上述步骤S203，基于每一个所述被涉及计算节点，其上所述第一子节点利用接收到的子请求携带的地址信息下载待入库数据。

下面通过一个具体的例子来说明采用本实施例所述第一子节点下载所述待入库数据的优点：

如附图3所示的分布式系统中，以单线程下载模型为例，Computenode Cluster当中的计算节点M1同时收到B、C和D三个入库请求，分别与计算节点M1上的Computenode 1、Computenode 2和Computenode 3对应，B、C和D三个入库请求针对的待入库数据的数据量分别为3G、6G和9G，B、C和D三个入库请求对应的Computenode各自具有10M网络带宽资源，如果按照现有技术实施方式Computenode 1、Computenode 2和Computenode 3分别下载B、C和D三个入库请求对应的待入库数据，所需下载时间分别为300s、600s和900s。如果采用本申请实施方式，计算节点M1上Download Agent具有30M网络带宽资源，则计算节点M1上DownloadAgent下载B、C和D三个入库请求对应的待入库数据所需时间分别为100s、200s和300s，下载完成B、C和D三个入库请求对应的待入库数据总经历的时间依次为100s、300s和600s。对比这两种实施方式发现，在具有相同网络资源的前提下，本申请实施方式相比现有技术实施方式，入库请求B对应的待入库数据的下载时间从300s缩短至100s、入库请求C对应的待入库数据的下载时间从600s缩短至300s，入库请求C对应的待入库数据的下载时间从900s缩短至600s，节省了数据入库时间，同时提高分布式系统中网络资源的利用率。

在具体实施时，在分布式系统中，还可以通过所述调度模块对所述计算集群进行调度管理，比如所述调度模块通过其中包含的控制子模块、节点检测子模块、资源申请子模块和下载检测子模块当中一个或者多个对所述计算集群进行资源管理、运行监测等操作；或者，所述调度模块通过协同分布式系统预先设置的全局资源管理器对所述计算集群进行调度管理，下面进行详细说明。

所述控制子模块，用于接收所述节点检测子模块发送的所述计算集群的相关信息并根据接收到的信息进行相应计算处理；此外，所述控制子模块还用于控制所述下载检测子模块检测所述计算集群当中计算节点上用于下载所述待入库数据的第一子节点的工作状态。所述节点检测子模块，用于检测所述计算集群发生的变化，并将检测到的变化前后的所述计算集群的信息向所述控制子模块传递。所述资源申请子模块，用于根据所述控制子模块的指令，协同所述全局资源管理器为所述计算集群当中新增加的计算节点分配资源，并在所述计算集群当中新增加的计算节点上创建用于下载所述待入库数据的第一子节点。所述下载检测子模块，用于根据接收到的所述控制子模块发送的指令，收集所述计算集群当中所有计算节点上用于下载所述待入库数据的第一子节点的状态参数。

在分布式系统运行过程中，当检测到所述计算集群当中物理机器节点发生变化时，对所述计算集群当中的物理机器节点发生变化前后的机器节点信息进行比对，根据比对结果判断所述计算集群是否发生扩容变化，若是，根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源；若否，则表明所述计算集群当中发生的变化为缩容变化，由于缩容时下掉的物理机器节点已不归属所述计算集群管辖，对此不做说明。具体的，所述计算集群当中物理机器节点发生的变化基于所述节点检测子模块进行检测；所述对所述计算集群当中的物理机器节点发生变化前后的机器节点信息进行比对，根据比对结果判断所述计算集群是否发生扩容变化步骤由所述控制子模块执行；以及，所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源步骤由所述资源申请子模块执行。

在具体实施时，所述节点检测子模块可以在检测所述计算集群当中物理机器节点发生变化前，获取所述计算集群当中物理机器节点的机器节点信息，并将当前获取到的所述机器节点信息向所述控制子模块发送。进一步，所述节点检测子模块还可以在检测到所述计算集群当中物理机器节点发生变化后，且所述对所述计算集群当中的物理机器节点发生变化前后的机器节点信息进行比对，根据比对结果判断所述计算集群是否发生扩容变化步骤执行前，执行下述步骤：所述节点检测子模块获取所述计算集群当中物理机器节点发生变化后的机器节点信息，并向所述控制子模块发送所述计算集群当中物理机器节点发生变化后的机器节点信息。此外，所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源步骤执行前，还可以执行下述步骤：所述控制子模块向所述资源申请子模块发送所述计算集群当中物理机器节点发生变化后的机器节点信息。

例如，附图3所示的分布式系统中，Observe(节点检测子模块)检测到ComputenodeCluster当中的物理机器节点发生变化时，将变化前后Observe获取到的ComputenodeCluster当中的物理机器节点的变化前后的机器节点列表M_List 1和M_List 2向AgentDaemon(控制子模块)发送，AgentDaemon接收到M_List 1和M_List 2之后，对M_List1和M_List 2进行比对，根据比对结果判断Computenode Cluster是否发生扩容变化，如果是，则由AgentDaemon向ResourceAllocator(资源申请子模块)发送M_List 2，由ResourceAllocator根据M_List 2为Computenode Cluster当中增加的物理机器节点申请资源。

此外，在具体实施时，所述对所述计算集群当中的物理机器节点发生变化前后的机器节点信息进行比对，根据比对结果判断所述计算集群是否发生扩容变化步骤的判断结果为是，在所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源步骤执行前，还可以执行下述步骤：判断当前所述计算集群发生的扩容变化是否为所述计算集群的首次初始化，若是，所述控制子模块通过所述全局资源管理器创建应用调度器，例如，附图3所示的分布式系统中，AgentDaemon通过ResourceManager来创建ApplicationMaster(应用调度器)，并在所述应用调度器创建完成后执行所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源步骤；若否，执行所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源步骤。

进一步，所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源，具体可采用如下方式实现：

1)所述资源申请子模块向所述全局资源管理器发送资源申请请求；

所述资源申请请求中包含：所述计算集群当中增加的物理机器节点中在其上设置第一子节点的机器节点列表，设置的所述第一子节点分配的物理资源的资源配置信息，以及下载设置的所述第一子节点所需配置文件的下载路径。所述物理资源包括：CPU、内存、磁盘和网络资源；其中，所述网络资源包括：网络带宽和数据流量。

例如，附图3所示的分布式系统中，ResourceAllocator向ResourceManager(全局资源管理器)发送资源申请请求，资源申请请求中包含：Computenode Cluster当中增加的物理机器节点中哪些物理机器节点上设置Download Agent，分配给当前设置的DownloadAgent的CPU、内存、磁盘和网络资源，以及从分布式系统中预先存储的Jar包集合当中下载当前设置Download Agent的所需Jar包的下载路径。

2)所述全局资源管理器根据接收到所述资源申请请求创建相应的资源申请指令，并分别向所述资源申请请求涉及的所述计算集群当中的物理机器节点一一对应的节点管理器发送对应的资源申请指令；所述资源申请指令中包含：在当前物理机器节点上设置所述第一子节点对应的所述资源配置信息和所述下载路径。

例如，附图3所示的分布式系统中，ResourceManager根据接收到的资源申请请求创建相应的资源申请指令，并向增加的物理机器节点中设置Download Agent的每一个物理机器节点对应的NM(NodeManager，节点管理器)分别发送资源申请指令。

3)所述节点管理器接收所述全局资源管理器发送的资源申请指令；

本步骤执行后，即所述节点管理器接收所述全局资源管理器发送的资源申请指令之后，且下述步骤4)执行前，可执行下述步骤：所述节点管理器判断当前物理机器节点上是否存在第一子节点，若是，过滤掉所述资源申请指令；若否，执行下述步骤4)，所述节点管理器根据所述资源申请指令中包含的下载地址下载用于设置第一子节点的配置文件，并基于下载的所述配置文件在当前所在物理机器节点上设置所述第一子节点，为当前设置的所述第一子节点分配物理资源。例如，附图3所示的分布式系统中，NM(NodeManager，节点管理器)接收ResourceManager发送的资源申请指令，判断当前物理机器节点上是否存在Download Agent，若是，过滤掉当前资源申请指令；若否，执行下述步骤4)。

4)所述节点管理器根据所述资源申请指令中包含的下载路径下载用于设置第一子节点的配置文件，并基于下载的所述配置文件在当前所在物理机器节点上设置所述第一子节点，为当前设置的所述第一子节点分配物理资源。

例如，附图3所示的分布式系统中，NM(NodeManager，节点管理器)根据资源申请指令中包含的下载路径下载Download Agent的Jar包，基于下载获得的Jar包在当前物理机器节点上设置Download Agent，并且为当前设置的Download Agent分配CPU、内存、磁盘和网络资源。

此外，在分布式系统运行过程中，所述控制子模块可以按照预设检测周期向所述下载检测子模块发送检测指令。在此基础上，所述下载检测子模块接收所述控制子模块发送的所述检测指令，获取所述计算集群当中物理机器节点上第一子节点的状态参数；所述状态参数包括运行状态信息和占用的物理资源信息；根据获取到的所述状态参数中包含的运行状态信息判断所述第一子节点是否存在运行异常，若是，对存在运行异常的所述第一子节点执行重启操作；若否，不作处理即可。例如，附图3所示的分布式系统中，AgentDaemon每隔一段时间向WorkerAgent(下载检测子模块)发送检测指令，WorkerAgent接收到检测指令后，获取Computenode Cluster当中物理机器节点M1、M2、…Mn上的Download Agent的运行状态参数，并根据运行状态参数判断相应Download Agent是否存在运行异常，若存在，则对运行存在异常的Download Agent尝试重启操作。

综上所述，本申请提供的所述分布式系统中数据入库的方法，接收到用户发出的入库请求之后，将所述入库请求根据其涉及的计算集群当中的计算节点拆分为与被涉及计算节点一一对应的子请求，向每一个所述被涉及计算节点上的第一子节点发送对应的子请求，并在每一个所述被涉及计算节点上，由其上的第一子节点利用接收到的子请求携带的地址信息下载待入库数据，并由其上的第二子节点将下载获得的所述待入库数据载入预设数据表中，完成数据入库。所述分布式系统中数据入库的方法，通过将计算集群当中计算节点上的业务进行分离，将待入库数据的下载分配给计算节点上第一子节点执行，计算节点上第二子节点用于执行数据计算以及待入库数据的载入，使第一子节点在下载待入库数据时能够更充分的利用其所在计算节点的网络资源，提升了在执行数据入库操作时计算集群中计算节点的网络资源利用率，同时也提升了计算集群整体的网络资源利用率。

本申请提供的一种分布式系统中数据入库的装置实施例如下：

在上述的实施例中，提供了一种分布式系统中数据入库的方法，与之相对应的，本申请还提供了一种分布式系统中数据入库的装置，下面结合附图进行说明。

参照附图4，其示出了本申请提供的一种分布式系统中数据入库的装置实施例的示意图。

由于装置实施例与上述提供的方法实施例相互对应，阅读本实施例的内容请参照上述方法实施例的对应说明。下述描述的装置实施例仅仅是示意性的。

本申请提供一种分布式系统中数据入库的装置，包括：

入库请求拆分单元401，用于将接收到的入库请求根据其涉及的计算集群当中的计算节点拆分为与被涉及计算节点一一对应的子请求；

子请求发送单元402，用于向所述被涉及计算节点上的第一子节点发送对应的子请求；并基于每一个所述被涉及计算节点运行待入库数据下载单元403和待入库数据载入单元404；

所述待入库数据下载单元403，基于所述第一子节点利用接收到的子请求携带的地址信息下载待入库数据；

所述待入库数据载入单元404，基于所述第一子节点所在计算节点上的第二子节点将下载获得的所述待入库数据载入预设数据表中，完成数据入库。

可选的，所述计算节点上设置至少1个第二子节点，且最多设置有1个第一子节点。

可选的，所述待入库数据下载单元403，包括：

下载子单元，基于所述第一子节点从所述地址信息对应数据源下载其中存储的所述待入库数据；

转存子单元，基于所述第一子节点将所述待入库数据移至其所在计算节点上第二子节点的预设存储目录下。

可选的，所述分布式系统中数据入库的装置，包括：

下载确认消息接收单元，基于所述第一子节点向预先设置的调度模块发送当前待入库数据下载完成的确认消息；

数据载入指令发送单元，基于所述调度模块向所述第一子节点所在计算节点上当前待入库数据对应的第二子节点发送数据载入指令。

可选的，所述待入库数据载入单元404，包括：

载入子单元，基于所述第一子节点所在计算节点上当前待入库数据对应的第二子节点接收所述调度模块发送的所述数据载入指令，并根据接收到的所述数据载入指令将所述待入库数据载入所述预设数据表中，完成数据入库。

可选的，所述入库请求中包含至少一个第二子节点的标识信息，以及所述标识信息确定的第二子节点对应的待入库数据的地址信息；相应的，所述子请求中包含其对应计算节点上第二子节点的标识信息，以及其对应计算节点的第二子节点对应的待入库数据的地址信息。

可选的，所述被涉及计算节点包括：所述标识信息对应的第二子节点所在得计算节点。

可选的，所述分布式系统中数据入库的装置，包括：

数据入库判断单元，用于判断所述入库请求中包含各标识信息对应的第二子节点是否全部完成数据入库，若是，通知预先设置的前端节点所述入库请求中包含各标识信息对应的第二子节点开始对外提供数据服务；若否，运行所述待入库数据下载单元403。

可选的，若所述计算节点上第二子节点的数目大于1，所述第一子节点采用多线程方式并行下载其所在计算节点上第二子节点对应的待入库数据，或者，所述第一子节点采用单线程处理方式依次下载其所在计算节点上第二子节点对应的待入库数据。

可选的，所述分布式系统中向数据库导入数据的装置，包括：

线程配置重启单元，用于在检测到用户输入的线程调度指令时，基于所述线程调度指令中包含的线程参数对所述第一子节点进行线程配置，并在配置完成后重启所述第一子节点。

可选的，所述计算集群由至少一台物理机器组成；相应的，所述计算节点包括：物理机器节点。

可选的，所述入库请求拆分单元401和所述子请求发送单元402，基于预先设置的调度模块运行。

可选的，所述分布式系统中向数据库导入数据的装置，包括：

入库请求接收单元，基于预先设置的前端节点接收用户发送的所述入库请求并向所述调度模块转发；

入库请求转发单元，基于所述调度模块接收所述前端节点转发的所述入库请求。

可选的，所述调度模块包括：控制子模块、节点检测子模块、资源申请子模块和下载检测子模块。

可选的，所述分布式系统中向数据库导入数据的装置，包括：

物理机器节点检测比对单元，用于在检测到所述计算集群当中物理机器节点发生变化时，对所述计算集群当中的物理机器节点发生变化前后的机器节点信息进行比对，根据比对结果判断所述计算集群是否发生扩容变化，若是，运行资源申请单元；所述资源申请单元，用于根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源。

可选的，所述分布式系统中向数据库导入数据的装置，包括：

计算集群初始化判断单元，用于判断当前所述计算集群发生的扩容变化是否为所述计算集群的首次初始化，若是，运行应用调度器创建单元和所述资源申请单元；所述应用调度器创建单元，基于所述控制子模块通过预先设置的全局资源管理器创建应用调度器；若否，运行所述资源申请单元。

可选的，所述计算集群当中物理机器节点发生的变化基于所述节点检测子模块进行检测；所述物理机器节点检测比对单元基于所述控制子模块运行；以及，所述资源申请单元基于所述资源申请子模块运行。

可选的，所述分布式系统中向数据库导入数据的装置，包括：

机器节点信息获取发送单元，基于所述节点检测子模块获取所述计算集群当中物理机器节点的机器节点信息，并将当前获取到的所述机器节点信息向所述控制子模块发送。

可选的，所述分布式系统中向数据库导入数据的装置，包括：

变化后机器节点信息获取单元，基于所述节点检测子模块获取所述计算集群当中物理机器节点发生变化后的机器节点信息，并向所述控制子模块发送所述计算集群当中物理机器节点发生变化后的机器节点信息。

可选的，所述分布式系统中向数据库导入数据的装置，包括：

变化后机器节点信息发送单元，基于所述控制子模块向所述资源申请子模块发送所述计算集群当中物理机器节点发生变化后的机器节点信息。

可选的，所述资源申请单元，包括：

资源申请请求发送子单元，基于所述资源申请子模块向预先设置的全局资源管理器发送资源申请请求；

资源申请指令创建发送子单元，基于所述全局资源管理器根据接收到所述资源申请请求创建相应的资源申请指令，并分别向所述资源申请请求涉及的所述计算集群当中的物理机器节点一一对应的节点管理器发送对应的资源申请指令；

资源申请指令接收子单元，基于所述节点管理器接收所述全局资源管理器发送的资源申请指令；

资源分配子单元，基于所述节点管理器根据所述资源申请指令中包含的下载路径下载用于设置第一子节点的配置文件，并基于下载的所述配置文件在当前所在物理机器节点上设置所述第一子节点，为当前设置的所述第一子节点分配物理资源。

可选的，所述资源申请单元，包括：

物理机器节点判断子单元，基于所述节点管理器判断当前物理机器节点上是否存在第一子节点，若是，过滤掉所述资源申请指令；若否，运行所述资源分配子单元。

可选的，所述资源申请请求中包含：所述计算集群当中增加的物理机器节点中在其上设置第一子节点的机器节点列表，设置的所述第一子节点分配的物理资源的资源配置信息，以及下载设置的所述第一子节点所需配置文件的下载路径；相应的，所述资源申请指令中包含：在当前物理机器节点上设置所述第一子节点对应的所述资源配置信息和所述下载路径。

可选的，所述物理资源包括：CPU、内存、磁盘和网络资源；其中，所述网络资源包括：网络带宽和数据流量。

可选的，所述分布式系统中向数据库导入数据的装置，包括：

检测指令发送单元，基于所述控制子模块按照预设检测周期向所述下载检测子模块发送检测指令。

可选的，所述分布式系统中向数据库导入数据的装置，包括：

检测指令接收单元，基于所述下载检测子模块接收所述控制子模块发送的所述检测指令；

状态参数获取单元，用于获取所述计算集群当中物理机器节点上第一子节点的状态参数；所述状态参数包括运行状态信息和占用的物理资源信息；

运行状态判断单元，用于根据获取到的所述状态参数中包含的运行状态信息判断所述第一子节点是否存在运行异常，若是，运行执行重启单元；所述执行重启单元，用于对存在运行异常的所述第一子节点执行重启操作。

本申请提供的一种电子设备实施例如下：

在上述的实施例中，提供了一种分布式系统中数据入库的方法，此外，本申请还提供了一种用于实现所述分布式系统中数据入库的方法的电子设备，下面结合附图进行说明。

参照附图5，其示出了本实施例提供的一种电子设备的示意图。

本申请提供的所述电子设备用于实现本申请提供的所述分布式系统中数据入库的方法，本实施例与上述提供的分布式系统中数据入库的方法实施例相对应，阅读本实施例的内容请参照上述提供的分布式系统中数据入库的方法实施例的对应说明。下述描述的实施例仅仅是示意性的。

本申请提供一种电子设备，包括：

存储器501，以及处理器502；

所述存储器501用于存储计算机可执行指令，所述处理器502用于执行所述计算机可执行指令：

将接收到的入库请求根据其涉及的计算集群当中的计算节点拆分为与被涉及计算节点一一对应的子请求；

向所述被涉及计算节点上的第一子节点发送对应的子请求；并基于每一个所述被涉及计算节点执行下述计算机可执行指令：

所述第一子节点利用接收到的子请求携带的地址信息下载待入库数据；

所述第一子节点所在计算节点上的第二子节点将下载获得的所述待入库数据载入预设数据表中，完成数据入库。

可选的，所述计算节点上设置至少1个第二子节点，且最多设置有1个第一子节点。

可选的，所述第一子节点利用接收到的子请求携带的地址信息下载待入库数据，采用如下方式实现：

所述第一子节点从所述地址信息对应数据源下载其中存储的所述待入库数据；

所述第一子节点将所述待入库数据移至其所在计算节点上第二子节点的预设存储目录下。

可选的，所述第一子节点利用接收到的子请求携带的地址信息下载待入库数据指令执行后，且所述第一子节点所在计算节点上的第二子节点将下载获得的所述待入库数据载入预设数据表中，完成数据入库指令执行前，所述处理器502还用于执行下述计算机可执行指令：

所述第一子节点向预先设置的调度模块发送当前待入库数据下载完成的确认消息；

所述调度模块向所述第一子节点所在计算节点上当前待入库数据对应的第二子节点发送数据载入指令。

可选的，所述第一子节点所在计算节点上的第二子节点将下载获得的所述待入库数据载入预设数据表中，采用如下方式实现：

所述第一子节点所在计算节点上当前待入库数据对应的第二子节点接收所述调度模块发送的所述数据载入指令，并根据接收到的所述数据载入指令将所述待入库数据载入所述预设数据表中，完成数据入库。

可选的，所述入库请求中包含至少一个第二子节点的标识信息，以及所述标识信息确定的第二子节点对应的待入库数据的地址信息；相应的，所述子请求中包含其对应计算节点上第二子节点的标识信息，以及其对应计算节点的第二子节点对应的待入库数据的地址信息。

可选的，所述被涉及计算节点包括：所述标识信息对应的第二子节点所在的计算节点。

可选的，所述第一子节点所在计算节点上的第二子节点将下载获得的所述待入库数据载入预设数据表中，完成数据入库指令执行后，所述处理器502还用于执行下述计算机可执行指令：

判断所述入库请求中包含各标识信息对应的第二子节点是否全部完成数据入库，若是，通知预先设置的前端节点所述入库请求中包含各标识信息对应的第二子节点开始对外提供数据服务；若否，执行所述第一子节点利用接收到的子请求携带的地址信息下载待入库数据指令。

可选的，若所述计算节点上第二子节点的数目大于1，所述第一子节点采用多线程方式并行下载其所在计算节点上第二子节点对应的待入库数据，或者，所述第一子节点采用单线程处理方式依次下载其所在计算节点上第二子节点对应的待入库数据。

可选的，所述处理器502还用于执行下述计算机可执行指令：

若检测到用户输入的线程调度指令时，基于所述线程调度指令中包含的线程参数对所述第一子节点进行线程配置，并在配置完成后重启所述第一子节点。

可选的，所述计算集群由至少一台物理机器组成；相应的，所述计算节点包括：物理机器节点。

可选的，所述将接收到的入库请求根据其涉及的计算集群当中的计算节点拆分为与被涉及计算节点一一对应的子请求指令，以及所述向所述被涉及计算节点上的第一子节点发送对应的子请求指令，由所述处理器502通过预先设置的调度模块执行。

可选的，所述将接收到的入库请求根据其涉及的计算集群当中的计算节点拆分为与被涉及计算节点一一对应的子请求指令执行前，所述处理器502还用于执行下述计算机可执行指令：

预先设置的前端节点接收用户发送的所述入库请求并向所述调度模块转发；

所述调度模块接收所述前端节点转发的所述入库请求。

可选的，所述调度模块包括：控制子模块、节点检测子模块、资源申请子模块和下载检测子模块。

可选的，所述处理器502还用于执行下述计算机可执行指令：

当检测到所述计算集群当中物理机器节点发生变化时，对所述计算集群当中的物理机器节点发生变化前后的机器节点信息进行比对，根据比对结果判断所述计算集群是否发生扩容变化，若是，根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源。

可选的，所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源指令执行前，所述处理器502还用于执行下述计算机可执行指令：

判断当前所述计算集群发生的扩容变化是否为所述计算集群的首次初始化，若是，所述控制子模块通过预先设置的全局资源管理器创建应用调度器，并在所述应用调度器创建完成后执行所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源指令；若否，执行所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源指令。

可选的，所述计算集群当中物理机器节点发生的变化基于所述节点检测子模块进行检测；所述对所述计算集群当中的物理机器节点发生变化前后的机器节点信息进行比对，根据比对结果判断所述计算集群是否发生扩容变化指令由所述处理器502通过所述控制子模块执行；以及，所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源指令由所述处理器502通过所述资源申请子模块执行。

可选的，所述节点检测子模块检测所述计算集群当中物理机器节点发生变化前，所述处理器502还用于执行下述计算机可执行指令：

所述节点检测子模块获取所述计算集群当中物理机器节点的机器节点信息，并将当前获取到的所述机器节点信息向所述控制子模块发送。

可选的，所述节点检测子模块检测到所述计算集群当中物理机器节点发生变化后，且所述对所述计算集群当中的物理机器节点发生变化前后的机器节点信息进行比对，根据比对结果判断所述计算集群是否发生扩容变化指令执行前，所述处理器502还用于执行下述计算机可执行指令：

所述节点检测子模块获取所述计算集群当中物理机器节点发生变化后的机器节点信息，并向所述控制子模块发送所述计算集群当中物理机器节点发生变化后的机器节点信息。

可选的，所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源指令执行前，所述处理器502还用于执行下述计算机可执行指令：

所述控制子模块向所述资源申请子模块发送所述计算集群当中物理机器节点发生变化后的机器节点信息。

可选的，所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源，采用如下方式实现：

所述资源申请子模块向预先设置的全局资源管理器发送资源申请请求；

所述全局资源管理器根据接收到所述资源申请请求创建相应的资源申请指令，并分别向所述资源申请请求涉及的所述计算集群当中的物理机器节点一一对应的节点管理器发送对应的资源申请指令；

所述节点管理器接收所述全局资源管理器发送的资源申请指令；

所述节点管理器根据所述资源申请指令中包含的下载路径下载用于设置第一子节点的配置文件，并基于下载的所述配置文件在当前所在物理机器节点上设置所述第一子节点，为当前设置的所述第一子节点分配物理资源。

可选的，所述节点管理器接收所述全局资源管理器发送的资源申请指令的计算机可执行指令执行后，且所述节点管理器根据所述资源申请指令中包含的下载路径下载用于设置第一子节点的配置文件，并基于下载的所述配置文件在当前所在物理机器节点上设置所述第一子节点，为当前设置的所述第一子节点分配物理资源指令执行前，所述处理器502还用于执行下述计算机可执行指令：

所述节点管理器判断当前物理机器节点上是否存在第一子节点，若是，过滤掉所述资源申请指令；若否，执行所述节点管理器根据所述资源申请指令中包含的下载路径下载用于设置第一子节点的配置文件，并基于下载的所述配置文件在当前所在物理机器节点上设置所述第一子节点，为当前设置的所述第一子节点分配物理资源指令。

可选的，所述资源申请请求中包含：所述计算集群当中增加的物理机器节点中在其上设置第一子节点的机器节点列表，设置的所述第一子节点分配的物理资源的资源配置信息，以及下载设置的所述第一子节点所需配置文件的下载路径；相应的，所述资源申请指令中包含：在当前物理机器节点上设置所述第一子节点对应的所述资源配置信息和所述下载路径。

可选的，所述物理资源包括：CPU、内存、磁盘和网络资源；其中，所述网络资源包括：网络带宽和数据流量。

可选的，所述处理器502还用于执行下述计算机可执行指令：

所述控制子模块按照预设检测周期向所述下载检测子模块发送检测指令。

可选的，所述控制子模块按照预设检测周期向所述下载检测子模块发送检测指令的计算机可执行指令执行后，所述处理器502还用于执行下述计算机可执行指令：

所述下载检测子模块接收所述控制子模块发送的所述检测指令；

获取所述计算集群当中物理机器节点上第一子节点的状态参数；所述状态参数包括运行状态信息和占用的物理资源信息；

根据获取到的所述状态参数中包含的运行状态信息判断所述第一子节点是否存在运行异常，若是，对存在运行异常的所述第一子节点执行重启操作。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (28)

1.一种分布式系统中向数据库导入数据的方法，其特征在于，包括：

将接收到的入库请求根据其涉及的计算集群当中的计算节点拆分为与被涉及计算节点一一对应的子请求；

向所述被涉及计算节点上的第一子节点发送对应的子请求；并基于每一个所述被涉及计算节点执行下述步骤：

所述第一子节点利用接收到的子请求携带的地址信息下载待入库数据；

所述第一子节点所在计算节点上的第二子节点将下载获得的所述待入库数据载入预设数据表中，完成数据入库。

2.根据权利要求1所述的分布式系统中向数据库导入数据的方法，其特征在于，所述计算节点上设置至少1个第二子节点，且最多设置有1个第一子节点。

3.根据权利要求2所述的分布式系统中向数据库导入数据的方法，其特征在于，所述第一子节点利用接收到的子请求携带的地址信息下载待入库数据，采用如下方式实现：

所述第一子节点从所述地址信息对应数据源下载其中存储的所述待入库数据；

所述第一子节点将所述待入库数据移至其所在计算节点上第二子节点的预设存储目录下。

4.根据权利要求3所述的分布式系统中向数据库导入数据的方法，其特征在于，所述第一子节点利用接收到的子请求携带的地址信息下载待入库数据步骤执行后，且所述第一子节点所在计算节点上的第二子节点将下载获得的所述待入库数据载入预设数据表中，完成数据入库步骤执行前，执行下述步骤：

所述第一子节点向预先设置的调度模块发送当前待入库数据下载完成的确认消息；

所述调度模块向所述第一子节点所在计算节点上当前待入库数据对应的第二子节点发送数据载入指令。

5.根据权利要求4所述的分布式系统中向数据库导入数据的方法，其特征在于，所述第一子节点所在计算节点上的第二子节点将下载获得的所述待入库数据载入预设数据表中，采用如下方式实现：

所述第一子节点所在计算节点上当前待入库数据对应的第二子节点接收所述调度模块发送的所述数据载入指令，并根据接收到的所述数据载入指令将所述待入库数据载入所述预设数据表中，完成数据入库。

6.根据权利要求2所述的分布式系统中向数据库导入数据的方法，其特征在于，所述入库请求中包含至少一个第二子节点的标识信息，以及所述标识信息确定的第二子节点对应的待入库数据的地址信息；

相应的，所述子请求中包含其对应计算节点上第二子节点的标识信息，以及其对应计算节点的第二子节点对应的待入库数据的地址信息。

7.根据权利要求6所述的分布式系统中向数据库导入数据的方法，其特征在于，所述被涉及计算节点包括：所述标识信息对应的第二子节点所在的计算节点。

8.根据权利要求6所述的分布式系统中向数据库导入数据的方法，其特征在于，所述第一子节点所在计算节点上的第二子节点将下载获得的所述待入库数据载入预设数据表中，完成数据入库步骤执行后，执行下述步骤：

判断所述入库请求中包含各标识信息对应的第二子节点是否全部完成数据入库，若是，通知预先设置的前端节点所述入库请求中包含各标识信息对应的第二子节点开始对外提供数据服务；若否，返回执行所述第一子节点利用接收到的子请求携带的地址信息下载待入库数据步骤。

9.根据权利要求3所述的分布式系统中向数据库导入数据的方法，其特征在于，若所述计算节点上第二子节点的数目大于1，所述第一子节点采用多线程方式并行下载其所在计算节点上第二子节点对应的待入库数据，或者，所述第一子节点采用单线程处理方式依次下载其所在计算节点上第二子节点对应的待入库数据。

10.根据权利要求9所述的分布式系统中向数据库导入数据的方法，其特征在于，包括：

若检测到用户输入的线程调度指令时，基于所述线程调度指令中包含的线程参数对所述第一子节点进行线程配置，并在配置完成后重启所述第一子节点。

11.根据权利要求2所述的分布式系统中向数据库导入数据的方法，其特征在于，所述计算集群由至少一台物理机器组成；相应的，所述计算节点包括：物理机器节点。

12.根据权利要求11所述的分布式系统中向数据库导入数据的方法，其特征在于，所述将接收到的入库请求根据其涉及的计算集群当中的计算节点拆分为与被涉及计算节点一一对应的子请求步骤，以及所述向所述被涉及计算节点上的第一子节点发送对应的子请求步骤，由预先设置的调度模块执行。

13.根据权利要求12所述的分布式系统中向数据库导入数据的方法，其特征在于，所述将接收到的入库请求根据其涉及的计算集群当中的计算节点拆分为与被涉及计算节点一一对应的子请求步骤执行前，执行下述步骤：

预先设置的前端节点接收用户发送的所述入库请求并向所述调度模块转发；

所述调度模块接收所述前端节点转发的所述入库请求。

14.根据权利要求12所述的分布式系统中向数据库导入数据的方法，其特征在于，所述调度模块包括：控制子模块、节点检测子模块、资源申请子模块和下载检测子模块。

15.根据权利要求14所述的分布式系统中向数据库导入数据的方法，其特征在于，包括：

当检测到所述计算集群当中物理机器节点发生变化时，对所述计算集群当中的物理机器节点发生变化前后的机器节点信息进行比对，根据比对结果判断所述计算集群是否发生扩容变化，若是，根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源。

16.根据权利要求15所述的分布式系统中向数据库导入数据的方法，其特征在于，所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源步骤执行前，执行下述步骤：

判断当前所述计算集群发生的扩容变化是否为所述计算集群的首次初始化，若是，所述控制子模块通过预先设置的全局资源管理器创建应用调度器，并在所述应用调度器创建完成后执行所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源步骤；若否，执行所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源步骤。

17.根据权利要求15所述的分布式系统中向数据库导入数据的方法，其特征在于，所述计算集群当中物理机器节点发生的变化基于所述节点检测子模块进行检测；

所述对所述计算集群当中的物理机器节点发生变化前后的机器节点信息进行比对，根据比对结果判断所述计算集群是否发生扩容变化步骤由所述控制子模块执行；

以及，所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源步骤由所述资源申请子模块执行。

18.根据权利要求17所述的分布式系统中向数据库导入数据的方法，其特征在于，所述节点检测子模块检测所述计算集群当中物理机器节点发生变化前，执行下述步骤：

所述节点检测子模块获取所述计算集群当中物理机器节点的机器节点信息，并将当前获取到的所述机器节点信息向所述控制子模块发送。

19.根据权利要求18所述的分布式系统中向数据库导入数据的方法，其特征在于，所述节点检测子模块检测到所述计算集群当中物理机器节点发生变化后，且所述对所述计算集群当中的物理机器节点发生变化前后的机器节点信息进行比对，根据比对结果判断所述计算集群是否发生扩容变化步骤执行前，执行下述步骤：

所述节点检测子模块获取所述计算集群当中物理机器节点发生变化后的机器节点信息，并向所述控制子模块发送所述计算集群当中物理机器节点发生变化后的机器节点信息。

20.根据权利要求19所述的分布式系统中向数据库导入数据的方法，其特征在于，所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源步骤执行前，执行下述步骤：

所述控制子模块向所述资源申请子模块发送所述计算集群当中物理机器节点发生变化后的机器节点信息。

21.根据权利要求20所述的分布式系统中向数据库导入数据的方法，其特征在于，所述根据所述机器节点信息为所述计算集群当中增加的物理机器节点申请资源，采用如下方式实现：

所述资源申请子模块向预先设置的全局资源管理器发送资源申请请求；

所述全局资源管理器根据接收到所述资源申请请求创建相应的资源申请指令，并分别向所述资源申请请求涉及的所述计算集群当中的物理机器节点一一对应的节点管理器发送对应的资源申请指令；

所述节点管理器接收所述全局资源管理器发送的资源申请指令；

所述节点管理器根据所述资源申请指令中包含的下载路径下载用于设置第一子节点的配置文件，并基于下载的所述配置文件在当前所在物理机器节点上设置所述第一子节点，为当前设置的所述第一子节点分配物理资源。

22.根据权利要求21所述的分布式系统中向数据库导入数据的方法，其特征在于，所述节点管理器接收所述全局资源管理器发送的资源申请指令步骤执行后，且所述节点管理器根据所述资源申请指令中包含的下载路径下载用于设置第一子节点的配置文件，并基于下载的所述配置文件在当前所在物理机器节点上设置所述第一子节点，为当前设置的所述第一子节点分配物理资源步骤执行前，执行下述步骤：

所述节点管理器判断当前物理机器节点上是否存在第一子节点，若是，过滤掉所述资源申请指令；若否，执行所述节点管理器根据所述资源申请指令中包含的下载路径下载用于设置第一子节点的配置文件，并基于下载的所述配置文件在当前所在物理机器节点上设置所述第一子节点，为当前设置的所述第一子节点分配物理资源步骤。

23.根据权利要求21所述的分布式系统中向数据库导入数据的方法，其特征在于，所述资源申请请求中包含：

所述计算集群当中增加的物理机器节点中在其上设置第一子节点的机器节点列表，设置的所述第一子节点分配的物理资源的资源配置信息，以及下载设置的所述第一子节点所需配置文件的下载路径；

相应的，所述资源申请指令中包含：在当前物理机器节点上设置所述第一子节点对应的所述资源配置信息和所述下载路径。

24.根据权利要求21所述的分布式系统中向数据库导入数据的方法，其特征在于，所述物理资源包括：CPU、内存、磁盘和网络资源；

其中，所述网络资源包括：网络带宽和数据流量。

25.根据权利要求14所述的分布式系统中向数据库导入数据的方法，其特征在于，包括：

所述控制子模块按照预设检测周期向所述下载检测子模块发送检测指令。

26.根据权利要求25所述的分布式系统中向数据库导入数据的方法，其特征在于，所述控制子模块按照预设检测周期向所述下载检测子模块发送检测指令步骤执行后，执行下述步骤：

所述下载检测子模块接收所述控制子模块发送的所述检测指令；

获取所述计算集群当中物理机器节点上第一子节点的状态参数；所述状态参数包括运行状态信息和占用的物理资源信息；

根据获取到的所述状态参数中包含的运行状态信息判断所述第一子节点是否存在运行异常，若是，对存在运行异常的所述第一子节点执行重启操作。

27.一种分布式系统中向数据库导入数据的装置，其特征在于，包括：

入库请求拆分单元，用于将接收到的入库请求根据其涉及的计算集群当中的计算节点拆分为与被涉及计算节点一一对应的子请求；

子请求发送单元，用于向所述被涉及计算节点上的第一子节点发送对应的子请求；并基于每一个所述被涉及计算节点运行待入库数据下载单元和待入库数据载入单元；

所述待入库数据下载单元，基于所述第一子节点利用接收到的子请求携带的地址信息下载待入库数据；

所述待入库数据载入单元，基于所述第一子节点所在计算节点上的第二子节点将下载获得的所述待入库数据载入预设数据表中，完成数据入库。

28.一种电子设备，其特征在于，包括：

存储器，以及处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：

将接收到的入库请求根据其涉及的计算集群当中的计算节点拆分为与被涉及计算节点一一对应的子请求；

向所述被涉及计算节点上的第一子节点发送对应的子请求；并基于每一个所述被涉及计算节点执行下述计算机可执行指令：

所述第一子节点利用接收到的子请求携带的地址信息下载待入库数据；

所述第一子节点所在计算节点上的第二子节点将下载获得的所述待入库数据载入预设数据表中，完成数据入库。

Images