CN110858806B - 节点部署文件的生成方法及装置、节点部署方法及装置、电子设备 - Google Patents

Abstract

本申请涉及云计算技术领域，具体涉及一种节点部署文件的生成方法及装置、节点部署方法及装置、电子设备，其中节点部署文件的生成方法包括：获取节点信息，根据节点的输入数据格式信息和输出数据格式信息中的至少一种信息，获取节点之间的依赖关系，根据所述节点信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的节点部署文件，本申请的方法能够解决大数据方案在第二节点部署环境中需要通过人工部署的问题，使得部署人员通过节点部署文件就可以完成大数据方案的部署，无需对部署过程中任务的上下游非常熟悉，节省了人力、物力。

Description

节点部署文件的生成方法及装置、节点部署方法及装置、电子 设备

技术领域

本申请涉及云计算技术领域，具体涉及一种节点部署文件的生成方法及装置、节点部署方法及装置、电子设备。

背景技术

随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。利用大数据的信息可以帮助企业或组织研究市场竞争对手的行动、了解客户需求、寻找新的业务增长点。大数据处理常和云计算联系到一起，一个大数据方案需要将基础数据进行处理后，才能实现大数据的应用，实时的大数据处理往往需要数十、数百或甚至数千的电脑分配工作，因此，大数据解决方案的部署是一件费时、费力的事情。

在一个使用环境中部署大数据解决方案的过程中，往往需要一个团队，人员之间互相配合，然而在部署完成后，当需要在另一个相似的使用环境部署相同的大数据方案时，往往是通过人工部署的方式实现的，人工部署方式通过以下步骤生成：

1)在一个环境中生成解决方案的所有元数据、节点任务代码、节点调度属性和任务之间的依赖关系，并测试可运行；

2)记录解决方案包含的所有信息，在另外一个环境中重新成元数据信息，重新编写节点任务代码，重新配置任务依赖关系和调度任务，并在新环境中测试运行通过。

通过人工部署方式，需要在新环境中重新生成所有的元数据、节点任务代码，各个任务之间的依赖关系和调度信息，这些操作异常繁琐，且容易出错，现有利用人工部署的方法在实际的操作中较难应用，主要表现为以下两点：

1)对实施环境很熟悉，需要知道各个元数据怎么生成，各个任务怎么部署；

2)对本解决方案非常熟悉，包括各个节点任务的代码和实现工功能，需要对各个任务节点的依赖关系非常了解，对于复杂场景，有非常多任务存在，很难知道已经存在哪些任务，如果要新增任务，很难确定当前任务需要依赖哪些上游，尤其当存在多人协作的时候，这些依赖关系的管理会更加复杂繁琐。

上述两点对实施人员要求高，且在部署实施现场仍然会消耗大量的人力，实施成本非常高。

发明内容

本申请提供一种节点部署文件的生成方法，以解决现有技术存在的问题。

本申请另外提供一种节点部署文件的生成装置。本申请另外提供一种节点部署方法。本申请另外提供一种节点部署装置。本申请另外提供一种节点部署电子设备。

本申请提供一种节点部署文件的生成方法，在第一节点部署环境下，执行如下步骤：

获取节点信息，所述节点信息包括节点的输入数据格式信息和输出数据格式信息中的至少一种信息；

根据节点的输入数据格式信息和输出数据格式信息中的至少一种信息，获取节点之间的依赖关系；

根据所述节点信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的节点部署文件。

可选的，所述节点信息还包括节点的第一任务信息；

所述方法还包括：根据节点的第一任务信息获取节点的第一版本信息；

所述根据所述节点信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的节点部署文件，包括：根据所述节点的第一版本信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的第一节点部署文件。

可选的，获取节点的第二任务信息；

如果所述第二任务信息与所述第一任务信息不同，则根据所述第二任务信息生成节点的第二版本信息；

根据所述节点的第二版本信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的第二节点部署文件。

可选的，获取节点的第二任务信息；

如果所述第二任务信息与所述第一任务信息不同，并且节点的数量发生变化，则根据变化后的节点之间的依赖关系，获取节点的第二版本信息；

根据所述节点的第二版本信息和所述变化后的节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的第二节点部署文件。

可选的，所述第一版本信息包括代码信息、元数据信息和节点调度信息中的至少一种信息；

可选的，所述第二版本信息包括代码信息、元数据信息和节点调度信息中的至少一种信息。

本申请同时提供一种节点部署方法，在第二节点部署环境下，执行如下步骤：

获得用于在第二节点部署环境下部署节点的节点部署文件，所述节点部署文件为在第一节点部署环境下生成的节点部署文件；

解析所述节点部署文件，获得节点信息和节点之间的依赖关系；

根据所述节点信息创建节点信息或更新节点信息，并根据所述节点之间的依赖关系构建节点之间的依赖关系。

可选的，所述节点信息包括节点的输入数据格式信息和输出数据格式信息中的至少一种信息；

所述获得节点信息和节点之间的依赖关系，包括：根据所述节点的输入数据格式信息和输出数据格式信息中的至少一种信息，获取所述节点之间的依赖关系。

可选的，所述节点部署文件包括第一节点部署文件和第二节点部署文件；相应的，所述获得用于在第二节点部署环境下部署节点的节点部署文件，包括以下步骤：

解析第一节点部署文件，获得第一版本信息；

解析第二节点部署文件，获得第二版本信息；

判断第二节点部署环境下待部署节点信息是否包括所述第一版本信息或所述第二版本信息；

若是，则判断待部署节点是否需要进行版本信息更新；

若是，则将所述第一部署文件或所述第二部署文件作为所述节点部署文件。

可选的，所述节点信息包括节点的输入数据格式信息和输出数据格式信息中的至少一种信息；

所述根据所述节点信息创建节点，包括：

根据所述输出数据格式信息为根节点配置输出数据格式；

根据所述输入数据格式信息和所述输出数据格式信息，为中间节点配置输入数据格式和输出数据格式；

根据所述输入数据格式信息为叶子结点配置输入数据格式。

可选的，如果第二节点部署环境下待部署节点的信息不包括所述第一版本信息和所述第二版本信息中的任意一种信息，则将所述第一部署文件或所述第二部署文件作为所述节点部署文件。

可选的，如果待部署节点不需要进行版本信息更新，则将所述第一部署文件或所述第二部署文件作为所述节点部署文件。

可选的，所述第一版本信息和第二版本信息分别包括代码信息、元数据信息和节点调度信息中的至少一种信息。

本申请同时提供一种节点部署文件的生成装置，包括：

第一获取模块，用于获取节点信息，所述节点信息包括节点的输入数据格式信息和输出数据格式信息中的至少一种信息；

第二获取模块，用于根据节点的输入数据格式信息和输出数据格式信息中的至少一种信息，获取节点之间的依赖关系；

生成模块，用于根据所述节点信息和所述节点之间的依赖关系，生成节点部署文件。

可选的，所述节点信息还包括节点的第一任务信息；

所述第一获取模块还用于根据节点的第一任务信息生成节点的第一版本信息；

所述生成模块具体用于根据所述节点的第一版本信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的第一节点部署文件。

可选的，所述第一获取模块还用于获取节点的第二任务信息；

所述生成装置还包括第三获取模块，用于当所述第二任务信息与所述第一任务信息不同时，根据所述第二任务信息生成节点的第二版本信息；

所述生成模块具体用于根据所述节点的第二版本信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的第二节点部署文件。

可选的，所述第一获取模块还用于获取节点的第二任务信息；

所述生成装置还包括第三获取模块，用于当所述第二任务信息与所述第一任务信息不同，并且节点的数量发生变化时，根据所述节点之间的依赖关系，获取节点的第二版本信息；

所述生成模块具体用于根据所述节点的第二版本信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的第二节点部署文件。

可选的，所述第一版本信息包括代码信息、元数据信息和节点调度信息；

可选的，所述第二版本信息包括代码信息、元数据信息和节点调度信息；

本申请同时提供一种节点部署装置，包括：

获取模块，获得用于在第二节点部署环境下部署节点的节点部署文件，所述节点部署文件为在第一节点部署环境下生成的节点部署文件；

第一解析模块，解析所述节点部署文件，获得节点信息和节点之间的依赖关系；

第一生成模块，根据所述节点信息创建节点或更新节点，并根据所述节点之间的依赖关系构建节点之间的依赖关系。

可选的，所述装置还包括第二解析模块第二生成模块，所述第二解析模块用于解析节点信息获得节点的输入数据格式信息和输出数据格式信息中的至少一种信息；

所述第二生成模块用于根据所述节点的输入数据格式信息和输出数据格式信息中的至少一种信息，获取所述节点之间的依赖关系。

可选的，所述节点部署文件包括第一节点部署文件和第二节点部署文件；相应的，所述获取模块用于获得用于在第二节点部署环境下部署节点的节点部署文件，所述节点部署文件为在第一节点部署环境下生成的节点部署文件，获取模块还包括：

第一解析单元，所述第一解析单元用于解析第一节点部署文件，获得第一版本信息；

第二解析单元，所述第二解析单元用于解析第二节点部署文件，获得第二版本信息；

第一判断单元，所述第一判断单元用于判断第二节点部署环境下待部署节点的信息是否包括所述第一版本信息或所述第二版本信息；

第二判断单元，所述第二判断单元用于判断待部署节点是否需要进行版本信息更新；

获取单元，所述获取单元用于获得所述第一版本信息或第二版本信息对应的第一部署文件或第二部署文件作为所述节点部署文件；

可选的，所述节点信息包括节点的输入数据格式信息和输出数据格式信息中的至少一种信息；

所述生成模块包括：

第一配置单元，所述第一配置单元用于根据所述输出数据格式信息为根节点配置输出数据格式；

第二配置单元，所述第二配置单元用于根据所述输入数据格式信息和所述输出数据格式信息，为中间节点配置输入数据格式和输出数据格式；

第三配置单元，所述第三配置单元用于根据所述输入数据格式信息为叶子结点配置输入数据格式。

可选的，所述第一判断模块判断第二节点部署环境下待部署节点的信息不包括所述第一版本信息和所述第二版本信息中的任意一种信息时，所述第获取单元将所述第一部署文件或所述第二部署文件作为所述节点部署文件；

可选的，所述第二判断单元判断待部署节点不需要进行版本信息更新时，所述获取单元将所述第一部署文件或所述第二部署文件作为所述节点部署文件；

可选的，所述第一版本信息和第二版本信息分别包括代码信息、元数据信息和节点调度信息中的至少一种信息。

与现有技术相比，本发明具有以下优点:

与现有技术下的比较，本申请提供的一种节点部署文件的生成方法以及一种节点部署装置，通过在第一节点部署环境下，执行如下步骤：获取节点信息；根据节点的输入数据格式信息和输出数据格式信息中的至少一种信息，获取节点之间的依赖关系；根据所述节点信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的节点部署文件，能够解决大数据方案在第二节点部署环境中需要通过人工部署的问题，使得部署人员通过节点部署文件就可以完成大数据方案的部署，无需对部署过程中任务的上下游非常熟悉，节省了人力、物力。

与现有技术下的比较，本发明提供的一种节点部署方法以及一种节点部署装置，通过在第二节点部署环境下，执行如下步骤：获得用于在第二节点部署环境下部署节点的节点部署文件，所述节点部署文件为在第一节点部署环境下生成的节点部署文件；解析所述节点部署文件，获得节点信息和节点之间的依赖关系；根据所述节点信息创建节点或更新节点信息，并根据所述节点之间的依赖关系构建节点之间的依赖关系，能够在第二节点部署环境中根据部署环境的需要，在第二节点部署环境中不存在大数据解决方案的情况下创建节点，实现大数据解决方案的部署，在第二节点环境中存在旧的大数据解决方案的情况下更新节点，从而实现在第二节点环境中根据实际业务的需要完成相应的部署的有益效果。

附图说明

图1是本申请实施例提供的一种节点部署文件的生成方法的流程图；

图2是本申请实施例提供的一种节点部署文件的生成方法的一种具体实施例的流程图；

图3是本申请实施例提供的一种节点部署方法的流程图；

图4是本申请实施例提供的一种节点部署方法的获取节点部署文件的流程图；

图5是本申请实施例提供的一种节点部署方法的计算节点创建的流程图；

图6是本申请实施例提供的一种节点部署文件的生成装置；

图7是本申请实施例提供的一种节点部署装置。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

在本申请中，分别提供一种节点部署文件的生成方法、一种节点部署方法、一种节点部署文件的生成装置、一种节点部署装置以及一种电子设备，在下面的实施例中将会逐一进行详细说明。

为了便于理解，首先对与本申请相关的技术进行简要说明。

本申请中的节点部署是指，将大数据解决方案部署在多个节点上，针对每个节点分配有节点信息，节点之间通常存在依赖关系。目前，大数据架构一般采用经典的Lambda架构，通过分布式存储系统存储海量数据，区分批处理层和加速层，提供离线查询和实时查询服务。通常，在这种架构下，实时计算和离线计算可以同时进行，甚至还有一些不定期调度任务。大数据解决方案包含每个节点的元数据信息(表结构等)、节点代码信息、节点调度属性信息和节点之间的依赖关系，本申请是将节点部署过程完成后经过测试运行有效的大数据解决方案打包成文件，该文件保存有节点部署中的信息，从而实现将一个大数据环境下部署的解决方案通过打包文件的方式复制到另一个大数据环境中的目的。

在实施本申请时，通过在第一节点部署环境下执行部署多个节点的操作，将节点部署过程中的每个节点信息保存成文件的格式，由于节点之间依靠数据的输入和输出形成节点之间的依赖关系，在第一节点部署环境中部署多个节点后，将每个节点的节点信息以及节点之间的依赖关系打包成一个部署文件，在第二节点部署环境中将第一节点部署环境中打包的部署文件解析，自动完成在第二节点部署环境中节点的部署，从而得到与第一节点部署环境相同的第二节点部署环境，简化了在第二个环境中部署节点的操作，无需重复进行操作，只需解析打包的部署文件即可生成一个大数据解决方案。

在具体实施时，本申请提供的方法可以作为一个完整的技术方案独立实现，也可以从简化实施过程的角度出发，将上述方法在算法敏捷服务平台(ASAP)上实现，ASAP是一款算法综合管理平台，通过对算法部署、接入、调试、调用等过程的一体化管理，实现算法与应用的解耦、算法复用，应用可以基于标准化产品的统一接口快速封装解决方案，提高算法工程化效率。

下面对本申请进行详细描述。请参考图1，其为本申请的一种节点部署文件的生成方法的流程图。在第一节点部署环境下，执行如下步骤：

步骤101：获取节点信息，所述节点信息包括节点的输入数据格式信息和输出数据格式信息中的至少一种信息。

本步骤中，节点分为三类，一类是数据的输入节点，负责与外界交互而向系统提供数据；另一类是数据的计算节点，负责完成某种处理功能如过滤、累加、合并等；再另一类是数据的输出节点，负责将经过处理的数据与外界交互。对于输入节点获取输出数据格式，对计算节点获取输入数据格式和输出数据格式，对输出节点获取输入数据格式。

在具体实施时，对于每一个计算节点，都可以当做一个算法，执行相应的节点任务，节点在处理数据时，数据经过当前节点的处理流向下一个节点，对当前计算节点来说，数据以输入数据格式流入当前计算节点且数据以输出形式流出当前计算节点，并且数据流出当前计算节点后以相同的输出数据格式流入下一计算节点。

数据经过当前计算节点的处理流入下一计算节点会带来数据格式的变化，这可能是因为每一计算节点执行的节点任务对应的数据格式不同造成的，或者是由元数据的变化引起的，对于单一的计算节点来说，数据输入和输出的格式可以同是数值、字符或者二进制中的一种，节点的输入数据格式信息和输出数据格式信息中的至少一种信息可以由人工为每个计算节点分配相应的格式信息，相应的对于人工分配的数据格式信息，分别获取每个计算节点的输入数据格式和输出数据格式，若在ASAP平台进行大数据解决方案的部署，则可以导入表的建表语句来创建标准数据格式，而后为每个计算节点配置相应的标准数据格式信息，相应的对于由建表语句导入的标准数据格式，则获取每个计算节点的标准输入数据格式和标准输出数据格式。

步骤102：根据节点的输入数据格式信息和输出数据格式信息中的至少一种信息，获取节点之间的依赖关系；

本步骤中，节点之间的依赖关系，指的是当前节点与其上下游节点之间的关系，当前节点可以为计算节点、输入节点或输出节点；对于计算节点通过输入数据格式信息和输出数据格式信息获得计算节点之间的依赖关系，对于输入节点通过输出数据格式信息获得与计算节点的依赖关系，对于输出节点通过输入数据格式信息获得与计算节点的依赖关系。

以计算节点为例进行说明如下：从输入节点输入的待处理数据经过当前计算节点的处理后，处理后的数据分到下游计算节点对应的节点任务，并进行数据的处理，对于下游计算节点，根据来自当前计算节点的输出格式信息既可以定位该当前计算节点，从而获得与当前计算节点的依赖关系，因此，无需对当前计算节点和下游计算节点的节点任务进行分析、无需确定节点任务之间的关联性，由当前计算节点的输入数据格式信息和输出数据格式信息中的至少一种信息即可确定当前计算节点的上游计算节点和下游计算节点。

步骤103：根据所述节点信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的节点部署文件。

第二节点部署环境下部署节点的节点部署文件指的是包含节点信息和节点之间的依赖关系的部署文件，第二节点部署环境指的是与第一节点部署环境相同的环境，以大数据解决方案的部署为例，大数据解决方案在第一节点部署环境中进行部署通常是人工进行的，在第二节点部署环境中部署大数据解决方案是将第一节点部署环境部署的大数据解决方案通过复制的方式移植到第二节点部署环境中。

如图2所示，其为本申请的一种节点部署文件的生成方法的一种具体实施例的流程图，在本实施例中，在执行上述步骤101-103的过程中，还可以执行如下步骤：

步骤101-1：获取节点信息，节点信息包括节点的第一任务信息，节点的第一任务信息通过获取节点信息得到，第一任务信息指的是与节点任务有关的信息，在一个大数据解决方案中根据采用的数据处理模式的不同，采用Hadoop/ODPS、Flink/Blink或其它分布式系统，相应的计算节点任务包括离线任务、实时任务或单机任务，针对单一的计算节点具有确定的任务类型信息。

步骤102-1：根据节点的第一任务信息获取节点的第一版本信息；

节点的第一版本信息包括代码信息、元数据信息和节点调度信息中的至少一种信息，其中元数据信息用于描述数据的属性，获取节点信息时，节点信息包括了节点的数据输入格式和数据输出格式，而由数据输入格式和数据输出格式相当于定义了元数据信息；其中代码信息是指在第一节点部署环境中测试过可运行的有效代码，即能够完成当前计算节点执行的计算节点任务，如离线任务、实时任务等；节点调度信息指的的计算节点之间计算节点任务的调度。

步骤103-1：根据所述节点的第一版本信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的第一节点部署文件。

获取计算节点的第一版本信息后，将第一版本信息中的节点代码信息、元数据信息和节点调度信息中的至少一种信息打包生成第一节点部署文件，第一节点部署文件中保存有数据输入格式和/数据输出格式，用于确定节点之间的依赖关系。

在本实施例中，在执行上述步骤101-103的过程中，还可以执行如下步骤：

执行步骤101-1后，还可以执行步骤101-2：获取节点的第二任务信息，节点的第二任务信息也是指与节点任务有关的信息，可以是离线任务、实时任务或单机任务。

执行步骤102-1后，还可以执行步骤102-2：如果所述第二任务信息与所述第一任务信息不同，则根据所述第二任务信息生成节点的第二版本信息，其中节点的第二版本信息包括代码信息、元数据信息和节点调度信息中的至少一种信息，进一步的，第二版本信息可以来自于第一版本信息中代码信息、元数据信息和节点调度信息中的至少一种信息的调整，这种调整可能是由于版本升级的需要或者是节点任务的变化造成，经过调整后得到第二版本信息，更进一步的，当前计算节点执行的节点任务增加或减少也会导致生成第二版本信息，如当前计算节点由执行单个实时任务变为被分配执行2个实时任务导致第二版本信息的变化，则2个实时任务分别生成的版本信息组成第二版本信息，其它能引起第二版本信息与第一版本信息不同的原因不一一列举，通常当获得节点的任务信息与第一任务信息不同时，生成第二版本信息。

执行步骤103-1后，还可以执行步骤103-2：根据所述节点的第二版本信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的第二节点部署文件。

获取计算节点的第二版本信息后，将第二版本信息中的节点代码信息、元数据信息和节点调度信息中的至少一种信息打包生成第二节点部署文件，第二节点部署文件中保存有数据输入格式和/数据输出格式，用于确定节点之间的依赖关系

在本实施例中，在执行步骤102-2之后，还可以执行步骤102-3：如果所述第二任务信息与所述第一任务信息不同，并且节点的数量发生变化，则根据变化后的节点之间的依赖关系，获取节点的第二版本信息，具体的，节点的数量可以增加或者减少，当节点数量发生变化时，相当于在大数据解决方案部署的节点集群中插入或者删除某个节点，通过当前计算节点能够定位其上下游节点，由上下游节点也可以通过数据输入格式和数据输出格式中的至少一种格式定位节点，直到定位到发生变化的节点，在计算节点和发生变化的节点之间，节点之间的依赖关系发生变化，获取节点的第二版本信息包括发生变化的节点与其它节点之间的依赖关系以及每个节点的代码信息、元数据信息和节点调度信息中的至少一种信息。

在执行步骤102-3之后，还可以执行步骤103-3：根据所述节点的第二版本信息和所述变化后的节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的第二节点部署文件。

获取计算节点的第二版本信息后，将第二版本信息中的节点代码信息、元数据信息和节点调度信息中的至少一种信息打包生成第二节点部署文件，第二节点部署文件中保存有数据输入格式和/数据输出格式，用于确定节点之间的依赖关系。

图3是本发明的一种节点部署方法的流程图。具体的，在第二节点部署环境下，执行如下步骤：

步骤201：获得用于在第二节点部署环境下部署节点的节点部署文件，所述节点部署文件为在第一节点部署环境下生成的节点部署文件；

步骤202：解析所述节点部署文件，获得节点信息和节点之间的依赖关系；

其中，节点信息包括节点的输入数据格式信息和输出数据格式信息中的至少一种信息，获得节点之间的依赖关系是指根据所述节点的输入数据格式信息和输出数据格式信息中的至少一种信息，获取所述节点之间的依赖关系。

本步骤中，节点分为三类，一类是数据的输入节点，负责与外界交互而向系统提供数据；另一类是数据的计算节点，负责完成某种处理功能如过滤、累加、合并等；再另一类是数据的输出节点，负责将经过处理的数据与外界交互。对于输入节点获取输出数据格式，对计算节点获取输入数据格式和输出数据格式，对输出节点获取输入数据格式。

步骤203：根据所述节点信息创建节点信息或更新节点信息，并根据所述节点之间的依赖关系构建节点之间的依赖关系

其中构建节点之间的依赖关系为根据解析出的第一节点部署环境中的节点之间的依赖关系，即由输入数据格式和输出数据格式中的至少一种格式确认的第一节点部署环境中的节点之间的依赖关系，在第二节点部署环境中当创建节点或更新节点后，根据解析出的输入数据格式和输出数据格式中的至少一种格式构建第二节点部署环境中节点之间的依赖关系。

图4是本发明的一种节点部署方法的获取节点部署文件的的流程图。本实施例可适用于第二节点部署环境中已部署计算节点不满足业务需求需要部署新的计算节点的场景，具体的，本实施例包括如下步骤：

在执行步骤201时，获得的节点部署文件包括第一节点部署文件和第二节点部署文件，则执行以下步骤：

步骤201-1：解析第一节点部署文件，获得第一版本信息，第一版本信息包括代码信息、元数据信息和节点调度信息中的至少一种信息；

步骤201-2：解析第二节点部署文件，获得第二版本信息，第二版本信息包括代码信息、元数据信息和节点调度信息中的至少一种信息；

步骤201-3：判断第二节点部署环境下待部署节点信息是否包括所述第一版本信息或所述第二版本信息；

若是，则执行步骤201-4：判断待部署节点是否需要进行版本信息更新；

若是，则执行步骤201-5：所述第一部署文件或所述第二部署文件作为所述节点部署文件；

执行步骤201-3-1后，执行步骤202：解析所述节点部署文件，获得节点信息和节点之间的依赖关系；

步骤203时，根据所述节点信息更新第二节点部署环境中的节点信息，并根据所述节点之间的依赖关系构建第二节点部署环境中节点之间的依赖关系。

在执行步骤201-3-1后确定在待部署节点进行部署的节点部署文件，以第一部署文件为节点部署文件为例进行说明如下：

当确定第一部署文件为待部署文件后，待部署节点中由于已经创建了其它版本信息的节点信息，在此情况下需要对待部署节点的节点信息进行更新，在执行步骤202时，解析第一部署文件得到获得第一版本信息，第一版本信息包括代码信息、元数据信息和节点调度信息中的至少一种信息；

在执行步骤203时，根据节点信息更新第二节点部署环境中的节点信息是指将第一版本信息中包括代码信息、元数据信息和节点调度信息中的至少一种信息，上述所有信息中与待部署节点中的代码信息、元数据信息和节点调度信息进行比较后，更新上述所有信息中不同的信息，实现对第二节点部署环境中节点信息的更新。

根据节点之间的依赖关系构建节点之间的依赖关系是指对第二节点部署环境中的节点之间的依赖关系进行构建，从而实现在第二节点部署环境中大数据解决方案的部署，实现将第一节点部署环境中运行的大数据解决方案成功部署在第二节点部署环境中。

图5是本发明的一种节点部署方法的计算节点创建的流程图。本实施例可适用于第二节点部署环境中未部署计算节点的场景，具体的，本实施例包括如下步骤：如果第二节点部署环境下待部署节点的信息不包括所述第一版本信息和所述第二版本信息中的任意一种信息，则将所述第一部署文件或所述第二部署文件作为所述节点部署文件，具体的，上述操作步骤是将部署文件中的第一版本信息和第二版本信息与待部署节点中的版本信息进行比较，若待部署节点并不存在版本信息则说明之前并未该待部署节点中部署过节点信息，此时，只要进行节点创建即可完成大数据解决方案的部署。

其中第一版本信息包括代码信息、元数据信息和节点调度信息中的至少一种信息，现以计算节点信息的创建为例进行说明，节点信息的创建包括如下步骤：

步骤S301：选择任务，其中任务可以为离线任务、实时任务和单机节点任务中的一种；

步骤S302：配置任务信息，包括任务名称、节点唯一标识编码、节点的功能注释，节点的类目标签等信息；

步骤S303：为计算节点配置数据输入格式；

步骤S304：上传任务代码，改该代码是在第一节点部署环境中可运行的有效代码；

步骤S305：为计算节点配置数据输出格式；

步骤S306：配置节点调度信息以及相关参数，该参数可以是节点调度参数或性能优化参数；

在执行步骤203时，根据所述节点信息创建第二节点部署环境中的节点信息，并根据所述节点之间的依赖关系构建第二节点部署环境中节点之间的依赖关系。

根据节点信息创建第二节点部署环境中的节点信息是指根据将第一版本信息中包括代码信息、元数据信息和节点调度信息中的至少一种信息在待部署节点上进行创建，完成待部署节点信息的创建后，根据节点之间的依赖关系构建第二节点部署环境中节点之间的依赖关系，从而实现在第二节点部署环境中大数据解决方案的部署，实现将第一节点部署环境中运行的大数据解决方案成功部署在第二节点部署环境中。

在本发明另一个可选择的实施例中，本实施例可适用于第二节点部署环境中已部署计算节点需要调整部署位置的场景，具体的，本实施例包括如下步骤：如果待部署节点不需要进行版本信息更新，则将所述第一部署文件或所述第二部署文件作为所述节点部署文件。

在执行步骤203时，解析所述节点部署文件，获得节点之间的依赖关系，根据所述节点之间的依赖关系构建第二节点部署环境中节点之间的依赖关系。

具体的，上述操作步骤在执行之前，先将部署文件中的第一版本信息和第二版本信息与待部署节点中的版本信息进行比较，若待部署节点存在版本信息，则执行本步骤，现以待部署节点存在第一版本信息为例进行说明：

当待部署节点存在第一版本信息时，其中第一版本信息包括代码信息、元数据信息和节点调度信息中的至少一种信息，则在该待部署节点部署上述信息，之后根据从部署文件解析得到的第一部署环境中节点之间的依赖关系，完成第二节点部署环境中待部署节点之间的依赖关系的构建，从而实现在第二节点部署环境中大数据解决方案的部署，实现将第一节点部署环境中运行的大数据解决方案成功部署在第二节点部署环境中。

上述的实施例中，提供了一种节点部署文件的生成方法，与之相对应的本发明还提供一种节点部署文件的生成装置，请参看图6，其为本申请种节点部署文件的生成装置的实施例示意图。由于装置实施例基本类似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

本发明实施例的一种节点部署文件的生成装置，包括：第一获取模块，用于获取节点信息，所述节点信息包括节点的输入数据格式信息和输出数据格式信息中的至少一种信息，第二获取模块，用于根据节点的输入数据格式信息和输出数据格式信息中的至少一种信息，获取节点之间的依赖关系，生成模块，用于根据所述节点信息和所述节点之间的依赖关系，生成节点部署文件。

可选的，所述节点信息还包括节点的第一任务信息，所述第一获取模块还用于根据节点的第一任务信息生成节点的第一版本信息，相应的，所述生成模块具体用于根据所述节点的第一版本信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的第一节点部署文件。

可选的，所述第一获取模块还用于获取节点的第二任务信息，相应的，所述生成装置还包括第三获取模块，用于当所述第二任务信息与所述第一任务信息不同时，根据所述第二任务信息生成节点的第二版本信息，所述生成模块具体用于根据所述节点的第二版本信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的第二节点部署文件。

可选的，所述第一获取模块还用于获取节点的第二任务信息，相应的，所述生成装置还包括第三获取模块，用于当所述第二任务信息与所述第一任务信息不同，并且节点的数量发生变化时，根据所述节点之间的依赖关系，获取节点的第二版本信息，所述生成模块具体用于根据所述节点的第二版本信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的第二节点部署文件。

可选的，所述第一版本信息包括代码信息、元数据信息和节点调度信息。

可选的，所述第二版本信息包括代码信息、元数据信息和节点调度信息。

上述的实施例中，提供了一种节点部署方法，与之相对应的本发明还提供一种节点部署装置，请参看图7，其为本申请种节点部署装置的实施例示意图。由于装置实施例基本类似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

本发明实施例的一种节点部署装置，包括：获取模块，获得用于在第二节点部署环境下部署节点的节点部署文件，所述节点部署文件为在第一节点部署环境下生成的节点部署文件，第一解析模块，解析所述节点部署文件，获得节点信息和节点之间的依赖关系，第一生成模块，根据所述节点信息创建节点或更新节点，并根据所述节点之间的依赖关系构建节点之间的依赖关系。

可选的，所述装置还包括第二解析模块第二生成模块，所述第二解析模块用于解析节点信息获得节点的输入数据格式信息和输出数据格式信息中的至少一种信息，相应的，所述第二生成模块用于根据所述节点的输入数据格式信息和输出数据格式信息中的至少一种信息，获取所述节点之间的依赖关系。

可选的，所述节点部署文件包括第一节点部署文件和第二节点部署文件，相应的，所述获取模块用于获得用于在第二节点部署环境下部署节点的节点部署文件，所述节点部署文件为在第一节点部署环境下生成的节点部署文件，获取模块还包括：第一解析单元，所述第一解析单元用于解析第一节点部署文件，获得第一版本信息；第二解析单元，所述第二解析单元用于解析第二节点部署文件，获得第二版本信息；第一判断单元，所述第一判断单元用于判断第二节点部署环境下待部署节点的信息是否包括所述第一版本信息或所述第二版本信息；第二判断单元，所述第二判断单元用于判断待部署节点是否需要进行版本信息更新；获取单元，所述获取单元用于获得所述第一版本信息或第二版本信息对应的第一部署文件或第二部署文件作为所述节点部署文件；相应的，所述第一生成模块用于根据所述节点信息更新节点，并根据所述节点之间的依赖关系构建节点之间的依赖关系。

可选的，所述节点信息包括节点的输入数据格式信息和输出数据格式信息中的至少一种信息；所述生成模块包括：第一配置单元，所述第一配置单元用于根据所述输出数据格式信息为根节点配置输出数据格式；第二配置单元，所述第二配置单元用于根据所述输入数据格式信息和所述输出数据格式信息，为中间节点配置输入数据格式和输出数据格式；第三配置单元，所述第三配置单元用于根据所述输入数据格式信息为叶子结点配置输入数据格式。

可选的，所述第一判断模块判断第二节点部署环境下待部署节点的信息不包括所述第一版本信息和所述第二版本信息中的任意一种信息时，所述第获取单元将所述第一部署文件或所述第二部署文件作为所述节点部署文件；相应的，所述第一生成模块用于根据所述节点信息创建节点，并根据所述节点之间的依赖关系构建节点之间的依赖关系。

可选的，所述第二判断单元判断待部署节点不需要进行版本信息更新时，所述获取单元将所述第一部署文件或所述第二部署文件作为所述节点部署文件；相应的，所述第一生成模块用于解析所述节点部署文件，获得节点之间的依赖关系；根据所述节点之间的依赖关系构建节点之间的依赖关系。

可选的，所述第一版本信息和第二版本信息分别包括代码信息、元数据信息和节点调度信息中的至少一种信息。

本发明公开了另外一种电子设备，包括：处理器；存储器，用于存储节点部署程序，所述程序在被所述处理器读取执行时，执行如下操作：获取节点信息，所述节点信息包括节点的输入数据格式信息和输出数据格式信息中的至少一种信息；根据节点的输入数据格式信息和输出数据格式信息中的至少一种信息，获取节点之间的依赖关系；根据所述节点信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的节点部署文件。

本发明还公开了一种电子设备，包括：处理器；存储器，用于存储节点部署程序，所述程序在被所述处理器读取执行时，执行如下操作：获得用于在第二节点部署环境下部署节点的节点部署文件，所述节点部署文件为在第一节点部署环境下生成的节点部署文件；解析所述节点部署文件，获得节点信息和节点之间的依赖关系；根据所述节点信息创建节点或更新节点信息，并根据所述节点之间的依赖关系构建节点之间的依赖关系。

本发明虽然以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (20)

1.一种节点部署文件的生成方法，其特征在于，在第一节点部署环境下，执行如下步骤：

获取节点信息，所述节点信息包括节点的输入数据格式信息和输出数据格式信息中的至少一种信息，所述节点为处理大数据任务的节点；

根据节点的输入数据格式信息和输出数据格式信息中的至少一种信息，获取节点之间的依赖关系，所述节点之间的依赖关系是指当前节点与所述当前节点的上游节点和下游节点之间的关系；

根据所述节点信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的节点部署文件，所述第二节点部署环境是与所述第一节点部署环境相同的环境，所述部署节点是将大数据解决方案部署在多个节点上，所述大数据解决方案包含每个节点的元数据信息、节点代码信息、节点调度属性信息中的至少一种信息和节点之间的依赖关系，所述用于在第二节点部署环境下部署节点的节点部署文件用于在所述第二节点部署环境下创建节点信息或更新节点信息。

2.根据权利要求1所述的方法，其特征在于，所述节点信息还包括节点的第一任务信息；

所述方法还包括：根据节点的第一任务信息获取节点的第一版本信息；

所述根据所述节点信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的节点部署文件，包括：根据所述节点的第一版本信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的第一节点部署文件。

3.根据权利要求2所述的方法，其特征在于，还包括：

获取节点的第二任务信息；

如果所述第二任务信息与所述第一任务信息不同，则根据所述第二任务信息生成节点的第二版本信息；

根据所述节点的第二版本信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的第二节点部署文件。

4.根据权利要求2所述的方法，其特征在于，还包括：

获取节点的第二任务信息；

如果所述第二任务信息与所述第一任务信息不同，并且节点的数量发生变化，则根据变化后的节点之间的依赖关系，获取节点的第二版本信息；

根据所述节点的第二版本信息和所述变化后的节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的第二节点部署文件。

5.根据权利要求2所述的方法，其特征在于，所述第一版本信息包括代码信息、元数据信息和节点调度信息中的至少一种信息。

6.根据权利要求3或4所述的方法，其特征在于，所述第二版本信息包括代码信息、元数据信息和节点调度信息中的至少一种信息。

7.一种节点部署方法，其特征在于，在第二节点部署环境下，执行如下步骤：

获得用于在第二节点部署环境下部署节点的节点部署文件，所述节点部署文件为在第一节点部署环境下生成的节点部署文件，所述节点为处理大数据任务的节点，所述第二节点部署环境是与所述第一节点部署环境相同的环境，所述部署节点是将大数据解决方案部署在多个节点上，所述大数据解决方案包含每个节点的元数据信息、节点代码信息、节点调度属性信息中的至少一种信息和节点之间的依赖关系；

解析所述节点部署文件，获得节点信息和节点之间的依赖关系；

根据所述节点信息创建节点信息或更新节点信息，并根据所述节点之间的依赖关系构建节点之间的依赖关系，所述节点之间的依赖关系是指当前节点与所述当前节点的上游节点和下游节点之间的关系。

8.根据权利要求7所述的方法，其特征在于，所述节点信息包括节点的输入数据格式信息和输出数据格式信息中的至少一种信息；

所述获得节点信息和节点之间的依赖关系，包括：根据所述节点的输入数据格式信息和输出数据格式信息中的至少一种信息，获取所述节点之间的依赖关系。

9.根据权利要求7所述的方法，其特征在于，所述节点信息包括节点的输入数据格式信息和输出数据格式信息中的至少一种信息；

所述根据所述节点信息创建节点，包括：

根据所述输出数据格式信息为根节点配置输出数据格式；

根据所述输入数据格式信息和所述输出数据格式信息，为中间节点配置输入数据格式和输出数据格式；

根据所述输入数据格式信息为叶子结点配置输入数据格式。

10.一种节点部署文件的生成装置，其特征在于，在第一节点部署环境下，包括：

第一获取模块，用于获取节点信息，所述节点信息包括节点的输入数据格式信息和输出数据格式信息中的至少一种信息，所述节点为处理大数据任务的节点；

第二获取模块，用于根据节点的输入数据格式信息和输出数据格式信息中的至少一种信息，获取节点之间的依赖关系，所述节点之间的依赖关系是指当前节点与所述当前节点的上游节点和下游节点之间的关系；

生成模块，用于根据所述节点信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的节点部署文件，所述第二节点部署环境是与所述第一节点部署环境相同的环境，所述部署节点是将大数据解决方案部署在多个节点上，所述大数据解决方案包含每个节点的元数据信息、节点代码信息、节点调度属性信息中的至少一种信息和节点之间的依赖关系，所述用于在第二节点部署环境下部署节点的节点部署文件用于在所述第二节点部署环境下创建节点信息或更新节点信息。

11.根据权利要求10所述的生成装置，其特征在于，所述节点信息还包括节点的第一任务信息；

所述第一获取模块还用于根据节点的第一任务信息生成节点的第一版本信息；

所述生成模块具体用于根据所述节点的第一版本信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的第一节点部署文件。

12.根据权利要求11所述的生成装置，其特征在于，所述第一获取模块还用于获取节点的第二任务信息；

所述生成装置还包括第三获取模块，用于当所述第二任务信息与所述第一任务信息不同时，根据所述第二任务信息生成节点的第二版本信息；

所述生成模块具体用于根据所述节点的第二版本信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的第二节点部署文件。

13.根据权利要求11所述的生成装置，其特征在于，所述第一获取模块还用于获取节点的第二任务信息；

所述生成装置还包括第三获取模块，用于当所述第二任务信息与所述第一任务信息不同，并且节点的数量发生变化时，根据所述节点之间的依赖关系，获取节点的第二版本信息；

所述生成模块具体用于根据所述节点的第二版本信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的第二节点部署文件。

14.根据权利要求11所述的生成装置，其特征在于，所述第一版本信息包括代码信息、元数据信息和节点调度信息。

15.根据权利要求12或13所述的生成装置，其特征在于，所述第二版本信息包括代码信息、元数据信息和节点调度信息。

16.一种节点部署装置，其特征在于，包括：

获取模块，获得用于在第二节点部署环境下部署节点的节点部署文件，所述节点部署文件为在第一节点部署环境下生成的节点部署文件，所述节点为处理大数据任务的节点，所述第二节点部署环境是与所述第一节点部署环境相同的环境，所述部署节点是将大数据解决方案部署在多个节点上，所述大数据解决方案包含每个节点的元数据信息、节点代码信息、节点调度属性信息中的至少一种信息和节点之间的依赖关系；

第一解析模块，解析所述节点部署文件，获得节点信息和节点之间的依赖关系；

第一生成模块，根据所述节点信息创建节点或更新节点，并根据所述节点之间的依赖关系构建节点之间的依赖关系，所述节点之间的依赖关系是指当前节点与所述当前节点的上游节点和下游节点之间的关系。

17.根据权利要求16所述的装置，其特征在于，所述装置还包括第二解析模块第二生成模块，所述第二解析模块用于解析节点信息获得节点的输入数据格式信息和输出数据格式信息中的至少一种信息；

所述第二生成模块用于根据所述节点的输入数据格式信息和输出数据格式信息中的至少一种信息，获取所述节点之间的依赖关系。

18.根据权利要求16所述的装置，其特征在于，所述节点信息包括节点的输入数据格式信息和输出数据格式信息中的至少一种信息；

所述生成模块包括：

第一配置单元，所述第一配置单元用于根据所述输出数据格式信息为根节点配置输出数据格式；

第二配置单元，所述第二配置单元用于根据所述输入数据格式信息和所述输出数据格式信息，为中间节点配置输入数据格式和输出数据格式；

第三配置单元，所述第三配置单元用于根据所述输入数据格式信息为叶子结点配置输入数据格式。

19.一种电子设备，其特征在于，在第一节点部署环境下，包括：

处理器；

存储器，用于存储节点部署程序，所述程序在被所述处理器读取执行时，执行如下操作：

获取节点信息，所述节点信息包括节点的输入数据格式信息和输出数据格式信息中的至少一种信息，所述节点为处理大数据任务的节点；

根据节点的输入数据格式信息和输出数据格式信息中的至少一种信息，获取节点之间的依赖关系，所述节点之间的依赖关系是指当前节点与所述当前节点的上游节点和下游节点之间的关系；

根据所述节点信息和所述节点之间的依赖关系，生成用于在第二节点部署环境下部署节点的节点部署文件，所述第二节点部署环境是与所述第一节点部署环境相同的环境，所述部署节点是将大数据解决方案部署在多个节点上，所述大数据解决方案包含每个节点的元数据信息、节点代码信息、节点调度属性信息中的至少一种信息和节点之间的依赖关系，所述用于在第二节点部署环境下部署节点的节点部署文件用于在所述第二节点部署环境下创建节点信息或更新节点信息。

20.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储节点部署程序，所述程序在被所述处理器读取执行时，执行如下操作：

获得用于在第二节点部署环境下部署节点的节点部署文件，所述节点部署文件为在第一节点部署环境下生成的节点部署文件，所述节点为处理大数据任务的节点，所述第二节点部署环境是与所述第一节点部署环境相同的环境，所述部署节点是将大数据解决方案部署在多个节点上，所述大数据解决方案包含每个节点的元数据信息、节点代码信息、节点调度属性信息中的至少一种信息和节点之间的依赖关系；

解析所述节点部署文件，获得节点信息和节点之间的依赖关系；

根据所述节点信息创建节点或更新节点信息，并根据所述节点之间的依赖关系构建节点之间的依赖关系，所述节点之间的依赖关系是指当前节点与所述当前节点的上游节点和下游节点之间的关系。

Images