CN117873602A - 分布式计算框架的管理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及计算机技术领域，公开了一种分布式计算框架的管理方法、装置、设备及存储介质，该方法包括：通过原生云应用架构的拓展机制配置分布式计算框架应用的应用配置信息；基于应用配置信息确定分布式计算框架应用对应的集群部署属性；基于集群部署属性，通过预设容器化管理集群将分布式计算框架应用部署至目标工作节点。由于本发明基于分布式计算框架应用的应用配置信息确定分布式计算框架应用对应的集群部署属性，以基于集群部署属性将分布式计算框架应用部署至目标工作节点，从而解决了现有技术中在使用分布式计算框架进行分布式计算时，通常需要耗费大量时间检查运行环境，导致效率低且维护成本高的技术问题。

Description

分布式计算框架的管理方法、装置、设备及存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种分布式计算框架的管理方法、装置、设备及存储介质。

背景技术

目前，在企业的数据规模庞大且业务的逻辑也极为复杂的情况下，为保证数据计算的时效性，一般会基于分布式计算框架来进行大规模数据的处理以及对繁杂的业务逻辑进行合理设计。

分布式计算框架(如flink和spark)在实时处理流域有着优秀的表现，尤其是flink被普遍认为是下一代大数据流计算的引擎，但由于分布式计算框架的版本迭代更新通常比较频繁，若想要灵活的使用不同的分布式计算框架去实现不同业务场景的分布式计算，需要耗费大量时间去检查运行环境，进而造成研发效率低下，环境维护成本高昂。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供了一种分布式计算框架的管理方法、装置、设备及存储介质，旨在解决现有技术中在使用分布式计算框架进行分布式计算时，通常需要耗费大量时间检查运行环境，导致效率低且维护成本高的技术问题。

为实现上述目的，本发明提供了一种分布式计算框架的管理方法，所述分布式计算框架的管理方法包括：

通过原生云应用架构的拓展机制配置分布式计算框架应用的应用配置信息；

基于所述应用配置信息确定所述分布式计算框架应用对应的集群部署属性；

基于所述集群部署属性，通过预设容器化管理集群将所述分布式计算框架应用部署至目标工作节点。

可选地，所述通过原生云应用架构的拓展机制配置分布式计算框架应用的应用配置信息的步骤，包括：

确定分布式计算框架应用中的自定义资源；

对所述自定义资源进行字段解析，获得所述自定义资源对应的关键属性字段；

通过原生云应用架构的拓展机制基于所述关键属性字段配置所述分布式计算框架应用的应用配置信息。

可选地，所述基于所述应用配置信息确定所述分布式计算框架应用对应的集群部署属性的步骤之前，还包括：

实时监听所述分布式计算框架应用对应的应用属性；

将所述应用属性与预设容器化管理集群中的已注册资源对象进行匹配；

在匹配成功时，执行所述基于所述应用配置信息确定所述分布式计算框架应用对应的集群部署属性的步骤。

可选地，所述基于所述集群部署属性，通过预设容器化管理集群将所述分布式计算框架应用部署至目标工作节点的步骤，包括：

将所述集群部署属性提交至预设容器化管理集群，以生成资源申请请求，所述资源申请请求用于申请运行镜像和计算资源；

在申请成功时，将所述分布式计算框架应用部署至目标工作节点。

可选地，所述在申请成功时，将所述分布式计算框架应用部署至目标工作节点的步骤，包括：

在申请成功时，确定当前计算任务对应的内存大小和并行任务数量；

根据所述内存大小和所述并行任务数量确定目标工作节点；

将所述分布式计算框架应用部署至所述目标工作节点。

可选地，所述通过原生云应用架构的拓展机制配置分布式计算框架应用的应用配置信息的步骤之前，还包括：

获取系统配置信息、版本配置信息和集群配置信息；

根据所述系统配置信息、所述版本配置信息和所述集群配置信息确定待启动的分布式计算框架。

可选地，所述通过原生云应用架构的拓展机制配置分布式计算框架应用的应用配置信息的步骤之前，还包括：

在接收到用户调试请求时，根据用户需求调试分布式计算框架应用程式，并基于所述系统配置信息、所述版本配置信息和所述集群配置信息确定所述分布式计算框架应用程式的运行环境。

此外，为实现上述目的，本发明还提出一种分布式计算框架的管理装置，所述装置包括：

信息配置模块，用于通过原生云应用架构的拓展机制配置分布式计算框架应用的应用配置信息；

属性确定模块，用于基于所述应用配置信息确定所述分布式计算框架应用对应的集群部署属性；

应用部署模块，用于基于所述集群部署属性，通过预设容器化管理集群将所述分布式计算框架应用部署至目标工作节点。

此外，为实现上述目的，本发明还提出一种分布式计算框架的管理设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的分布式计算框架的管理程序，所述分布式计算框架的管理程序配置为实现如上文所述的分布式计算框架的管理方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有分布式计算框架的管理程序，所述分布式计算框架的管理程序被处理器执行时实现如上文所述的分布式计算框架的管理方法的步骤。

在本发明中，公开了通过原生云应用架构的拓展机制配置分布式计算框架应用的应用配置信息；基于应用配置信息确定分布式计算框架应用对应的集群部署属性；基于集群部署属性，通过预设容器化管理集群将分布式计算框架应用部署至目标工作节点；由于本发明基于分布式计算框架应用的应用配置信息确定分布式计算框架应用对应的集群部署属性，以基于集群部署属性将分布式计算框架应用部署至目标工作节点，从而解决了现有技术中在使用分布式计算框架进行分布式计算时，通常需要耗费大量时间检查运行环境，导致效率低且维护成本高的技术问题。

附图说明

图1为本发明实施例方案涉及的硬件运行环境的分布式计算框架的管理设备的结构示意图；

图2为本发明分布式计算框架的管理方法第一实施例的流程示意图；

图3为本发明分布式计算框架的管理方法第一实施例中Kubernetes集群的架构图；

图4为本发明分布式计算框架的管理方法第一实施例中自定义资源关系图；

图5为本发明分布式计算框架的管理方法第一实施例中控制响应模块的示意图；

图6为本发明分布式计算框架的管理方法第二实施例的流程示意图；

图7为本发明分布式计算框架的管理方法中控制响应模块的工作流程图；

图8为本发明分布式计算框架的管理方法第三实施例的流程示意图；

图9为本发明分布式计算框架的管理方法第三实施例中分布式计算应用的环境配置图；

图10为本发明分布式计算框架的管理方法中实现自定义业务的流程图；

图11为本发明分布式计算框架的管理装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的分布式计算框架的管理设备结构示意图。

如图1所示，该分布式计算框架的管理设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对分布式计算框架的管理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及分布式计算框架的管理程序。

在图1所示的分布式计算框架的管理设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明分布式计算框架的管理设备中的处理器1001、存储器1005可以设置在分布式计算框架的管理设备中，所述分布式计算框架的管理设备通过处理器1001调用存储器1005中存储的分布式计算框架的管理程序，并执行本发明实施例提供的分布式计算框架的管理方法。

本发明实施例提供了一种分布式计算框架的管理方法，参照图2，图2为本发明分布式计算框架的管理方法第一实施例的流程示意图。

本实施例中，所述分布式计算框架的管理方法包括以下步骤：

步骤S10：通过原生云应用架构的拓展机制配置分布式计算框架应用的应用配置信息。

需要说明的是，本实施例的方法的执行主体可以为对分布式计算框架进行管理的分布式计算框架的管理设备，或者是其他能够实现相同或相似功能的、包含了该分布式计算框架的管理设备的分布式计算框架的管理系统。此处以分布式计算框架的管理系统(以下简称系统)对本实施例和下述各实施例提供的分布式计算框架的管理方法进行具体说明。

应当说明的是，本方案中的分布式计算框架的管理系统可以由系统配置和控制平面两个部分构成。系统配置这一部分主要负责记录操作系统的环境变量、记录分布计算框架的版本信息和分布式计算框架的集群信息，其中，操作系统的环境变量可以记录分布式计算框架中服务运行需要的基础库和应用；版本信息可以为分布式计算框架的发布信息，不同的应用可能会基于不同的发布版本开发出来；集群信息可以为用于表征分布式计算框架是基于哪个集群部署的信息，如分布式计算框架可以基于yarn集群部署，也可以基于Kubernetes集群部署。控制平面这一部分主要负责分布式计算应用容器化编排、应用状态信息、应用程式编码、项目信息和大数据相关插件集成。

应当理解的是，分布式计算框架是一种支持分布式计算的软件系统，如flink和spark，其主要目的是提供一种可扩展、高可用、高并行度的计算环境。

应当说明的是，上述原生云应用架构可以为一种基于云计算技术的软件开发和部署模式，其致力于提供高度可靠、弹性可扩展的应用服务。本实施例中的原生云应用架构可以为Kubernetes集群架构，其中，Kubernetes集群架构可以用于管理和调度容器化的应用服务。具体地，参照图3，图3为本发明分布式计算框架的管理方法第一实施例中Kubernetes集群的架构图。如图3所示，本实施例可以基于Kubernetes API实现用户自定义资源、分布式计算应用配置以及分布式应用管理系统中的相关操作，包括状态监控和部署操作。

具体地，原生云应用架构是在云环境中构建的应用程序，其具备的特征可以包括：容器化，即将应用程序及其依赖项打包为容器，提供环境隔离和依赖管理；微服务架构，即将应用程序拆分为小而自治的服务单元，实现松耦合和独立部署；自动化运维，即通过自动化工具和平台实现应用程序的持续交付、部署和扩展；弹性可扩展，即根据实时需求对应用程序进行水平或垂直扩展，以实现高可用性和高性能等。

可以理解的是，上述拓展机制可以为原生云应用架构提供的用于定义分布式计算框架应用的资源的机制。本实施例中的拓展机制可以为CRD(Custom ResourceDefinition，自定义资源定义)，其中，CRD是一种强大的Kubernetes API扩展机制，其允许用户创建和管理自定义资源，这些资源不是Kubernetes标准API的一部分。CRD使得Kubernetes不仅限于内建资源(如Pod、Service等)，还可以支持用户定义的资源类型。

需要说明的是，上述分布式计算框架应用可以为分布式计算框架中服务运行需要的应用。相应的，上述应用配置信息可以是为分布式计算框架应用中定义的配置信息，如：接口版本、分布式计算框架的属性和分布式计算框架应用在集群的部署属性等，本实施例对此不加以限制。

进一步地，所述步骤S10包括：确定分布式计算框架应用中的自定义资源；对所述自定义资源进行字段解析，获得所述自定义资源对应的关键属性字段；通过原生云应用架构的拓展机制基于所述关键属性字段配置所述分布式计算框架应用的应用配置信息。

可以理解的是，上述自定义资源可以为在分布式计算框架中用于存储数据的资源。

应当说明的是，上述关键属性字段可以为自定义资源中关键属性对应的字段，其中，自定义资源中的关键属性可以包括但不限于分布式计算框架的属性和分布式计算框架应用在集群的部署属性等。

实际应用中，系统可以对分布式计算框架应用中的自定义资源进行字段解析，获得自定义资源中关键属性对应的字段，并根据这些关键属性对应的字段来配置分布式计算框架应用的应用配置信息，即可以通过这些关键属性对应的字段实现分布式计算框架应用部署行为。具体地，参照图4，图4为本发明分布式计算框架的管理方法第一实施例中自定义资源关系图。如图4所示，系统可以根据Kubernetes架构提供的自定义资源定义机制完成apiVersion、kind、metadata和spec的定义，其中，kind可以作为区别不同分布式计算应用框架的属性，spec可以作为分布式计算框架应用在集群的部署属性。如图4所示，图4中xxxDeploymentSpec可以注册关键属性image、PullPolicy、serviceAccount、podTemplate、jobManager和taskManager等，用来决定分布式计算框架应用运行业务申请和平台供业务使用的计算资源划分；xxxDeploymentStatus可以注册的状态信息供集群的监控平台查看业务运行的状态，其中，本实施例中业务运行状态具体可以包括：READY、NOT READY、DEPLOYING、MISSING和ERROR。

步骤S20：基于所述应用配置信息确定所述分布式计算框架应用对应的集群部署属性。

应当说明的是，上述集群部署属性可以为分布式计算框架应用在集群的部署属性，如：镜像、拉取策略和任务管理器等，本实施例对此不加以限制。

在本实施例中，由于原生云应用架构Kubernetes的拓展机制CRD预先在分布式计算框架应用的应用配置信息中配置了分布式计算框架应用在集群的部署属性，故系统可以直接根据分布式计算框架应用的应用配置信息确定分布式计算框架应用对应的集群部署属性。

进一步地，所述步骤S20之前，所述方法还包括：实时监听所述分布式计算框架应用对应的应用属性；将所述应用属性与预设容器化管理集群中的已注册资源对象进行匹配；在匹配成功时，执行所述基于所述应用配置信息确定所述分布式计算框架应用对应的集群部署属性的步骤。

需要说明的是，上述应用属性可以为用于区别不同分布式计算应用框架的属性，如上述自定义资源中的kind属性。

应当理解的是，上述预设容器化管理集群可以为具有容器化管理功能的集群，本实施例中的预设容器化管理集群可以为Kubernetes集群。相应的，上述已注册资源对象可以为Kubernetes集群中已经注册或部署的资源对象，如图4中的xxxDeployment。

在实际应用中，系统中可以设置有一个控制响应模块，该控制响应模块可以进行消息监听，并根据监听到的消息进行相应的消息处理。具体地，参照图5，图5为本发明分布式计算框架的管理方法第一实施例中控制响应模块的示意图。如图5所示，kubernetes集群中的命令行工具kubectl(kubernetes提供的用于对kubernetes集群进行操作的命令行工具，用于管理Kubernetes集群和与其相关的资源)可以与控制响应模块交互，控制响应模块可以实时监听其下发的kind属性(即上述应用属性)，只要匹配到已注册的xxxDeployment，就可以执行步骤S20，以进一步解析xxxDeploymentSpec定义的关键属性。

步骤S30：基于所述集群部署属性，通过预设容器化管理集群将所述分布式计算框架应用部署至目标工作节点。

应当说明的是，上述目标工作节点可以为用于进行分布式计算的节点。

在本实施例中，在确定分布式计算框架应用对应的集群部署属性后，可以将这些集群部署属性交由kubernetes集群来申请所需的运行镜像及计算资源，再将运行镜像及计算资源调度到目标工作节点以进行分布式计算。

需要说明的是，本方案提出的分布式计算框架的管理方法既可以实现不同分布式计算框架应用环境的隔离，又可以通过原生云kubernetes的API server进行统一管理，进而达到各种分布式计算框架应用高效应用，简单管理的效果。

本实施例公开了通过原生云应用架构的拓展机制配置分布式计算框架应用的应用配置信息；基于应用配置信息确定分布式计算框架应用对应的集群部署属性；基于集群部署属性，通过预设容器化管理集群将分布式计算框架应用部署至目标工作节点；由于本实施例基于分布式计算框架应用的应用配置信息确定分布式计算框架应用对应的集群部署属性，以基于集群部署属性将分布式计算框架应用部署至目标工作节点，从而解决了现有技术中在使用分布式计算框架进行分布式计算时，通常需要耗费大量时间检查运行环境，导致效率低且维护成本高的技术问题。

参考图6，图6为本发明分布式计算框架的管理方法第二实施例的流程示意图。

基于上述第一实施例，为了提高分布式计算框架进行分布式计算的可靠性，本实施例中，所述步骤S30包括：

步骤S301：将所述集群部署属性提交至预设容器化管理集群，以生成资源申请请求，所述资源申请请求用于申请运行镜像和计算资源。

应当理解的是，上述资源申请请求可以为用于申请进行分布式计算所需的运行镜像和计算资源的请求，其中，上述运行镜像和计算资源即为分布式计算框架进行分布式计算所需的运行镜像和计算资源。

步骤S302：在申请成功时，将所述分布式计算框架应用部署至目标工作节点。

可以理解的是，本实施例在控制响应模块向预设容器化管理集群提交资源申请且申请成功时，可以将分布式计算框架应用部署至目标工作节点进行计算工作，使得提高了分布式计算框架进行分布式计算的可靠性。

进一步地，所述步骤S302包括：在申请成功时，确定当前计算任务对应的内存大小和并行任务数量；根据所述内存大小和所述并行任务数量确定目标工作节点；将所述分布式计算框架应用部署至所述目标工作节点。

应当理解的是，上述当前计算任务可以为分布式计算框架本次进行的计算任务。相应的，上述内存大小即本次计算任务需要占用的内存大小；并行任务数量即本次计算任务所分的并行任务的数量。本实施例中可以在图4中xxxDeploymentSpec中的jobManager中预先定义好本次计算任务执行的内存大小以及并行任务数量，以便于后续确定工作节点。

实际应用中，在控制响应模块向预设容器化管理集群提交资源申请且申请成功时，系统可以通过解析xxxDeploymentSpec中定义的关键属性jobManager来确定当前计算任务对应的内存大小和并行任务数量，并根据内存大小和并行任务数量确定合适的工作节点(即上述目标工作节点)，然后可以将分布式计算框架应用部署至目标工作节点以进行分布式计算。

在具体实现中，参照图7，图7为本发明分布式计算框架的管理方法中控制响应模块的工作流程图。如图7所示，首先系统可以启动控制响应模块，在控制响应模块启动后，其可以实时监听分布式计算框架应用的分布式计算应用请求，并在接收到分布式计算应用请求后解析分布式计算框架配置属性，再将解析获得的分布式计算框架应用对应的应用属性与kubernetes集群中的已注册资源对象进行匹配。在匹配成功时，可以向kubernetes集群提交资源申请，并在申请成功时可以将分布式计算框架应用部署至目标工作节点，以通过目标工作节点进行分布式计算。

本实施例通过将集群部署属性提交至预设容器化管理集群，以生成用于申请运行镜像和计算资源的资源申请请求，并在申请成功时，将分布式计算框架应用部署至目标工作节点，从而提高了分布式计算框架进行分布式计算的可靠性。

参考图8，图8为本发明分布式计算框架的管理方法第三实施例的流程示意图。

基于上述各实施例，为了准确确定待启动的分布式计算框架，提高分布式计算的可靠性，本实施例中，所述步骤S10之前，所述方法还包括：

步骤S01：获取系统配置信息、版本配置信息和集群配置信息。

需要说明的是，上述系统配置信息即进行分布式计算时系统需要配置的信息，如服务运行需要的基础库和应用等，本实施例对此不加以限制。上述版本配置信息即分布式计算框架的发布信息；上述集群配置信息即分布式计算框架基于哪个集群部署、集群的版本信息等，本实施例对此不加以限制。

步骤S02：根据所述系统配置信息、所述版本配置信息和所述集群配置信息确定待启动的分布式计算框架。

应当理解的是，上述待启动的分布式计算框架可以为进行本次分布式计算任务需要启动的分布式计算框架。

在实际应用中，系统可以基于系统配置信息、版本配置信息和集群配置信息去启动不同版本的分布式计算框架，例如，不同版本的分布式计算框架(如flink)在本地系统环境都存在的条件下，需要将flink映射到具体的目录，如应用服务基于flink-1.15版本，那么所搜寻的相关库和文件都只能在目录flink-1.15这个版本所在目录去找，从而实现基于系统配置的信息确定待启动的分布式计算框架。

进一步地，所述步骤S10之前，所述方法还包括：在接收到用户调试请求时，根据用户需求调试分布式计算框架应用程式，并基于所述系统配置信息、所述版本配置信息和所述集群配置信息确定所述分布式计算框架应用程式的运行环境。

需要说明的是，上述用户调试请求可以为用于指示系统调试分布式计算框架应用程式的请求。其中，分布式计算框架应用程式可以为分布式计算框架中用于完成计算工作对应的计算机程序。

在具体实现中，参照图9，图9为本发明分布式计算框架的管理方法第三实施例中分布式计算应用的环境配置图。如图9所示，对于分布式计算框架flink，其对应的分布式计算应用运行环境可以由flink版本管理、flink集群管理、flink应用参数管理和flink应用代码管理共同决定。

进一步地，目前许多云计算服务均开放了支持原生云服务的业务，用户可以根据自己业务员需求上传服务包，由各个公有云服务商将其抽象成服务用于统一管理。其流程具体可以为：安装kubebuilder；创建operator项目；创建API(Application ProgrammingInterface，应用程序编程接口)，CRD及Control；定义API和实现Control代码。其中，kubebuilder是一个基于CRD来构建Kubernetes API的框架；operator是描述、部署和管理kubernetes应用的一套机制；Control代码是计算机程序中用于控制运行流程的代码段。

在具体实现中，参照图10，图10为本发明分布式计算框架的管理方法中实现自定义业务的流程图。如图10所示，对于当前需要执行的业务，首先可以判断该业务是否为新开发的，若是，则可以执行开发operator、制作镜像和制作服务包的流程，然后可以选择执行对接运维能力以及配置表单控件的流程，之后再上传服务包，并进行服务部署和相应的验证功能。

本实施例通过获取系统配置信息、版本配置信息和集群配置信息，并根据系统配置信息、版本配置信息和集群配置信息确定待启动的分布式计算框架，从而可以准确确定待启动的分布式计算框架，进而提高分布式计算的可靠性。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有分布式计算框架的管理程序，所述分布式计算框架的管理程序被处理器执行时实现如上文所述的分布式计算框架的管理方法的步骤。

参照图11，图11为本发明分布式计算框架的管理装置第一实施例的结构框图。

如图11所示，本发明实施例提出的分布式计算框架的管理装置包括：

信息配置模块501，用于通过原生云应用架构的拓展机制配置分布式计算框架应用的应用配置信息；

属性确定模块502，用于基于所述应用配置信息确定所述分布式计算框架应用对应的集群部署属性；

应用部署模块503，用于基于所述集群部署属性，通过预设容器化管理集群将所述分布式计算框架应用部署至目标工作节点。

进一步地，所述信息配置模块501，还用于确定分布式计算框架应用中的自定义资源；对所述自定义资源进行字段解析，获得所述自定义资源对应的关键属性字段；通过原生云应用架构的拓展机制基于所述关键属性字段配置所述分布式计算框架应用的应用配置信息。

进一步地，所述属性确定模块502，还用于实时监听所述分布式计算框架应用对应的应用属性；将所述应用属性与预设容器化管理集群中的已注册资源对象进行匹配；在匹配成功时，执行所述基于所述应用配置信息确定所述分布式计算框架应用对应的集群部署属性的步骤。

本实施例的分布式计算框架的管理装置公开了通过原生云应用架构的拓展机制配置分布式计算框架应用的应用配置信息；基于应用配置信息确定分布式计算框架应用对应的集群部署属性；基于集群部署属性，通过预设容器化管理集群将分布式计算框架应用部署至目标工作节点；由于本实施例基于分布式计算框架应用的应用配置信息确定分布式计算框架应用对应的集群部署属性，以基于集群部署属性将分布式计算框架应用部署至目标工作节点，从而解决了现有技术中在使用分布式计算框架进行分布式计算时，通常需要耗费大量时间检查运行环境，导致效率低且维护成本高的技术问题。

基于本发明上述分布式计算框架的管理装置第一实施例，提出本发明分布式计算框架的管理装置的第二实施例。

在本实施例中，所述应用部署模块503，还用于将所述集群部署属性提交至预设容器化管理集群，以生成资源申请请求，所述资源申请请求用于申请运行镜像和计算资源；在申请成功时，将所述分布式计算框架应用部署至目标工作节点。

进一步地，所述应用部署模块503，还用于在申请成功时，确定当前计算任务对应的内存大小和并行任务数量；根据所述内存大小和所述并行任务数量确定目标工作节点；将所述分布式计算框架应用部署至所述目标工作节点。

本实施例通过将集群部署属性提交至预设容器化管理集群，以生成用于申请运行镜像和计算资源的资源申请请求，并在申请成功时，将分布式计算框架应用部署至目标工作节点，从而提高了分布式计算框架进行分布式计算的可靠性。

基于上述各装置实施例，提出本发明分布式计算框架的管理装置的第三实施例。

在本实施例中，所述信息配置模块501，还用于获取系统配置信息、版本配置信息和集群配置信息；根据所述系统配置信息、所述版本配置信息和所述集群配置信息确定待启动的分布式计算框架。

进一步地，所述信息配置模块501，还用于在接收到用户调试请求时，根据用户需求调试分布式计算框架应用程式，并基于所述系统配置信息、所述版本配置信息和所述集群配置信息确定所述分布式计算框架应用程式的运行环境。

本实施例通过获取系统配置信息、版本配置信息和集群配置信息，并根据系统配置信息、版本配置信息和集群配置信息确定待启动的分布式计算框架，从而可以准确确定待启动的分布式计算框架，进而提高分布式计算的可靠性。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种分布式计算框架的管理方法，其特征在于，所述分布式计算框架的管理方法包括：

通过原生云应用架构的拓展机制配置分布式计算框架应用的应用配置信息；

基于所述应用配置信息确定所述分布式计算框架应用对应的集群部署属性；

基于所述集群部署属性，通过预设容器化管理集群将所述分布式计算框架应用部署至目标工作节点。

2.如权利要求1所述的分布式计算框架的管理方法，其特征在于，所述通过原生云应用架构的拓展机制配置分布式计算框架应用的应用配置信息的步骤，包括：

确定分布式计算框架应用中的自定义资源；

对所述自定义资源进行字段解析，获得所述自定义资源对应的关键属性字段；

通过原生云应用架构的拓展机制基于所述关键属性字段配置所述分布式计算框架应用的应用配置信息。

3.如权利要求1所述的分布式计算框架的管理方法，其特征在于，所述基于所述应用配置信息确定所述分布式计算框架应用对应的集群部署属性的步骤之前，还包括：

实时监听所述分布式计算框架应用对应的应用属性；

将所述应用属性与预设容器化管理集群中的已注册资源对象进行匹配；

在匹配成功时，执行所述基于所述应用配置信息确定所述分布式计算框架应用对应的集群部署属性的步骤。

4.如权利要求1所述的分布式计算框架的管理方法，其特征在于，所述基于所述集群部署属性，通过预设容器化管理集群将所述分布式计算框架应用部署至目标工作节点的步骤，包括：

将所述集群部署属性提交至预设容器化管理集群，以生成资源申请请求，所述资源申请请求用于申请运行镜像和计算资源；

在申请成功时，将所述分布式计算框架应用部署至目标工作节点。

5.如权利要求4所述的分布式计算框架的管理方法，其特征在于，所述在申请成功时，将所述分布式计算框架应用部署至目标工作节点的步骤，包括：

在申请成功时，确定当前计算任务对应的内存大小和并行任务数量；

根据所述内存大小和所述并行任务数量确定目标工作节点；

将所述分布式计算框架应用部署至所述目标工作节点。

6.如权利要求1至5任一项所述的分布式计算框架的管理方法，其特征在于，所述通过原生云应用架构的拓展机制配置分布式计算框架应用的应用配置信息的步骤之前，还包括：

获取系统配置信息、版本配置信息和集群配置信息；

根据所述系统配置信息、所述版本配置信息和所述集群配置信息确定待启动的分布式计算框架。

7.如权利要求6所述的分布式计算框架的管理方法，其特征在于，所述通过原生云应用架构的拓展机制配置分布式计算框架应用的应用配置信息的步骤之前，还包括：

在接收到用户调试请求时，根据用户需求调试分布式计算框架应用程式，并基于所述系统配置信息、所述版本配置信息和所述集群配置信息确定所述分布式计算框架应用程式的运行环境。

8.一种分布式计算框架的管理装置，其特征在于，所述装置包括：

信息配置模块，用于通过原生云应用架构的拓展机制配置分布式计算框架应用的应用配置信息；

属性确定模块，用于基于所述应用配置信息确定所述分布式计算框架应用对应的集群部署属性；

应用部署模块，用于基于所述集群部署属性，通过预设容器化管理集群将所述分布式计算框架应用部署至目标工作节点。

9.一种分布式计算框架的管理设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的分布式计算框架的管理程序，所述分布式计算框架的管理程序配置为实现如权利要求1至7中任一项所述的分布式计算框架的管理方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有分布式计算框架的管理程序，所述分布式计算框架的管理程序被处理器执行时实现如权利要求1至7任一项所述的分布式计算框架的管理方法的步骤。