CN112667393A - 分布式任务计算调度框架搭建的方法、装置及计算机设备 - Google Patents

Abstract

本发明涉及分布式任务计算调度框架搭建的方法、装置及计算机设备，该方法包括：选择对应的目标计算框架类型；获取对应的目标分布式任务部署策略；搭建分布式资源数据处理框架；根据所述目标分布式任务部署策略获取对应的目标资源调度策略，根据所述目标资源调度策略建立分布式任务消息队列；将所述分布式任务消息队列中各个任务管理元素与所述分布式资源数据处理框架的各个分布式数据层对应连接；基于所述目标资源调度策略调用所述分布式资源数据处理框架中的分布式数据进行数据计算处理。本发明提供了一种高效、高性能，高可用的分布式大数据计算框架搭建方案。

Description

分布式任务计算调度框架搭建的方法、装置及计算机设备

技术领域

本发明涉及数据处理的技术领域，具体涉及一种分布式任务计算调度框架搭建的方法、装置及计算机设备。

背景技术

近年来随着计算机网络技术的高速发展，互联网企业为用户提供的应用和个性化服务也越来越多，随之而来的是用户提交的海量数据，企业必须及时而又正确地处理这些数据并向用户反馈结果。故而大规模数据的信息分析和数据挖掘技术逐渐成为热点。对于大规模数据处理的编程模型以及计算效率的需求一直是研究领域的最大热点问题之一。

在海量数据的处理过程中，消息队列中间件是其中重要的组件，用以解决应用耦合、异步消息、流量削锋等问题。随着互联网的发展，企业业务系统增多，数据来源各种各样，经营所需的数据需求高频且多样，但是数据系统复杂、数据不统一，数据分析速度、数据准确一致性难保障，战略决策与数据化运营受阻。

目前各个用户在数据开发领域的痛点包括如下内容：数据源繁杂，各类信息系统产生的数据，无法高效抽取使用。数据处理管理软件繁多，不同供应商的软件套装连通困难，缺乏一致性用户体验。数据孤岛，难以发挥数据价值。数据管理困难，受限于开发语言、技术框架、数据存储等诸多技术问题，无法进行统一管理。重复开发，缺少规范和共享及规划机制，重复开发，浪费严重。

基于以上诸多问题，如何提供一种高性能、高可用、可伸缩和最终一致性数据架构的方案是本领域亟待解决的技术问题。

发明内容

本发明的目的在于针对现有技术的不足而提供一种分布式任务计算调度框架搭建的方法、装置及计算机设备。本发明的目的可以通过如下所述技术方案来实现。

本发明提供一种分布式任务计算调度框架搭建的方法，包括：

预设客户类型与大数据计算框架类型之间的对应关系，设置各个所述大数据计算框架类型对应的分布式任务部署策略，设置各个所述分布式任务部署策略对应的资源调度策略；

根据客户类型与大数据计算框架类型之间的对应关系选择对应的目标计算框架类型；基于所述目标计算框架类型获取对应的目标分布式任务部署策略；根据所述目标分布式任务部署策略及预设的各个资源数据处理器，搭建分布式资源数据处理框架；

根据所述目标分布式任务部署策略获取对应的目标资源调度策略，根据所述目标资源调度策略建立分布式任务消息队列；按照所述分布式任务部署策略与资源调度策略的对应关系，将所述分布式任务消息队列中各个任务管理元素与所述分布式资源数据处理框架的各个分布式数据层对应连接；

基于所述目标资源调度策略调用所述分布式资源数据处理框架中的分布式数据进行数据计算处理。

可选地，其中，该方法还包括：

预设客户类型与访问客户端的权限管理策略对应关系；

检测到访问客户端时，根据所述权限管理策略对应关系得到所述访问客户端的权限；根据所述访问客户端的权限调取对应的资源调度策略。

可选地，其中，该方法还包括：

接收客户端的用户行为请求，根据所述用户行为请求获取对应的所述分布式任务部署策略及资源调度策略；

记录所述用户行为请求中的用户行为信息，按照预设的用户行为特征提取策略提取所述用户行为信息中的各个用户特征，根据预设的用户特征分析策略分析得到所述客户端对应于所述分布式任务部署策略及资源调度策略的用户行为喜好并存储；

再次接受所述客户端的用户行为请求时，根据所述用户行为喜好与分布式任务部署策略及资源调度策略的对应关系向所述客户端推送对应的分布式任务部署策略及资源调度策略。

可选地，其中，该方法还包括：

在所述分布式资源数据处理框架中，设置中心服务器、终端设备以及按照预设策略在预设范围内创建的虚拟服务器；

终端设备与虚拟服务器连接，虚拟服务器与中心服务器连接，其中多个终端服务器对应一个虚拟服务器，多个虚拟服务器对应一个中心服务器；

将所述分布式任务部署策略及目标资源调度策略，以及调度的目标数据按照预设的存储策略存储至对应的所述虚拟服务器中。

可选地，其中，该方法还包括：

预设各个分布式资源数据处理框架的异构数据源校验策略；

根据所述异构数据源校验策略校验搭建的所述分布式资源数据处理框架的数据记录和内容一致性；

在异构数据源校验通过时，确认所述分布式资源数据处理框架的搭建。

另一方面，本发明还提供一种分布式任务计算调度框架搭建的装置，包括：数据计算框架设置模块、分布式资源数据处理框架搭建模块、分布式资源数据框架链接模块及分布式资源数据调度模块；其中，

所述数据计算框架设置模块，预设客户类型与大数据计算框架类型之间的对应关系，设置各个所述大数据计算框架类型对应的分布式任务部署策略，设置各个所述分布式任务部署策略对应的资源调度策略；

所述分布式资源数据处理框架搭建模块，与所述数据计算框架设置模块相连接，根据客户类型与大数据计算框架类型之间的对应关系选择对应的目标计算框架类型；基于所述目标计算框架类型获取对应的目标分布式任务部署策略；根据所述目标分布式任务部署策略及预设的各个资源数据处理器，搭建分布式资源数据处理框架；

所述分布式资源数据框架链接模块，与所述分布式资源数据处理框架搭建模块相连接，根据所述目标分布式任务部署策略获取对应的目标资源调度策略，根据所述目标资源调度策略建立分布式任务消息队列；按照所述分布式任务部署策略与资源调度策略的对应关系，将所述分布式任务消息队列中各个任务管理元素与所述分布式资源数据处理框架的各个分布式数据层对应连接；

所述分布式资源数据调度模块，与所述分布式资源数据框架链接模块相连接，基于所述目标资源调度策略调用所述分布式资源数据处理框架中的分布式数据进行数据计算处理。

可选地，其中，该装置还包括：分布式资源数据架构权限管理模块，与所述分布式资源数据处理框架搭建模块相连接，用于：

预设客户类型与访问客户端的权限管理策略对应关系；

检测到访问客户端时，根据所述权限管理策略对应关系得到所述访问客户端的权限；根据所述访问客户端的权限调取对应的资源调度策略。

可选地，其中，该装置还还包括：分布式资源数据处理框架搭建推送模块，与所述分布式资源数据处理框架搭建模块相连接，用于：

接收客户端的用户行为请求，根据所述用户行为请求获取对应的所述分布式任务部署策略及资源调度策略；

记录所述用户行为请求中的用户行为信息，按照预设的用户行为特征提取策略提取所述用户行为信息中的各个用户特征，根据预设的用户特征分析策略分析得到所述客户端对应于所述分布式任务部署策略及资源调度策略的用户行为喜好并存储；

再次接受所述客户端的用户行为请求时，根据所述用户行为喜好与分布式任务部署策略及资源调度策略的对应关系向所述客户端推送对应的分布式任务部署策略及资源调度策略。

可选地，其中，该装置还还包括：分布式资源数据服务器设置模块，与所述分布式资源数据处理框架搭建模块相连接，用于：

在所述分布式资源数据处理框架中，设置中心服务器、终端设备以及按照预设策略在预设范围内创建的虚拟服务器；

终端设备与虚拟服务器连接，虚拟服务器与中心服务器连接，其中多个终端服务器对应一个虚拟服务器，多个虚拟服务器对应一个中心服务器；

将所述分布式任务部署策略及目标资源调度策略，以及调度的目标数据按照预设的存储策略存储至对应的所述虚拟服务器中。

另一方面，本发明还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如上述的分布式任务计算调度框架搭建的方法的步骤。

与现有技术比，本发明的有益效果：

本发明的分布式任务计算调度框架搭建的方法、装置及计算机设备，可以支持多种分布式大数据计算框架的搭建，重点设置了分布式大数据计算框架的资源调度机制，包括其资源调度器的模型与机制，通过消息队列中调度元素与分布式数据架构中分布式数据层对应调度，降低了系统处理数据的延时，大大增强了分布式大数据计算框架的适用场景和应用扩张能力，提供一种高效、高性能，高可用的分布式大数据计算框架搭建方案。

附图说明

为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明实施例中的分布式任务计算调度框架搭建的方法的流程示意图；

图2为本发明实施例中第二种分布式任务计算调度框架搭建的方法的流程示意图；

图3为本发明实施例中第三种分布式任务计算调度框架搭建的方法的流程示意图；

图4为本发明实施例中第四种分布式任务计算调度框架搭建的方法的流程示意图；

图5为本发明实施例中第五种分布式任务计算调度框架搭建的方法的流程示意图；

图6为本发明实施例中的分布式任务计算调度框架搭建的装置的结构示意图；

图7为本发明实施例中第二种分布式任务计算调度框架搭建的装置的结构示意图；

图8为本发明实施例中第三种分布式任务计算调度框架搭建的装置的结构示意图；

图9为本发明实施例中第四种分布式任务计算调度框架搭建的装置的结构示意图。

具体实施方式

下面将结合具体实施例，对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通的技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明的保护范围。

如图1所示，为本实施例中一种分布式任务计算调度框架搭建的方法的流程示意图。具体地，该方法包括如下步骤：

步骤101、预设客户类型与大数据计算框架类型之间的对应关系，设置各个大数据计算框架类型对应的分布式任务部署策略，设置各个分布式任务部署策略对应的资源调度策略。

步骤102、根据客户类型与大数据计算框架类型之间的对应关系选择对应的目标计算框架类型；基于目标计算框架类型获取对应的目标分布式任务部署策略；根据目标分布式任务部署策略及预设的各个资源数据处理器，搭建分布式资源数据处理框架。

步骤103、根据目标分布式任务部署策略获取对应的目标资源调度策略，根据目标资源调度策略建立分布式任务消息队列；按照分布式任务部署策略与资源调度策略的对应关系，将分布式任务消息队列中各个任务管理元素与分布式资源数据处理框架的各个分布式数据层对应连接。

步骤104、基于目标资源调度策略调用分布式资源数据处理框架中的分布式数据进行数据计算处理。

在一些可选的实施例中，如图2所示，为本实施中第二种分布式任务计算调度框架搭建的方法的流程示意图，与图1中不同的是，还包括：

步骤201、预设客户类型与访问客户端的权限管理策略对应关系。

步骤202、检测到访问客户端时，根据权限管理策略对应关系得到访问客户端的权限；根据访问客户端的权限调取对应的资源调度策略。

在一些可选的实施例中，如图3所示，为本实施中第三种分布式任务计算调度框架搭建的方法的流程示意图，与图1中不同的是，该方法还包括：

步骤301、接收客户端的用户行为请求，根据用户行为请求获取对应的分布式任务部署策略及资源调度策略。

步骤302、记录用户行为请求中的用户行为信息，按照预设的用户行为特征提取策略提取用户行为信息中的各个用户特征，根据预设的用户特征分析策略分析得到客户端对应于分布式任务部署策略及资源调度策略的用户行为喜好并存储。

步骤303、再次接受客户端的用户行为请求时，根据用户行为喜好与分布式任务部署策略及资源调度策略的对应关系向客户端推送对应的分布式任务部署策略及资源调度策略。

在一些可选的实施例中，如图4所示，为本实施中第四种分布式任务计算调度框架搭建的方法的流程示意图，与图1中不同的是，该方法还包括：

步骤401、在分布式资源数据处理框架中，设置中心服务器、终端设备以及按照预设策略在预设范围内创建的虚拟服务器。

步骤402、终端设备与虚拟服务器连接，虚拟服务器与中心服务器连接，其中多个终端服务器对应一个虚拟服务器，多个虚拟服务器对应一个中心服务器。

步骤403、将分布式任务部署策略及目标资源调度策略，以及调度的目标数据按照预设的存储策略存储至对应的虚拟服务器中。

在一些可选的实施例中，如图5所示，为本实施中第五种分布式任务计算调度框架搭建的方法的流程示意图，与图1中不同的是，还包括：

步骤501、预设各个分布式资源数据处理框架的异构数据源校验策略。

步骤502、根据异构数据源校验策略校验搭建的分布式资源数据处理框架的数据记录和内容一致性。

步骤503、在异构数据源校验通过时，确认分布式资源数据处理框架的搭建。

在一些可选的实施例中，如图6所示，为本实施中分布式任务计算调度框架搭建装置的示意图，该装置用于实施上述的分布式任务计算调度框架搭建的方法。具体地，该装置包括：数据计算框架设置模块601、分布式资源数据处理框架搭建模块602、分布式资源数据框架链接模块603及分布式资源数据调度模块604。

其中，数据计算框架设置模块601，预设客户类型与大数据计算框架类型之间的对应关系，设置各个大数据计算框架类型对应的分布式任务部署策略，设置各个分布式任务部署策略对应的资源调度策略。

分布式资源数据处理框架搭建模块602，与数据计算框架设置模块601相连接，根据客户类型与大数据计算框架类型之间的对应关系选择对应的目标计算框架类型；基于目标计算框架类型获取对应的目标分布式任务部署策略；根据目标分布式任务部署策略及预设的各个资源数据处理器，搭建分布式资源数据处理框架。

分布式资源数据框架链接模块603，与分布式资源数据处理框架搭建模块602相连接，根据目标分布式任务部署策略获取对应的目标资源调度策略，根据目标资源调度策略建立分布式任务消息队列；按照分布式任务部署策略与资源调度策略的对应关系，将分布式任务消息队列中各个任务管理元素与分布式资源数据处理框架的各个分布式数据层对应连接。

分布式资源数据调度模块604，与分布式资源数据框架链接模块相连接，基于目标资源调度策略调用分布式资源数据处理框架中的分布式数据进行数据计算处理。

在一些可选的实施例中，如图7所示，为本实施中第二种分布式任务计算调度框架搭建的装置的示意图，与图6中不同的是，还包括：分布式资源数据架构权限管理模块701，与分布式资源数据处理框架搭建模块602相连接，用于：

预设客户类型与访问客户端的权限管理策略对应关系；检测到访问客户端时，根据权限管理策略对应关系得到访问客户端的权限；根据访问客户端的权限调取对应的资源调度策略。

在一些可选的实施例中，如图8所示，为本实施中第三种分布式任务计算调度框架搭建的装置的示意图，与图6中不同的是，还包括：分布式资源数据处理框架搭建推送模块801，与分布式资源数据处理框架搭建模块602相连接，用于：

接收客户端的用户行为请求，根据用户行为请求获取对应的分布式任务部署策略及资源调度策略。

记录用户行为请求中的用户行为信息，按照预设的用户行为特征提取策略提取用户行为信息中的各个用户特征，根据预设的用户特征分析策略分析得到客户端对应于分布式任务部署策略及资源调度策略的用户行为喜好并存储。

再次接受客户端的用户行为请求时，根据用户行为喜好与分布式任务部署策略及资源调度策略的对应关系向客户端推送对应的分布式任务部署策略及资源调度策略。

在一些可选的实施例中，如图9所示，为本实施中第四种分布式任务计算调度框架搭建的装置的示意图，与图6中不同的是，还包括：分布式资源数据服务器设置模块901，与分布式资源数据处理框架搭建模块602相连接，用于：

在分布式资源数据处理框架中，设置中心服务器、终端设备以及按照预设策略在预设范围内创建的虚拟服务器。

终端设备与虚拟服务器连接，虚拟服务器与中心服务器连接，其中多个终端服务器对应一个虚拟服务器，多个虚拟服务器对应一个中心服务器。

将分布式任务部署策略及目标资源调度策略，以及调度的目标数据按照预设的存储策略存储至对应的虚拟服务器中。

在一些可选的实施例中，提供一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，处理器执行计算机程序时实现如上的分布式任务计算调度框架搭建的方法的步骤。

本实施例的分布式任务计算调度框架搭建处理方案，一站式数据产品体系，覆盖数据全链路开发流程，包括数据采集、数据分析、数据挖掘、任务运维、数据质量、元数据管理等关键功能。充分满足企业建设数据中台过程中的多样复杂需求，兼容性强，解放开发人员生产力，极大缩短了数据价值的萃取过程，提升企业提炼数据价值的能力。支持多种数据源，开箱即用，快速上手，极大地降低了企业大数据开发学习门槛。弹性轻量，灵活匹配各个阶段时期建设，单台服务器即可部署，不限硬件厂商、型号和年限，各功能模块可按需搭配，逐步进行数据中台建设，降低了企业一次性设备投入。

以上借助具体实施例对本发明做了进一步描述，但是应该理解的是，这里具体的描述，不应理解为对本发明的实质和范围的限定，本领域内的普通技术人员在阅读本说明书后对上述实施例做出的各种修改，都属于本发明所保护的范围。

Claims (10)

1.分布式任务计算调度框架搭建的方法，其特征在于，包括：

预设客户类型与大数据计算框架类型之间的对应关系，设置各个所述大数据计算框架类型对应的分布式任务部署策略，设置各个所述分布式任务部署策略对应的资源调度策略；

根据客户类型与大数据计算框架类型之间的对应关系选择对应的目标计算框架类型；基于所述目标计算框架类型获取对应的目标分布式任务部署策略；根据所述目标分布式任务部署策略及预设的各个资源数据处理器，搭建分布式资源数据处理框架；

根据所述目标分布式任务部署策略获取对应的目标资源调度策略，根据所述目标资源调度策略建立分布式任务消息队列；按照所述分布式任务部署策略与资源调度策略的对应关系，将所述分布式任务消息队列中各个任务管理元素与所述分布式资源数据处理框架的各个分布式数据层对应连接；

基于所述目标资源调度策略调用所述分布式资源数据处理框架中的分布式数据进行数据计算处理。

2.根据权利要求1所述的分布式任务计算调度框架搭建的方法，其特征在于，还包括：

预设客户类型与访问客户端的权限管理策略对应关系；

检测到访问客户端时，根据所述权限管理策略对应关系得到所述访问客户端的权限；根据所述访问客户端的权限调取对应的资源调度策略。

3.根据权利要求1所述的分布式任务计算调度框架搭建的方法，其特征在于，还包括：

接收客户端的用户行为请求，根据所述用户行为请求获取对应的所述分布式任务部署策略及资源调度策略；

记录所述用户行为请求中的用户行为信息，按照预设的用户行为特征提取策略提取所述用户行为信息中的各个用户特征，根据预设的用户特征分析策略分析得到所述客户端对应于所述分布式任务部署策略及资源调度策略的用户行为喜好并存储；

再次接受所述客户端的用户行为请求时，根据所述用户行为喜好与分布式任务部署策略及资源调度策略的对应关系向所述客户端推送对应的分布式任务部署策略及资源调度策略。

4.根据权利要求1所述的分布式任务计算调度框架搭建的方法，其特征在于，还包括：

在所述分布式资源数据处理框架中，设置中心服务器、终端设备以及按照预设策略在预设范围内创建的虚拟服务器；

终端设备与虚拟服务器连接，虚拟服务器与中心服务器连接，其中多个终端服务器对应一个虚拟服务器，多个虚拟服务器对应一个中心服务器；

将所述分布式任务部署策略及目标资源调度策略，以及调度的目标数据按照预设的存储策略存储至对应的所述虚拟服务器中。

5.根据权利要求1所述的分布式任务计算调度框架搭建的方法，其特征在于，还包括：

预设各个分布式资源数据处理框架的异构数据源校验策略；

根据所述异构数据源校验策略校验搭建的所述分布式资源数据处理框架的数据记录和内容一致性；

在异构数据源校验通过时，确认所述分布式资源数据处理框架的搭建。

6.分布式任务计算调度框架搭建的装置，其特征在于，包括：数据计算框架设置模块、分布式资源数据处理框架搭建模块、分布式资源数据框架链接模块及分布式资源数据调度模块；其中，

所述数据计算框架设置模块，预设客户类型与大数据计算框架类型之间的对应关系，设置各个所述大数据计算框架类型对应的分布式任务部署策略，设置各个所述分布式任务部署策略对应的资源调度策略；

所述分布式资源数据处理框架搭建模块，与所述数据计算框架设置模块相连接，根据客户类型与大数据计算框架类型之间的对应关系选择对应的目标计算框架类型；基于所述目标计算框架类型获取对应的目标分布式任务部署策略；根据所述目标分布式任务部署策略及预设的各个资源数据处理器，搭建分布式资源数据处理框架；

所述分布式资源数据框架链接模块，与所述分布式资源数据处理框架搭建模块相连接，根据所述目标分布式任务部署策略获取对应的目标资源调度策略，根据所述目标资源调度策略建立分布式任务消息队列；按照所述分布式任务部署策略与资源调度策略的对应关系，将所述分布式任务消息队列中各个任务管理元素与所述分布式资源数据处理框架的各个分布式数据层对应连接；

所述分布式资源数据调度模块，与所述分布式资源数据框架链接模块相连接，基于所述目标资源调度策略调用所述分布式资源数据处理框架中的分布式数据进行数据计算处理。

7.根据权利要求6所述的分布式任务计算调度框架搭建的装置，其特征在于，还包括：分布式资源数据架构权限管理模块，与所述分布式资源数据处理框架搭建模块相连接，用于：

预设客户类型与访问客户端的权限管理策略对应关系；

检测到访问客户端时，根据所述权限管理策略对应关系得到所述访问客户端的权限；根据所述访问客户端的权限调取对应的资源调度策略。

8.根据权利要求6所述的分布式任务计算调度框架搭建的装置，其特征在于，还包括：分布式资源数据处理框架搭建推送模块，与所述分布式资源数据处理框架搭建模块相连接，用于：

接收客户端的用户行为请求，根据所述用户行为请求获取对应的所述分布式任务部署策略及资源调度策略；

记录所述用户行为请求中的用户行为信息，按照预设的用户行为特征提取策略提取所述用户行为信息中的各个用户特征，根据预设的用户特征分析策略分析得到所述客户端对应于所述分布式任务部署策略及资源调度策略的用户行为喜好并存储；

再次接受所述客户端的用户行为请求时，根据所述用户行为喜好与分布式任务部署策略及资源调度策略的对应关系向所述客户端推送对应的分布式任务部署策略及资源调度策略。

9.根据权利要求6所述的分布式任务计算调度框架搭建的装置，其特征在于，还包括：分布式资源数据服务器设置模块，与所述分布式资源数据处理框架搭建模块相连接，用于：

在所述分布式资源数据处理框架中，设置中心服务器、终端设备以及按照预设策略在预设范围内创建的虚拟服务器；

终端设备与虚拟服务器连接，虚拟服务器与中心服务器连接，其中多个终端服务器对应一个虚拟服务器，多个虚拟服务器对应一个中心服务器；

将所述分布式任务部署策略及目标资源调度策略，以及调度的目标数据按照预设的存储策略存储至对应的所述虚拟服务器中。

10.计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的分布式任务计算调度框架搭建的方法的步骤。

Images