CN111538575A - 一种资源调度系统、方法、装置、设备及介质 - Google Patents
一种资源调度系统、方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN111538575A CN111538575A CN202010265927.3A CN202010265927A CN111538575A CN 111538575 A CN111538575 A CN 111538575A CN 202010265927 A CN202010265927 A CN 202010265927A CN 111538575 A CN111538575 A CN 111538575A
- Authority
- CN
- China
- Prior art keywords
- resource
- resource scheduling
- target
- scheduling
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000006243 chemical reaction Methods 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000004458 analytical method Methods 0.000 claims abstract description 19
- 230000002159 abnormal effect Effects 0.000 claims abstract description 7
- 238000003860 storage Methods 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 238000007726 management method Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000013079 data visualisation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本公开关于一种资源调度系统、方法、装置、设备及介质，用以提升资源利用率以及资源调度的效率。系统包括：接收模块，用于接收目标账户发送的业务请求消息，业务请求消息中包含业务参数；消息转换模块，用于利用预先配置的业务参数与资源调度参数的对应关系，将业务参数转换为资源调度参数，并根据转换得到的资源调度参数生成资源调度消息；核算模块，用于根据资源调度消息生成核算任务，并执行核算任务；分析模块，用于在基于核算任务的执行结果，确定出对目标资源的调度异常的情况下，确定调度异常的目标异常类型；处理模块，用于利用预先配置的异常类型与处置异常方案的对应关系，确定目标异常类型对应的目标处置方案。
Description
技术领域
本公开涉及信息技术领域，尤其涉及一种资源调度系统、方法、装置、设备及介质。
背景技术
随着大数据平台的兴起，大数据平台汇集的数据种类繁多、资源格式多样、数据资源需求增长快速，这都将加剧数据资源的管理难度。图1示出了相关技术的大数据资源调度系统，以大数据平台为基础，融合关系型数据库和分布式数据库，实现数据整合、平台监控和资源调度功能，通过WEB/CLI提供资源配置管理和基础监控功能。
相关技术中，各类资源变更由人工线下维护，难以设置合理的资源配额，导致资源浪费。
发明内容
本公开提供一种资源调度系统、方法、装置、设备及介质，用以自动化变更资源，监控资源配额异常并提供异常处置方法，避免资源浪费，提升资源利用率以及使用者对资源调度的效率。
本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种资源调度系统，包括：
接收模块，用于接收目标账户发送的业务请求消息，业务请求消息中包含用于表征所请求的目标资源数量和对目标资源进行调度的业务参数；
消息转换模块，用于利用预先配置的业务参数与资源调度参数的对应关系，将业务请求消息中包含的业务参数转换为资源调度参数，并根据转换得到的资源调度参数生成资源调度消息，其中，预先配置的业务参数与资源调度参数的对应关系中，与每个业务参数对应的资源调度参数用于表征完成该业务参数对应的业务所需调用的资源及资源调度指令；
核算模块，用于根据资源调度消息生成核算任务，并执行核算任务；
分析模块，用于在基于核算任务的执行结果，确定出对目标资源的调度异常的情况下，确定调度异常的目标异常类型；
处理模块，用于利用预先配置的异常类型与处置异常方案的对应关系，确定目标异常类型对应的目标处置方案。
一种可能的实施方式中，本公开实施例提供的资源调度系统还包括：
第一资源转换模块，用于将接入资源调度系统的资源转换为通用资源。
一种可能的实施方式中，本公开实施例提供的资源调度系统中，第一资源转换模块具体用于：对接入资源调度系统的资源进行反序列化处理，将接入资源调度系统的资源转换为通用资源。
一种可能的实施方式中，本公开实施例提供的资源调度系统还包括：
资源存储模块，用于存储第一资源转换模块转换后的通用资源。
一种可能的实施方式中，本公开实施例提供的资源调度系统中，通用资源包括：通用计算资源和/或通用存储资源。
一种可能的实施方式中，本公开实施例提供的资源调度系统还包括：
第二资源转换模块，用于将通用资源转换为资源调度消息中所包含的目标资源。
一种可能的实施方式中，本公开实施例提供的资源调度系统中，第二资源转换模块具体用于：对通用资源进行序列化处理，将通用资源转换为资源调度消息中所包含的目标资源。
一种可能的实施方式中，本公开实施例提供的资源调度系统还包括：
消息同步模块，用于将目标账户的资源调度消息同步至第二资源转换模块、核算模块和分析模块。
一种可能的实施方式中，本公开实施例提供的资源调度系统还包括：
展示模块，用于根据目标用户预设展示类型，展示核算任务的执行结果。
一种可能的实施方式中，本公开实施例提供的资源调度系统中，核算模块具体用于：
根据资源调度消息确定核算任务，核算任务包括一个或多个子核算任务；
获取和/或计算子核算任务的执行结果，并根据子核算任务的执行结果生成核算任务的执行结果。
一种可能的实施方式中，本公开实施例提供的资源调度系统中，调度包括如下一种或多种：
生成目标资源账单、优化目标资源、提升目标资源利用率。
根据本公开实施例的第二方面，提供一种资源调度方法，用于第一方面中的资源调度系统，方法包括：
接收目标账户发送的业务请求消息，业务请求消息中包含用于表征所请求的目标资源数量和对目标资源进行调度的业务参数；
利用预先配置的业务参数与资源调度参数的对应关系，将业务请求消息中包含的业务参数转换为资源调度参数，并根据转换得到的资源调度参数生成资源调度消息，其中，预先配置的业务参数与资源调度参数的对应关系中，与每个业务参数对应的资源调度参数用于表征完成该业务参数对应的业务所需调用的资源及资源调度指令；
根据资源调度消息生成核算任务，并执行核算任务；
在基于核算任务的执行结果，确定出对目标资源的调度异常的情况下，确定调度异常的目标异常类型；
利用预先配置的异常类型与处置异常方案的对应关系，确定目标异常类型对应的目标处置异常方案。
一种可能的实施方式中，本公开实施例中的资源调度方法，还包括：
将接入资源调度系统的资源转换为通用资源。
一种可能的实施方式中，本公开实施例中的资源调度方法中，将接入资源调度系统的资源转换为通用资源，包括：对接入资源调度系统的资源进行反序列化处理，将接入资源调度系统的资源转换为通用资源。
一种可能的实施方式中，本公开实施例中的资源调度方法，还包括：将通用资源转换为资源调度消息中所包含的目标资源。
一种可能的实施方式中，本公开实施例中的资源调度方法中，将通用资源转换为资源调度消息中所包含的目标资源，包括：对通用资源进行序列化处理，将通用资源转换为资源调度消息中所包含的目标资源。
一种可能的实施方式中，本公开实施例中的资源调度方法中，根据资源调度消息生成核算任务，并执行核算任务，包括：
根据资源调度消息确定核算任务，核算任务包括一个或多个子核算任务；
获取和/或计算子核算任务的执行结果，并根据子核算任务的执行结果生成核算任务的执行结果。
根据本公开实施例的第三方面，提供一种资源调度装置，包括：
接收单元，被配置为执行接收目标账户发送的业务请求消息，业务请求消息中包含用于表征所请求的目标资源数量和对目标资源进行调度的业务参数；
消息转换单元，被配置为执行利用预先配置的业务参数与资源调度参数的对应关系，将业务请求消息中包含的业务参数转换为资源调度参数，并根据转换得到的资源调度参数生成资源调度消息，其中，预先配置的业务参数与资源调度参数的对应关系中，与每个业务参数对应的资源调度参数用于表征完成该业务参数对应的业务所需调用的资源及资源调度指令；
核算单元，被配置为执行根据资源调度消息生成核算任务，并执行核算任务；
分析单元，被配置为执行在基于核算任务的执行结果，确定出对目标资源的调度异常的情况下，确定调度异常的目标异常类型；
处理单元，被配置为执行利用预先配置的异常类型与处置异常方案的对应关系，确定目标异常类型对应的处置异常方案。
一种可能的实施方式中，本公开实施例中的资源调度装置，还包括：
第一资源转换单元，被配置为执行将接入资源调度系统的资源转换为通用资源。
一种可能的实施方式中，本公开实施例中的资源调度装置中，第一资源转换单元具体被配置为执行对接入资源调度系统的资源进行反序列化处理，将接入资源调度系统的资源转换为通用资源。
一种可能的实施方式中，本公开实施例中的资源调度方法，还包括：
第二资源转换单元，被配置为执行将通用资源转换为资源调度消息中所包含的目标资源。
一种可能的实施方式中，本公开实施例中的资源调度装置中，第二资源转换单元，具体被配置为执行：对通用资源进行序列化处理，将通用资源转换为资源调度消息中所包含的目标资源。
一种可能的实施方式中，本公开实施例中的资源调度装置中，核算单元具体被配置为执行：
根据资源调度消息确定核算任务，核算任务包括一个或多个子核算任务；
获取和/或计算子核算任务的执行结果，并根据子核算任务的执行结果生成核算任务的执行结果。
根据本公开实施例的第四方面，一种资源调度设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行指令以实现第二方面中任一项的资源调度方法。
根据本公开实施例的第五方面，一种存储介质，当存储介质中的指令由资源调度设备的处理器执行时，使得资源调度设备能够执行第二方面中任一项的资源调度方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
接收模块，用于接收目标账户发送的业务请求消息，业务请求消息中包含用于表征所请求的目标资源数量和对目标资源进行调度的业务参数；消息转换模块，用于利用预先配置的业务参数与资源调度参数的对应关系，将业务请求消息中包含的业务参数转换为资源调度参数，并根据转换得到的资源调度参数生成资源调度消息，其中，预先配置的业务参数与资源调度参数的对应关系中，与每个业务参数对应的资源调度参数用于表征完成该业务参数对应的业务所需调用的资源及资源调度指令；核算模块，用于根据资源调度消息生成核算任务，并执行核算任务；分析模块，用于在基于核算任务的执行结果，确定出对目标资源的调度异常的情况下，确定调度异常的目标异常类型；处理模块，用于利用预先配置的异常类型与处置异常方案的对应关系，确定目标异常类型对应的目标处置方案。消息转换模块将使用者调度资源的业务命令转换为大数据资源命令，使资源调度系统自动化变更资源，分析模块在使用者对目标资源调度时，监控资源配额异常并提供异常处置方法，避免因资源配额不合理造成资源浪费，提升资源利用率以及使用者对资源调度的效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出相关技术的资源调度系统模块结构示意图。
图2是根据一示例性实施例示出一种资源调度系统模块结构示意图。
图3是根据一示例性实施例示出消息转换模块的功能结构示意图。
图4是根据一示例性实施例示出一种资源调度系统功能模块结构示意图。
图5是根据一示例性实施例示出资源调度系统的数据转换功能模块结构示意图。
图6是根据一示例性实施例示出一种资源调度系统业务处理流程示意图。
图7是根据一示例性实施例示出的一种资源调度设备方法的示意流程图。
图8是根据一示例性实施例示出的一种资源调度设备装置的结构示意图。
图9是根据一示例性实施例示出的一种资源调度设备的结构示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，显然，所描述的实施例仅仅是本公开一部份实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
下面对文中出现的一些词语进行解释：
1、本公开实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
2、本公开实施例中术语“终端”可以表示包括如手机、电脑、平板等电子设备。
本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。
图2根据一示例性实施例示出的一种资源调度系统模块结构示意图，如图2所示，一种资源调度系统，包括：
接收模块201，用于接收目标账户发送的业务请求消息，所述业务请求消息中包含用于表征所请求的目标资源数量和对所述目标资源进行调度的业务参数；
消息转换模块202，用于利用预先配置的业务参数与资源调度参数的对应关系，将所述业务请求消息中包含的业务参数转换为资源调度参数，并根据转换得到的资源调度参数生成资源调度消息，其中，所述预先配置的业务参数与资源调度参数的对应关系中，与每个业务参数对应的资源调度参数用于表征完成该业务参数对应的业务所需调用的资源及资源调度指令；
核算模块203，用于根据所述资源调度消息生成核算任务，并执行所述核算任务；
分析模块204，用于在基于所述核算任务的执行结果，确定对所述目标资源的调度异常时，确定所述调度异常的目标异常类型；
处理模块205，用于利用预先配置的异常类型与处置异常方案的对应关系，确定所述目标异常类型对应的目标处置方案。
具体实施时，接收模块201可以接收目标账户通过手动操作或者应用程序接口(Application Programming Interface，API)发送的业务请求消息。目标资源的业务请求消息中可以携带关于目标资源调度的参数，例如，目标资源数量，以及对目标资源进行何种调度的配置参数。
在实际应用场景中，调度目标资源可以包括如下一种或多种：生成目标资源账单、优化目标资源、提升目标资源利用率。目标资源的业务请求消息中可以携带由关于调度目标资源业务的参数，可以从目标账户(或者，使用者的终端设备)的前端界面，获取调度目标资源业务的参数，通过目标账户触发，发送到资源调度系统的接收模块中。
需要说明的是，生成目标资源账单，可以对资源施行错峰定价，通过资源账单让目标账户或使用者直观感知其资源用量开销、利用率以及资源投入产出比，可以引导目标账户或使用者主动选择闲时进行大数据作业，打平运行负荷，以数据驱动目标账户或使用者提升资源利用率，减少资源滥用，同时也提升资源调度系统中资源利用率。资源账单还可以体现出资源预留量和弹性量，预留量是为用户预留/分配的专属资源量，弹性量是多个用户共享使用的资源量。
由于接收的调度目标资源的业务请求消息不是有关大数据资源调度的控制命令，大数据资源调度系统无法识别调度目标资源的业务请求消息，需要预先配置的业务请求消息与资源调度消息的对应关系(其中，与每个业务参数对应的资源调度参数用于表征完成该业务参数对应的业务所需调用的资源及资源调度指令)，消息转换模块202可将业务请求消息转换为资源调度消息(资源调度命令)，利用预先配置的业务参数与资源调度参数的对应关系，将业务请求消息中包含的业务参数转换为资源调度参数，并根据转换得到的资源调度参数生成资源调度消息。
一种可能的实施方式中，图3根据一示例性示出消息转换模块202的功能结构框图，如图3所示，消息转换模块包括：
消息队列单元301、推送单元302、配置解析单元303、工作流引擎单元304、META元数据管理单元305。
具体实施时，将调度目标资源的业务请求消息放入消息队列301中，其中消息队列单元301可以存放多个目标账户发送的用于调度目标资源的业务请求消息，也可以设置多个消息队列，分别存放目标账户发送的用于调度目标资源的业务请求消息。
根据实际应用场景，设置推送业务请求消息的时机或者周期，推送单元302将消息队列单元301中的业务请求消息推送至配置解析单元303，配置解析单元303预先配置的业务参数与资源调度参数的对应关系，将业务请求消息中包含的业务参数转换为资源调度参数，根据转换得到的资源调度参数生成资源调度消息，其中，预先配置的业务参数与资源调度参数的对应关系，存储于META元数据管理单元305中，工作流引擎单元304根据资源调度消息确定资源调度系统中各模块的资源调度消息，例如，一个目标账户的资源调度操作涉及有关目标资源多个调度需求(业务)，查询业务、分析业务等，服务于业务涉及资源调度系统中多个模块，可将资源调度消息以“工单”的形式，通知资源调度系统中各模块中，使各模块自动执行资源调度任务。
消息转换模块202还可以包括业务消息接入单元306、权限管理单元307。根据目标账户触发调度资源操作的方式不同，业务消息接入单元306可以通过前端接入功能，接入目标账户通过手动操作触发调度目标资源的业务请求消息，也可以通过API接口，接入由API调用操作触发调度目标资源的业务请求消息。在实际应用场景中，还可由权限管理单元307对目标账户是否具有调度目标资源的权限进行鉴权，例如，管理YARN计算队列、HDFS目录、HIVE库表、Kafka Topics等资源实体。
核算模块203根据资源调度消息生成核算任务，并执行核算任务时，可以根据资源调度消息确定核算任务，核算任务包括一个或多个子核算任务；获取和/或计算子核算任务的执行结果，并根据子核算任务的执行结果生成核算任务的执行结果。
具体实施时，核算模块203可以根据不同的联机分析处理OLAP引擎(例如ClickHouse、Druid等)以及聚合查询引擎，来支撑不同场景需求下(离线分析&实时分析)的大数据资源调度任务。
核算模块203，可以将核算任务分为一个或多个子核算任务，将子核算任务分发到不同的OLAP引擎，将获取和/或计算子核算任务的执行结果，通过数据聚合将子核算任务的执行结果聚合为核算任务的执行结果。
图4示出了一种资源调度系统功能模块结构示意图，如图4示出的核算模块203的功能框图包括：缓存单元401、Routing单元402、数据聚合单元403、预计算单元404。
缓存单元401中存放有目标账户触发核算任务的执行结果。Routing单元402，用于将核算任务分为多个子核算任务，分发到不同的OLAP引擎执行子核算任务。数据聚合单元403，将多个子核算任务的执行结果聚合一起，作为核算任务的执行结果。预计算单元404，用于预先计算有关目标账户触发的核算任务需要的数据，例如，常用子核算任务。
分析模块204基于核算任务的执行结果，可以利用预先配置的异常检测算法，确定出对目标资源的调度异常的情况下，确定调度异常的目标异常类型。
处理模块205利用预先配置的异常类型与处置异常方案的对应关系，确定目标异常类型对应的目标处置异常方案。还可以将确定的目标处置异常方案反馈或通知目标账户，以提示目标账户对目标资源的调度有异常情况，造成资源配额不合理。
一种可能的实施方式中，资源调度系统还包括：第一资源转换模块，用于将接入资源调度系统的资源转换为通用资源。
具体实施时，资源调度系统可以接入多种大数据资源，例如，存储资源、计算资源。也可以接入多种类型数据源，例如，YARN、DAG、HDFS、Hbase、Kafka等数据类型。第一资源转换模块206通过通用引擎和插件方式快速适配各类数据源，构建统一的数据接入格式作为资源调度系统中的通用资源，放入数据仓库中。
在实际应用场景中，第一资源转换模块可以具体用于：对接入资源调度系统的资源进行反序列化处理，将接入资源调度系统的资源转换为通用资源。
图5根据一示例性实施例示出的数据转换功能模块结构示意图，图5中粗实线框中的部分为第一资源转换模块206，将外部数据接入资源调度系统，数据反序列化插件501通过反序列化技术，实现不同类型数据源和离散数据流502Dstream之间的转换，经过数据处理通用引擎503，转换为通用资源。
一种可能的实施方式中，资源调度系统还包括资源存储模块207，用于存储第一资源转换模块206转换后的通用资源。需要说明的是，通用资源包括：通用计算资源和/或通用存储资源。
一种可能的实施方式中，资源调度系统还包括：第二资源转换模块208，用于将通用资源转换为资源调度消息中所包含的目标资源。
具体实施时，响应目标账户的业务请求消息或业务需求，提供目标账户指定类型的资源，第二资源转换模块208可以将存于的通用资源转换为资源调度消息中包含的目标资源。
在实际应用场景中，第二资源转换模块具体用于：对通用资源进行序列化处理，将通用资源转换为资源调度消息中所包含的目标资源。
具体实施时，图5根据一示例性实施例示出的数据转换功能模快，图5中粗虚线框中的部分为第二资源转换模块208，通过数据处理通用引擎503将通用资源的离散数据流504，通过数据序列化插件505的序列化技术，实现通用资源转换为不同类型数据源。
在实际应用场景中，资源调度系统还包括：消息同步模块209，用于将目标账户的资源调度消息同步至第二资源转换模块208、核算模块203和分析模块204。资源调度消息被同步至各模块，实现分布式响应资源调度消息，有效关联和打通资源调度各个环节的资源元数据，形成全流程闭环管理。
一种可能的实施方式中，资源调度系统还包括：展示模块，用于根据目标用户预设展示类型，展示核算任务的执行结果。
具体实施时，展示模块210具有数据可视化功能，将根据目标账户预设展示类型，向目标账户展示核算任务的执行结果。图4中展示模块210中示出了四种展示类型，包括：数据看板、多维分析、报表系统、数据大屏，需要说明的是本公开实施例中示出的展示类型还可以包括其他可视化类型。其中，数据看板和数据大屏为目标账户观看执行结果的显示设备，例如，大屏幕、平板电脑、显示器等显示设备，还可以以多维分析可视化的方式，在目标账户前端界面中显示，还可以通过报表的形式，将执行结果发送给目标账户，提升目标账户对大数据资源的精细化运营管理。
图4根据一示例性实施例示出的一种资源调度系统，如图4所示，资源调度系统包括：数据接入模块、资源存储模块、分析模块、核算模块、消息同步模块、消息转换模块以及展示模块。
本公开实施例示出的资源调度系统可以处理目标账户发起资源账单业务、资源治理业务、成本优化业务、利用率提升业务等资源调度相关业务。资源调度系统可以对YARN、DAG等计算资源以及HDFS、HBase、Kafka等存储资源进行管理。
其中，数据接入模块，可以将外部资源通过第一资源转换模块206，转换为通用资源，放入资源存储模块207的数据仓库中，还可以将通用资源通过第二资源转换模块208，转换为资源调度消息中对应的资源类型。数据接入模块中还可以包括具有作业配置和数据适配插件功能的接入网关单元，以及同步引擎和pipeline功能的抽取/转换/加载ETL单元。
消息转换模块202将目标资源的业务请求消息转换为资源调度消息，消息同步模块209将资源调度消息同步到核算模块203、分析模块204、第二资源转换模块208中。
核算模块203中的Routing单元402根据资源调度消息确定核算任务，为快速响应目标账户的业务请求消息，可以将核算任务拆分为多个子核算任务，子核算任务在接收目标账户的业务请求消息之前被预计算单元404处理，可从缓存单元401中获取该子核算任务的执行结果，子核算任务在接收目标账户的业务请求消息之前未被预计算单元404处理，可以利用分析模块中预先配置的数据计算模型406或者常用算法407中的算法处理该子核算任务。将多个子核算任务的任务结果在数据聚合单元403中进行聚合，基于多个子核算任务的执行结果，生成核算任务的执行结果。其中，常用算法407中可包含异常检测算法、统计算法、归类算法等常用或通用算法。
可以根据目标资源的资源调度消息确定得到核算任务执行结果的时长，时长小于预设时长阈值的核算任务可以通过实时计算408功能单元中的计算引擎进行处理，时长大于等于预设时长阈值的核算任务可以通过离线计算409功能单元中的计算引擎机型处理。
分析模块204在基于所述核算任务的执行结果，确定对所述目标资源的调度异常时，确定所述调度异常的目标异常类型。
处理模块205，用于利用预先配置的异常类型与处置异常方案的对应关系(可存储于智能决策405功能单元中)，确定所述目标异常类型对应的目标处置方案。还可以将确定的处置异常方案反馈或通知目标账户，以提示目标账户对目标资源的调度有异常情况，造成资源配额不合理。
展示模块210具有数据可视化功能，将根据目标账户预设展示类型，向目标账户展示核算任务的执行结果，其中，预设展示类型，包括：数据看板、多维分析、报表系统、数据大屏。
图6根据一示例性实施例示出的一种资源调度系统业务处理流程，如图6所示，将计算资源以及存储资源601，通过数据转换模块602，对数据资源进行数据清洗、抽取、转换，将外部数据源转换为通用资源，可利用Kafka分布式存储技术存储通用资源，消息转换模块603可将目标账户的调度目标资源的业务请求消息转换为资源调度消息，数据转换模块602可以根据资源调度消息，将通用资源转换为资源调度消息对应类型资源，数据分析604中的多种大数据资源工具可使用数据转换模块602中的通用资源执行计算任务，计算任务的结果发送制核算模块605，核算模块605可以将根据资源调度消息生成的核算任务划分为多个子核算任务，未被预计算单元606提前处理的子核算任务，由XQuery单元607分发至数据分析604进行处理，被预计算单元606提前处理的子核算任务的执行结果存储在Redis单元608，Redis单元608将多个子核算任务的执行结果生成核算任务的执行结果。通过可视化单元609执行结果通过可视化工具反馈给目标账户。
图7根据一示例性实施例示出的一种资源调度方法，如图7所示，资源调度方法包括如下步骤：
S701，接收目标账户发送的业务请求消息，业务请求消息中包含用于表征所请求的目标资源数量和对目标资源进行调度的业务参数。
S702，利用预先配置的业务参数与资源调度参数的对应关系，将业务请求消息中包含的业务参数转换为资源调度参数，并根据转换得到的资源调度参数生成资源调度消息，其中，预先配置的业务参数与资源调度参数的对应关系中，与每个业务参数对应的资源调度参数用于表征完成该业务参数对应的业务所需调用的资源及资源调度指令。
S703，根据资源调度消息生成核算任务，并执行核算任务。
S704，在基于核算任务的执行结果，确定出对目标资源的调度异常的情况下，确定调度异常的目标异常类型。
S705，利用预先配置的异常类型与处置异常方案的对应关系，确定目标异常类型对应的目标处置异常方案。
一种可能的实施方式中，本公开实施例的资源调度方法，还包括：
将接入资源调度系统的资源转换为通用资源。
一种可能的实施方式中，本公开实施例的资源调度方法中，将接入资源调度系统的资源转换为通用资源，包括：对接入资源调度系统的资源进行反序列化处理，将接入资源调度系统的资源转换为通用资源。
一种可能的实施方式中，本公开实施例的资源调度方法，还包括：
将通用资源转换为资源调度消息中所包含的目标资源。
一种可能的实施方式中，本公开实施例的资源调度方法中，将通用资源转换为资源调度消息中所包含的目标资源，包括：对通用资源进行序列化处理，将通用资源转换为资源调度消息中所包含的目标资源。
一种可能的实施方式中，本公开实施例的资源调度方法中，根据资源调度消息生成核算任务，并执行核算任务，包括：
根据资源调度消息确定核算任务，核算任务包括一个或多个子核算任务；
获取和/或计算子核算任务的执行结果，并根据子核算任务的执行结果生成核算任务的执行结果。
基于上述本公开实施例相同构思，图8是根据一示例性实施例示出的资源调度装置，如图8所示，本公开实施例示出的资源调度装置包括：
接收单元801，被配置为执行接收目标账户发送的业务请求消息，业务请求消息中包含用于表征所请求的目标资源数量和对目标资源进行调度的业务参数；
消息转换单元802，被配置为执行利用预先配置的业务参数与资源调度参数的对应关系，将业务请求消息中包含的业务参数转换为资源调度参数，并根据转换得到的资源调度参数生成资源调度消息，其中，预先配置的业务参数与资源调度参数的对应关系中，与每个业务参数对应的资源调度参数用于表征完成该业务参数对应的业务所需调用的资源及资源调度指令；
核算单元803，被配置为执行根据资源调度消息生成核算任务，并执行核算任务；
分析单元804，被配置为执行在基于核算任务的执行结果，确定出对目标资源的调度异常的情况下，确定调度异常的目标异常类型。
处理单元805，被配置为执行利用预先配置的异常类型与处置异常方案的对应关系，确定目标异常类型对应的处置异常方案。
一种可能的实施方式中，本公开实施例中的资源调度装置，还包括：
第一资源转换单元806，被配置为执行将接入资源调度系统的资源转换为通用资源。
一种可能的实施方式中，本公开实施例中的资源调度方法中，第一资源转换单元806具体被配置为执行对接入资源调度系统的资源进行反序列化处理，将接入资源调度系统的资源转换为通用资源。
一种可能的实施方式中，本公开实施例中的资源调度方法，还包括：
第二资源转换单元807，被配置为执行将通用资源转换为资源调度消息中所包含的目标资源。
一种可能的实施方式中，本公开实施例中的资源调度方法中，第二资源转换单元807，具体被配置为执行：对通用资源进行序列化处理，将通用资源转换为资源调度消息中所包含的目标资源。
一种可能的实施方式中，本公开实施例中的资源调度方法中，核算单元803具体被配置为执行：
根据资源调度消息确定核算任务，核算任务包括一个或多个子核算任务；
获取和/或计算子核算任务的执行结果，并根据子核算任务的执行结果生成核算任务的执行结果。
图9是根据一示例性实施例示出的资源调度设备900的框图，如图9所示，本公开实施例示出的资源调度900包括：
处理器910；
用于存储处理器910可执行指令的存储器920；
其中，处理器910被配置为执行指令，以实现本公开实施例中资源调度方法。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器920，上述指令可由资源调度装置的处理器910执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
另外，在示例性实施例中，本公开还提供了一种存储介质，当存储介质中的指令由上述资源调度设备的处理器执行时，使得上述资源调度设备能够实现本公开实施例中的资源调度方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种资源调度系统，其特征在于，所述系统包括：
接收模块，用于接收目标账户发送的业务请求消息，所述业务请求消息中包含用于表征所请求的目标资源数量和对所述目标资源进行调度的业务参数；
消息转换模块，用于利用预先配置的业务参数与资源调度参数的对应关系，将所述业务请求消息中包含的业务参数转换为资源调度参数，并根据转换得到的资源调度参数生成资源调度消息，其中，所述预先配置的业务参数与资源调度参数的对应关系中，与每个业务参数对应的资源调度参数用于表征完成该业务参数对应的业务所需调用的资源及资源调度指令；
核算模块，用于根据所述资源调度消息生成核算任务，并执行所述核算任务；
分析模块，用于在基于所述核算任务的执行结果，确定出对所述目标资源的调度异常的情况下，确定所述调度异常的目标异常类型；
处理模块，用于利用预先配置的异常类型与处置异常方案的对应关系，确定所述目标异常类型对应的目标处置方案。
2.根据权利要求1所述的系统，其特征在于，所述系统还包括：
第一资源转换模块，用于将接入所述资源调度系统的资源转换为通用资源。
3.根据权利要求2所述的系统，其特征在于，所述第一资源转换模块具体用于：对接入所述资源调度系统的资源进行反序列化处理，将接入所述资源调度系统的资源转换为通用资源。
4.根据权利要求2所述的系统，其特征在于，所述系统还包括：
第二资源转换模块，用于将通用资源转换为所述资源调度消息中所包含的目标资源。
5.根据权利要求2所述的系统，其特征在于，所述第二资源转换模块具体用于：对所述通用资源进行序列化处理，将通用资源转换为所述资源调度消息中所包含的目标资源。
6.根据权利要求1所述的系统，其特征在于，所述核算模块具体用于：
根据所述资源调度消息确定核算任务，所述核算任务包括一个或多个子核算任务；
获取和/或计算所述子核算任务的执行结果，并根据所述子核算任务的执行结果生成所述核算任务的执行结果。
7.一种资源调度方法，用于如权利要求1-6中任一项所述的资源调度系统，其特征在于，包括：
接收目标账户发送的业务请求消息，所述业务请求消息中包含用于表征所请求的目标资源数量和对所述目标资源进行调度的业务参数；
利用预先配置的业务参数与资源调度参数的对应关系，将所述业务请求消息中包含的业务参数转换为资源调度参数，并根据转换得到的资源调度参数生成资源调度消息，其中，所述预先配置的业务参数与资源调度参数的对应关系中，与每个业务参数对应的资源调度参数用于表征完成该业务参数对应的业务所需调用的资源及资源调度指令；
根据所述资源调度消息生成核算任务，并执行所述核算任务；
在基于所述核算任务的执行结果，确定出对所述目标资源的调度异常的情况下，确定所述调度异常的目标异常类型；
利用预先配置的异常类型与处置异常方案的对应关系，确定所述目标异常类型对应的目标处置异常方案。
8.一种资源调度装置，其特征在于，包括：
接收单元，被配置为执行接收目标账户发送的业务请求消息，所述业务请求消息中包含用于表征所请求的目标资源数量和对所述目标资源进行调度的业务参数；
消息转换单元，被配置为执行利用预先配置的业务参数与资源调度参数的对应关系，将所述业务请求消息中包含的业务参数转换为资源调度参数，并根据转换得到的资源调度参数生成资源调度消息，其中，所述预先配置的业务参数与资源调度参数的对应关系中，与每个业务参数对应的资源调度参数用于表征完成该业务参数对应的业务所需调用的资源及资源调度指令；
核算单元，被配置为执行根据所述资源调度消息生成核算任务，并执行所述核算任务；
分析单元，被配置为执行在基于所述核算任务的执行结果，确定出对所述目标资源的调度异常的情况下，确定所述调度异常的目标异常类型；
处理单元，被配置为执行利用预先配置的异常类型与处置异常方案的对应关系，确定所述目标异常类型对应的处置异常方案。
9.一种资源调度设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令以实现如权利要求7所述的资源调度方法。
10.一种存储介质，其特征在于，当所述存储介质中的指令由资源调度设备的处理器执行时，使得所述资源调度设备能够执行如权利要求7所述的资源调度方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010265927.3A CN111538575B (zh) | 2020-04-07 | 2020-04-07 | 一种资源调度系统、方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010265927.3A CN111538575B (zh) | 2020-04-07 | 2020-04-07 | 一种资源调度系统、方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111538575A true CN111538575A (zh) | 2020-08-14 |
| CN111538575B CN111538575B (zh) | 2023-11-14 |
Family
ID=71976892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010265927.3A Active CN111538575B (zh) | 2020-04-07 | 2020-04-07 | 一种资源调度系统、方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111538575B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112288181A (zh) * | 2020-11-06 | 2021-01-29 | 精英数智科技股份有限公司 | 一种智能调度系统、智能调度方法及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030014521A1 (en) * | 2001-06-28 | 2003-01-16 | Jeremy Elson | Open platform architecture for shared resource access management |
| CN107113802A (zh) * | 2015-10-27 | 2017-08-29 | 华为技术有限公司 | 资源调度方法、基站、调度器、节目源服务器和系统 |
| CN108683730A (zh) * | 2018-05-11 | 2018-10-19 | 深圳市网心科技有限公司 | 资源调度方法、业务服务器、客户终端、网络系统和介质 |
| US20190138360A1 (en) * | 2017-11-08 | 2019-05-09 | Western Digital Technologies, Inc. | Task Scheduling Through an Operating System Agnostic System Abstraction Layer from a Top of the Rack Switch in a Hyper Converged Infrastructure |
| CN110619065A (zh) * | 2019-08-13 | 2019-12-27 | 平安普惠企业管理有限公司 | 资源调度业务处理方法、装置、计算机设备和存储介质 |
| CN110837420A (zh) * | 2019-11-12 | 2020-02-25 | Oppo广东移动通信有限公司 | 资源调度方法、装置、终端及存储介质 |
-
2020
- 2020-04-07 CN CN202010265927.3A patent/CN111538575B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030014521A1 (en) * | 2001-06-28 | 2003-01-16 | Jeremy Elson | Open platform architecture for shared resource access management |
| CN107113802A (zh) * | 2015-10-27 | 2017-08-29 | 华为技术有限公司 | 资源调度方法、基站、调度器、节目源服务器和系统 |
| US20190138360A1 (en) * | 2017-11-08 | 2019-05-09 | Western Digital Technologies, Inc. | Task Scheduling Through an Operating System Agnostic System Abstraction Layer from a Top of the Rack Switch in a Hyper Converged Infrastructure |
| CN108683730A (zh) * | 2018-05-11 | 2018-10-19 | 深圳市网心科技有限公司 | 资源调度方法、业务服务器、客户终端、网络系统和介质 |
| CN110619065A (zh) * | 2019-08-13 | 2019-12-27 | 平安普惠企业管理有限公司 | 资源调度业务处理方法、装置、计算机设备和存储介质 |
| CN110837420A (zh) * | 2019-11-12 | 2020-02-25 | Oppo广东移动通信有限公司 | 资源调度方法、装置、终端及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112288181A (zh) * | 2020-11-06 | 2021-01-29 | 精英数智科技股份有限公司 | 一种智能调度系统、智能调度方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111538575B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109726074A (zh) | 日志处理方法、装置、计算机设备和存储介质 | |
| CN109451072A (zh) | 一种基于Kafka的消息缓存系统和方法 | |
| CN111338791A (zh) | 集群队列资源的调度方法、装置、设备及存储介质 | |
| CN112860695B (zh) | 监控数据查询方法、装置、设备、存储介质及程序产品 | |
| US11954133B2 (en) | Method and apparatus for managing and controlling resource, device and storage medium | |
| CN111209310B (zh) | 基于流计算的业务数据处理方法、装置和计算机设备 | |
| CN111352903A (zh) | 日志管理平台、日志管理方法、介质以及电子设备 | |
| CN107729137A (zh) | 服务器、区块链验签解密的方法及存储介质 | |
| CN113420043A (zh) | 数据实时监控方法、装置、设备及存储介质 | |
| CN111444158A (zh) | 长短期用户画像生成方法、装置、设备及可读存储介质 | |
| CN110149377A (zh) | 一种视频服务节点资源分配方法、系统、装置及存储介质 | |
| CN113051060A (zh) | 一种基于实时负载的gpu动态调度方法、装置及电子设备 | |
| US20160205210A1 (en) | Control method and apparatus for publish/subscribe systems | |
| CN111538575B (zh) | 一种资源调度系统、方法、装置、设备及介质 | |
| CN113535398B (zh) | 资源分配调整方法、装置、电子设备和可读存储介质 | |
| CN107153679B (zh) | 一种针对半结构化大数据的提取统计方法及系统 | |
| CN112650706A (zh) | 一种大数据技术体系下实现高态势感知能力的方法 | |
| CN116842090A (zh) | 一种对账系统、方法、设备及存储介质 | |
| CN112099937A (zh) | 一种资源治理方法和装置 | |
| CN113360481B (zh) | 一种数据处理方法、装置、设备及计算机可读存储介质 | |
| CN113255026B (zh) | 一种基于语义信息交换的cad协同设计方法 | |
| EP4209933A1 (en) | Data processing method and apparatus, and electronic device and storage medium | |
| CN113961610A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| CN110928938B (zh) | 一种接口中间件系统 | |
| CN102567024A (zh) | 脚本执行系统和脚本执行方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |