CN106648871A - 一种资源管理方法及系统 - Google Patents

一种资源管理方法及系统 Download PDF

Info

Publication number
CN106648871A
CN106648871A CN201611236999.5A CN201611236999A CN106648871A CN 106648871 A CN106648871 A CN 106648871A CN 201611236999 A CN201611236999 A CN 201611236999A CN 106648871 A CN106648871 A CN 106648871A
Authority
CN
China
Prior art keywords
resource
framework
job task
demand information
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611236999.5A
Other languages
English (en)
Other versions
CN106648871B (zh
Inventor
陈越晨
蒋戈
孙琦
顾亮亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201611236999.5A priority Critical patent/CN106648871B/zh
Publication of CN106648871A publication Critical patent/CN106648871A/zh
Application granted granted Critical
Publication of CN106648871B publication Critical patent/CN106648871B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/485Task life-cycle, e.g. stopping, restarting, resuming execution

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供了一种资源管理方法及系统,其中,所述资源管理方法包括:接收第一作业任务提交消息,第一作业任务提交消息中包括:待处理的作业、处理作业的第一资源需求信息和处理作业的第一资源管理框架;将第一资源需求信息转换为第一资源管理框架对应的第二资源需求信息;将第二资源需求信息和作业发送至第一资源管理框架,以使第一资源管理框架根据第二资源需求信息分配运行作业所需的第一资源,并根据分配的第一资源运行作业。通过本发明实施例提供的资源管理方法,实现降低资源管理成本,以及降低资源管理和调度的复杂度。

Description

一种资源管理方法及系统
技术领域
本发明涉及计算机技术领域,特别是涉及一种资源管理方法及系统。
背景技术
随着时代的进步,大数据逐渐成为企业及行业的最重要资产之一,企业中的发展决策与市场定位行为将基于该些大数据分析做出,而不是像过去更多凭借经验和直觉。
与此同时,用于分析该些大数据以得到用于企业发展决策与市场定位结果的大数据计算框架应运而生,由于不同的大数据计算框架所需的资源类型不同,因此,支持不同的大数据计算框架运行的资源管理框架也随之产生。随着云计算、大数据以及多媒体技术的不断发展,要处理的业务类型也日益增多,如此就使得有很多的应用场景,而众多的应用场景就需要多种不同类型的资源管理框架,同时,在技术的不断发展过程中,需要调研业界现有的技术,比如不同的资源管理框架,调研的过程中往往要部署多种资源框架并进行性能测试,所以现存的资源管理系统内部部署有多种不同类型的资源管理框架。
图1所示为大数据分析的系统架构图,如图1所示,该系统包括:资源管理框架和大数据计算框架,目前,当用户需要使用上述系统分析大数据时,用户首先将大数据作业任务请求消息以资源管理框架所规定的方式提交至资源管理框架,其中,大数据作业任务中会包括执行大数据作业任务所需的大数据计算框架类型,以及执行大数据作业任务的资源需求量,然后资源管理框架根据执行大数据作业任务的资源需求量为大数据作业任务分配资源,进而大数据计算框架使用资源管理框架分配的资源运行大数据作业任务。
由于资源管理框架的种类繁多,且每种资源管理框架所规定的大数据作业任务请求消息的提交方式不同,当将相同的大数据作业任务提交至不同类型的资源管理框架以运行大数据作业任务时,如果提交的大数据作业任务请求消息与资源管理框架不对应,就会造成资源管理框架无法有效为大数据作业任务分配执行大数据作业任务的资源需求量,使得大数据计算框架无法正常的运行大数据作业任务而导致运行结果出错,从而影响企业发展决策与市场定位的准确性。现有的部署有多种类型的资源管理框架时,大数据计算框架需要和资源管理框架进行手工适配,大数据计算框架和不同的资源资源管理框架之间需要使用不同的管理、调度接口,使得资源管理成本高、资源管理及调度复杂度高。
发明内容
本发明实施例的目的在于提供一种资源管理方法及系统,以实现降低资源管理成本,以及降低资源管理和调度的复杂度。具体技术方案如下:
本发明实施例提供了一种资源管理方法,包括:
接收第一作业任务提交消息,所述第一作业任务提交消息中包括:待处理的作业、处理所述作业的第一资源需求信息和处理所述作业的第一资源管理框架;
将所述第一资源需求信息转换为所述第一资源管理框架对应的第二资源需求信息;
将所述第二资源需求信息和所述作业发送至所述第一资源管理框架,以使所述第一资源管理框架根据所述第二资源需求信息分配运行所述作业所需的第一资源,并根据分配的所述第一资源运行所述作业。
优选的,所述第一资源需求信息包括第一资源需求类型标识和第一资源需求量;
所述将所述第一资源需求信息转换为所述第一资源管理框架对应的第二资源需求信息包括:
将所述第一资源需求类型标识转换为所述第一资源管理框架对应的第二资源需求类型标识,和/或,将所述第一资源需求量转换为所述第一资源管理框架对应的第二资源需求量。
优选的,将所述第二资源需求信息和所述作业发送至所述第一资源管理框架之后,还包括:
接收第二作业任务提交消息,所述第二作业任务提交消息中包括:所述作业、所述第一资源需求信息和处理所述作业的第二资源管理框架;
将所述第一资源需求信息转换为所述第二资源管理框架能够处理的第三资源需求信息;
将所述第三资源需求信息和所述作业发送至所述第二资源管理框架,以使所述第二资源管理框架根据所述第三资源需求信息分配运行所述作业所需的第二资源,并根据分配的所述第二资源运行所述作业。
优选的,接收所述用户发送的第二作业任务提交请求消息之前,还包括:
接收作业任务停止请求消息;
将所述作业任务停止请求消息发送至所述第一资源管理框架,以使所述第一资源管理框架停止运行所述作业。
优选的,接收第一作业任务提交消息,包括:
接收用户终端发送的第一作业任务提交消息;
所述将所述第二资源需求信息和所述作业发送至所述第一资源管理框架之后,还包括:
获取所述作业的运行状态并反馈给所述用户终端。
优选的,所述获取所述作业的运行状态并输出给用户,包括:
获取所述作业的运行状态,将所述作业的运行状态转换为统一规范化的运行状态,并反馈给用户终端。
另外,本发明还公开了一种资源管理系统,包括:
第一接收模块,用于接收第一作业任务提交消息,所述第一作业任务提交消息中包括:待处理的作业、处理所述作业的第一资源需求信息和处理所述作业的第一资源管理框架;
第一转换模块,用于将所述第一资源需求信息转换为所述第一资源管理框架对应的第二资源需求信息;
第一分配模块,用于将所述第二资源需求信息和所述作业发送至所述第一资源管理框架,以使所述第一资源管理框架根据所述第二资源需求信息分配运行所述作业所需的第一资源,并根据分配的所述第一资源运行所述作业。
优选的,所述资源管理系统具体用于所述第一资源需求信息包括第一资源需求类型标识和第一资源需求量;
所述第一转换模块,包括:
用于将所述第一资源需求类型标识转换为所述第一资源管理框架对应的第二资源需求类型标识,和/或,将所述第一资源需求量转换为所述第一资源管理框架对应的第二资源需求量。
优选的,所述资源管理系统,还包括:
第二接收模块,用于接收第二作业任务提交消息,所述第二作业任务提交消息中包括:所述作业、所述第一资源需求信息和处理所述作业的第二资源管理框架;
第二转换模块,用于将所述第一资源需求信息转换为所述第二资源管理框架能够处理的第三资源需求信息;
第二分配模块,用于将所述第三资源需求信息和所述作业发送至所述第二资源管理框架,以使所述第二资源管理框架根据所述第三资源需求信息分配运行所述作业所需的第二资源,并根据分配的所述第二资源运行所述作业。
优选的,所述资源管理系统还包括:
接收停止消息模块,用于接收作业任务停止请求消息;
发送模块,用于将所述作业任务停止请求消息发送至所述第一资源管理框架,以使所述第一资源管理框架停止运行所述作业。
优选的,所述第一接收模块,包括:用于接收用户终端发送的第一作业任务提交消息;
所述资源管理系统,还包括:
获取状态模块,用于获取所述作业的运行状态并反馈给所述用户终端。
优选的,所述获取状态模块,用于获取所述作业的运行状态,将所述作业的运行状态转换为统一规范化的运行状态,并反馈给用户终端。
本发明实施例提供的资源管理方法及系统,可以在部署有多种类型的资源管理框架的环境下,统一规范多种类型的资源管理框架的资源管理及调度策略,为各种资源管理框架提供统一的管理、调度规范,使得对于不同的资源管理框架,为任务提供统一的资源抽象与调度策略,在应用过程中,不需要人工适配大数据计算管理框架和大数据资源管理框架,降低资源管理成本,以及降低资源管理和调度的复杂度。当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为现有的大数据分析的系统架构图;
图2为本发明实施例大数据分析的系统架构图;
图3为本发明实施例资源管理方法的流程图;
图4为本发明实施例更换资源管理框架的流程图;
图5为本发明实施例资源管理系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例资源管理的方法及系统,在部署有多种类型的资源管理框架的环境下,统一规范多种类型的资源管理框架的资源管理及调度策略,为各种资源管理框架提供统一的管理、调度规范,使得对于不同的资源管理框架,为任务提供统一的资源抽象与调度策略,在应用过程中,不需要人工适配大数据计算管理框架和大数据资源管理框架,降低资源管理成本,以及降低资源管理和调度的复杂度。
参照图2,图2所示为本发明实施例大数据分析的系统架构图,本发明实施例在现有的资源管理系统的结构上,即在图1的基础上增加了大数据资源管理平台。大数据资源管理平台对不同的资源管理框架进行统一的平台化管理,进行统一的管理、调度以及对任务的状态进行监控。在实际的应用过程中,该大数据管理平台可以完成资源申请、程序启动、程序控制、信息查询、自适应机制、动态扩展与伸缩、以及容错机制等。在本发明实施例中对资源申请、对资源调度及状态监控进行详细说明。
用于分析大数据以得到用于企业发展决策与市场定位结果的大数据计算框架种类繁多,例如:支持离线处理的大数据计算框架MapReduce,支持在线处理的大数据计算框架Storm,支持迭代式计算的大数据计算框架Spark等等;支持不同的大数据计算框架运行的资源管理框架也种类繁多,例如:Yarn和Mesos。
为了更加清楚的解释本发明,以下以Yarn和Mesos为例进行说明。
Yarn和Mesos所需要用户输入的大数据作业任务请求消息的格式不同,Yarn所规定的用户输入的大数据作业任务请求消息的提交格式为:numExecutors=2,executorMemory=1G,executorCores=1,driverMemory=4G,driverCores=2。Mesos所规定的用户输入的大数据作业任务请求消息的提交格式为:executor-memory=20G--total-executor-cores=100。而作为用户而言,为了使用Yarn和Mesos,必须将Yarn和Mesos的大数据作业任务请求消息的格式牢记,从而需要使用哪种资源管理框架时,便按照该种大数据资源管理框架所要求的大数据作业任务请求消息的格式输入,而在实际中由于资源管理框架的种类繁多,当将大数据作业任务提交至不同类型的资源管理框架以运行大数据作业任务时,很可能存在提交的大数据作业任务请求消息与资源管理框架不对应,例如:将上述Yarn中的executorMemory。输入为20G,而Mesos中没有executorMemory的参数,从而就会造成资源管理框架无法有效为大数据作业任务分配执行大数据作业任务的资源需求量,使得大数据计算框架无法正常的运行大数据作业任务而导致运行结果出错,从而影响企业发展决策与市场定位的准确性。
本发明实施例通过提供统一的大数据作业任务请求消息的提交格式,也即,无论用户需要使用哪种资源管理框架进行大数据分析,只需按照本发明实施例中规定的大数据作业任务请求消息的提交格式提交大数据作业任务请求消息,然后,本发明实施例中将用户提交的该大数据作业任务请求消息适配解析为用户所指定的资源管理框架对应的大数据作业任务请求消息的提交格式,从而使得用户所指定的资源管理框架有效为大数据作业任务分配执行大数据作业任务的资源需求量,为各种资源管理框架提供统一的管理、调度规范,使得对于不同的资源管理框架,为任务提供统一的资源抽象与调度策略,在应用过程中,不需要人工适配大数据计算管理框架和大数据资源管理框架,降低资源管理成本,以及降低资源管理和调度的复杂度,同时,使得大数据计算框架可以正常的运行大数据作业任务,提高了运行结果的准确性。
本发明实施例的方案可以应用于现有的资源管理框架或大数据计算框架所在的服务器,也可以重新设置服务器,本发明不对其加以限制。
值得注意的是,为了使本发明实施例的方案描述的更加清楚,下述各个步骤的执行主体为服务器,而该服务器可以是上述描述中的任一种。
下面通过具体的实施例说明本发明的方案。
图3所示为本发明实施例提供的资源管理方法的流程图,如图3所示,本实施例的方法可以包括:
S101:接收第一作业任务提交消息,第一作业任务提交消息中包括:待处理的作业、处理作业所需的第一资源需求信息和处理作业所需的第一资源管理框架。
当用户需要使用第一资源管理框架运行大数据作业任务时,只需按照本发明实施例中预设的提交格式提交第一作业任务提交消息即可,本发明实施例中预设的提交格式是针对不同的资源管理框架抽象统一化后的统一提交格式,而无需用户按照第一资源管理框架规定的提交格式提交,有效降低了用户的工作量和出错率。
可选的,上述的第一资源需求信息包括资源需求类型和资源需求量,其中,资源需求类型例如可以为以下资源需求类型中的至少一种:CPU、内存、带宽或Container,基于上述例子,资源需求量例如可以为:10个CPU核,20G内存,万兆带宽;5个Container。
在一种可实现方式中,由于各个资源管理框架一般对资源需求信息的提交格式要求不同,因此,本发明实施例对不同的资源管理框架提供了统一的资源需求信息提交格式,例如:CPU需求的提交格式为:totalVcore=100,内存的提交格式为:totalMemory=1000G。带宽的提交格式为:10000GB/s容器Container的提交格式为:containerNum=50。
进一步的,本发明实施例中需要将用户输入的第一作业任务提交消息适配解析为用户所指定的第一资源管理框架对应的作业任务请求消息的提交格式,在一种可实现的方式中:本发明实施例中仅需将用户输入的第一作业任务提交消息中的处理作业所需的第一资源需求信息适配解析为用户所指定的第一资源管理框架对应的第二资源请求消息。因此用户提交的第一作业任务提交消息中还需要包括用户所指定处理作业所需的第一资源管理框架,从而当接收到用户提交的第一作业任务提交消息后,便可以得知用户想要使用第一资源管理框架执行作业,进而,将第一作业任务提交消息中的处理作业所需的第一资源需求信息转换为第一资源管理框架对应的第二资源需求信息,以使第一资源框架可以识别该第一资源需求信息以获取用户对资源的需求量。
例如:上述的第一作业任务提交消息的提交格式可以为:numExecutors=2,executorMemory=1G,executorCores=1,driverMemory=4G,driverCores=2。
S102:将第一资源需求信息转换为第一资源管理框架对应的第二资源需求信息。
继续按照上述的例子,当第一资源需求信息包括第一资源需求类型标识和第一资源需求量时,此时的转换过程为:将第一资源需求类型标识转换为第一资源管理框架对应的第二资源需求类型标识,和/或,将第一资源需求量转换为第一资源管理框架对应的第二资源需求量。
如果上述定义的第一资源需求量的提交格式和第一资源管理框架对应的资源需求量的提交格式相同,则此时只需将第一资源需求类型标识转换为第一资源管理框架对应的第二资源需求类型标识;
例如:上述的第一资源管理框架为Yarn,当接收第一资源需求消息中的第一资源需求量的提交格式为:totalMemory=10G,totalVcore=100,containerNum=50。而Yarn规定的第二资源需求量的提交格式为:
numExecutors=2,executorMemory=1G,executorCores=1,driverMemory=4G,driverCores=2。此时只需将totalMemory,totalVcore,containerNum根据转换公式转换为numExecutors,executorMemory,executorCores,driverMemory,driverCores。
如果上述定义的第一资源需求类型标识和第一资源管理框架对应的资源需求类型标识的提交格式相同,则此时只需将第一资源需求量转换为第一资源管理框架对应的第二资源需求量;
如果上述定义的第一资源需求类型标识的提交格式和第一资源需求量的提交格式均与第一资源管理框架对应的提交格式不同,则此时不仅需要将第一资源需求类型标识转换为第一资源管理框架对应的第二资源需求类型标识,还需要将第一资源需求量转换为第一资源管理框架对应的第二资源需求量。
S103:将第二资源需求信息和作业发送至第一资源管理框架,以使第一资源管理框架根据第二资源需求信息分配运行作业所需的第一资源,并根据分配的第一资源运行作业。
当执行了S102后,会将待处理的作业和解析后的第二资源需求信息发送给第一资源管理框架。
与现有技术中相同,上述第一作业任务提交消息中还可以包括用户指定的处理上述待处理作业所需的计算框架,此时,当第一资源管理框架接收到待处理的作业和第二资源需求信息时,还会接收到用户指定的计算框架,然后,第一资源管理框架按照第二资源需求信息分配执行上述待处理的作业所需的第一资源,按照用户指定的计算框架执行作业。
本发明实施例提供的资源管理的方法,通过对任务提交给不同的资源管理框架的格式进行统一的规范化,为各种不同类型的资源管理框架提供统一的管理、调度接口。作业任务计算运行的过程中,不再需要将多种不同的大数据计算管理框架和多种不同的资源管理框架进行逐一适配,使得降低资源管理成本,以及降低资源管理和调度的复杂度。
在本发明的一种可实现方式中,用户提交给大数据资源管理平台的任务的是统一规范化后的格式的任务消息,该任务消息不仅包含了运行任务所需的资源信息,还包含了对任务的调度参数。当多个任务同时向资源管理框架请求资源时,可以根据对各个任务定义的统一规范化格式的资源信息和调度参数,对各个任务进行统一的调度、管理。
在本发明的一种优选的实施方式中,接收用户终端发送的第一作业任务提交消息,除上述的待处理的作业、处理作业的第一资源需求信息和处理作业的第一资源管理框架之外,接收到的用户终端发送的第一作业任务消息号可以包括,所有用户终端对应的用户终端ID(身份识别标识);在实际的应用过程中,根据接收到的第一作业任务提交消息中的用户终端ID,获取作业的运行状态并反馈给用户终端ID对应的用户终端。
在本发明的另外一种实施例中,获取作业的运行状态,将作业的运行状态转换为统一规范化的运行状态,并反馈给用户终端,在实际的应用过程中可以将各个资源管理框架对应的状态机修改为本发明实施例中规定的运行状态,从而使得用户无需针对不同的资源管理框架具有的不同类型的状态机所处的状态进行解析,反馈给用户统一的状态规范,使用户更加简便地清楚任务的运行状态。
在本发明的一种实现方式中,本发明中定义的状态机所处的状态为:
Submitting:提交;
Accepted;接收;
Running;运行;
Finished:完成;
Killed:被杀;
Failed:失败;
如果第一资源管理框架的状态机所处的状态为:
NEW:初始状态;
NEW SAVING:提交作业请求期间状态;
SUBMITTED:提交成功;
ACCEPTED:作业已提交管理平台后的状态;
RUNNING:运行;
FINISHED:完成;
FAILED:失败;
KILLED:被杀。
那么本发明中还会将上述状态机修改为本发明中定义的状态机所处的状
态,也即:
NEW–>Submitting
NEW SAVING–>Submitting
SUBMITTED–>Submitting
ACCEPTED–>Accepted
RUNNING–>Running
FINISHED–>Finished
FAILED–>Failed
KILLED–>Killed
当第一资源资源管理框架在运行上述的作业的过程中,可以实时地获取与资源管理框架交互的状态,即定义的统一的状态机所处的状态,从而实时地监控作业任务的运行状态,在实际的应用过程中,可以通过网页的方式将运行状态展示给用户。
在实际的运行中,很有可能因为正在使用的资源管理框架资源量不够或者性能受限,出现正在使用的资源管理框架运行报错或运行失败,或者,在使用用户指定的资源管理框架运行作业的过程中,用户可能想要使用别的资源管理框架运行。那么此时,用户需要将之前的作业提交至其他的资源管理框架,以使其他的资源管理框架运行该作业,以使该作业能继续正常地运行、处理。
而现有技术中,往往需要将之前提交的作业任务提交消息重新编写格式,以匹配所重新选择的资源管理框架规定的格式。
而本发明中,无需重新编写上述的第一作业任务提交消息的格式,仅仅只需要将其中的资源管理框架类型加以改变即可,图4所示为本发明实施例提供的更换资源管理框架的流程图,如图4所示,本实施例的资源管理方法,包括:
S201:接收第二作业任务提交消息,第二作业任务提交消息中包括:作业、第一资源需求信息和处理作业的第二资源管理框架;
本步骤中,用户可以发送第二作业任务提交消息,而第二作业任务提交消息中相对于第一作业任务提交消息改变的仅仅为:将处理作业的第一资源管理框架更改为此时处理作业的第二资源管理框架。
S202:将第一资源需求信息转换为第二资源管理框架可处理的第三资源需求信息;
本步骤执行的具体实现方式与上述的S102相同,此处不再赘述。
S203:将第三资源需求信息和作业发送至第二资源管理框架,以使第二资源管理框架根据第三资源需求信息分配运行作业所需的第二资源,并根据分配的第二资源运行作业。
本步骤执行的具体实现方式与上述的S103相同,此处不再赘述。
如果在使用用户指定的资源管理框架运行作业的过程中,用户可能想要使用别的资源管理框架运行的场景下,在本发明一种可实现方式中,当接收到第二作业任务提交消息时,则默认停止使用第一资源管理框架运行作业,然后执行上述使用第二资源管理框架运行作业的步骤;在另一种实现方式中,用户可以提前发送作业任务停止请求消息,当接收作业任务停止请求消息后,将作业任务停止请求消息发送至第一资源管理框架,以使该第一资源管理框架停止运行作业。然后执行上述S201-S203。
本发明实施例提供的资源管理方法,用户只需发送统一的规范化作业任务消息,无需在考虑实际应用过程中,各个资源管理框架之间的切换,另外,当有新的资源管理框架加入时,也只需要将新的资源管理框架按照大数据资源管理平台支持的统一规范进行转换,如此就可得到大数据资源管理平台的支持,使得支持多源资源管理框架更加容易实现,且多源资源管理框架更易扩展。
本发明实施例还公开了一种资源管理系统,图5为本发明实施例资源管理系统的结构示意图,参照图5对本发明实施例资源管理系统进行详细说明,具体包括:
第一接收模块501,用于接收第一作业任务提交消息,第一作业任务提交消息中包括:待处理的作业、处理作业的第一资源需求信息和处理作业的第一资源管理框架;
第一转换模块502,用于将第一资源需求信息转换为第一资源管理框架对应的第二资源需求信息。
第一分配模块503,用于将第二资源需求信息和作业发送至第一资源管理框架,以使第一资源管理框架根据第二资源需求信息分配运行作业所需的第一资源,并根据分配的第一资源运行作业。
优选的,本发明实施例提供的资源管理系统中,第一资源需求信息包括第一资源需求类型标识和第一资源需求量。
优选的,本发明实施例提供的资源管理系统中,第一转换模块,包括:
用于将第一资源需求类型标识转换为第一资源管理框架对应的第二资源需求类型标识,和/或,将第一资源需求量转换为第一资源管理框架对应的第二资源需求量。
优选的,本发明实施例提供的资源管理系统,还包括:
第二接收模块,用于接收第二作业任务提交消息,第二作业任务提交消息中包括:作业、第一资源需求信息和处理作业的第二资源管理框架。
第二转换模块,用于将第一资源需求信息转换为第二资源管理框架能够处理的第三资源需求信息。
第二分配模块,用于将第三资源需求信息和作业发送至第二资源管理框架,以使第二资源管理框架根据第三资源需求信息分配运行作业所需的第二资源,并根据分配的第二资源运行作业。
优选的,本发明实施例提供的资源管理系统,还包括:
接收停止消息模块,用于接收作业任务停止请求消息。
发送消息模块,用于将作业任务停止请求消息发送至第一资源管理框架,以使第一资源管理框架停止运行作业。
优选的,本发明实施例提供的资源管理系统中,第一接收模块,包括:用于接收用户终端发送的第一作业任务提交消息。
优选的,本发明实施例提供的资源管理系统,还包括:
获取状态模块,用于获取作业的运行状态并反馈给用户终端。
优选的,本发明实施例提供的资源管理系统中,获取状态模块,用于获取作业的运行状态,将作业的运行状态转换为统一规范化的运行状态,并反馈给用户终端。
需要说明的是,本发明实施例的系统是应用上述资源管理方法的系统,则上述资源管理方法的所有实施例均适用于该系统,且均能达到相同或相似的有益效果。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (12)

1.一种资源管理方法,其特征在于,包括:
接收第一作业任务提交消息,所述第一作业任务提交消息中包括:待处理的作业、处理所述作业的第一资源需求信息和处理所述作业的第一资源管理框架;
将所述第一资源需求信息转换为所述第一资源管理框架对应的第二资源需求信息;
将所述第二资源需求信息和所述作业发送至所述第一资源管理框架,以使所述第一资源管理框架根据所述第二资源需求信息分配运行所述作业所需的第一资源,并根据分配的所述第一资源运行所述作业。
2.根据权利要求1所述的方法,其特征在于,所述第一资源需求信息包括第一资源需求类型标识和第一资源需求量;
所述将所述第一资源需求信息转换为所述第一资源管理框架对应的第二资源需求信息包括:
将所述第一资源需求类型标识转换为所述第一资源管理框架对应的第二资源需求类型标识,和/或,将所述第一资源需求量转换为所述第一资源管理框架对应的第二资源需求量。
3.根据权利要求1或2所述的方法,其特征在于,将所述第二资源需求信息和所述作业发送至所述第一资源管理框架之后,还包括:
接收第二作业任务提交消息,所述第二作业任务提交消息中包括:所述作业、所述第一资源需求信息和处理所述作业的第二资源管理框架;
将所述第一资源需求信息转换为所述第二资源管理框架能够处理的第三资源需求信息;
将所述第三资源需求信息和所述作业发送至所述第二资源管理框架,以使所述第二资源管理框架根据所述第三资源需求信息分配运行所述作业所需的第二资源,并根据分配的所述第二资源运行所述作业。
4.根据权利要求3所述的方法,其特征在于,接收所述用户发送的第二作业任务提交请求消息之前,还包括:
接收作业任务停止请求消息;
将所述作业任务停止请求消息发送至所述第一资源管理框架,以使所述第一资源管理框架停止运行所述作业。
5.根据权利要求1或2所述的方法,其特征在于,接收第一作业任务提交消息,包括:
接收用户终端发送的第一作业任务提交消息;
所述将所述第二资源需求信息和所述作业发送至所述第一资源管理框架之后,还包括:
获取所述作业的运行状态并反馈给所述用户终端。
6.根据权利要求5所述的方法,其特征在于,所述获取所述作业的运行状态并输出给用户,包括:
获取所述作业的运行状态,将所述作业的运行状态转换为统一规范化的运行状态,并反馈给用户终端。
7.一种资源管理系统,其特征在于,包括:
第一接收模块,用于接收第一作业任务提交消息,所述第一作业任务提交消息中包括:待处理的作业、处理所述作业的第一资源需求信息和处理所述作业的第一资源管理框架;
第一转换模块,用于将所述第一资源需求信息转换为所述第一资源管理框架对应的第二资源需求信息;
第一分配模块,用于将所述第二资源需求信息和所述作业发送至所述第一资源管理框架,以使所述第一资源管理框架根据所述第二资源需求信息分配运行所述作业所需的第一资源,并根据分配的所述第一资源运行所述作业。
8.根据权利要求7所述的资源管理系统,其特征在于,具体用于所述第一资源需求信息包括第一资源需求类型标识和第一资源需求量;
所述第一转换模块,包括:
用于将所述第一资源需求类型标识转换为所述第一资源管理框架对应的第二资源需求类型标识,和/或,将所述第一资源需求量转换为所述第一资源管理框架对应的第二资源需求量。
9.根据权利要求7或8所述的资源管理系统,其特征在于,所述资源管理系统,还包括:
第二接收模块,用于接收第二作业任务提交消息,所述第二作业任务提交消息中包括:所述作业、所述第一资源需求信息和处理所述作业的第二资源管理框架;
第二转换模块,用于将所述第一资源需求信息转换为所述第二资源管理框架能够处理的第三资源需求信息;
第二分配模块,用于将所述第三资源需求信息和所述作业发送至所述第二资源管理框架,以使所述第二资源管理框架根据所述第三资源需求信息分配运行所述作业所需的第二资源,并根据分配的所述第二资源运行所述作业。
10.根据权利要求9所述的资源管理系统,其特征在于,所述资源管理系统还包括:
接收停止消息模块,用于接收作业任务停止请求消息;
发送模块,用于将所述作业任务停止请求消息发送至所述第一资源管理框架,以使所述第一资源管理框架停止运行所述作业。
11.根据权利要求7或8所述的资源管理系统,其特征在于,所述第一接收模块,包括:用于接收用户终端发送的第一作业任务提交消息;
所述资源管理系统,还包括:
获取状态模块,用于获取所述作业的运行状态并反馈给所述用户终端。
12.根据权利要求11所述的资源管理系统,其特征在于,所述获取状态模块,用于获取所述作业的运行状态,将所述作业的运行状态转换为统一规范化的运行状态,并反馈给用户终端。
CN201611236999.5A 2016-12-28 2016-12-28 一种资源管理方法及系统 Active CN106648871B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611236999.5A CN106648871B (zh) 2016-12-28 2016-12-28 一种资源管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611236999.5A CN106648871B (zh) 2016-12-28 2016-12-28 一种资源管理方法及系统

Publications (2)

Publication Number Publication Date
CN106648871A true CN106648871A (zh) 2017-05-10
CN106648871B CN106648871B (zh) 2020-04-03

Family

ID=58833250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611236999.5A Active CN106648871B (zh) 2016-12-28 2016-12-28 一种资源管理方法及系统

Country Status (1)

Country Link
CN (1) CN106648871B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388470A (zh) * 2018-01-26 2018-08-10 福建星瑞格软件有限公司 一种大数据任务处理方法及计算机设备
CN111414381A (zh) * 2020-03-04 2020-07-14 腾讯科技(深圳)有限公司 数据处理方法、装置、电子设备及存储介质
CN112363843A (zh) * 2020-12-07 2021-02-12 新华三技术有限公司 任务处理方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662754A (zh) * 2012-04-20 2012-09-12 浙江大学 一种支持多场景的虚拟机调度装置和方法
CN104796453A (zh) * 2014-01-22 2015-07-22 佳能株式会社 信息处理终端及控制方法
CN104915407A (zh) * 2015-06-03 2015-09-16 华中科技大学 一种基于Hadoop多作业环境下的资源调度方法
CN105045607A (zh) * 2015-09-02 2015-11-11 广东创我科技发展有限公司 一种实现多种大数据计算框架统一接口的方法
CN105207812A (zh) * 2015-08-28 2015-12-30 广东三盟信息科技有限公司 一种基于业务模型的云计算资源预测方法及系统
CN105281955A (zh) * 2015-10-27 2016-01-27 上海华为技术有限公司 一种业务和资源编排的系统、方法及装置
CN106648674A (zh) * 2016-12-28 2017-05-10 北京奇艺世纪科技有限公司 一种大数据计算管理方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662754A (zh) * 2012-04-20 2012-09-12 浙江大学 一种支持多场景的虚拟机调度装置和方法
CN104796453A (zh) * 2014-01-22 2015-07-22 佳能株式会社 信息处理终端及控制方法
CN104915407A (zh) * 2015-06-03 2015-09-16 华中科技大学 一种基于Hadoop多作业环境下的资源调度方法
CN105207812A (zh) * 2015-08-28 2015-12-30 广东三盟信息科技有限公司 一种基于业务模型的云计算资源预测方法及系统
CN105045607A (zh) * 2015-09-02 2015-11-11 广东创我科技发展有限公司 一种实现多种大数据计算框架统一接口的方法
CN105281955A (zh) * 2015-10-27 2016-01-27 上海华为技术有限公司 一种业务和资源编排的系统、方法及装置
CN106648674A (zh) * 2016-12-28 2017-05-10 北京奇艺世纪科技有限公司 一种大数据计算管理方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘军,林文辉,方澄: "《Spark大数据处理 原理、算法与实例》", 30 September 2016, 北京:清华大学出版社 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388470A (zh) * 2018-01-26 2018-08-10 福建星瑞格软件有限公司 一种大数据任务处理方法及计算机设备
CN108388470B (zh) * 2018-01-26 2022-09-16 福建星瑞格软件有限公司 一种大数据任务处理方法及计算机设备
CN111414381A (zh) * 2020-03-04 2020-07-14 腾讯科技(深圳)有限公司 数据处理方法、装置、电子设备及存储介质
CN111414381B (zh) * 2020-03-04 2021-09-14 腾讯科技(深圳)有限公司 数据处理方法、装置、电子设备及存储介质
CN112363843A (zh) * 2020-12-07 2021-02-12 新华三技术有限公司 任务处理方法、装置及设备
CN112363843B (zh) * 2020-12-07 2021-04-27 新华三技术有限公司 任务处理方法、装置及设备

Also Published As

Publication number Publication date
CN106648871B (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
US9407677B2 (en) High performance data streaming
US7941398B2 (en) Autopropagation of business intelligence metadata
US10341194B2 (en) System and method for building, optimizing, and enforcing infrastructure on a cloud based computing environment
CN101577718B (zh) 多网银适配系统
US9497096B2 (en) Dynamic control over tracing of messages received by a message broker
CN104050261A (zh) 基于Storm的可变逻辑的通用数据处理系统及方法
US10782988B2 (en) Operating system for distributed enterprise artificial intelligence programs on data centers and the clouds
CN110688828A (zh) 文件处理方法及装置、文件处理系统、计算机设备
WO2022247201A1 (zh) 一种数据查询方法及装置
CN106648674A (zh) 一种大数据计算管理方法及系统
CN106648871A (zh) 一种资源管理方法及系统
US20140258250A1 (en) Flexible Control Framework Featuring Standalone Rule Engine
WO2018000878A1 (zh) 分布式任务处理方法和装置
CN111966943A (zh) 流式数据分发方法和系统
CN104484167B (zh) 任务处理方法及装置
CN113703997A (zh) 集成多种消息代理的双向异步通信中间件系统及实现方法
CN111190750B (zh) 一种数据处理方法以及系统
CN112163026A (zh) 一种用于整合多类技术应用数据的多源异构接口管控方法
US20180270299A1 (en) System and method for producing api-throttle and back-pressure avoidance among clients using distributed asynchronous components
CN109586946B (zh) 异常处理方法、装置及计算机可读存储介质
CN112632082B (zh) 一种创建Flink作业的方法及装置
CN114201294A (zh) 一种任务处理方法、装置、系统、电子设备及存储介质
US20210149709A1 (en) Method and apparatus for processing transaction
CN116719623A (zh) 作业调度方法、作业结果处理方法及其装置
CN111459748A (zh) 基于命令操控的运维控制方法、系统、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant