CN110247978B - 适配不同资源调度系统的作业执行方法和装置 - Google Patents

适配不同资源调度系统的作业执行方法和装置 Download PDF

Info

Publication number
CN110247978B
CN110247978B CN201910540653.1A CN201910540653A CN110247978B CN 110247978 B CN110247978 B CN 110247978B CN 201910540653 A CN201910540653 A CN 201910540653A CN 110247978 B CN110247978 B CN 110247978B
Authority
CN
China
Prior art keywords
interface
scheduling system
resource scheduling
job
calling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910540653.1A
Other languages
English (en)
Other versions
CN110247978A (zh
Inventor
齐赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910540653.1A priority Critical patent/CN110247978B/zh
Publication of CN110247978A publication Critical patent/CN110247978A/zh
Application granted granted Critical
Publication of CN110247978B publication Critical patent/CN110247978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Multi Processors (AREA)

Abstract

本申请实施例公开了适配不同资源调度系统的作业执行方法和装置,属于云计算领域。该系统的一具体实施方式包括:针对至少两种资源调度系统,建立通用接口集合;对于该至少两种资源调度系统中的每种资源调度系统,建立该资源调度系统的接口对应关系;根据该通用接口集合,建立作业流调度系统;根据该至少两种资源调度系统中的目标资源调度系统的接口对应关系,将作业流调度系统对通用接口的调用,转换为对目标资源调度系统的原始接口的调用,实现利用该目标资源调度系统所分配的资源执行作业。该实施方式提供了适配不同资源调度系统的作业执行方式。

Description

适配不同资源调度系统的作业执行方法和装置
技术领域
本申请实施例涉及云计算技术领域,具体涉及适配不同资源调度系统的作业执行方法和装置。
背景技术
现有技术中,资源调度系统,也可以称为资源管理系统、资源控制系统等,可以分配管理底层物理资源,目标是最大化的利用集群机器的CPU、磁盘、网络等硬件资源。通常,资源管理调度系统所调配和处理的,往往是与业务逻辑没有直接关联的通用的程序进程这样的对象。
发明内容
本申请实施例提出了适配不同资源调度系统的作业执行方法和装置。
第一方面,本申请实施例提供了一种适配不同资源调度系统的作业执行方法,该方法包括:针对至少两种资源调度系统,建立通用接口集合,其中,各个资源调度系统包括与上述通用接口集合中的通用接口的功能相匹配的原始接口;对于上述至少两种资源调度系统中的每种资源调度系统,建立该资源调度系统的接口对应关系,其中,接口对应关系用于表征通用调用集合中的通用接口与该资源调度系统提供的、与上述通用接口功能匹配的原始接口之间的对应关系;根据上述通用接口集合,建立作业流调度系统,其中,上述作业流调度系统调用上述通用接口集合中的通用接口实现作业执行;根据上述至少两种资源调度系统中的目标资源调度系统的接口对应关系,将作业流调度系统对通用接口的调用,转换为对目标资源调度系统的原始接口的调用,实现利用上述目标资源调度系统所分配的资源执行作业。
第二方面,本申请实施例提供了一种适配不同资源调度系统的作业执行装置,该装置包括第一建立单元,被配置成针对至少两种资源调度系统,建立通用接口集合,其中,各个资源调度系统包括与上述通用接口集合中的通用接口的功能相匹配的原始接口;第二建立单元,被配置成对于上述至少两种资源调度系统中的每种资源调度系统,建立该资源调度系统的接口对应关系,其中,接口对应关系用于表征通用调用集合中的通用接口与该资源调度系统提供的、与上述通用接口功能匹配的原始接口之间的对应关系;第三建立单元,被配置成根据上述通用接口集合,建立作业流调度系统,其中,上述作业流调度系统调用上述通用接口集合中的通用接口实现作业执行;转换单元,被配置成根据上述至少两种资源调度系统中的目标资源调度系统的接口对应关系,将作业流调度系统对通用接口的调用,转换为对目标资源调度系统的原始接口的调用,实现利用上述目标资源调度系统所分配的资源执行作业。
第三方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,其中,该计算机程序被一个或多个处理器执行时实现如第二方面中任一实现方式描述的方法。
本申请实施例提供的适配不同资源调度系统的作业执行方法和装置,通过首先针对至少两种资源调度系统,建立通用接口集合,其中,各个各个资源调度系统包括与上述通用接口集合中的通用接口的功能相匹配的原始接口;再对于上述至少两种资源调度系统中的每种资源调度系统,建立该资源调度系统的接口对应关系;再根据上述通用接口集合,建立作业流调度系统;最后根据上述至少两种资源调度系统中的目标资源调度系统的接口对应关系,将作业流调度系统对通用接口的调用,转换为对目标资源调度系统的原始接口的调用,实现利用上述目标资源调度系统所分配的资源执行作业,由此,技术效果可以包括:提供了适配不同资源调度系统的作业执行方式。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请的实施例可以应用于其中的示例性系统架构图;
图2是根据本申请的适配不同资源调度系统的作业执行方法的一个实施例的流程图;
图3是根据本申请的步骤204的一种实现方式的示意图;
图4是根据本申请的作业流调度系统的示例性结构图;
图5是根据本申请的适配不同资源调度系统的作业执行装置的一个实施例的结构示意图;
图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的适配不同资源调度系统的作业执行方法的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括:服务器集群101、102,设备103以及网络104。
在这里,服务器集群可以包括多个服务器,并且可以由资源调度系统(运行在服务器集群中的服务上或者单独设置的服务上)监控资源使用情况、进行资源调度。服务器集群可以指将很多服务器集中起来一起进行同一种服务,在客户端看来就像是只有一个服务器。集群可以利用多个计算机进行并行计算从而获得很高的计算速度,也可以用多个计算机做备份,从而使得任何一个机器坏了整个系统还是能正常运行。
在这里,网络104是用以在服务器集群和上述设备之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
设备103可以是支持网络连接从而提供各种网络服务的硬件设备或软件。当设备为硬件时,其可以是具有计算功能的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和服务器等等。这时,作为硬件设备,其可以实现成多个设备组成的分布式设备群,也可以实现成单个设备。当设备为软件时,可以安装在上述所列举的电子设备中。这时,作为软件,其可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
作为示例,设备103可以运行作业流调度系统,用于对用户暴露调用接口,向用户提供执行或取消工作流等功能,并对用户的请求进行校验、鉴权等操作;还可以用于管理工作流的定时触发;还可以计算拓扑依赖、数据依赖、时间依赖等问题,与资源调度系统进行交互。
应该理解,图1中的服务器集群、设备和网络的数目仅仅是示意性的。根据实现需要,可以具有任意数目的服务器集群、设备和网络。
下面参考图2,其示出了一种适配不同资源调度系统的作业执行方法的一个实施例的流程200。该适配不同资源调度系统的作业执行方法的流程200,包括以下步骤:
步骤201,针对至少两种资源调度系统,建立通用接口集合。
在本实施例中,上述适配不同资源调度系统的作业执行方法的执行主体(例如图1中的设备103)可以针对至少两种资源调度系统,建立通用接口集合。
在本实施例中,资源调度系统,可以分配管理底层物理资源,目标是最大化的利用集群机器的CPU、磁盘、网络等硬件资源。通常,资源管理调度系统所调配和处理的往往是与业务逻辑没有直接关联的通用的程序进程这样的对象。
在本实施例中,作业流调度系统,可以在正确的时间点启动正确的作业,确保作业按照正确的依赖关系及时准确的执行。通常,作业调度系统的关注要点在于业务流程的正确性,而不是资源的利用率。作业流调度系统有时也会考虑负载均衡问题,但保证负载均衡更多的是为了系统自身的健壮性。资源的合理利用作为作业流调度系统一个可以优化的点,往往依托资源调度系统来实现
在这里,计算资源可以包括但不限于以下至少一项:CPU、内存等。作为示例,资源调度系统可以是YARN(Yet Another Resource Negotiator)、kubernetes等。
在这里,Kubernetes是开源的一种容器编排引擎,支持自动化部署、大规模可伸缩、应用容器化管理。在生产环境中部署一个应用程序时,通常要部署该应用的多个实例以便对应用请求进行负载均衡。
通常,资源调度系统可以根据服务器集群中机器的资源使用情况,分配合适的资源来运行作业。资源调度的主要目标是:在固定的资源供给的情况下,尽可能提高资源使用率,减少作业等待的时间(作业等待资源去执行的时间),减少作业运行的延迟或者响应时间(如果是批量作业的话,就是作业从开始执行到结束的时间,如果在线响应式作业的话,比如Web应用,就是每一次响应请求的时间),尽可能公平(资源公平的被分配到所有作业)的同时,还需要考虑作业的优先级。这些目标里面有一些是有冲突的,需要平衡,比如资源利用率和响应时间,公平和优先级。
在本实施例中,通用接口集合可以被作业流调度系统调用。
在本实施例中,各个资源调度系统包括与上述通用接口集合中的通用接口的功能相匹配的原始接口;换句话说,对于通用接口集合中的通用接口,各个资源调度系统可以提供与该通用接口的功能匹配的原始接口。
在这里,资源调度系统可能由不同类型的语言实现、提供的接口的类型也不相同、相同类型(功能)的接口的参数存在一些差异。各个资源调度系统的接口的调用方式可能存在差异。可以将不同的资源调度系统的一些共有的功能抽取出来,针对某共有功能建立通用接口。将各个共有功能对应的通用接口的集合,作为通用接口集合。
步骤202,对于至少两种资源调度系统的每种资源调度系统,建立该资源调度系统的接口对应关系。
在本实施例中,上述执行主体可以对于上述至少两种资源调度系统中的每种资源调度系统,建立该资源调度系统的接口对应关系
在这里,接口对应关系用于表征通用调用集合中的通用接口与该资源调度系统提供的、与上述通用接口功能匹配的原始接口之间的对应关系。
步骤203,根据通用接口集合,建立作业流调度系统。
在本实施例中,上述执行主体可以根据通用接口集合,建立作业流调度系统。
在这里,可以根据通用接口集合中通用接口的设置方式,设置作业流调度系统的作业分层方式。并且,可以将通用接口集合提供给作业流调度系统,使得作业流调度系统可以调用通用接口集合。
在这里,上述作业流调度系统调用上述通用接口集合中的通用接口实现作业执行。
作为示例,作业流调度系统的分层方式的不同,可能影响作业流调度系统中的各个层次的作业划分。在这里,可以对于作业流调度系统可以分层划分出三个概念:项目(Project)、作业流(Flow)、作业(Job)。其中,一个Project代表一个项目,内部可以有多个Flow,Project是Flow的管理单元。Flow即工作流,一个Flow中有多个Job,Flow是Job的管理单元。Job代表一个用户具体的作业。对应的对于资源调度系统抽象出两个概念:应用程序(App)、资源(Resource),其中App是Resource的管理单元,Resource表示资源调度系统中的资源。一个App对应一个Flow,一个Resource对应一个Job。
步骤204,根据至少两种资源调度系统中的目标资源调度系统的接口对应关系,将作业流调度系统对通用接口的调用,转换为对目标资源调度系统的原始接口的调用。
在本实施例中,上述执行主体可以根据至少两种资源调度系统中的目标资源调度系统的接口对应关系,将作业流调度系统对通用接口的调用,转换为对目标资源调度系统的原始接口的调用。
在这里,对目标资源调度系统的原始接口的调用,可以实现利用目标资源调度系统所分配的资源执行作业。
本申请的上述实施例提供的适配不同资源调度系统的作业执行方法,通过首先针对至少两种资源调度系统,建立通用接口集合,其中,各个各个资源调度系统包括与上述通用接口集合中的通用接口的功能相匹配的原始接口;再对于上述至少两种资源调度系统中的每种资源调度系统,建立该资源调度系统的接口对应关系;再根据上述通用接口集合,建立作业流调度系统;最后根据上述至少两种资源调度系统中的目标资源调度系统的接口对应关系,将作业流调度系统对通用接口的调用,转换为对目标资源调度系统的原始接口的调用,实现利用上述目标资源调度系统所分配的资源执行作业,由此,技术效果至少可以包括:
第一,提供了一种适配不同资源调度系统的作业执行方法。
第二,建立通用接口集合和接口对应关系,以将对通用接口的调用转换为对原始接口的调用,可以实现工作流调度系统和资源调度系统之间的分离,使得工作流调度系统可以对接不同的资源调度系统。由此,适配多种资源调度视同的作业流调度系统,没有将底层系统限制于某一特定的资源调度系统,可以将此作业流调度系统快速复用到任意资源调度系统。
在一些实施例中,请参考图3,其示出了上述步骤204的一种实现方式流程204,流程204可以包括:
步骤2041,根据预先获取的资源调度系统标识,将所获取的资源调度系统标识指示的资源调度系统确定为目标资源调度系统,以及获取上述目标资源调度系统的接口对应关系。
在这里,作业流调度系统的配置文件中可以记载资源调度系统标识,用以表明此次作业流调度系统与何种资源调度系统对接,执行作业。
步骤2042,根据所获取的目标接口对应关系和通用接口调用请求,生成对应的原始接口的原始接口调用参数。
在这里,上述对应的原始接口是上述通用接口调用请求所调用的通用接口对应的原始接口。
在这里,上述通用接口调用请求可以包括通用接口调用参数。需要说明的是,作用流调度系统可以调用通用接口,向上述执行主体发送处理请求,可以将此处理请求成为通用接口调用请求。对于接口调用方来说,是调用接口打包调用参数、发送处理请求;对于接口提供方来说,是接收到处理请求、并返回处理结果。
在这里,可以根据所获取的接口对应关系,确定通用接口调用请求所调用的通用接口对应的原始接口;然后,获取预先设置的上述对应的原始接口的接口调用方式信息,将通用接口调用请求中的调用参数,转换为符合原始接口调用方式的原始接口调用参数。接口调用方式信息可以指示接口调用方式,接口调用方式可以包括但不限于:调用参数类型、调用参数结构等。
步骤2043,利用原始接口调用参数,调用对应的原始接口。
在这里,上述执行主体可以利用原始接口调用参数,调用对应的原始接口。
在这里,调用上述对应的原始接口的时候,需要提供调用参数。可以将上述原始接口调用参数提供给上述对应的原始接口,实现向资源调度系统发送原始接口对应的功能的处理请求。
在一些实施例中,上述通用接口集合可以包括但不限于以下至少一项:作业启动接口、作业停止接口、应用注册接口、应用注销接口、资源申请接口和资源释放接口。
在一些实施例中,上述步骤204可以包括:响应于接收到作业启动接口调用请求,利用上述作业启动接口调用请求中的资源标识和作业启动指令,调用目标资源调度系统的原始接口启动目标作业;控制执行作业监控进程,其中,上述作业监控进程用于监控目标作业。在这里,作业监控进程可以将目标作业的运行结果通知给上述执行主体。
在这里,作业启动接口调用请求,可以包括描述资源标识符的json格式数据和作业启动指令,用于通过资源调度系统启动具体作业。
在一些实施例中,上述步骤204可以包括:响应于接收到作业停止接口调用请求,利用上述作业停止接口调用请求中的资源标识和作业停止指令,调用目标资源调度系统对应的原始接口,请求停止目标作业。
在这里,作业停止接口调用请求,可以包括描述资源标识符的json(JavaScriptObject Notation,JS对象简谱)格式数据和作业停止指令,用于通过资源调度系统停止用户作业。可选的,作业停止指令可以为空,远端执行器可以默认停止作业进程。
在一些实施例中,上述步骤204可以包括:响应于接收到应用注册接口调用请求,利用上述应用注册接口调用请求中的工作流标识,调用目标资源调度系统对应的原始接口,请求注册针对上述工作流标识指示的工作流的资源管理单元。
在这里,应用注册接口调用请求,可以包括工作流的执行ID(Identitydocument),用于向资源调度系统注册资源管理的单元。
在一些实施例中,上述步骤204可以包括:响应于接口到应用注销接口调用请求,利用上述应用注销接口调用请求中的工作流标识,调用目标资源调度系统对应的原始接口,请求注销针对上述工作流标识指示的工作流的资源管理单元。
在这里,应用注销接口调用请求,可以包括工作流的执行ID,用于向资源调度系统注册资源管理的单元。
在一些实施例中,上述步骤204可以包括:响应于接收到资源申请接口调用请求,利用上述资源申请接口调用请求中的资源需求描述信息,调用目标资源调度系统对应的原始接口,请求分配资源;接收返回的资源标识符。
在这里,返回的资源标识符指示目标资源调度系统所分配的资源。
在一些实施例中,上述步骤204可以包括:响应于接收到资源释放接口调用请求,利用上述资源释放接口调用请求中的资源标识符,调用目标资源调度系统对应的原始接口,请求释放上述资源标识符指示的资源。
在一些实施例,请参考图4,其示出了作业调度系统的示例性结构:作业流调度系统可以包括:接口服务器401、计算服务器402、控制服务器403和存储服务器404。其中,接口服务器401用于对用户暴露调用接口,向用户提供执行或取消工作流等功能,并对用户的请求进行校验、鉴权等操作;控制服务器403可以用于管理工作流的定时触发;计算服务器402可以计算拓扑依赖、数据依赖、时间依赖等问题,与资源调度系统进行交互;存储服务器404用于存储系统元数据、用户数据、日志数据三种数据。作业流调度系统还可以包括远端执行器,与计算服务器交互,用于屏蔽不同的资源调度系统的执行端的差异,用来启动、监控用户作业。可选的,上述流程200的执行主体可以是上述计算服务器402。
进一步参考图5,作为对上述各图所示方法的实现,本申请提供了一种适配不同资源调度系统的作业执行装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的适配不同资源调度系统的作业执行装置500包括:第一建立单元501,被配置成针对至少两种资源调度系统,建立通用接口集合,其中,各个资源调度系统包括与上述通用接口集合中的通用接口的功能相匹配的原始接口;第二建立单元502,被配置成对于上述至少两种资源调度系统中的每种资源调度系统,建立该资源调度系统的接口对应关系,其中,接口对应关系用于表征通用调用集合中的通用接口与该资源调度系统提供的、与上述通用接口功能匹配的原始接口之间的对应关系;第三建立单元503,被配置成根据上述通用接口集合,建立作业流调度系统,其中,上述作业流调度系统调用上述通用接口集合中的通用接口实现作业执行;转换单元504,被配置成根据上述至少两种资源调度系统中的目标资源调度系统的接口对应关系,将作业流调度系统对通用接口的调用,转换为对目标资源调度系统的原始接口的调用,实现利用上述目标资源调度系统所分配的资源执行作业。
需要说明的是,本申请实施例提供的适配不同资源调度系统的作业执行装置中各单元的实现细节和技术效果可以参考本申请中其它实施例的说明,在此不再赘述。
在一些实施例中,转换单元,还被配置成:根据预先获取的资源调度系统标识,将所获取的资源调度系统标识指示的资源调度系统确定为目标资源调度系统,以及获取上述目标资源调度系统的接口对应关系;根据所获取的接口对应关系和通用接口调用请求,生成对应的原始接口的原始接口调用参数,其中,上述对应的原始接口是上述通用接口调用请求所调用的通用接口对应的原始接口;利用上述原始接口调用参数,调用上述对应的原始接口。
在一些实施例中,上述通用接口调用请求包括通用接口调用参数;以及转换单元,还被配置成:根据所获取的接口对应关系,确定通用接口调用请求所调用的通用接口对应的原始接口;获取预先设置的上述对应的原始接口的接口调用方式信息,将通用接口调用参数,转换为符合原始接口调用方式的原始接口调用参数。
在一些实施例中,上述通用接口集合包括:作业启动接口;以及转换单元,还被配置成:响应于接收到作业启动接口调用请求,利用上述作业启动接口调用请求中的资源标识和作业启动指令,调用目标资源调度系统对应的原始接口,请求启动目标作业;控制执行作业监控进程,其中,上述作业监控进程用于监控目标作业。
在一些实施例中,上述通用接口集合包括:作业停止接口;以及转换单元,还被配置成:响应于接收到作业停止接口调用请求,利用上述作业停止接口调用请求中的资源标识和作业停止指令,调用目标资源调度系统对应的原始接口,请求停止目标作业。
在一些实施例中,上述通用接口集合包括:应用注册接口和/或应用注销接口;以及转换单元,还被配置成:响应于接收到应用注册接口调用请求,利用上述应用注册接口调用请求中的工作流标识,调用目标资源调度系统对应的原始接口,请求注册针对上述工作流标识指示的工作流的资源管理单元;响应于接口到应用注销接口调用请求,利用上述应用注销接口调用请求中的工作流标识,调用目标资源调度系统对应的原始接口,请求注销针对上述工作流标识指示的工作流的资源管理单元。
在一些实施例中,上述通用接口集合包括:资源申请接口和/或资源释放接口;以及转换单元,还被配置成:响应于接收到资源申请接口调用请求,利用上述资源申请接口调用请求中的资源需求描述信息,调用目标资源调度系统对应的原始接口,请求分配资源;接收返回的资源标识符;响应于接收到资源释放接口调用请求,利用上述资源释放接口调用请求中的资源标识符,调用目标资源调度系统对应的原始接口,请求释放上述资源标识符指示的资源。
下面参考图6,其示出了适于用来实现本申请实施例的服务器的计算机系统600的结构示意图。图6示出的服务器仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU,Central Processing Unit)601,其可以根据存储在只读存储器(ROM,Read Only Memory)602中的程序或者从存储部分608加载到随机访问存储器(RAM,Random Access Memory)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统600操作所需的各种程序和数据。CPU 601、ROM602以及RAM 603通过总线604彼此相连。输入/输出(I/O,Input/Output)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT,Cathode Ray Tube)、液晶显示器(LCD,Liquid Crystal Display)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN(局域网,Local AreaNetwork)卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括第一建立单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,建立单元还可以被描述为“建立集合的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:针对至少两种资源调度系统,建立通用接口集合,其中,各个资源调度系统包括与上述通用接口集合中的通用接口的功能相匹配的原始接口;对于上述至少两种资源调度系统中的每种资源调度系统,建立该资源调度系统的接口对应关系,其中,接口对应关系用于表征通用调用集合中的通用接口与该资源调度系统提供的、与上述通用接口功能匹配的原始接口之间的对应关系;根据上述通用接口集合,建立作业流调度系统,其中,上述作业流调度系统调用上述通用接口集合中的通用接口实现作业执行;根据上述至少两种资源调度系统中的目标资源调度系统的接口对应关系,将作业流调度系统对通用接口的调用,转换为对目标资源调度系统的原始接口的调用,实现利用上述目标资源调度系统所分配的资源执行作业。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (16)

1.一种适配不同资源调度系统的作业执行方法,其中,所述方法包括:
针对至少两种资源调度系统,建立通用接口集合,其中,各个资源调度系统包括与所述通用接口集合中的通用接口的功能相匹配的原始接口;
对于所述至少两种资源调度系统中的每种资源调度系统,建立该资源调度系统的接口对应关系,其中,接口对应关系用于表征通用调用集合中的通用接口与该资源调度系统提供的、与所述通用接口功能匹配的原始接口之间的对应关系;
根据所述通用接口集合,建立作业流调度系统,其中,所述作业流调度系统调用所述通用接口集合中的通用接口实现作业执行;
根据所述至少两种资源调度系统中的目标资源调度系统的接口对应关系,将作业流调度系统对通用接口的调用,转换为对目标资源调度系统的原始接口的调用,实现利用所述目标资源调度系统所分配的资源执行作业。
2.根据权利要求1所述的方法,其中,所述根据所述至少两种资源调度系统中的目标资源调度系统的接口对应关系,将作业流调度系统对通用接口的调用,转换为对目标资源调度系统的原始接口的调用,包括:
根据预先获取的资源调度系统标识,将所获取的资源调度系统标识指示的资源调度系统确定为目标资源调度系统,以及获取所述目标资源调度系统的接口对应关系;
根据所获取的接口对应关系和通用接口调用请求,生成对应的原始接口的原始接口调用参数,其中,所述对应的原始接口是所述通用接口调用请求所调用的通用接口对应的原始接口;
利用所述原始接口调用参数,调用所述对应的原始接口。
3.根据权利要求2所述的方法,其中,所述通用接口调用请求包括通用接口调用参数;以及
所述根据所获取的接口对应关系和通用接口调用请求,生成对应的原始接口的原始接口调用参数,包括:
根据所获取的接口对应关系,确定通用接口调用请求所调用的通用接口对应的原始接口;
获取预先设置的所述对应的原始接口的接口调用方式信息,将通用接口调用参数,转换为符合原始接口调用方式的原始接口调用参数。
4.根据权利要求1所述的方法,其中,所述通用接口集合包括:作业启动接口;以及
所述根据所述至少两种资源调度系统中的目标资源调度系统的接口对应关系,将作业流调度系统对通用接口的调用,转换为对目标资源调度系统的原始接口的调用,包括:
响应于接收到作业启动接口调用请求,利用所述作业启动接口调用请求中的资源标识和作业启动指令,调用目标资源调度系统对应的原始接口,请求启动目标作业;
控制执行作业监控进程,其中,所述作业监控进程用于监控目标作业。
5.根据权利要求4所述的方法,其中,所述通用接口集合包括:作业停止接口;以及
所述根据所述至少两种资源调度系统中的目标资源调度系统的接口对应关系,将作业流调度系统对通用接口的调用,转换为对目标资源调度系统的原始接口的调用,包括:
响应于接收到作业停止接口调用请求,利用所述作业停止接口调用请求中的资源标识和作业停止指令,调用目标资源调度系统对应的原始接口,请求停止目标作业。
6.根据权利要求1所述的方法,其中,所述通用接口集合包括:应用注册接口和/或应用注销接口;以及
所述根据所述至少两种资源调度系统中的目标资源调度系统的接口对应关系,将作业流调度系统对通用接口的调用,转换为对目标资源调度系统的原始接口的调用,包括:
响应于接收到应用注册接口调用请求,利用所述应用注册接口调用请求中的工作流标识,调用目标资源调度系统对应的原始接口,请求注册针对所述工作流标识指示的工作流的资源管理单元;
响应于接口到应用注销接口调用请求,利用所述应用注销接口调用请求中的工作流标识,调用目标资源调度系统对应的原始接口,请求注销针对所述工作流标识指示的工作流的资源管理单元。
7.根据权利要求1所述的方法,其中,所述通用接口集合包括:资源申请接口和/或资源释放接口;以及
所述根据所述至少两种资源调度系统中的目标资源调度系统的接口对应关系,将作业流调度系统对通用接口的调用,转换为对目标资源调度系统的原始接口的调用,包括:
响应于接收到资源申请接口调用请求,利用所述资源申请接口调用请求中的资源需求描述信息,调用目标资源调度系统对应的原始接口,请求分配资源;接收返回的资源标识符;
响应于接收到资源释放接口调用请求,利用所述资源释放接口调用请求中的资源标识符,调用目标资源调度系统对应的原始接口,请求释放所述资源标识符指示的资源。
8.一种适配不同资源调度系统的作业执行装置,其中,所述装置包括:
第一建立单元,被配置成针对至少两种资源调度系统,建立通用接口集合,其中,各个资源调度系统包括与所述通用接口集合中的通用接口的功能相匹配的原始接口;
第二建立单元,被配置成对于所述至少两种资源调度系统中的每种资源调度系统,建立该资源调度系统的接口对应关系,其中,接口对应关系用于表征通用调用集合中的通用接口与该资源调度系统提供的、与所述通用接口功能匹配的原始接口之间的对应关系;
第三建立单元,被配置成根据所述通用接口集合,建立作业流调度系统,其中,所述作业流调度系统调用所述通用接口集合中的通用接口实现作业执行;
转换单元,被配置成根据所述至少两种资源调度系统中的目标资源调度系统的接口对应关系,将作业流调度系统对通用接口的调用,转换为对目标资源调度系统的原始接口的调用,实现利用所述目标资源调度系统所分配的资源执行作业。
9.根据权利要求8所述的装置,其中,转换单元,还被配置成:
根据预先获取的资源调度系统标识,将所获取的资源调度系统标识指示的资源调度系统确定为目标资源调度系统,以及获取所述目标资源调度系统的接口对应关系;
根据所获取的接口对应关系和通用接口调用请求,生成对应的原始接口的原始接口调用参数,其中,所述对应的原始接口是所述通用接口调用请求所调用的通用接口对应的原始接口;
利用所述原始接口调用参数,调用所述对应的原始接口。
10.根据权利要求9所述的装置,其中,所述通用接口调用请求包括通用接口调用参数;以及
转换单元,还被配置成:
根据所获取的接口对应关系,确定通用接口调用请求所调用的通用接口对应的原始接口;
获取预先设置的所述对应的原始接口的接口调用方式信息,将通用接口调用参数,转换为符合原始接口调用方式的原始接口调用参数。
11.根据权利要求8所述的装置,其中,所述通用接口集合包括:作业启动接口;以及
转换单元,还被配置成:
响应于接收到作业启动接口调用请求,利用所述作业启动接口调用请求中的资源标识和作业启动指令,调用目标资源调度系统对应的原始接口,请求启动目标作业;
控制执行作业监控进程,其中,所述作业监控进程用于监控目标作业。
12.根据权利要求11所述的装置,其中,所述通用接口集合包括:作业停止接口;以及
转换单元,还被配置成:
响应于接收到作业停止接口调用请求,利用所述作业停止接口调用请求中的资源标识和作业停止指令,调用目标资源调度系统对应的原始接口,请求停止目标作业。
13.根据权利要求8所述的装置,其中,所述通用接口集合包括:应用注册接口和/或应用注销接口;以及
转换单元,还被配置成:
响应于接收到应用注册接口调用请求,利用所述应用注册接口调用请求中的工作流标识,调用目标资源调度系统对应的原始接口,请求注册针对所述工作流标识指示的工作流的资源管理单元;
响应于接口到应用注销接口调用请求,利用所述应用注销接口调用请求中的工作流标识,调用目标资源调度系统对应的原始接口,请求注销针对所述工作流标识指示的工作流的资源管理单元。
14.根据权利要求8所述的装置,其中,所述通用接口集合包括:资源申请接口和/或资源释放接口;以及
转换单元,还被配置成:
响应于接收到资源申请接口调用请求,利用所述资源申请接口调用请求中的资源需求描述信息,调用目标资源调度系统对应的原始接口,请求分配资源;接收返回的资源标识符;
响应于接收到资源释放接口调用请求,利用所述资源释放接口调用请求中的资源标识符,调用目标资源调度系统对应的原始接口,请求释放所述资源标识符指示的资源。
15.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
16.一种计算机可读存储介质,其上存储有计算机程序,其中,所述计算机程序被一个或多个处理器执行时实现如权利要求1-7中任一所述的方法。
CN201910540653.1A 2019-06-21 2019-06-21 适配不同资源调度系统的作业执行方法和装置 Active CN110247978B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910540653.1A CN110247978B (zh) 2019-06-21 2019-06-21 适配不同资源调度系统的作业执行方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910540653.1A CN110247978B (zh) 2019-06-21 2019-06-21 适配不同资源调度系统的作业执行方法和装置

Publications (2)

Publication Number Publication Date
CN110247978A CN110247978A (zh) 2019-09-17
CN110247978B true CN110247978B (zh) 2022-04-12

Family

ID=67888681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910540653.1A Active CN110247978B (zh) 2019-06-21 2019-06-21 适配不同资源调度系统的作业执行方法和装置

Country Status (1)

Country Link
CN (1) CN110247978B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414381B (zh) * 2020-03-04 2021-09-14 腾讯科技(深圳)有限公司 数据处理方法、装置、电子设备及存储介质
CN114327918B (zh) * 2022-03-11 2022-06-10 北京百度网讯科技有限公司 调整资源量的方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609295A (zh) * 2011-10-18 2012-07-25 华中科技大学 虚拟机作业动态调度系统
CN104579792A (zh) * 2015-01-26 2015-04-29 四川中电启明星信息技术有限公司 多适配方式实现多种类型虚拟资源集中管理架构及方法
CN108062248A (zh) * 2017-12-08 2018-05-22 华胜信泰信息产业发展有限公司 异构虚拟化平台的资源管理方法、系统、设备及存储介质
CN109450909A (zh) * 2018-11-23 2019-03-08 北京奇安信科技有限公司 一种安全资源池的通用处理方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2502337A (en) * 2012-05-25 2013-11-27 Ibm System providing storage as a service
US20170206483A1 (en) * 2016-01-15 2017-07-20 Level 3 Communications, Llc Workflow storage, processing, management, and task creation system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609295A (zh) * 2011-10-18 2012-07-25 华中科技大学 虚拟机作业动态调度系统
CN104579792A (zh) * 2015-01-26 2015-04-29 四川中电启明星信息技术有限公司 多适配方式实现多种类型虚拟资源集中管理架构及方法
CN108062248A (zh) * 2017-12-08 2018-05-22 华胜信泰信息产业发展有限公司 异构虚拟化平台的资源管理方法、系统、设备及存储介质
CN109450909A (zh) * 2018-11-23 2019-03-08 北京奇安信科技有限公司 一种安全资源池的通用处理方法及装置

Also Published As

Publication number Publication date
CN110247978A (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
US11256548B2 (en) Systems and methods for cloud computing data processing
CN107729139B (zh) 一种并发获取资源的方法和装置
CN107343045B (zh) 云计算系统及用于控制服务器的云计算方法和装置
US10033816B2 (en) Workflow service using state transfer
US11231967B2 (en) Dynamically allocating and managing cloud workers
CN108833510B (zh) 消息处理方法和装置
CN110247978B (zh) 适配不同资源调度系统的作业执行方法和装置
CN110658794A (zh) 一种制造执行系统
US11902382B2 (en) Cloud migration between cloud management platforms
CN113505520A (zh) 用于支持异构联邦学习的方法、装置和系统
Tricomi et al. Orchestrated multi-cloud application deployment in OpenStack with TOSCA
KR20220088333A (ko) 로봇 프로세스 자동화(rpa) 로봇들의 동적 클라우드 배치
US20140165066A1 (en) Optimized datacenter management by centralized task execution through dependency inversion
CN109828830A (zh) 用于管理容器的方法和装置
CN106648871B (zh) 一种资源管理方法及系统
CN112199184A (zh) 一种跨语言任务调度方法、装置、设备及可读存储介质
US9628401B2 (en) Software product instance placement
CN111694672B (zh) 资源分配方法、任务提交方法、装置、电子设备和介质
CN117009063A (zh) 一种任务执行方法和装置
US11537433B2 (en) Resource and asset lifecycle costing
CN112988528B (zh) 日志处理方法、装置及容器组
CN115604333B (zh) 基于dubbo的分布式大数据分析服务调度方法及系统
US11650858B2 (en) Maintaining stream processing resource type versions in stream processing
CN112804069B (zh) 实例化虚拟网络功能的方法、设备及计算机可读存储介质
US20230376363A1 (en) Framework for digital workers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant