CN111400139A - 多数据中心批量作业的管控和调度系统、方法及存储介质 - Google Patents

多数据中心批量作业的管控和调度系统、方法及存储介质 Download PDF

Info

Publication number
CN111400139A
CN111400139A CN202010190358.0A CN202010190358A CN111400139A CN 111400139 A CN111400139 A CN 111400139A CN 202010190358 A CN202010190358 A CN 202010190358A CN 111400139 A CN111400139 A CN 111400139A
Authority
CN
China
Prior art keywords
center
scheduling
job
configuration information
management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010190358.0A
Other languages
English (en)
Other versions
CN111400139B (zh
Inventor
张千钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN202010190358.0A priority Critical patent/CN111400139B/zh
Publication of CN111400139A publication Critical patent/CN111400139A/zh
Application granted granted Critical
Publication of CN111400139B publication Critical patent/CN111400139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3017—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is implementing multitasking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/328—Computer systems status display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system

Abstract

本发明实施例公开了一种多数据中心批量作业的管控和调度系统、方法及存储介质。该系统包括：管控中心，用于保存所有数据中心中所有批量任务的静态配置信息，并获取数据中心的应用软件的任务实例运行信息；调度中心，用于获取静态配置信息，根据各数据中心的所有批量任务的静态配置信息生成调度指令，发送调度指令至执行器，并获取根据调度指令启动的作业任务的任务实例运行信息，发送任务实例运行信息至管控中心；执行器，用于根据调度指令启动数据中心的应用软件中的作业任务，获取作业任务的任务实例运行信息，发送任务实例运行信息至调度中心，以解决相关技术无法对跨数据中心的应用软件中的批量作业任务进行统一管控的问题。

Description

多数据中心批量作业的管控和调度系统、方法及存储介质
技术领域
本发明实施例涉及数据处理技术，尤其涉及一种多数据中心批量作业的管控和调度系统、方法及存储介质。
背景技术
随着社会信息化的发展，各应用软件发展也日益完整，大型的分布式系统成为大企业的流行趋势。然而随着sprint-boot(sprint-boot是一个服务于框架的框架，服务范围是简化配置文件)等种种轻量级的技术方案的兴起。就全企业视角来看，这些项目耦合性越来越小，带来相应优势的同时，对企业的集中管理也带来挑战。就银行业务而论，一个完整的业务场景需要多个应用软件的通力合作。每个系统自身的大型批量任务情况复杂，各自依赖，触发条件也各不相同，无法对跨数据中心的应用软件中的批量作业任务进行统一管控。往往在某种异常发生后无法准确定位到问题所在系统，而需要人工去溯源定位，而这种人工的方法往往涉及多个系统管理人员，定位的实时性较难保证。
发明内容
本发明实施例提供一种多数据中心批量作业的管控和调度系统、方法及存储介质，可以对跨数据中心的应用软件中的批量作业任务进行统一管控。
第一方面，本发明实施例提供了一种多数据中心批量作业的管控和调度系统，包括：
管控中心，用于保存所有数据中心中所有批量任务的静态配置信息，并获取所述数据中心的应用软件的任务实例运行信息；
调度中心，与所述管控中心通信连接，用于获取所述静态配置信息，根据各数据中心的所有批量任务的静态配置信息生成调度指令，发送所述调度指令至执行器，并获取根据所述调度指令启动的作业任务的任务实例运行信息，发送所述任务实例运行信息至所述管控中心；
执行器，与所述调度中心通信连接，用于根据所述调度指令启动所述数据中心的应用软件中的作业任务，获取所述作业任务的任务实例运行信息，发送所述任务实例运行信息至所述调度中心。
第二方面，本发明实施例还提供了一种多数据中心批量作业的管控和调度方法，包括：
管控中心保存所有数据中心中所有批量任务的静态配置信息；
调度中心获取所述静态配置信息，根据各数据中心的所有批量任务的静态配置信息生成调度指令，发送所述调度指令至执行器；
所述执行器根据所述调度指令启动所述数据中心的应用软件中的作业任务，获取所述作业任务的任务实例运行信息，发送所述任务实例运行信息至所述调度中心；
所述调度中心获取根据所述调度指令启动的作业任务的任务实例运行信息，发送所述任务实例运行信息至所述管控中心；
所述管控中心获取所述数据中心的应用软件的任务实例运行信息。
第三方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例所述的多数据中心批量作业的管控和调度方法。
本发明实施例提供一种多数据中心批量作业的管控和调度系统，通过管控中心保存所有数据中心中所有批量任务的静态配置信息，并同步静态配置信息到对应的数据中心中的调度中心；调度中心根据对应的数据中心中所有批量任务的静态配置信息生成调度指令，发送调度指令至执行器；执行器根据所述调度指令启动所述数据中心的应用软件中的作业任务，获取所述作业任务的任务实例运行信息，发送所述任务实例运行信息至所述调度中心；通过调度中心发送任务实例运行信息给管控中心，实现管控中心集中管控各个数据中心应用软件中批量作业，形成企业级视图，让IT系统管理人员能通过统一入口查看批量作业的运行情况。进而，解决相关技术无法对跨数据中心的应用软件中的批量作业任务进行统一管控的问题。
附图说明
图1为本发明实施例提供的一种多数据中心批量作业的管控和调度系统的结构框图；
图2为本发明实施例提供的一种多数据中心批量作业的管控和调度系统中下发静态配置信息到调度中心的流程图；
图3为本发明实施例提供的一种多数据中心批量作业的管控和调度系统中依赖关系实现流程图；
图4为本发明实施例提供的一种多数据中心批量作业的管控和调度方法的流程图；
图5为本发明实施例提供的两地三中心批量作业的管控和调度方法的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
为了便于理解，下面对本发明实施例中可能出现的术语进行解释。
作业：作业是可在系统上执行的一个程序或运行脚本，包含程序以及程序运行所需要的参数信息。作业是执行和调度的基本单位，代表一个独立可运行的功能实例。
作业流：作业流是具有一定功能的一个或多个相互依赖关系的作业集合
作业组：作业组是为了管理的需要对作业(流)进行标记，同一标记下作业(流)构成一个作业组
依赖关系：如果一个作业等待另一个作业的处理结果输出，或者一个作业执行必须等待其他作业处理完成，则这两个作业之间存在依赖关系。作业或作业流之间的关联关系，对于单个作业(流)包含前置、后续作业(流)的关联关系，前置条件作为后续作业(流)运行的充分必要条件。
Apache Kafka：一种开源的，支持流式处理的分布式消息中间件。
调度域：逻辑上拆分所有的信息系统为不同的域，根据不同数据中心的部署情况，多将一个数据中心划分为一个单独的域。
执行器/AGENT：真正执行作业的机器设备,可以为虚拟机,也可以为物理机。
一般现有数据中心的部署有可能包括以下场景:
场景1：数据中心功能完全隔离，不互相影响，特定数据中心赋予特定角色，无依赖(比如南中心，北中心等等划分)。
场景2：数据中心功能完全一致，只是用做灾备使用，生产上无特殊情况，灾备数据中心应用软件不运行，只是同步实际数据。
场景3：各数据中心应用软件功能都存在，即可做灾备，又同时运行不同的软件程序，且同时存在着一个完整的业务场景在不同的数据中心先后执行任务的情况。
由于第三种情况最为复杂，同时也能兼顾第一第二种情况的数据中心功能,那么针对第三种情况讨论相关技术中的一些解决方案。
方案1：各应用软件组件配置自身的批量作业任务，并且调起自身的批量作业任务。数据中心层面不再收集信息，作业的调起由应用软件自身触发和管理。
方案2：各数据中心收集本中心的批量作业任务信息，建立批量作业调度系统，并监控批量作业调度系统。
方案3：所有数据中心使用同一套批量作业调度系统，由主数据中心统一管理，统一运维，作业的依赖调起统一触发。
对于方案1，各软件逻辑子系统或者物理子系统通过自身机制管理各自需要的批量作业任务，虽然实施起来比较灵活，但是其缺点也是比较明显的：
1)无法形成企业级视图，企业对各自应用软件的批量作业任务无法形成全局视图。
2)在跨应用软件业务场景出现异常时，定位异常应用软件组件比较困难，必需根据异常信息逐个组件进行排查。
3)无法对批量作业任务制定统一规范，也无法在统一规范框架下进行作业干预。
4)跨应用软件组件甚至跨数据中心调度域的相互依赖无法被检测到，只能通过其它方式触发，比如文件达到事件或者是相互的远程交易来实现。这样就需要各自管理网络访问关系，影响网络的安全性。
对于方案2，每个数据中心管理归属于本中心的批量作业，并拥有数据中心独占的调度中心和管控中心系统，但是其缺点也是比较明显的：
1)无法形成企业级视图，企业对各自应用软件的批量作业任务无法形成全局视图。
2)跨数据中心域的作业/作业流相互依赖无法被检测到，只能通过其它方式触发，比如文件达到事件或者是相互的远程交易来实现。这样就需要各自管理网络访问关系，影响网络的安全性。
这种方案多半是由于各数据中心在功能上有比较明确的划分，适用于数据中心之间批量作业交互不多，交易路径较短的场景。
对于方案3，虽然由一个主数据中心管理，视图清晰，更容易形成统一决策，但是主数据中心的调度系统必须直接连接到其它数据中心的应用软件的执行器，以便拉起作业/作业流的执行，其缺点如下：
1)跨数据中心作业的拉起消耗的网络带宽资源相对较多。
2)安全性有新的挑战，各应用软件必须对跨数据中心的调度系统开放。
大型企业一般存在着多个应用软件组件，同时多个应用软件组件可能部署在多个不同的数据中心，比如两地三中心，三地五中心。一般来说各数据中心互为灾备或者应用软件各自独立，并不会存在频繁的交互。批量作业的触发和拉起往往通过远程交易来互相调起，还要开通单独的网络访问关系。本方案提供一种多数据中心批量作业的管控和调度方案，着眼于多数据中心部署的整套信息系统全量批量作业的收集和调起，以及监控，形成企业级视图。
图1为本发明实施例提供的一种多数据中心批量作业的管控和调度系统的结构框图，该系统可以通过执行多数据中心批量作业的管控和调度方法，实现管控中心集中管控各个数据中心应用软件中批量作业的效果。如图1所述，该系统包括：
管控中心110，用于保存所有数据中心中所有批量任务的静态配置信息，并获取所述数据中心的应用软件的任务实例运行信息；
调度中心120，与所述管控中心110通信连接，用于获取所述静态配置信息，根据各数据中心的所有批量任务的静态配置信息生成调度指令，发送所述调度指令至执行器130，并获取根据所述调度指令启动的作业任务的任务实例运行信息，发送所述任务实例运行信息至所述管控中心110；
执行器130，与所述调度中心120通信连接，用于根据所述调度指令启动所述数据中心的应用软件中的作业任务，获取所述作业任务的任务实例运行信息，发送所述任务实例运行信息至所述调度中心120。
其中，静态配置信息包括作业运行时点、作业名称或作业执行命令等，同时多个应用软件功能类似的作业可以组成一个作业流，多个作业如需放在一起展示的，则可以属于同一个作业组。
其中，任务实例运行信息包括批量作业任务的运行状态和运行结果等。
本发明实施例中，调度指令是依据静态配置信息指示数据中心的应用软件执行某些操作的指令。例如，静态配置信息指示A数据中心(或A数据中心域)下的B应用软件组件下的C作业流中的D作业在每天早上7点启动，则根据该静态配置信息生成调度指令，以在每天早上7点拉起A数据中心(或A数据中心域)下的B应用软件组件下的C作业流中的D作业。
本发明实施例中，管控中心部署在一个数据中心，其余数据中心可以做灾备。由于在批量作业的管控方面，存在着跨数据中心的调度，彼此由于存在着物理隔离和网络隔离，需要通过设置一个企业级别的集中点——管控中心，以形成批量作业的全流程视图，更利于集中管理。当然本方案也支持不同数据中心各自作为一个单独的集中点，但是这样对于全企业视角来说非常不利，同时也退化为一个单中心管控调度系统，在此不做累述。
本发明实施例中，调度中心部署在各个数据中心，每个调度中心本身只需要同本数据中心的应用软件交互，不存在复杂的网络访问关系，调度中心只需要同管控中心具有网络访问关系即可，便于安全管理。此外，在每个数据中心均部署调度中心，容易摈除远程网络访问耗时的不利影响。
本发明实施例中，各数据中心(或数据中心域)的调度中心将应用软件部署于应用项目运行的服务器上，使之成为一个执行器(或称为AGENT)。应用软件同调度中心相连，接收调度中心发送的调度指令，根据所述调度指令启动所述数据中心的应用软件中的作业任务，获取所述作业任务的任务实例运行信息，发送所述任务实例运行信息至所述调度中心。
示例性的，管控中心仅仅只存在一个生成实例，用于保存所有数据中心中所有批量任务的静态配置信息，并获取所述数据中心的应用软件的任务实例运行信息。调度中心部署在各个数据中心上，每个数据中心的调度中心保存有各自数据中心(或数据中心域)的静态配置信息，根据各数据中心的所有批量任务的静态配置信息生成调度指令，发送所述调度指令至执行器，并获取根据所述调度指令启动的作业任务的任务实例运行信息，发送所述任务实例运行信息至所述管控中心。执行器根据所述调度指令启动所述数据中心的应用软件中的作业任务，获取所述作业任务的任务实例运行信息，发送所述任务实例运行信息至所述调度中心。
本实施例的技术方案，通过管控中心保存所有数据中心中所有批量任务的静态配置信息，并同步静态配置信息到对应的数据中心中的调度中心；调度中心根据对应的数据中心中所有批量任务的静态配置信息生成调度指令，发送调度指令至执行器；执行器根据所述调度指令启动所述数据中心的应用软件中的作业任务，获取所述作业任务的任务实例运行信息，发送所述任务实例运行信息至所述调度中心；通过调度中心发送任务实例运行信息给管控中心，实现管控中心集中管控各个数据中心应用软件中批量作业，形成企业级视图，让IT系统管理人员能通过统一入口查看批量作业的运行情况。进而，解决相关技术无法对跨数据中心的应用软件中的批量作业任务进行统一管控的问题。
在一个示例性的实施方式中，管控中心还用于通过以下方式中的一项发送所述静态配置信息给调度中心：
管控中心获取配置页面中输入的静态配置信息，并同步到对应的调度中心；
管控中心根据应用软件批量作业配置版本获取静态配置信息，并同步所述静态配置信息至对应的调度中心；
管控中心通过数据迁移方式将静态配置信息同步到对应的调度中心。
图2为本发明实施例提供的一种多数据中心批量作业的管控和调度系统中下发静态配置信息到调度中心的流程图。如图2所示，管控中心获取应用软件批量作业配置版本的相关文件，通过导入或直接配置服务的方式分区分域存储到对应的数据中心或数据中心域。假设有3个数据中心或数据中域，则静态配置信息包括分别对应于各个数据中心(或数据中心域)的静态配置信息：静态配置信息1、静态配置信息2和静态配置信息3。管控中心将静态配置信息1、静态配置信息2和静态配置信息3对应存储到数据中心1/数据中心域1、数据中心2/数据中心域2、或者数据中心3/数据中心域3。
其中，应用软件批量作业配置版本中存储有静态配置信息，且不同应用软件批量作业配置版本对应不同数据中心的静态配置信息。此外，不同版本号的应用软件批量作业配置版本中的静态配置信息不同。
在一个示例性的实施方式中，管控中心还用于：在检测到作业干预事件时，确定所述作业干预事件对应的作业任务所属的数据中心；生成干预指令，并通过所述数据中心对应的调度中心转发所述干预指令到所述执行器，以通过所述执行器执行作业任务的干预动作，其中，至少一个所述数据中心对应一个调度中心。其中，作业干预是指发现作业异常或者作业在某种特定的场景下，需要将作业挂起，解挂，重跑，暂停等动作。作业的干预是一个单笔的动作，由前端页面触发。在前端页面触发作业干预时，触发作业干预事件。干预指令由管控中心发起，甄别出该作业属于哪一个数据中心域，就将干预指令发送到该数据中心域的调度中心的对外服务器上。最终干预指令是由调度中心转发到本数据中心域的应用服务器上，通过应用软件的执行器执行干预动作。
在一个示例性的实施方式中，管控中心还用于：根据所述数据中心和作业信息确定作业依赖配置信息。示例性的，对跨数据中心域的作业依赖配置信息的收集依赖于各应用项目自身提供配置。假设A数据中心域下的B软件系统组件下的C作业流下的D作业依赖于a数据中心域下的b软件系统组件下c作业流下的d作业，则只需要有一个A作业的前置依赖即可，同时作业流之间的依赖也是类似的。考虑到存在着跨数据中心域的作业/作业流依赖，在依赖关系的配置信息中必须保存有数据中心域和作业的唯一主键。可选地，可以在依赖关系的配置信息中，将数据中心域+组件+作业流+作业作为唯一标识一个作业配置的主键信息。这样设计实现灵活的依赖关系配置，甚至为跨数据中心域的依赖关系给出支持。
在一个示例性的实施方式中，调度中心还用于：第一调度中心检测到作业完成事件，将作业完成事件信息存入消息队列；第二调度中心获取所述作业依赖配置信息，根据所述作业依赖配置信息确定作业依赖关系；所述第二调度中心根据所述作业依赖关系和消息队列中的所述第一调度中心对应的所述作业完成事件信息，判断是否启动所述作业依赖关系对应的作业任务。
图3为本发明实施例提供的一种多数据中心批量作业的管控和调度系统中依赖关系实现流程图。如图3所示，假设A数据中心域下的B软件系统组件下的C作业流下的D作业依赖于a数据中心域下的b软件系统组件下c作业流下的d作业，在D作业执行完毕后，发送对应的作业完成事件给A数据中心域的调度中心。A数据中心域的调度中心获取到D作业的作业完成事件，发送D作业的作业完成事件到管控中心的消息队列。与A数据中心域的调度中心具有作业依赖关系的a数据中心域的调度中心实时获取消息队列中的事件信息。若a数据中心域的调度中心检测到D作业的作业完成事件，则根据依赖关系启动d作业；否则，a数据中心域的调度中心继续检测消息队列中的事件信息。
需要说明的是，管控中心根据实例运行信息判断具有依赖关系的两个不同数据中心域的作业是否已衔接完成。
需要说明的是，通过消息队列，依赖关系可支持多种实现方式：消息达到、文件达到、作业完成等种种依赖条件都可以支持。将依赖条件转化为消息队列中的一个事件消息即可实现。
本发明实施例的技术方案，通过集中的配置和管控中心可对多个数据中心域的所有批量作业做配置，监控和干预。通过统一管理，在批量业务出现异常时可以直观地看出任务在某个节点卡死，并适时给出告警。通过灵活的依赖关系配置，甚至为跨数据中心域的依赖关系给出支持。根据依赖关系形成全流程视图，便于识别关键作业任务。中间交互节点为星型节点，易管理易部署。
图4为本发明实施例提供的一种多数据中心批量作业的管控和调度方法的流程图，该方法可以由一种多数据中心批量作业的管控和调度系统执行，该系统可以由硬件和/或软件实现。如图4所示，该方法包括：
步骤410、管控中心保存所有数据中心中所有批量任务的静态配置信息。
步骤420、调度中心获取所述静态配置信息，根据各数据中心的所有批量任务的静态配置信息生成调度指令，发送所述调度指令至执行器。
步骤430、执行器根据所述调度指令启动所述数据中心的应用软件中的作业任务，获取所述作业任务的任务实例运行信息，发送所述任务实例运行信息至所述调度中心。
步骤440、调度中心获取根据所述调度指令启动的作业任务的任务实例运行信息，发送所述任务实例运行信息至所述管控中心。
步骤450、管控中心获取所述数据中心的应用软件的任务实例运行信息。
以两地三中心为例说明该多数据中心批量作业的管控和调度方法的工作流程。图5为本发明实施例提供的两地三中心批量作业的管控和调度方法的流程图。主数据中心中配置有主调度中心511和主管控中心512，同城的其它数据中心作为副数据中心，其上配置有调度中心520，跨地区数据中心中配置有主调度中心531和副管控中心532。主调度中心511或调度中心520与主管控中心512通信连接。主管控中心512同步静态配置信息给同城副数据中心的调度中心520及跨地区数据中心的主调度中心531。同城副数据中心的调度中心520及跨地区数据中心的主调度中心531分别反馈任务实例运行信息给主管控中心512。
需要说明的是，一般作业信息的收集各市面上现有的调度系统大同小异，其中包括一些作业的基本定义和作业的调度定义，以及相关的运行信息，包括作业执行所在的主机信息，作业执行所需的参数信息，作业运行所需的日历，时区，其中一些作业的基本定义应该是全局唯一且全局有效的。作业的调度定义可以全局有效，本发明实施例中，各数据中心都有所属的调度中心以及调度节点，那么，某数据中心域的调度节点其实只需要关注该数据中心下的所有批量作业就可以。
从本发明实施例的物理部署来看，各数据中心域有对应的调度中心。在特殊情况下，也可以多数据中心域对应于同一个调度中心，但不应有多个调度中心对应同一个数据中心域的情况出现，这样会使作业本身的调度管理变得复杂化。跨中心任务配置需要同步到各对应调度中心去。从作业的维度来看，只需要看本身作业属于哪一个调度中心，就需要将此作业配置同步生效到哪一个调度中心，不需要每个调度中心都保存所有作业的全量，因为其它不属于本调度中心的作业不会在此调度中心实例化。
本发明实施例为了实现企业级视图，所有的调度运行信息从各应用软件组件收集到管控中心集中，以便进行监控分析以及异常问题的定问。各数据中心域的调度中心将应用软件部署于应用项目运行主机上，使之成为一个执行器。执行器件同调度中心相连，接收调度中心发来的指令，拉起作业任务，同时将作业任务运行的状态和结果回传至调度中心，调度中心整理后传送至管控中心，这样就完成了批量作业任务的任务实例运行信息的收集。
一个作业的调起依赖于其它数据中心域作业的结束，本发明实施例中，为了避免复杂的网络访问关系和交易路径,我们通过各自的调度中心来实现这一功能。例如，假设A数据中心域下的B组件下的C作业流下的D作业依赖于a数据中心域下的b组件下c作业流下的d作业.D作业执行完毕后,A数据中心域的调度中心在收到执行完毕的事件后,通过消息队列将此信息共享给a数据中心域的调度中心,则a数据中心域的d作业就能正常调起。
本发明实施例中，在前端页面触发作业干预后，干预指令由管控中心发起，甄别出该作业属于哪一个数据中心域，就将干预指令发送到该数据中心域的调度中心的对外服务器上。最终干预指令是由调度中心转发到本数据中心域的应用服务器上，通过应用软件对应的执行器去执行干预动作。
本实施例的技术方案，实现管控中心集中管控各个数据中心应用软件中批量作业，形成企业级视图，让IT系统管理人员能通过统一入口查看批量作业的运行情况。进而，解决相关技术无法对跨数据中心的应用软件中的批量作业任务进行统一管控的问题。
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种多数据中心批量作业的管控和调度方法，该方法包括：
管控中心保存所有数据中心中所有批量任务的静态配置信息；
调度中心获取所述静态配置信息，根据各数据中心的所有批量任务的静态配置信息生成调度指令，发送所述调度指令至执行器；
执行器根据所述调度指令启动所述数据中心的应用软件中的作业任务，获取所述作业任务的任务实例运行信息，发送所述任务实例运行信息至所述调度中心；
调度中心获取根据所述调度指令启动的作业任务的任务实例运行信息，发送所述任务实例运行信息至所述管控中心；
管控中心获取所述数据中心的应用软件的任务实例运行信息。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的多数据中心批量作业的管控和调度中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种多数据中心批量作业的管控和调度系统，其特征在于，包括：
管控中心，用于保存所有数据中心中所有批量任务的静态配置信息，并获取所述数据中心的应用软件的任务实例运行信息；
调度中心，与所述管控中心通信连接，用于获取所述静态配置信息，根据各数据中心的所有批量任务的静态配置信息生成调度指令，发送所述调度指令至执行器，并获取根据所述调度指令启动的作业任务的任务实例运行信息，发送所述任务实例运行信息至所述管控中心；
执行器，与所述调度中心通信连接，用于根据所述调度指令启动所述数据中心的应用软件中的作业任务，获取所述作业任务的任务实例运行信息，发送所述任务实例运行信息至所述调度中心。
2.根据权利要求1所述的系统，其特征在于，所述管控中心还用于通过以下方式中的一项发送所述静态配置信息给调度中心：
管控中心获取配置页面中输入的静态配置信息，并同步到对应的调度中心；
管控中心根据应用软件批量作业配置版本获取静态配置信息，并同步所述静态配置信息至对应的调度中心；
管控中心通过数据迁移方式将静态配置信息同步到对应的调度中心。
3.根据权利要求1所述的系统，其特征在于，所述管控中心还用于：
在检测到作业干预事件时，确定所述作业干预事件对应的作业任务所属的数据中心；
生成干预指令，并通过所述数据中心对应的调度中心转发所述干预指令到所述执行器，以通过所述执行器执行作业任务的干预动作，其中，至少一个所述数据中心对应一个调度中心。
4.根据权利要求1至3中任一项所述的系统，其特征在于，所述管控中心还用于：
根据所述数据中心和作业信息确定作业依赖配置信息。
5.根据权利要求4所述的系统，其特征在于，所述调度中心还用于：
第一调度中心检测到作业完成事件，将作业完成事件信息存入消息队列；
第二调度中心获取所述作业依赖配置信息，根据所述作业依赖配置信息确定作业依赖关系；
所述第二调度中心根据所述作业依赖关系和消息队列中的所述第一调度中心对应的所述作业完成事件信息，判断是否启动所述作业依赖关系对应的作业任务。
6.一种多数据中心批量作业的管控和调度方法，其特征在于，包括：
管控中心保存所有数据中心中所有批量任务的静态配置信息；
调度中心获取所述静态配置信息，根据各数据中心的所有批量任务的静态配置信息生成调度指令，发送所述调度指令至执行器；
所述执行器根据所述调度指令启动所述数据中心的应用软件中的作业任务，获取所述作业任务的任务实例运行信息，发送所述任务实例运行信息至所述调度中心；
所述调度中心获取根据所述调度指令启动的作业任务的任务实例运行信息，发送所述任务实例运行信息至所述管控中心；
所述管控中心获取所述数据中心的应用软件的任务实例运行信息。
7.根据权利要求6所述的方法，其特征在于，还包括，所述管控中心通过以下方式中的一项发送所述静态配置信息给调度中心：
管控中心获取配置页面中输入的静态配置信息，并同步到对应的调度中心；
管控中心根据应用软件批量作业配置版本获取静态配置信息，并同步所述静态配置信息至对应的调度中心；
管控中心通过数据迁移方式将静态配置信息同步到对应的调度中心。
8.根据权利要求6所述的方法，其特征在于，还包括：
所述管控中心在检测到作业干预事件时，确定所述作业干预事件对应的作业任务所属的数据中心；
所述管控中心生成干预指令，并通过所述数据中心对应的调度中心转发所述干预指令到所述执行器，以通过所述执行器执行作业任务的干预动作，其中，至少一个所述数据中心对应一个调度中心。
9.根据权利要求6至8中任一项所述的方法，其特征在于，在管控中心保存所有数据中心中所有批量任务的静态配置信息之前，还包括：
所述管控中心根据所述数据中心和作业信息确定作业依赖配置信息。
10.根据权利要求9所述的方法，其特征在于，还包括：
第一调度中心检测到作业完成事件，将作业完成事件信息存入消息队列；
第二调度中心获取所述作业依赖配置信息，根据所述作业依赖配置信息确定作业依赖关系；
所述第二调度中心根据所述作业依赖关系和消息队列中的所述第一调度中心对应的所述作业完成事件信息，判断是否启动所述作业依赖关系对应的作业任务。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求6-10中任一项所述的多数据中心批量作业的管控和调度方法。
CN202010190358.0A 2020-03-18 2020-03-18 多数据中心批量作业的管控和调度系统、方法及存储介质 Active CN111400139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010190358.0A CN111400139B (zh) 2020-03-18 2020-03-18 多数据中心批量作业的管控和调度系统、方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010190358.0A CN111400139B (zh) 2020-03-18 2020-03-18 多数据中心批量作业的管控和调度系统、方法及存储介质

Publications (2)

Publication Number Publication Date
CN111400139A true CN111400139A (zh) 2020-07-10
CN111400139B CN111400139B (zh) 2023-09-22

Family

ID=71436410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010190358.0A Active CN111400139B (zh) 2020-03-18 2020-03-18 多数据中心批量作业的管控和调度系统、方法及存储介质

Country Status (1)

Country Link
CN (1) CN111400139B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112114954A (zh) * 2020-09-28 2020-12-22 中国建设银行股份有限公司 软件系统的作业调度配置方法及装置
CN112612590A (zh) * 2020-12-28 2021-04-06 上海艾融软件股份有限公司 批量调度系统
CN112882767A (zh) * 2021-02-08 2021-06-01 建信金融科技有限责任公司 一种spring batch批处理作业网页维护的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324539A (zh) * 2013-06-24 2013-09-25 浪潮电子信息产业股份有限公司 一种作业调度管理系统及方法
US20140325503A1 (en) * 2012-01-09 2014-10-30 Huawei Technologies Co., Ltd. Cloud infrastructure-based management system and method for maintenance and deployment of application system
CN104793994A (zh) * 2015-04-27 2015-07-22 中国农业银行股份有限公司 批量作业处理方法、装置及系统
CN110414840A (zh) * 2019-07-29 2019-11-05 中国工商银行股份有限公司 跨调度区进行统一调度的方法、系统以及相关设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140325503A1 (en) * 2012-01-09 2014-10-30 Huawei Technologies Co., Ltd. Cloud infrastructure-based management system and method for maintenance and deployment of application system
CN103324539A (zh) * 2013-06-24 2013-09-25 浪潮电子信息产业股份有限公司 一种作业调度管理系统及方法
CN104793994A (zh) * 2015-04-27 2015-07-22 中国农业银行股份有限公司 批量作业处理方法、装置及系统
CN110414840A (zh) * 2019-07-29 2019-11-05 中国工商银行股份有限公司 跨调度区进行统一调度的方法、系统以及相关设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112114954A (zh) * 2020-09-28 2020-12-22 中国建设银行股份有限公司 软件系统的作业调度配置方法及装置
CN112612590A (zh) * 2020-12-28 2021-04-06 上海艾融软件股份有限公司 批量调度系统
CN112882767A (zh) * 2021-02-08 2021-06-01 建信金融科技有限责任公司 一种spring batch批处理作业网页维护的方法及系统

Also Published As

Publication number Publication date
CN111400139B (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
US7779298B2 (en) Distributed job manager recovery
US8990810B2 (en) Projecting an effect, using a pairing construct, of execution of a proposed action on a computing environment
CN111400139A (zh) 多数据中心批量作业的管控和调度系统、方法及存储介质
US8782662B2 (en) Adaptive computer sequencing of actions
CN102346460B (zh) 一种基于事务的服务控制系统及其控制方法
US8516106B2 (en) Use tag clouds to visualize components related to an event
KR101683321B1 (ko) 분산 애플리케이션들을 모니터링 하는 방법
US20040168155A1 (en) Flow debugging software and method
CN105354113B (zh) 一种服务器、管理服务器的系统和方法
CN108614688A (zh) 应用于混合云环境的可视化应用编排及方法
CN111552556B (zh) 一种gpu集群服务管理系统及方法
WO2005124553A1 (en) Autonomic monitoring in a grid environment
CN103780655A (zh) 一种消息传递接口任务和资源调度系统及方法
CN105659562A (zh) 利用簇中并行性进行容障处理
CN102156642A (zh) 一种通用业务流程管理接口的实现方法和系统
CN113672240A (zh) 一种基于容器的多机房批量自动化部署应用的方法及系统
US10657027B2 (en) Aggregating data for debugging software
CN101908981B (zh) 一种告警、性能数据屏蔽统一处理的方法
Wang Towards service discovery and autonomic version management in self-healing microservices architecture
CN110740047B (zh) 一种网络切片管理编排系统
CN110798339A (zh) 一种基于分布式任务调度框架的任务容灾方法
CN114787836A (zh) 用于远程执行一个或更多个任意定义的工作流的系统和方法
CN110489294B (zh) 一种基于日志实时单步调试方法和装置
CN113672452A (zh) 一种数据采集任务的运行监控方法、系统
US8402465B2 (en) System tool placement in a multiprocessor computer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220914

Address after: 25 Financial Street, Xicheng District, Beijing 100033

Applicant after: CHINA CONSTRUCTION BANK Corp.

Address before: 25 Financial Street, Xicheng District, Beijing 100033

Applicant before: CHINA CONSTRUCTION BANK Corp.

Applicant before: Jianxin Financial Science and Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant