CN111459640B - 跨平台批量作业调度方法及系统 - Google Patents

Abstract

本申请提供了一种跨平台批量作业调度方法及系统，该跨平台批量作业调度方法包括：分布式批量控制器根据存储的批量作业排程生成批量作业实例；所述分布式批量控制器根据所述批量作业实例及其对应的批量执行器生成批量作业指令；所述分布式批量控制器将所述批量作业指令发送至指令通知服务器，以使所述通知服务器将所述批量作业指令转发给平台执行器集群或主机代理服务器进行业务批量处理。本申请将平台及主机通过通知服务器与分布式批量控制器连接，分布式批量控制器通过通知服务器进行作业调度，实现平台批量与主机批量作业的统一编排，实现了跨平台批量的统一调度及监控，从而减少了系统间通过文件交互及文件等待时间，提高了批量运行效率。

Description

跨平台批量作业调度方法及系统

技术领域

本申请涉及计算机应用系统技术，特别涉及一种跨平台批量作业调度方法及系统。

背景技术

以银行为代表的传统金融机构信息化工作起步较早，早期核心系统主要采用基于主机系统+DB2数据库的集中式架构，较好地支撑了客户管理、存贷款、支付结算等业务开展。随着互联网金融业务的快速扩展，传统的金融机构系统架构面临着较大的挑战：一是处理能力上，由于系统规模庞大，采用单一系统垂直扩展模式，扩展能力较差；二是大型主机运营费用昂贵，商业产品授权费用高。由此，越来越多银行利用分布式平台系统成本低、易扩展等特点来解决集中式主机系统的劣势，逐步将部分传统银行核心产品数据和功能从主机系统迁移到分布式开放平台系统。

在上述过程中，必然存在一部分批量业务功能在主机处理，一部分批量业务功能在平台处理的情况。比如，代理业务批量代发工资业务，代理业务协议在平台检查，借方对公户在主机处理，贷方个人户在平台处理。平台批量作业处理完成后，需要触发主机批量作业处理，或主机批量作业处理完成后，需要触发平台批量作业处理。目前一般的实现方法是，平台和主机通过文件方式交互，并约定执行文件到达的时间点，比如，平台批量处理完成后，生成文件并FTP到主机，主机定时批量启动，扫描是否有文件到达，如有则触发主机批量作业处理，如文件未到达，则等待一段时间再次扫描；如超过一定时间仍未收到文件，则批量中断。但是这种方法存在如下问题：

通过上下游约定批量执行时间点，需要预留较宽裕的时间，这将造成上游批量结束后，下游批量仍需要等待较长时间后，在约定时间再启动，批量的总体运行时效不高。

发明内容

本申请提供了一种跨平台批量作业调度方法及系统，以解决平台与主机批量作业的统一调度问题，提高批量运行时效。

一方面，本申请提供一种跨平台批量作业调度方法，包括：

分布式批量控制器根据存储的批量作业排程生成批量作业实例；

所述分布式批量控制器根据所述批量作业实例及其对应的批量执行器生成批量作业指令；

所述分布式批量控制器将所述批量作业指令发送至指令通知服务器，以使所述通知服务器将所述批量作业指令转发给平台执行器集群或主机代理服务器进行业务批量处理。

一实施例中，该跨平台批量作业调度方法还包括：

所述分布式批量控制器通过作业排程更新接口从业务系统获取业务需求并存储至分布式批量控制器的数据库。

一实施例中，该跨平台批量作业调度方法还包括：

所述通知服务器根据所述批量作业指令的目标批量执行器标识将该批量作业指令发送至对应的目标批量执行器。

一实施例中，该跨平台批量作业调度方法还包括：

所述主机代理服务器对所述批量作业指令进行解析得到指令信息，并将所述指令信息发送给主机执行服务器，所述指令信息包括作业归属子系统及作业名称；

所述主机执行服务器根据满足触发限制条件的指令信息执行批量作业。

一实施例中，该跨平台批量作业调度方法还包括：所述平台执行器集群的平台执行器对接收的批量作业指令进行解析得到指令信息，并根据满足触发限制条件的指令信息执行批量作业。

另一方面，还提供一种跨平台批量作业调度系统，包括：分布式批量控制器、指令通知服务器、平台执行器集群、主机代理服务器及主机执行服务器；

所述分布式批量控制器，用于根据存储的批量作业排程生成批量作业实例，并根据所述批量作业实例及其对应的批量执行器生成批量作业指令；

指令通知服务器，用于接收所述批量作业指令，并根据所述批量作业指令的目标批量执行器标识将该批量作业指令发送至对应的目标批量执行器，所述目标执行器包括所述平台执行器集群中的平台执行器及所述主机执行服务器；

所述主机代理服务器用于对所述批量作业指令进行解析得到指令信息，并将所述指令信息发送给主机执行服务器，所述指令信息包括作业归属子系统及作业名称；

所述主机执行服务器根据满足触发限制条件的指令信息执行批量作业；

所述平台执行器集群的平台执行器对接收的批量作业指令进行解析得到指令信息，并根据满足触发限制条件的指令信息执行批量作业。

一实施例中，所述分布式批量控制器通过作业排程更新接口从业务系统获取业务需求并存储至分布式批量控制器的数据库。

本申请将平台及主机通过通知服务器与分布式批量控制器连接，分布式批量控制器通过通知服务器进行作业调度，实现平台批量与主机批量作业的统一编排，实现了跨平台批量的统一调度及监控，从而减少了系统间通过文件交互及文件等待时间，提高了批量运行效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例的跨平台批量作业调度系统；

图2为本申请一实施例的分布式批量控制器1的内部结构图；

图3为本申请一实施例的主机代理服务器的内部结构图；

图4为本申请一实施例的主机执行服务器内部结构图；

图5为本申请实施例的跨平台批量作业调度方法流程图；

图6为本申请实施例的主机代理服务器的启动流程。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种跨平台批量作业调度系统，如图1所示，该跨平台批量作业调度系统包括：分布式批量控制器1、指令通知服务器2、平台执行器集群3、主机代理服务器4及主机执行服务器5。平台执行器集群3中包含多个平台执行器：平台执行器31、平台执行器32，……，平台执行器N。

分布式批量控制器1与各业务系统通过作业排程更新接口连接，当业务系统有业务需要平台或主机处理时，通过作业排程更新接口将业务需求发送给分布式批量控制器1。分布式批量控制器1获取业务系统发送的业务需求并存储至分布式批量控制器的数据库，形成批量作业排程。

分布式批量控制器1与指令通知装置2相连，负责根据批量作业排程生成当前的批量作业实例，然后根据批量作业实例及其对应的批量执行器生成批量作业指令。该批量作业指令中包含了批量作业实例及对该批量作业实例进行批量处理的批量执行器ID，该批量执行器可以为平台的主机执行服务器或平台执行器集群3的平台执行器。

一实施例中，分布式批量控制器1可以在日终根据批量作业排程生成当前的批量作业实例。

对于需要定时处理的作业，分布式批量控制器1根据约定的处理时间，生成批量作业指令并发送到指令通知服务器2。分布式批量控制器1还通过指令通知服务器2接收平台执行器或主机代理服务器4反馈的批量作业完成状态通知信息，并根据作业实例，触发后续批量作业执行。

指令通知服务器2与平台执行器集群3及主机代理服务器4相连，负责接收分布式批量控制器1产生的批量作业指令，并根据所述批量作业指令的目标批量执行器标识将该批量作业指令发送至对应的目标批量执行器，目标执行器包括平台执行器集群中的平台执行器及主机执行服务器5。

指令通知服务器2还可以接收平台执行器或主机代理服务器4反馈的批量作业完成状态通知信息，并将批量作业完成状态通知信息转发给分布式批量控制器1。

主机代理服务器4与指令通知服务器2及主机执行服务器相连，作为主机执行服务器5的代理，负责向分布式批量控制器1注册。主机代理服务器4接收来自指令通知服务器2的主机作业指令，并发送到主机执行服务器5；主机代理服务器4还接收来自主机执行服务器5的作业执行结果，通过指令通知服务器2反馈给分布式批量控制器1。

在一实施例中，主机代理服务器4用于对批量作业指令进行解析得到指令信息，并将指令信息发送给主机执行服务器，所述指令信息包括作业归属子系统及作业名称等。

主机执行服务器5与主机代理服务器4相连，负责接收主机代理服务器4的作业指令信息，执行相关主机作业处理并反馈作业处理结果给主机代理服务器4。

一实施例中，主机执行服务器5在接收到作业指令后，检查作业指令是否可执行，例如主要检查当前CPU的使用情况是否达到设定阈值(例如80％)，如果CPU的使用情况达到80％以上，则执行该作业指令，执行批量作业。

具体实施时，主机执行服务器5还从本地存储的表格里查找对应的调度方式、批量作业信息以及次要的触发限制条件。次要的触发限制条件例如可以是该批量作业的时间范围。

平台执行器集群3的平台执行器对接收的批量作业指令进行解析得到指令信息，并根据满足触发限制条件的指令信息执行批量作业。平台执行器在接收到作业指令后，检查作业指令是否可执行，例如主要检查当前CPU的使用情况是否达到80％以上，如果CPU的使用情况达到80％以上，则执行该作业指令，执行批量作业。

具体实施时，平台执行器还从本地存储的表格里查找对应的调度方式、批量作业信息以及次要的触发限制条件。次要的触发限制条件例如可以是该批量作业的时间范围。

图2为本申请一实施例的分布式批量控制器1的内部结构图，如图2所示，该分布式批量控制器包括：执行器注册指令处理单元101，作业实例生成单元102，定时单元103，批量指令分发单元104，批量指令状态处理单元105。

当平台执行器及主机代理服务器启动或下线时，执行器注册指令处理单元101用于处理经过指令通知服务器2发送到分布式批量控制器1的注册/注解指令，根据注册指令解析目标批量执行器的属性，该属性包括业务系统标识、子系统标识、分片标识、主备标识、IP端口等，并在分布式批量控制器1的数据库登记/更新相关执行器信息。

作业实例生成单元102用于定时生成指定系统当天的批量作业实例，该批量作业实例根据各业务系统预先在分布式批量控制器1的数据库中记录的批量作业排程生成。

定时单元103用于实现定时功能，实现批量作业实例定时生成，以及定时作业的定时触发。

批量指令分发单元104用于根据当前需要执行的批量作业，获取该作业需要分发的批量执行器(目标批量执行器)31，生成具体的批量作业指令(作业执行的逻辑，主要包括作业名称)，然后发送至指令通知服务器2。

批量指令状态处理单元105用于从指令通知服务器2接收批量作业指令的通知消息(如执行批量作业的进度上报、中断异常等)及执行结果，根据通知消息及执行结果更新批量业务指令的处理情况：1)如收到执行进度上报通知，则更新该批量作业的执行进度信息；2)如收到作业中断异常的通知，则更新该批量作业指令的执行状态为中断，同时发送报警信息；3)如接收到批量作业指令完成的通知，则触发以该作业为前项的后续批量作业的分发。

图3为本申请一实施例的主机代理服务器的内部结构图，如图3所示，该主机代理服务器包含：主机批量代理服务器启动单元401、批量指令接收单元402、批量指令解析单元403、批量指令转发单元404及主机批量执行结果处理单元405。

主机批量代理服务器启动单元401用于在主机代理服务器启动时，通过指令通知服务器2向分布式批量控制器1注册当前主机代理服务器的信息，包括主机代理服务器所属系统(主机代理)，主备标识，IP端口等；同时向主机执行服务器5发起TCPIP通讯连接请求，与主机执行服务器5建立连接。

批量指令接收单元402用于从指令通知服务器2接收来自分布式批量控制器1，且需要主机执行服务器5执行的主机批量作业指令。

批量指令解析单元403用于解析批量指令接收单元402所接收到的批量作业指令，解析得到批量指令信息(包括作业归属的子系统、作业名称等)，并在本地数据库登记作业指令信息。

批量指令转发单元404用于将调度信息(包括开放机器IP、用户、进程和指令等信息)从ASCII码转换为EBCDIC码，并发送给主机执行服务器5。

主机批量执行结果处理单元405用于从主机执行服务器5接收批量作业执行结果信息，更新本地数据库中该作业指令的处理状态，同时通过指令通知服务器，向分布式批量控制器1发送批量执行结果。

图4为本申请一实施例的主机执行服务器内部结构图，如图4所示，该主机执行服务器包含：代理器通讯单元501、批量指令接收单元502、批量指令检查单元503及批量指令执行单元504。

代理器通讯单元501用于与主机代理服务器4进行通讯，接收其TCPIP通讯连接请求并建立连接。

批量指令接收单元502用于从主机代理服务器4接收主机批量作业指令，登记到主机数据库。

批量指令检查单元503用于解析主机批量作业指令，并检查该主机批量作业指令；如检查不通过，则更新该主机批量作业指令的状态，并向主机批量代理服务器发送处理失败的通知。

批量指令执行单元504用于根据该主机批量作业指令的批量作业信息及调度方式实现作业的提交，并且定时检查作业的执行结果，在作业执行结束后，向主机代理服务器4发送处理结果通知(包括异常中断、执行成功)。

基于同一发明构思，本申请实施例还提供了一种跨平台批量作业调度方法，可以基于上述实施例中所描述的跨平台批量作业调度系统，如下面实施例所述。由于该跨平台批量作业调度系统解决问题的原理与跨平台批量作业调度方法相似，因此跨平台批量作业调度系统的实施可以参见跨平台批量作业调度方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5为本申请实施例的跨平台批量作业调度方法流程图，如所示，该跨平台批量作业调度方法包括：

S501：分布式批量控制器根据存储的批量作业排程生成批量作业实例；

S502：所述分布式批量控制器根据所述批量作业实例及其对应的批量执行器生成批量作业指令；

S503：所述分布式批量控制器将所述批量作业指令发送至指令通知服务器，以使所述通知服务器将所述批量作业指令转发给平台执行器集群或主机代理服务器进行业务批量处理。

图5所示的跨平台批量作业调度方法基于跨平台批量作业调度系统，分布式批量控制器通过通知服务器对平台及主机进行作业调度，实现了平台批量与主机批量作业的统一编排，实现了跨平台批量的统一调度及监控，从而减少了系统间通过文件交互及文件等待时间，提高了批量运行效率。

一实施例中，分布式批量控制器还通过作业排程更新接口从业务系统获取业务需求并存储至分布式批量控制器的数据库。

一实施例中，批量作业指令中包括目标批量执行器标识，该通知服务器可以根据批量作业指令的目标批量执行器标识将该批量作业指令发送至对应的目标批量执行器。

主机代理服务器作为主机执行服务器的代理服务器，启动流程可以包含如图6所示的步骤：

步骤601：主机代理服务器启动，根据配置信息向主机(主机执行服务器)的代理器通讯单元51发起TCPIP通讯连接请求。

步骤602：主机的代理器通讯单元接收到通讯请求后，与主机代理服务器建立连接，并进行应用层的握手交互。

步骤603：完成与主机的交互后，主机代理服务器向指令通知服务器发送执行器注册指令。

步骤604：指令通知服务器将该注册指令转发到分布式批量控制器。

步骤605：分布式批量控制器接收到注册指令后，登记代理服务器的注册信息，后续可根据该信息将主机批量指令发送到主机代理服务器。

一实施例中，主机代理服务器还可以对所述批量作业指令进行解析得到指令信息，并将所述指令信息发送给主机执行服务器，所述指令信息包括作业归属子系统及作业名称，主机执行服务器根据满足触发限制条件的指令信息执行批量作业。

平台执行器集群的平台执行器对接收的批量作业指令进行解析得到指令信息，并根据满足触发限制条件的指令信息执行批量作业。

从硬件层面来说，本申请提供一种抽油泵漏失量分析方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：

处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现销售前端与销售后端之间的信息传输；该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照实施例中的抽油泵漏失量分析方法的实施例，以及，终端及服务器的实施例进行实施，其内容被合并于此，重复之处不再赘述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本申请中应用了具体实施例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种跨平台批量作业调度方法，其特征在于，包括：

分布式批量控制器根据存储的批量作业排程生成批量作业实例；

所述分布式批量控制器根据所述批量作业实例及其对应的批量执行器生成批量作业指令；

所述分布式批量控制器将所述批量作业指令发送至指令通知服务器，以使所述通知服务器将所述批量作业指令转发给平台执行器集群或主机代理服务器进行业务批量处理；

所述分布式批量控制器根据存储的批量作业排程生成批量作业实例，包括：

定时生成指定系统当天的批量作业实例，所述批量作业实例根据各业务系统预先在分布式批量控制器的数据库中记录的批量作业排程生成；

所述分布式批量控制器根据所述批量作业实例及其对应的批量执行器生成批量作业指令，包括：

对于需要定时处理的作业，分布式批量控制器根据约定的处理时间，生成批量作业指令；

所述主机代理服务器用于在主机代理服务器启动时，通过所述指令通知服务器向所述分布式批量控制器注册当前主机代理服务器的信息；同时向主机执行服务器发起TCPIP通讯连接请求，与主机执行服务器建立连接；所述当前主机代理服务器的信息包括：主机代理服务器所属系统，主备标识，IP端口。

2.根据权利要求1所述的跨平台批量作业调度方法，其特征在于，还包括：

所述分布式批量控制器通过作业排程更新接口从业务系统获取业务需求并存储至分布式批量控制器的数据库。

3.根据权利要求1所述的跨平台批量作业调度方法，其特征在于，所述批量作业指令中包括目标批量执行器标识，还包括：

所述通知服务器根据所述批量作业指令的目标批量执行器标识将该批量作业指令发送至对应的目标批量执行器。

4.根据权利要求1所述的跨平台批量作业调度方法，其特征在于，还包括：

所述主机代理服务器对所述批量作业指令进行解析得到指令信息，并将所述指令信息发送给主机执行服务器，所述指令信息包括作业归属子系统及作业名称；

所述主机执行服务器根据满足触发限制条件的指令信息执行批量作业。

5.根据权利要求1所述的跨平台批量作业调度方法，其特征在于，还包括：所述平台执行器集群的平台执行器对接收的批量作业指令进行解析得到指令信息，并根据满足触发限制条件的指令信息执行批量作业。

6.根据权利要求4或5所述的跨平台批量作业调度方法，其特征在于，所述主机执行服务器根据满足触发限制条件的指令信息执行批量作业，包括：

所述主机执行服务器判断当前CPU的使用情况是否达预设阈值，如果是，执行批量作业。

7.一种跨平台批量作业调度系统，其特征在于，包括：分布式批量控制器、指令通知服务器、平台执行器集群、主机代理服务器及主机执行服务器；

所述分布式批量控制器，用于根据存储的批量作业排程生成批量作业实例，并根据所述批量作业实例及其对应的批量执行器生成批量作业指令；

指令通知服务器，用于接收所述批量作业指令，并根据所述批量作业指令的目标批量执行器标识将该批量作业指令发送至对应的目标批量执行器，所述目标批量执行器包括所述平台执行器集群中的平台执行器及所述主机执行服务器；

所述主机代理服务器用于对所述批量作业指令进行解析得到指令信息，并将所述指令信息发送给主机执行服务器，所述指令信息包括作业归属子系统及作业名称；

所述主机执行服务器根据满足触发限制条件的指令信息执行批量作业；

所述平台执行器集群的平台执行器对接收的批量作业指令进行解析得到指令信息，并根据满足触发限制条件的指令信息执行批量作业；

所述分布式批量控制器包括：作业实例生成单元和定时单元；

所述作业实例生成单元用于定时生成指定系统当天的批量作业实例，所述批量作业实例根据各业务系统预先在分布式批量控制器的数据库中记录的批量作业排程生成；

所述定时单元用于实现定时功能，实现批量作业实例定时生成，以及定时作业的定时触发；

所述主机代理服务器包括：主机批量代理服务器启动单元，用于在主机代理服务器启动时，通过所述指令通知服务器向所述分布式批量控制器注册当前主机代理服务器的信息；同时向主机执行服务器发起TCPIP通讯连接请求，与主机执行服务器建立连接；所述当前主机代理服务器的信息包括：主机代理服务器所属系统，主备标识，IP端口。

8.根据权利要求7所述的跨平台批量作业调度系统，其特征在于，所述分布式批量控制器通过作业排程更新接口从业务系统获取业务需求并存储至分布式批量控制器的数据库。

9.根据权利要求7所述的跨平台批量作业调度系统，其特征在于，所述主机执行服务器具体用于：判断当前CPU的使用情况是否达预设阈值，如果是，对所述指令信息执行批量作业。

10.根据权利要求7所述的跨平台批量作业调度系统，其特征在于，所述主机执行服务器具体用于：对接收的批量作业指令进行解析得到指令信息，判断当前CPU的使用情况是否达预设阈值，如果是，对所述指令信息执行批量作业。