CN113391904B - 一种基于分布式框架的简批量定制调度方法及装置 - Google Patents

一种基于分布式框架的简批量定制调度方法及装置 Download PDF

Info

Publication number
CN113391904B
CN113391904B CN202110697979.2A CN202110697979A CN113391904B CN 113391904 B CN113391904 B CN 113391904B CN 202110697979 A CN202110697979 A CN 202110697979A CN 113391904 B CN113391904 B CN 113391904B
Authority
CN
China
Prior art keywords
batch
sub
scheduling
job
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110697979.2A
Other languages
English (en)
Other versions
CN113391904A (zh
Inventor
王诗章
江梦泽
丁洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202110697979.2A priority Critical patent/CN113391904B/zh
Publication of CN113391904A publication Critical patent/CN113391904A/zh
Application granted granted Critical
Publication of CN113391904B publication Critical patent/CN113391904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于分布式框架的简批量定制调度方法及装置，可以应用于金融领域，方法包括：根据获取的简批量配置信息生成简批量推荐清单，以使用户从简批量推荐清单中进行选择；根据用户的选择获取对应的简批量配置信息并解析，获得子作业组信息；根据子作业组信息进行简批量定制调度。本申请通过对简批量进行配置，为开放平台应用提供了两种简批量配置方式，方便灵活配置简批量作业信息，基于用户提交的调度任务，按照前后项依赖关系实时触发相关作业并将作业执行情况返回，解决了开放平台批量作业调度广泛面临的特定组批量调度任务问题，提供了一种灵活调度方式，提高了测试效率。

Description

一种基于分布式框架的简批量定制调度方法及装置
技术领域
本申请属于分布式应用技术领域，具体地讲，涉及一种基于分布式框架的简批量定制调度方法及装置。
背景技术
当前，大多数开放平台应用系统的批量是按组为单位调度的，如以内部户发报交易的对账批量流程为例，批量组包含：日终批量开口作业-加载主机文件-抽取内部户记录-内部户记录同步状态到数据表-生成内部户发报对账文件-合并内部户发报日终对账文件-生成日终CHK文件-日终批量收口作业。在测试环境中，经常需要按需运行一些简批量组来完成特定测试任务，这些简批量相较完整批量体量小、调度灵活、可按需重复调起，能有效节约系统资源、提升测试效率。
然而目前分布式批量调度系统(F-DBF)对于一组批量的重提，若错过自动场次，应用负责人需要手工调起，将涉及作业依次重提，DBF平台不支持以组批量的形式一次调度，依赖触发，调度方式不够灵活方便，影响工作效率。此外，测试过程中经常会出现文件未到、执行器下线、存储空间不足等异常情况引发作业中断。为不影响后续的作业正常调度，应用负责人一般采取将前置依赖的中断作业跳过处理，之后手动提交中断作业。但这种处理方式，无法实现相关批量的全流程自动调度验证。
发明内容
本申请提供了一种基于分布式框架的简批量定制调度方法及装置，以至少解决目前的DBF平台不支持以组批量的形式一次调度，依赖触发，调度方式不够灵活方便，影响工作效率等问题。
根据本申请的第一个方面，提供了一种基于分布式框架的简批量定制调度方法，包括：
根据获取的简批量配置信息生成简批量推荐清单，以使用户从简批量推荐清单中进行选择；
根据用户的选择获取对应的简批量配置信息并解析，获得子作业组信息；
根据子作业组信息进行简批量定制调度。
在一实施例中，根据获取的简批量配置信息生成简批量推荐清单，包括：
根据获取的简批量配置信息生成批量排成图；
拆分批量排成图生成子图；
遍历子图生成路径集合获取简批量推荐清单。
在一实施例中，根据用户的选择获取对应的简批量配置信息并解析，获得子作业组信息，包括：
依据预设的作业组拼接规则对获取的简批量配置信息进行解析；
将解析后的简批量配置信息按照标识符拆解为若干个子作业组信息。
在一实施例中，根据子作业组信息进行简批量定制调度，包括：
解析子作业组信息并提取控头作业作为查询条件查询获得最大场次号信息；
根据最大场次号信息获得本次提交场次号信息；
根据子作业组的类型依照提交场次号信息进行调度提交。
在一实施例中，根据子作业组的类型依照提交场次号信息进行调度提交，包括：
如果子作业组的类型是控头作业，则依照本次提交场次号信息直接进行调度提交；
如果子作业组的类型是非控头作业，则检查前置子作业组是否执行成功，如果是，则进行调度提交。
根据本申请的第二个方面，还提供了一种基于分布式框架的简批量定制调度装置，包括：
推荐清单生成单元，用于根据获取的简批量配置信息生成简批量推荐清单，以使用户从简批量推荐清单中进行选择；
触发单元，用于根据用户的选择获取对应的简批量配置信息并解析，获得子作业组信息；
简批量定制调度单元，用于根据子作业组信息进行简批量定制调度。
在一实施例中，推荐清单生成单元包括：
批量排成图生成模块，用于根据获取的简批量配置信息生成批量排成图；
子图生成模块，用于拆分批量排成图生成子图；
路径集合模块，用于遍历子图生成路径集合获取简批量推荐清单。
在一实施例中，触发单元包括：
解析模块，用于依据预设的作业组拼接规则对获取的简批量配置信息进行解析；
拆解模块，用于将解析后的简批量配置信息按照标识符拆解为若干个子作业组信息。
在一实施例中，简批量定制调度单元包括：
查询模块，用于解析子作业组信息并提取控头作业作为查询条件查询获得最大场次号信息；
场次号信息获取模块，用于根据最大场次号信息获得本次提交场次号信息；
调度提交模块，用于根据子作业组的类型依照提交场次号信息进行调度提交。
在一实施例中，调度提交模块包括：
控头作业提交模块，用于如果子作业组的类型是控头作业，则依照本次提交场次号信息直接进行调度提交；
非控头作业提交模块，用于如果子作业组的类型是非控头作业，则检查前置子作业组是否执行成功，如果是，则进行调度提交。
根据本申请的第三个方面，还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现基于分布式框架的简批量定制调度方法的步骤。
根据本申请的第四个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现基于分布式框架的简批量定制调度方法的步骤。
由上技术方案可知，本申请提供了一种基于分布式框架的简批量定制调度方法及装置，方法包括：根据获取的简批量配置信息生成简批量推荐清单，以使用户从简批量推荐清单中进行选择；根据用户的选择获取对应的简批量配置信息并解析，获得子作业组信息；根据子作业组信息进行简批量定制调度。通过对简批量进行配置，为开放平台应用提供了两种简批量配置方式，方便灵活配置简批量作业信息，基于用户提交的调度任务，按照前后项依赖关系实时触发相关作业并将作业执行情况返回，解决了开放平台批量作业调度广泛面临的特定组批量调度任务问题，提供了一种灵活调度方式，提高了测试效率。同时建立了简批量配置与调度的整体视图，实现批量执行信息透明化展现，支持大量应用依据测试场景自动化定制批量组信息，支持跨应用间分布式批量组合联动调度。还解决了以组为单位的多个批量作业验证的测试局限性，大幅提升了批量测试自动化水平和测试高效性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的一种基于分布式框架的简批量定制调度方法流程图。
图2为本申请实施例中生成简批量推荐清单的方法流程图。
图3为本申请实施例中获得子作业组信息的方法流程图。
图4为本申请实施例中简批量定制调度的方法流程图。
图5为本申请实施例中根据子作业组的类型进行调度提交方法流程图。
图6为本申请实施例中提供的一种批量排程图。
图7为本申请实施例中提供的一种拆分示意图。
图8为本申请实施例中提供的一种算法流程图。
图9为本申请提供的一种基于分布式框架的简批量定制调度装置的结构框图。
图10为本申请实施例中推荐清单生成单元的结构框图。
图11为本申请实施例中触发单元简批量定制调度单元的结构框图。
图12为本申请实施例中简批量定制调度单元的结构框图。
图13为本申请实施例中调度提交模块的结构框图。
图14为本申请实施例中一种电子设备的具体实施方式。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本申请公开的基于分布式框架的简批量定制调度方法及装置可用于金融领域，也可用于除金融领域之外的任意领域，本申请对公开的基于分布式框架的简批量定制调度方法及装置的应用领域不做限定。
目前分布式批量调度系统(DBF平台)对于一组批量的重提，若错过自动场次，应用负责人需要手工调起，将涉及作业依次重提，DBF平台不支持以组批量的形式一次调度，依赖触发，调度方式不够灵活方便，影响工作效率。此外，测试过程中经常会出现文件未到、执行器下线、存储空间不足等异常情况引发作业中断。为不影响后续的作业正常调度，应用负责人一般采取将前置依赖的中断作业跳过处理，之后手动提交中断作业。但这种处理方式，无法实现相关批量的全流程自动调度验证。
基于此，需要通过一种基于分布式框架的简批量定制调度方法，才能够解决开放平台批量作业调度广泛面临的特定组批量调度任务，方式灵活，并提高测试效率。
本申请分别提供了一种基于分布式框架的简批量定制调度方法、基于分布式框架的简批量定制调度装置、电子设备和计算机可读介质，通过对简批量进行配置，为开放平台应用提供了两种简批量配置方式，方便灵活配置简批量作业信息，基于用户提交的调度任务，按照前后项依赖关系实时触发相关作业并将作业执行情况返回，解决了开放平台批量作业调度广泛面临的特定组批量调度任务问题，提供了一种灵活调度方式，提高了测试效率。同时建立了简批量配置与调度的整体视图，实现批量执行信息透明化展现，支持大量应用依据测试场景自动化定制批量组信息，支持跨应用间分布式批量组合联动调度。还解决了以组为单位的多个批量作业验证的测试局限性，大幅提升了批量测试自动化水平和测试高效性。
根据上述内容，本申请还提供了一种用于实现本申请一个或多个实施例中提供的基于分布式框架的简批量定制调度装置，该基于分布式框架的简批量定制调度装置可以自行或通过第三方服务器等与客户端设备之间通信连接，并将执行结果返回给客户端，以实现灵活批量调度的技术效果。
可以理解的是，所述客户端设备可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在另一种实际应用情形中，前述的基于拓扑图的代码生成装置进行基于拓扑图的代码生成的部分可以在如上述内容的服务器中执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器，用于基于拓扑图的代码生成的具体处理。
上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
上述服务器与所述客户端设备之间可以使用任何合适的网络协议进行通信，包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然，所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol，远程过程调用协议)、REST协议(Representational State Transfer，表述性状态转移协议)等。
具体通过下述各个实施例及应用实例分别进行详细说明。
本申请提供的一种基于分布式框架的简批量定制调度方法，如图1所示，包括：
S101：根据获取的简批量配置信息生成简批量推荐清单，以使用户从简批量推荐清单中进行选择。
S102：根据用户的选择获取对应的简批量配置信息并解析，获得子作业组信息。
S103：根据子作业组信息进行简批量定制调度。
在一具体实施例中，首先介绍一种用于实现图1中所示方法的简批量定制系统，该系统可以实现简批量流程管理和简批量方案调度两种功能，其中，简批量流程管理主要实现简批量配置信息收集、简批量作业触发和执行结果展现等功能。简批量方案调度功能主要用于接收简批量信息，然后开展后台具体简批量方案的调度与运行。
在一实施例中，根据获取的简批量配置信息生成简批量推荐清单，如图2所示，包括：
S201：根据获取的简批量配置信息生成批量排成图。
S202：拆分批量排成图生成子图。
S203：遍历子图生成路径集合获取简批量推荐清单。
在一具体实施例中，在执行简批量流程管理时，需要用到该系统中的三个模块，分别是：简批量信息配置模块101、简批量作业触发模块102、简批量结果展现模块103。
简批量信息配置模块101负责收集简批量配置信息，主要包括如下两个子模块：系统自动推荐子模块101-1和用户自定义配置子模块101-2。
系统自动推荐子模块101-1用于生成简批量推荐清单，批量排程图作为一种有向多叉数图，采用深度优先遍历算法对此多叉数进行全路径遍历。该子模块的具体处理步骤为：
步骤(1)生成批量排程图。依赖DBF应用的job_def表，生成批量排程图(如图6所示)，识别其中包含Start(控头)、End(收口)关键字的作业，作为路径遍历的起始节点和目的节点。
步骤(2)拆分批量排程图并生成子图。将整个批量排程图依据Start(控头)、End(收口)关键字进行拆分，拆分成多个子多叉图。拆分示意图如图7所示。
步骤(3)遍历子图生成路径集合。对各个子多叉图使用深度优先遍历算法遍历得到所有路径，得到的路径集合即为系统自动生成的简批量推荐清单。对步骤(3)中使用的深度优先遍历算法介绍如下：定义节点类和树类。其中节点类(TreeNode)包含两部分内容：(1)content用于存储当前节点的作业信息；(2)childs：用于存储子节点信息，采用HashMap结构存储各个子节点的作业信息，有利于实现节点的快速查找。树类(MultiTree类)包含两部分：(1)root存储根节点；(2)pathList用于存储遍历过程中得到的路径。核心的递归过程，算法流程图可用如图8表示。
用户自定义配置子模块101-2具有两个维度：单应用维度和多应用维度。具体说明如下：
单应用独立调度配置模式：提供前端交互页面，用户选择“按应用”配置选项，依据规则填写相关配置信息(应用名、简批量名、作业列表)，点提交后持久化到mysql数据库表中。
多应用联动调度配置模式是提供前端交互页面，用户选择“按场景”配置选项，自定义业务场景简批量名称，选择该业务场景涉及的应用，并定义多应用间的调度顺序，再逐一配置单应用的相关配置信息(应用名、简批量名、作业列表)，点提交后持久化到mysql数据库表中。
简批量作业触发模块102是由用户选择具体某个简批量作业，并发起调度任务，发送调度请求给简批量调度单元202的调度信息收集模块201。
简批量结果展现模块103是接收简批量调度单元202执行结果返传模块203的执行结果信息，并展现在前端。
在一实施例中，根据用户的选择获取对应的简批量配置信息并解析，获得子作业组信息，如图3所示，包括：
S301：依据预设的作业组拼接规则对获取的简批量配置信息进行解析。
S302：将解析后的简批量配置信息按照标识符拆解为若干个子作业组信息。
在一具体实施例中，简批量方案调度单元002主要接收简批量流程管理单元001的简批量作业触发模块102提交的简批量信息，开展后台具体简批量方案的调度与运行，并返传给简批量流程管理单元001的简批量结果展现模块103。主要包括如下三个模块：调度信息收集模块201、作业批量触发模块202和执行结果返传模块203。
在调度信息收集模块201包括：
Mysql数据库执行子模块201-1：根据简批量流程管理单元001的简批量作业触发模块102调用URL带参传入的简批量ID信息，查询后台mysql数据库中简批量信息配置表，获取本次待提交任务的应用名、简批量名、批量作业组等任务信息。
批量作业信息解析子模块201-2：从“mysql数据库执行子模块201-1”获取到的批量作业组信息，批量作业是按一定预定义规则组织的。具体组织规则为：具有前后依赖的作业间用“#”标识符分隔，可并行执行的作业间用“&”标识符分隔。依照该作业组拼接规则，将批量作业组进行解析。如作业组字符串为“A#B&C#D&E&F#G”，则经解析后，生成4个子作业组信息，分别是“A”、“B&C”、“D&E&F”和“G”，其中“A”是简批量作业组的控头作业，“G”是收口作业。
在一实施例中，根据子作业组信息进行简批量定制调度，如图4所示，包括：
S401：解析子作业组信息并提取控头作业作为查询条件查询获得最大场次号信息。
S402：根据最大场次号信息获得本次提交场次号信息。
S403：根据子作业组的类型依照提交场次号信息进行调度提交。
在一具体实施例中，简批量方案调度单元002中还包括一作业批量触发模块202，该作业批量触发模块202中包括：Mysql数据库执行子模块202-1，用于根据“批量作业信息解析子模块201-2”解析得到的子作业组信息，查询DBF(分布式批量调度应用)应用的mysql数据库的job_instance(作业实例表)，以控头作业A作为查询条件，查询历史执行记录中的场次号(round_no),找到最大场次号round_no_his_max信息，并将round_no_his_max+1作为此次提交的场次号round_no_now。
在一实施例中，根据子作业组的类型依照提交场次号信息进行调度提交，如图5所示，包括：
S501：如果子作业组的类型是控头作业，则依照本次提交场次号信息直接进行调度提交。
S502：如果子作业组的类型是非控头作业，则检查前置子作业组是否执行成功，如果是，则进行调度提交。
在一具体实施例中，作业批量触发模块202中还包括如下模块：一触发条件检查子模块202-2。由于“批量作业信息解析子模块201-2”解析得到的子作业组由于具有前后依赖关系，所以需要依次进行提交。触发下一个子作业组提交的条件是上一个前置作业组作业执行成功。因此在触发作业子作业组提交前，需要检查是否满足触发条件。共分为两种情况：(1)如果待提交作业是控头作业，由于无前置子作业，因此直接进行提交；(2)如果待提交作业非控头作业，则检查前置子作业组是否执行成功。检查方式是调用DBF提供的URL接口(action＝job_history_qry.flowc，flowActionName＝qryjobhistoryAction)，按1秒/次的频度循环探测前置子作业组的执行结果。
一子作业组触发子模块202-3，用于当“触发条件检查子模块202-2”检查通过后，即可进行后置子作业组的触发动作。触发方式是调用DBF提供的URL接口(action＝submitjob.flowc，flowActionName＝submitrealtimejob)，HTTP通讯方式完成子作业组的调度。根据子作业组的类型，可分为单作业组和多作业组，如子作业组“A”、“G”包含一个作业，则为单作业组；“B&C”、“D&E&F”中包含多个作业，则为多作业组。针对单作业组，则直接调用DBF接口，在jobId参数中传入单作业名，以及环境、应用名、场次号、批量日期等其他参数信息；对于多作业组，DBF接口支持多作业组并行同时提交，但调用时需要将“#”分隔符进行转义为“％23”，即jobId＝B&C转义为jobId＝B％23C，同样传入环境、应用名、场次号、批量日期等其他参数信息。
基于同一发明构思，本申请实施例还提供了一种基于分布式框架的简批量定制调度装置，可以用于实现上述实施例中所描述的方法，如下面实施例所述。由于该基于分布式框架的简批量定制调度装置解决问题的原理与基于分布式框架的简批量定制调度方法相似。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
根据本申请的另一个方面，还提供了一种基于分布式框架的简批量定制调度装置，如图9所示，包括：
推荐清单生成单元901，用于根据获取的简批量配置信息生成简批量推荐清单，以使用户从简批量推荐清单中进行选择；
触发单元902，用于根据用户的选择获取对应的简批量配置信息并解析，获得子作业组信息；
简批量定制调度单元903，用于根据子作业组信息进行简批量定制调度。
在一实施例中，如图10所示，推荐清单生成单元901包括：
批量排成图生成模块1001，用于根据获取的简批量配置信息生成批量排成图；
子图生成模块1002，用于拆分批量排成图生成子图；
路径集合模块1003，用于遍历子图生成路径集合获取简批量推荐清单。
在一实施例中，如图11所示，触发单元902包括：
解析模块1101，用于依据预设的作业组拼接规则对获取的简批量配置信息进行解析；
拆解模块1102，用于将解析后的简批量配置信息按照标识符拆解为若干个子作业组信息。
在一实施例中，如图12所示，简批量定制调度单元903包括：
查询模块1201，用于解析子作业组信息并提取控头作业作为查询条件查询获得最大场次号信息；
场次号信息获取模块1202，用于根据最大场次号信息获得本次提交场次号信息；
调度提交模块1203，用于根据子作业组的类型依照提交场次号信息进行调度提交。
在一实施例中，如图13所示，调度提交模块1203包括：
控头作业提交模块1301，用于如果子作业组的类型是控头作业，则依照本次提交场次号信息直接进行调度提交；
非控头作业提交模块1302，用于如果子作业组的类型是非控头作业，则检查前置子作业组是否执行成功，如果是，则进行调度提交。
本申请提供的基于分布式批量框架的简批量定制的方法及装置，实现了开放平台应用简批量定制配置与灵活触发的功能。至少能够获得如下技术效果：
弥补了目前分布式批量调度系统(F-DBF)不适宜以组为单位进行作业调度的劣势，方便应用负责人灵活维护作业组信息，只需一次性配置好简批量“流水线”，设计好作业间的前后项关系，本工具可自动串联成“作业流水线”，一键触发跑批。
满足了灵活投产、分行业务推广测试、数据准备类等大需求量高频短批量场景的测试需求。以业务场景为视角，可实现按上下游关系的批量调起和互联配置，支持跨应用简批量多次重复验证，无需一个测试周期内自动验证一次，也减少了手动方式调度作业面临的重复繁琐步骤。
借助本发明，很好地解决了测试环境具有前后依赖关系的多批量作业验证测试的局限性，大幅提升了自动化批量测试水平。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本申请的实施例还提供能够实现上述实施例中的方法中全部步骤的一种电子设备的具体实施方式，参见图14，所述电子设备具体包括如下内容：
处理器(processor)1401、内存1402、通信接口(Communications Interface)1403、总线1404和非易失性存储器1405；
其中，所述处理器1401、内存1402、通信接口1403通过所述总线1404完成相互间的通信；
所述处理器1401用于调用所述内存1402和非易失性存储器1405中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的方法中的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
S101：根据获取的简批量配置信息生成简批量推荐清单，以使用户从简批量推荐清单中进行选择。
S102：根据用户的选择获取对应的简批量配置信息并解析，获得子作业组信息。
S103：根据子作业组信息进行简批量定制调度。
本申请的实施例还提供能够实现上述实施例中的方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
S101：根据获取的简批量配置信息生成简批量推荐清单，以使用户从简批量推荐清单中进行选择。
S102：根据用户的选择获取对应的简批量配置信息并解析，获得子作业组信息。
S103：根据子作业组信息进行简批量定制调度。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。虽然本说明书实施例提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。以上所述仅为本说明书实施例的实施例而已，并不用于限制本说明书实施例。对于本领域技术人员来说，本说明书实施例可以有各种更改和变化。凡在本说明书实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施例的权利要求范围之内。

Claims (5)

1.一种基于分布式框架的简批量定制调度方法，其特征在于，包括：
根据获取的简批量配置信息生成简批量推荐清单，以使用户从所述简批量推荐清单中进行选择；
根据用户的选择获取对应的简批量配置信息并解析，获得子作业组信息；
根据所述子作业组信息进行简批量定制调度；
所述根据获取的简批量配置信息生成简批量推荐清单，包括：
根据获取的简批量配置信息生成批量排成图；
拆分所述批量排成图生成子图；
遍历所述子图生成路径集合获取所述简批量推荐清单；
所述根据用户的选择获取对应的简批量配置信息并解析，获得子作业组信息，包括：
依据预设的作业组拼接规则对获取的简批量配置信息进行解析；
将解析后的简批量配置信息按照标识符拆解为若干个子作业组信息；
所述根据所述子作业组信息进行简批量定制调度，包括：
解析所述子作业组信息并提取控头作业作为查询条件查询获得最大场次号信息；
根据所述最大场次号信息获得本次提交场次号信息；
根据所述子作业组的类型依照提交场次号信息进行调度提交；
所述根据所述子作业组的类型依照提交场次号信息进行调度提交，包括：
如果所述子作业组的类型是控头作业，则依照本次提交场次号信息直接进行调度提交；
如果所述子作业组的类型是非控头作业，则检查前置子作业组是否执行成功，如果是，则进行调度提交。
2.根据权利要求1所述的简批量定制调度方法，其特征在于，所述简批量配置信息中包含若干个标识符，所述标识符将所述简批量配置信息划分为若干个子作业组信息。
3.一种基于分布式框架的简批量定制调度装置，其特征在于，包括：
推荐清单生成单元，用于根据获取的简批量配置信息生成简批量推荐清单，以使用户从所述简批量推荐清单中进行选择；
触发单元，用于根据用户的选择获取对应的简批量配置信息并解析，获得子作业组信息；
简批量定制调度单元，用于根据所述子作业组信息进行简批量定制调度；
所述推荐清单生成单元包括：
批量排成图生成模块，用于根据获取的简批量配置信息生成批量排成图；
子图生成模块，用于拆分所述批量排成图生成子图；
路径集合模块，用于遍历所述子图生成路径集合获取所述简批量推荐清单；所述根据用户的选择获取对应的简批量配置信息并解析，获得子作业组信息，包括：
依据预设的作业组拼接规则对获取的简批量配置信息进行解析；
将解析后的简批量配置信息按照标识符拆解为若干个子作业组信息；
所述根据所述子作业组信息进行简批量定制调度，包括：
解析所述子作业组信息并提取控头作业作为查询条件查询获得最大场次号信息；
根据所述最大场次号信息获得本次提交场次号信息；
根据所述子作业组的类型依照提交场次号信息进行调度提交；
所述根据所述子作业组的类型依照提交场次号信息进行调度提交，包括：
如果所述子作业组的类型是控头作业，则依照本次提交场次号信息直接进行调度提交；
如果所述子作业组的类型是非控头作业，则检查前置子作业组是否执行成功，如果是，则进行调度提交。
4.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至2任一项所述的基于分布式框架的简批量定制调度方法的步骤。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至2任一项所述的基于分布式框架的简批量定制调度方法的步骤。
CN202110697979.2A 2021-06-23 2021-06-23 一种基于分布式框架的简批量定制调度方法及装置 Active CN113391904B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110697979.2A CN113391904B (zh) 2021-06-23 2021-06-23 一种基于分布式框架的简批量定制调度方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110697979.2A CN113391904B (zh) 2021-06-23 2021-06-23 一种基于分布式框架的简批量定制调度方法及装置

Publications (2)

Publication Number Publication Date
CN113391904A CN113391904A (zh) 2021-09-14
CN113391904B true CN113391904B (zh) 2024-04-26

Family

ID=77623526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110697979.2A Active CN113391904B (zh) 2021-06-23 2021-06-23 一种基于分布式框架的简批量定制调度方法及装置

Country Status (1)

Country Link
CN (1) CN113391904B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111176844A (zh) * 2019-12-24 2020-05-19 天阳宏业科技股份有限公司 一种金融数据实时在线批量优化方法及系统
CN111400613A (zh) * 2020-03-17 2020-07-10 苏宁金融科技(南京)有限公司 物品推荐方法、装置、介质及计算机设备
CN111782204A (zh) * 2020-07-03 2020-10-16 中国工商银行股份有限公司 批量排程编辑方法及装置
WO2020233330A1 (zh) * 2019-05-20 2020-11-26 深圳壹账通智能科技有限公司 批量测试方法、装置及计算机可读存储介质
CN112965814A (zh) * 2021-02-09 2021-06-15 中国工商银行股份有限公司 多任务调度方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020233330A1 (zh) * 2019-05-20 2020-11-26 深圳壹账通智能科技有限公司 批量测试方法、装置及计算机可读存储介质
CN111176844A (zh) * 2019-12-24 2020-05-19 天阳宏业科技股份有限公司 一种金融数据实时在线批量优化方法及系统
CN111400613A (zh) * 2020-03-17 2020-07-10 苏宁金融科技(南京)有限公司 物品推荐方法、装置、介质及计算机设备
CN111782204A (zh) * 2020-07-03 2020-10-16 中国工商银行股份有限公司 批量排程编辑方法及装置
CN112965814A (zh) * 2021-02-09 2021-06-15 中国工商银行股份有限公司 多任务调度方法及系统

Also Published As

Publication number Publication date
CN113391904A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
US11226977B1 (en) Application of event subtypes defined by user-specified examples
CN110310034B (zh) 一种应用于SaaS的服务编排、业务流程处理方法和装置
US8209669B2 (en) System and method for supporting software
US20140108087A1 (en) Log management system and log management method
US20040139176A1 (en) Systems and methods for improving service delivery
CN110851465B (zh) 数据查询方法及系统
EP2369480A2 (en) Mashup infrastructure with learning mechanism
CN109783562B (zh) 一种业务处理方法和装置
CN109582289B (zh) 规则引擎中规则流的处理方法、系统、存储介质和处理器
CN112036577B (zh) 基于数据形式的应用机器学习的方法、装置和电子设备
US20070005546A1 (en) Attribute engine
CN111200523B (zh) 中台系统配置方法、装置、设备及存储介质
US20060120353A1 (en) Systems and methods for VolP service delivery
Xu et al. Towards efficiency of QoS-driven semantic web service composition for large-scale service-oriented systems
US10505873B2 (en) Streamlining end-to-end flow of business-to-business integration processes
CN113391904B (zh) 一种基于分布式框架的简批量定制调度方法及装置
WO2017117870A1 (zh) 陷阱指令Trap的处理方法及装置
CN113157586B (zh) 一种金融市场单元测试案例生成方法及装置
Dustdar et al. VRESCo–Vienna Runtime Environment for Service-oriented Computing
US9542171B2 (en) Managing an application modification process
CN113312242B (zh) 接口信息管理方法、装置、设备及存储介质
CN115145652A (zh) 一种数据处理任务的创建方法、装置、设备及介质
CN114564249A (zh) 推荐调度引擎、推荐调度方法及计算机可读存储介质
CN112799797A (zh) 一种任务管理的方法和装置
CN110750563A (zh) 多模型数据处理方法、系统、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant