CN107608772B - 一种批处理任务配置调度的方法和系统 - Google Patents
一种批处理任务配置调度的方法和系统 Download PDFInfo
- Publication number
- CN107608772B CN107608772B CN201710729991.0A CN201710729991A CN107608772B CN 107608772 B CN107608772 B CN 107608772B CN 201710729991 A CN201710729991 A CN 201710729991A CN 107608772 B CN107608772 B CN 107608772B
- Authority
- CN
- China
- Prior art keywords
- batch processing
- task
- processing task
- batch
- xml file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Stored Programmes (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请所提供的一种批处理任务配置调度的方法,包括读取所述批处理任务的配置数据,生成XML文件;判断所述XML文件的代码中是否含有Cron表达式;若是,则通过调度器定时启动所述批处理任务。实现了在批处理任务配置和基于调度框架的任务调度的整合,无需再调用调度框架,而使用该框架中基于Cron表达式的调度技术,使得在业务处理中任务的批处理更加方便、快捷,提高了批处理的效率。本申请还提供一种批处理任务配置调度的系统,具有上述有益效果。
Description
技术领域
本申请涉及批处理工具领域,特别涉及一种批处理任务配置调度的方法和系统。
背景技术
随着目前企业应用系统中,批量处理工具主要采用Spring Batch批处理框架,Spring Batch是一个批处理应用框架,不是调度框架,需要和调度框架合作来构建完成处理任务。但现有的调度框架不具备可视化的配置界面,一旦开发人员配置完成后,无法在不改动程序的前提下维护批量处理。
发明内容
本申请的目的是提供一种批处理框架方案,包括批处理和批处理调度两个组成部分,解决批处理后还得调用调度框架才能实现调度功能。
为解决上述技术问题,本申请提供一种批处理任务配置调度的方法,技术方案如下:
读取所述批处理任务的配置数据,生成XML文件;
判断所述XML文件的代码中是否含有Cron表达式;
若是,则通过调度器定时启动所述批处理任务。
其中,读取所述批处理任务的配置数据,生成XML文件包括:
读取所述批处理任务的配置数据;
创建文档对象实例;
通过所述文档对象实例的creatElement函数和creatTextNode函数将所述批处理任务写入XML文件;
将所述XML文件输出到磁盘。
其中,读取所述批处理任务的配置数据,生成XML文件包括:
任务配置系统读取在任务界面输入的所述任务的配置数据;
根据所述配置数据调用creatElement函数和creatTextNode函数对应的脚本将所述批处理任务写入XML文件;
将所述XML文件输出到磁盘。
其中,所述方法还包括:
当接收到中断和/或重启指令时,调用相应的脚本中断和/或重启所述批处理任务。
本申请还提供一种批处理任务配置调度的系统,包括:
文件生成模块,用于读取所述批处理任务的配置数据,生成XML文件;
判断模块,用于判断所述XML文件的代码中是否含有Cron表达式;
自动化模块,用于若所述XML文件的代码中含有Cron表达式,则通过调度器定时启动所述批处理任务。
其中,所述文件生成模块包括:
读取单元,用于读取所述批处理任务的配置数据;
创建单元,用于创建文档对象实例;
写入单元,用于通过所述文档对象实例的creatElement函数和creatTextNode函数将所述批处理任务写入XML文件;
输出单元,用于将所述XML文件输出到磁盘。
其中,所述文件生成模块包括:
任务配置单元,用于读取在任务界面输入的所述任务的配置数据;根据所述配置数据调用creatElement函数和creatTextNode函数对应的脚本将所述批处理任务写入XML文件;将所述XML文件输出到磁盘。
其中,所述系统还包括:
后续处理模块,用于当接收到中断或重启指令时,调用相应的脚本中断所述任务或重启所述批处理任务。
本申请所提供的一种批处理任务配置调度的方法,包括读取所述批处理任务的配置数据,生成XML文件;判断所述XML文件的代码中是否含有Cron表达式;若是,则通过调度器定时启动所述批处理任务。实现了在批处理任务配置和基于调度框架的任务调度的整合,无需再调用调度框架,而使用该框架中基于Cron表达式的调度技术,使得在业务处理中任务的批处理更加方便、快捷,提高了批处理的效率。本申请还提供一种批处理任务配置调度的系统,具有上述有益效果,此处不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种批处理任务配置调度的方法的流程图;
图2为本申请实施例所提供的另一种批处理任务配置调度的方法的流程图;
图3是本申请实施例所提供的批处理任务的配置界面;
图4是本申请实施例所提供的批处理任务定时执行时间的可视化配置界面;
图5是本申请实施例所提供的手动执行任务的功能界面;
图6是本申请实施例所提供的一种批处理任务配置调度的系统示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
实施例一
请参考图1,图1为本申请实施例所提供的一种批处理任务配置调度的方法的流程图,具体方案如下:
S101:读取所述批处理任务的配置数据生成XML文件;
目前企业应用系统中,批量处理工具主要采用Spring Batch批处理框架,读取批处理任务的配置数据也就是配置Spring Batch的任务。而Spring Batch的任务通常由多个步骤组成,这些配置信息需要放在一个XML文件中。通过生成xml文件可以是:
读取所述批处理任务的配置数据;创建文档对象实例;通过所述文档对象实例的creatElement函数和creatTextNode函数将所述任务写入XML文件;将所述XML文件输出到磁盘。创建文档对象实例的目的是为了使用文档对象实例中的creatElement函数和creatTextNode函数,再利用这两个函数将所述任务写入XML文件。其中,将任务写入XML文件通常包括引入bean的配置文件,根据排序编号生成xml文件,控制输出格式,配置文件生成路径等等。将XML输出到磁盘,能方便后续对XML文件的处理,因此通常输出到电脑的某个硬盘中。当然还可以有其他的方法生成任务对应的XML文件,本申请在此不作限定。例如,还可以使用一个可视化界面实现XML文件的生成,只需要输入必要的几项参数即可。
S102:判断所述XML文件的代码中是否含有Cron表达式;若有,执行步骤S103;
Cron表达式是Quartz框架中的调度技术,在这个过程中检测XML文件的代码中是否含有该表达式。若有,执行步骤S103;若没有,可以手动进行调度。
S103:通过调度器定时启动任务;
当XML文件中含有Cron表达式时,该任务对应的XML将会通过调度定时启动。但不一定立即启动,可以在对所有任务的XML文件检查是否含有Cron表达式之后,统一根据代码中调度信息安排调度器定时启动。此处对于调度器如何启动定时任务不作限定。
当调度器启动该任务时,可以先判断该任务是否为第一次执行。若是,则执行时间初始化,作datetime属性记录,并执行所述任务;若不是第一次执行,则调用start并根据所述datetime属性记录执行所述任务。这样做的好处是让系统记录每个任务每次启动的时间过程等详细信息,便于下一次启动。以及若在启动过程发生错误,可以根据记录寻找错误原因,方便使用及维护。
值得注意的是,调度器不仅能启动任务,还可以根据需要中止任务或者重启任务。
本申请实施例提供了一种批处理任务配置调度的方法,可以通过上述方法实现高效率的任务批处理和任务调度。
实施例二
基于上述实施例,当XML文件中不含有Cron表达式时,可以手动执行任务。可以参考图2,此时的批处理任务配置调度方法流程图如图2所示,相比于图1,增加了步骤S104,即手动执行任务,对应上述实施例的步骤102中所述XML文件的代码中不含有Cron表达式时的情况。可以预先编写好实现代码生成脚本,需要手动执行时,调用该脚本实现任务的手动执行。也可以利用一个可视化界面,例如界面中包含时间的设置,以及一个“启动”开关。设置完启动时间后,点击“启动”开关便意味着该任务可以在设置的时间启动。
实施例三
基于上述实施例,本实施例提供一种批处理任务配置调度的方法的可视化界面,参见图3至图5。
图3是批处理任务的配置界面,可以在此界面输入相关参数生成相应的XML文件。该界面中的部分功能代码可以如下所示:
生成job:
整个工作的描述:
description.appendChild(doc.createTextNode(pmBatchJobVO2.getRemark()));
beans.appendChild(description);
根据排序编号生成xml文件:
当然生成XML的过程还可以包括控制输出格式,选择输出路径等并输出XML文件。
图4是批处理任务定时执行时间的可视化配置界面,实际属于图3的一个子界面,在此界面可视化的设置批处理任务的定时执行时间,以便于定时任务调度工具扫描所有任务的配置信息并启动定时任务。定时任务调度使用的是Quartz的调度技术,可以包括定时任务的触发;判断任务是否为第一次执行;若是则jobInstance为null,jobExecution为null,jobParameters初始化为当前时间date和dateTime属性;若不是则jobInstance是最近一次批处理任务实例,jobExecution是最近一次批处理任务执行记录,jobParameters初始化为当前时间date和dateTime属性;还可以包括对记录的修改,中断任务,重启任务,以及触发定时任务出现异常时的处理等过程。
图5是手动执行任务的功能界面,左上角的三个页签代表的是三个任务,每个页签代表一个任务,每个页签中包含一个日期表和一个启动按钮,左边的日期表是用于设置批处理的时间,可根据需求设置时间,选好时间之后,点击“启动”按钮,即可执行该任务的跑批。
下面对本申请实施例提供的一种批处理任务配置调度的系统进行介绍,下文描述的批处理任务配置调度的系统与上文描述的批处理任务配置调度方法可相互对应参照。参见图6,图6为本申请实施例提供的一种批处理任务配置调度的系统示意图。该系统可以包括:
文件生成模块100,用于读取所述批处理任务的配置数据,生成XML文件;
判断模块200,用于判断所述XML文件的代码中是否含有Cron表达式;
自动化模块300,用于若所述XML文件的代码中含有Cron表达式,则通过调度器定时启动所述批处理任务。
基于上述实施例,作为优选的实施例,所述文件生成模块100可以包括:
读取单元,用于读取所述批处理任务的配置数据;
创建单元,用于创建文档对象实例;
写入单元,用于通过所述文档对象实例的creatElement函数和creatTextNode函数将所述批处理任务写入XML文件;
输出单元,用于将所述XML文件输出到磁盘。
基于上述实施例,作为优选的实施例,所述文件生成模块100可以包括:
任务配置单元,用于读取在任务界面输入的所述任务的配置数据;根据所述配置数据调用creatElement函数和creatTextNode函数对应的脚本将所述批处理任务写入XML文件;将所述XML文件输出到磁盘。
基于上述实施例,作为优选的实施例,所述系统还可以包括:
后续处理模块,用于当接收到中断或重启指令时,调用相应的脚本中断所述任务或重启所述批处理任务。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
以上对本申请所提供的一种批处理任务配置调度的方法和系统进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (8)
1.一种批处理任务配置调度的方法,其特征在于,包括:
读取所述批处理任务的配置数据,生成XML文件;
判断所述XML文件的代码中是否含有Cron表达式;
若是,则通过调度器定时启动所述批处理任务;当所述调度器启动所述批处理任务时,判断所述批处理任务是否为第一次执行;若是第一次执行,则执行时间初始化,记录datetime属性,并执行所述批处理任务;若不是第一次执行,则调用start并根据所述datetime属性记录执行所述批处理任务;
若否,则根据在可视化界面中输入的启动时间启动所述批处理任务。
2.根据权利要求1所述的方法,其特征在于,读取所述批处理任务的配置数据,生成XML文件包括:
读取所述批处理任务的配置数据;
创建文档对象实例;
通过所述文档对象实例的creatElement函数和creatTextNode函数将所述批处理任务写入XML文件;
将所述XML文件输出到磁盘。
3.根据权利要求2所述的方法,其特征在于,读取所述批处理任务的配置数据,生成XML文件包括:
任务配置系统读取在任务界面输入的所述任务的配置数据;
根据所述配置数据调用creatElement函数和creatTextNode函数对应的脚本将所述批处理任务写入XML文件;
将所述XML文件输出到磁盘。
4.根据权利要求1所述的方法,其特征在于,还包括:
当接收到中断和/或重启指令时,调用相应的脚本中断和/或重启所述批处理任务。
5.一种批处理任务配置调度的系统,其特征在于,包括:
文件生成模块,用于读取所述批处理任务的配置数据,生成XML文件;
判断模块,用于判断所述XML文件的代码中是否含有Cron表达式;
自动化模块,用于若所述XML文件的代码中含有Cron表达式,则通过调度器定时启动所述批处理任务;当所述调度器启动所述批处理任务时,判断所述批处理任务是否为第一次执行;若是第一次执行,则执行时间初始化,记录datetime属性,并执行所述批处理任务;若不是第一次执行,则调用start并根据所述datetime属性记录执行所述批处理任务;若所述XML文件的代码中不含有Cron表达式,则根据在可视化界面中输入的启动时间启动所述批处理任务。
6.根据权利要求5所述的系统,其特征在于,所述文件生成模块包括:
读取单元,用于读取所述批处理任务的配置数据;
创建单元,用于创建文档对象实例;
写入单元,用于通过所述文档对象实例的creatElement函数和creatTextNode函数将所述批处理任务写入XML文件;
输出单元,用于将所述XML文件输出到磁盘。
7.根据权利要求5所述的系统,其特征在于,所述文件生成模块包括:
任务配置单元,用于读取在任务界面输入的所述任务的配置数据;根据所述配置数据调用creatElement函数和creatTextNode函数对应的脚本将所述批处理任务写入XML文件;将所述XML文件输出到磁盘。
8.根据权利要求5所述的系统,其特征在于,还包括:
后续处理模块,用于当接收到中断或重启指令时,调用相应的脚本中断所述任务或重启所述批处理任务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710729991.0A CN107608772B (zh) | 2017-08-23 | 2017-08-23 | 一种批处理任务配置调度的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710729991.0A CN107608772B (zh) | 2017-08-23 | 2017-08-23 | 一种批处理任务配置调度的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107608772A CN107608772A (zh) | 2018-01-19 |
CN107608772B true CN107608772B (zh) | 2021-02-26 |
Family
ID=61065712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710729991.0A Active CN107608772B (zh) | 2017-08-23 | 2017-08-23 | 一种批处理任务配置调度的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107608772B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109254835A (zh) * | 2018-06-27 | 2019-01-22 | 阿里巴巴集团控股有限公司 | 批处理任务的处理方法、装置、服务器及可读存储介质 |
CN109254838B (zh) * | 2018-08-21 | 2021-11-23 | 中邮科通信技术股份有限公司 | 一种基于JAVA BeanShell的自动化任务 |
CN111506490A (zh) * | 2019-01-31 | 2020-08-07 | 上海哔哩哔哩科技有限公司 | 应用服务接口自动测试方法、装置及存储介质 |
CN111026530A (zh) * | 2019-11-29 | 2020-04-17 | 珠海随变科技有限公司 | 一种任务调度方法、装置、计算机设备和存储介质 |
CN113742040B (zh) * | 2021-08-09 | 2024-04-19 | 广州市易工品科技有限公司 | 基于可视化界面快速生成分布式批处理任务的方法和装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7406478B2 (en) * | 2005-08-11 | 2008-07-29 | Oracle International Corporation | Flexible handling of datetime XML datatype in a database system |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2355319B (en) * | 1999-10-14 | 2003-11-12 | Ibm | Job scheduler |
WO2001052056A2 (en) * | 2000-01-14 | 2001-07-19 | Saba Software, Inc. | Method and apparatus for a business applications management system platform |
CN102508669A (zh) * | 2011-11-14 | 2012-06-20 | 浙江鸿程计算机系统有限公司 | 一种程序代码自动生成方法 |
US20140344683A1 (en) * | 2013-04-17 | 2014-11-20 | Candas Urunga | Methods, system and computer program product for user guidance |
CN105022670B (zh) * | 2015-07-17 | 2018-03-13 | 中国海洋大学 | 一种云计算平台中的异构分布式任务处理系统及其处理方法 |
-
2017
- 2017-08-23 CN CN201710729991.0A patent/CN107608772B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7406478B2 (en) * | 2005-08-11 | 2008-07-29 | Oracle International Corporation | Flexible handling of datetime XML datatype in a database system |
Non-Patent Citations (1)
Title |
---|
DataTime::Event::Cron;Matt Sisk;《https://metacpan.org/pod/DateTime::Event::Cron》;20150918;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN107608772A (zh) | 2018-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107608772B (zh) | 一种批处理任务配置调度的方法和系统 | |
CN109086199B (zh) | 一种自动化生成测试脚本的方法、终端和可存储介质 | |
CN110471754B (zh) | 作业调度中的数据展示方法、装置、设备及存储介质 | |
CN103870327A (zh) | 一种实时多任务调度方法和装置 | |
JP6342070B2 (ja) | ジョブ管理装置及びジョブ管理方法及びジョブ管理プログラム | |
CN103870260A (zh) | 业务接口开发的方法及系统 | |
CN104933618A (zh) | 核心银行系统批量作业运行数据的监控方法及装置 | |
CN104021043A (zh) | 批量应用程序的中断重入方法及系统 | |
CN106409295A (zh) | 从自然语音信息中识别时间信息的方法和装置 | |
JP5619179B2 (ja) | 計算機システム、ジョブ実行管理方法、及びプログラム | |
CN115495527A (zh) | 一种数据同步管理系统和方法 | |
US20130263143A1 (en) | Information processing method and system | |
CN113806038A (zh) | 任务调度方法、装置、电子设备、存储介质及程序产品 | |
CN111221744B (zh) | 数据采集方法、装置及电子设备 | |
CN111026604B (zh) | 一种日志文件解析方法及装置 | |
JP4622523B2 (ja) | ファイル検索プログラムおよびファイル検索方法 | |
CN103823711A (zh) | 在Java虚拟机中提供相对定时的方法及装置 | |
JP2007133701A (ja) | 自動文字認識システム及びその機能をコンピュータに実現させるためのコンピュータプログラム | |
CN107632899B (zh) | 一种应用服务器的快照服务方法及装置 | |
JP2018534657A (ja) | ページ構築方法、装置、デバイス及び不揮発性コンピュータ記憶媒体 | |
US20150082215A1 (en) | Operation process creating method and information processing apparatus | |
EP3407191A1 (en) | Managing job schedules | |
JP6318214B2 (ja) | 汎用マイクロプロセッサを用いたplcのデバッグ方法 | |
WO2022111209A1 (zh) | 数据采集方法、装置、数据采集设备及可读存储介质 | |
CN104199689A (zh) | 综合前端系统的安装方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |