CN109582301B - 基于任务调度系统的业务处理方法、装置、设备及介质 - Google Patents
基于任务调度系统的业务处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN109582301B CN109582301B CN201811468853.2A CN201811468853A CN109582301B CN 109582301 B CN109582301 B CN 109582301B CN 201811468853 A CN201811468853 A CN 201811468853A CN 109582301 B CN109582301 B CN 109582301B
- Authority
- CN
- China
- Prior art keywords
- task
- service processing
- scheduling system
- module
- executable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Stored Programmes (AREA)
Abstract
本发明公开了一种基于任务调度系统的业务处理方法,所述方法包括:接收用户端发送的业务处理请求;确定所述业务处理请求对应的若干个任务类型;根据预置的与所述任务类型对应的任务功能模块配置得到任务信息;所述任务功能模块包括与所述任务类型对应的任务相匹配的功能代码;基于预设条件,根据所述任务信息生成可执行任务;将所述可执行任务递交至大数据平台运行。本发明还公开了一种基于任务调度系统的业务处理装置、一种基于任务调度系统的业务处理设备和一种计算机可读存储介质。本发明能够降低任务的开发难度,缩短任务的开发时间。
Description
技术领域
本发明涉及计算机领域,尤其涉及基于任务调度系统的业务处理方法、装置、设备及介质。
背景技术
随着银行业务的发展,各类结算、对账、报表等需要处理的批量任务越来越多,基于大数据平台计算的需求不断增加;大数据计算方案目前是通过接收任务调度平台分发的任务来执行计算,现有的业务处理方法包括以下两种:一种是基于主机创建crontab任务,由开发人员针对不同的业务需求编写特定功能的脚本,然后在主机上配置crontab任务来执行脚本;另一种是基于开源项目quartz框架,针对不同的业务需求,开发人员在业务系统中增加相应的功能脚本来实现。以上业务处理方法存在的问题是,针对每次业务需求,都需要开发人员手动编写任务程序进行数据的抽取与计算,代码不能复用,存在重复编写代码的情况,且任务开发周期较长,对从业人员技能要求较高。
发明内容
本发明的主要目的在于提出一种基于任务调度系统的业务处理方法、装置、设备及介质,旨在实现功能代码可以复用,从而降低任务的开发难度,缩短任务的开发时间。
为实现上述目的,本发明提供一种基于任务调度系统的业务处理方法,应用于任务调度系统,所述方法包括如下步骤:
接收用户端发送的业务处理请求;
确定所述业务处理请求对应的若干个任务类型;
根据预置的与所述任务类型对应的任务功能模块配置得到任务信息;所述任务功能模块包括与所述任务类型对应的任务相匹配的功能代码;
基于预设条件,根据所述任务信息生成可执行任务;
将所述可执行任务递交至大数据平台运行。
可选地,所述根据预置的与所述任务类型对应的任务功能模块配置得到任务信息的步骤之前还包括:
获取用户输入的用于执行预设任务类型所对应任务的功能代码;
根据所述功能代码建立与所述任务类型对应的任务功能模块;
将所述任务功能模块保存至数据库。
可选地,所述根据预置的与所述任务类型对应的任务功能模块配置得到任务信息的步骤包括:
调取预置的与所述任务类型对应的任务功能模块;
根据所述任务功能模块、用户输入的配置参数以及预置的检查模块配置得到任务信息;所述检查模块包括用于对所述任务功能模块实现运行结果检查及异常捕获的检查代码;
将所述任务信息保存至数据库。
可选地,所述基于预设条件,根据所述任务信息生成可执行任务的步骤包括:
判断所述任务信息是否符合预设的可执行条件;
若符合,则根据所述任务信息生成可执行任务。
可选地,所述将所述可执行任务递交至大数据平台运行的步骤之前还包括:
判断所述可执行任务是否达到预设的运行条件;
若是,则执行步骤:将所述可执行任务递交至大数据平台运行。
可选地,所述将所述可执行任务递交至大数据平台运行的步骤之后还包括:
接收所述大数据平台发送的针对所述可执行任务的执行状态;
基于所述执行状态生成任务运行日志并保存至数据库。
可选地,所述接收所述大数据平台发送的针对所述可执行任务的执行状态的步骤之后还包括:
基于预设条件,根据接收到的所述执行状态生成警告信息并提示于所述用户端。
可选地,所述接收用户端发送的业务处理请求的步骤之后还包括:
判断所述任务调度系统当前的工作模式为模块调度模式或脚本调度模式;
若所述任务调度系统当前的工作模式为模块调度模式,则进入步骤:确定所述业务处理请求对应的若干个任务类型;
若所述任务调度系统当前的工作模式为脚本调度模式,则根据用户输入的脚本代码配置得到任务信息,并进入步骤:基于预设条件,根据所述任务信息生成可执行任务。
此外,为实现上述目的,本发明还提供一种基于任务调度系统的业务处理装置,包括接收识别模块、配置模块、任务生成模块及递交模块;
所述接收识别模块,用于接收用户端发送的业务处理请求,并根据所述业务处理请求确定所述业务处理请求对应的若干个任务类型;
所述配置模块,用于根据预置的与所述任务类型对应的任务功能模块配置得到任务信息;所述任务功能模块包括与所述任务类型对应的任务相匹配的功能代码;
所述任务生成模块,用于基于预设条件,根据所述任务信息生成可执行任务;
所述递交模块,用于将所述可执行任务递交至大数据平台运行。
此外,为实现上述目的,本发明还提供一种基于任务调度系统的业务处理设备,所述基于任务调度系统的业务处理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于任务调度系统的业务处理程序,所述基于任务调度系统的业务处理程序被所述处理器执行时实现如上所述的基于任务调度系统的业务处理方法的步骤。
此外,为实现上述目的,本发明还提供一种存储介质,应用于计算机,所述存储介质上存储有基于任务调度系统的业务处理程序,所述基于任务调度系统的业务处理程序被处理器执行时实现如上所述的基于任务调度系统的业务处理方法的步骤。
本发明接收用户端发送的业务处理请求,确定所述业务处理请求对应的若干个任务类型,根据预置的与所述任务类型对应的任务功能模块配置得到任务信息,所述任务功能模块包括与所述任务类型对应的任务相匹配的功能代码,基于预设条件,根据所述任务信息生成可执行任务,将所述可执行任务递交至大数据平台运行;由此,通过将任务实现的不同功能以模块划分,模块预置功能代码,基于业务需求,用户只需选择相应的任务功能模块来配置生成任务信息,而不需要再手动编写功能代码;任务功能模块可以复用,不用再重复编写代码,实现了开发流程规范化,简化了开发流程,降低了开发难度,缩短了任务开发周期。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图;
图2为本发明基于任务调度系统的业务处理方法第一实施例的流程示意图;
图3为本发明基于任务调度系统的业务处理方法第二实施例的流程示意图;
图4是本发明基于任务调度系统的业务处理方法第二实施例中步骤S20的细化步骤图;
图5为本发明基于任务调度系统的业务处理方法第三实施例的流程示意图;
图6为本发明基于任务调度系统的业务处理方法第四实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例的主要解决方案是:接收用户端发送的业务处理请求,确定所述业务处理请求对应的若干个任务类型,根据预置的与所述任务类型对应的任务功能模块配置得到任务信息;所述任务功能模块包括与所述任务类型对应的任务相匹配的功能代码,基于预设条件,根据所述任务信息生成可执行任务;将所述可执行任务递交至大数据平台运行。
现有技术中,针对每次业务需求,都需要用户手动编写任务程序进行数据的抽取与计算,代码不能复用,存在重复编写代码的情况,且任务开发周期较长,对从业人员技能要求较高。
本发明通过将任务实现的不同功能进行模块划分,模块预置功能代码,基于业务需求,用户只需选择相应的任务功能模块来配置生成任务信息,而不需要再手动编写功能代码;任务功能模块可以复用,不用再重复编写代码,实现了开发流程规范化,简化了开发流程,降低了开发难度,缩短了任务开发周期。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例基于任务调度系统的业务处理设备可以是服务器、PC机或虚拟机设备。
如图1所示,该设备可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的设备结构并不构成对设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于任务调度系统的业务处理程序。
在图1所示的设备中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的基于任务调度系统的业务处理程序,并执行以下操作:
接收用户端发送的业务处理请求;
确定所述业务处理请求对应的若干个任务类型;
根据预置的与所述任务类型对应的任务功能模块配置得到任务信息;所述任务功能模块包括与所述任务类型对应的任务相匹配的功能代码;
基于预设条件,根据所述任务信息生成可执行任务;
将所述可执行任务递交至大数据平台运行。
进一步地,处理器1001可以调用存储器1005中存储的基于任务调度系统的业务处理程序,还执行以下操作:
获取用户输入的用于执行预设任务类型所对应任务的功能代码;
根据所述功能代码建立与所述任务类型对应的任务功能模块;
将所述任务功能模块保存至数据库。
进一步地,处理器1001可以调用存储器1005中存储的基于任务调度系统的业务处理程序,还执行以下操作:
调取预置的与所述任务类型对应的任务功能模块;
根据所述任务功能模块、用户输入的配置参数以及预置的检查模块配置得到任务信息;所述检查模块包括用于对所述任务功能模块实现运行结果检查及异常捕获的检查代码;
将所述任务信息保存至数据库。
进一步地,处理器1001可以调用存储器1005中存储的基于任务调度系统的业务处理程序,还执行以下操作:
判断所述任务信息是否符合预设的可执行条件;
若符合,则根据所述任务信息生成可执行任务。
进一步地,处理器1001可以调用存储器1005中存储的基于任务调度系统的业务处理程序,还执行以下操作:
判断所述可执行任务是否达到预设的运行条件;
若是,则执行步骤:将所述可执行任务递交至大数据平台运行。
进一步地,处理器1001可以调用存储器1005中存储的基于任务调度系统的业务处理程序,还执行以下操作:
接收所述大数据平台发送的针对所述可执行任务的执行状态;
基于所述执行状态生成任务运行日志并保存至数据库。
进一步地,处理器1001可以调用存储器1005中存储的基于任务调度系统的业务处理程序,还执行以下操作:
基于预设条件,根据接收到的所述执行状态生成警告信息并提示于所述用户端。
进一步地,处理器1001可以调用存储器1005中存储的基于任务调度系统的业务处理程序,还执行以下操作:
判断所述任务调度系统当前的工作模式为模块调度模式或脚本调度模式;
若所述任务调度系统当前的工作模式为模块调度模式,则进入步骤:确定所述业务处理请求对应的若干个任务类型;
若所述任务调度系统当前的工作模式为脚本调度模式,则根据用户输入的脚本代码配置得到任务信息,并进入步骤:基于预设条件,根据所述任务信息生成可执行任务。
基于上述硬件结构,提出本发明基于任务调度系统的业务处理方法实施例。
参照图2,图2为本发明基于任务调度系统的业务处理方法第一实施例的流程示意图,所述方法包括:
步骤S10,接收用户端发送的业务处理请求;
随着银行业务的发展,各类结算、对账、报表等需要处理的批量任务越来越多,目前针对批量任务的处理策略一般是基于现有的任务调度框架实现,通过集群的节点分担大量批量任务的处理,来提高批量任务的处理效率,总体来说现有的处理方法包括以下两种:一种是基于主机创建crontab任务,由开发人员针对不同的业务需求编写特定功能的脚本,然后在主机上配置crontab任务来执行脚本;另一种是基于开源项目quartz框架,针对不同的业务需求,开发人员在业务系统中增加相应的功能脚本来实现。上述业务处理方法存在的问题有:针对每次业务处理请求,都需要开发人员手动编写任务程序进行大数据的抽取与计算,编写代码不能复用,存在重复编写代码的情况,且任务开发周期较长,对从业人员技能要求较高。
本实施例中,任务调度系统接收用户端发送的业务处理请求,业务处理请求具体可以是贴源表数据抽取、报表加工、对账文件推送至合作方、合作方文件接入、历史数据加工归档等业务需求。
步骤S20,确定所述业务处理请求对应的若干个任务类型;
本实施例任务调度系统根据接收到的具体的业务处理请求,确定所述业务处理请求对应的若干个任务类型,任务类型是将任务实现的不同功能进行模块划分,模块的功能代码由用户预置并以对应的任务功能模块保存供配置调用或者供用户修改等操作,模块是对特定功能的支持。
步骤S30,根据预置的与所述任务类型对应的任务功能模块配置得到任务信息;
具体地,所述任务功能模块包括与所述任务类型对应的任务相匹配的功能代码;任务是调度系统中配置的最小单元,任务信息包括与业务处理请求对应作业的基本信息,如重试次数、优先级、调度时间、执行周期、依赖关系、所属业务等,基于Hadoop、Hive等技术实现的大数据平台用于存储、分析、处理企业内部的海量数据,大数据平台根据接收到的任务调度系统发送的任务指令来执行任务,大数据平台的数据处理类型包括但不限于hive加工计算、hive导出hbase(hbase,非关系型分布式数据库)、mysql抽取数据至hive、hive导出数据至mysql、FPS(FPS,文件平台服务,用于文件的存储)数仓导入hive、数仓导出文件通知,Spring-Batch(Spring-Batch,批处理框架)作业调度等。现有的作业处理方法,均是通过开发人员手动编写功能程序,大数据平台基于功能程序的运行来实现上述的任务功能;本实施例将上述不同的任务功能以模块划分,模块预置用于实现对应功能的功能代码,用户基于业务需求配置任务时,只需选择相应的任务功能模块来配置生成任务信息,而不需要再手动编写功能代码;本实施例任务功能模块可以复用,不用再重复编写代码,规范了任务开发流程,降低了开发难度,缩短了任务开发周期;作为一种实施方式,本实施例还可以预置检查模块,自测模块用于对任务功能模块的运行结果及代码异常进行检测。
基于预置的与所述任务类型对应的任务功能模块进行配置并得到配置完成后的任务信息,存储所述任务信息,对任务配置的操作进行记录,方便审计及追溯,改善了现有技术中任务脚本内容容易被修改,不能跟踪修改记录的缺陷。
步骤S40,基于预设条件,根据所述任务信息生成可执行任务;
根据任务信息生成符合预设实例化条件的任务实例,任务实例即可执行任务,可执行任务用于被递交至大数据平台执行。
步骤S50,将所述可执行任务递交至大数据平台运行。
本实施例任务调度系统将依据任务优先级、依赖关系等条件,统一分配调度资源,选择符合运行条件的任务并依次递交至大数据平台执行。
进一步地,作为一种实施方式,任务调度系统通过JobServer服务将任务递交到hadoop集群,由此保证数据的安全性。
进一步地,以下以业务处理请求为对账文件数据加工并推送至合作方为例对本实施例基于任务调度系统的业务处理方法做进一步说明。
基于业务需求,任务开发过程为:需要将对账依赖的数据从MySQL数据库抽取至hive中,然后对数据进行加工,生成对账中间表,之后再将对账中间表导出成文件上传至FPS,最后将文件ID通过RMB通知给文件交互系统,文件交互系统将把文件传送至对应合作方的sftp服务器。基于本实施例的业务处理方法,业务需求对应的任务类型有三个,任务一:MySQL数据抽取至hive;任务二:贴源表数据加工成对账中间表;任务三:选取对账中间表数据生成文件上传FPS并通知文件交互系统,任务信息配置时用户只需对应调取以下三个任务功能模块:mysql抽取数据至hive、hive加工计算、数仓导出文件通知,基于所述三个任务功能模块,即可配置对应于业务需求的任务信息,大大减少了出错机率,规范了任务开发流程,降低了开发难度,缩短了任务开发周期。
本实施例通过接收用户端发送的业务处理请求,确定所述业务处理请求对应的若干个任务类型,根据预置的与所述任务类型对应的任务功能模块配置得到任务信息,所述任务功能模块包括与所述任务类型对应的任务相匹配的功能代码,基于预设条件,根据所述任务信息生成可执行任务,将所述可执行任务递交至大数据平台运行;由此实现了基于业务需求,用户只需选择相应的任务功能模块来配置生成任务信息,而不需要再手动编写功能代码;任务功能模块可以复用,不用再重复编写代码,实现了开发流程规范化,简化了开发流程,降低了开发难度,缩短了任务开发周期。
进一步地,参照图3,图3为本发明基于任务调度系统的业务处理方法第二实施例的流程示意图。基于上述图2所示的实施例,步骤S30,根据预置的与所述任务类型对应的任务功能模块配置得到任务信息的步骤之前还包括:
步骤S21,获取用户输入的用于执行预设任务类型所对应任务的功能代码;
步骤S22,根据所述功能代码建立与所述任务类型对应的任务功能模块;
步骤S23,将所述任务功能模块保存至数据库。
本实施例中,开发人员根据批业务处理需求结合大数据平台的数据架构,根据任务类型的不同将任务模块化,本实施例任务调度系统获取用户输入的用于执行预设任务类型所对应任务的功能代码,根据所述功能代码建立与所述任务类型对应的任务功能模块并保存供配置调用或者供用户修改等操作,任务功能模块可以复用,规范了开发流程,降低了任务开发难度,减少任务配置出错率。
可以理解的是,本实施例上述步骤S21、步骤S22、步骤S23与步骤S10、步骤S20之间并没有严格的执行顺序限制,作为一种实施方式,可以基于预设任务类型于数据库预置任务功能模块,当接收到业务处理请求时,即可从数据库调用匹配的任务功能模块来配置任务信息。
进一步地,参照图4,图4为步骤S30的细化步骤示意图,具体地,步骤S30,根据预置的与所述任务类型对应的任务功能模块配置得到任务信息的步骤包括:
步骤S31,调取预置的与所述任务类型对应的任务功能模块;
步骤S32,根据所述任务功能模块、用户输入的配置参数以及预置的检查模块配置得到任务信息;所述检查模块包括用于对所述任务功能模块实现运行结果检查及异常捕获的检查代码;
步骤S33,将所述任务信息保存至数据库。
基于业务处理请求,调取预置的任务功能模块,基于任务调度系统,开发人员选取不同的模块组合以实现业务需求,每个模块只需要配置相关信息或编写hiveSQL即可完成任务配置,任务功能的测试与验证可以即时进行,避免了由于开发人员忘记进行代码异常处理与结果检查而造成的执行结果错误等问题,任务功能模块及任务信息存储于数据库,解决了现有技术中任务配置主要是shell脚本的开发,需要开发人员进行脚本学习,业务逻辑的处理,变量的管理,任务异常的捕获,耗费的精力比较大,新人在开发过程经常碰到异常未捕获,任务运行结果未检查的情况,另外现有技术中,由于每个版本使用脚本文件进行移交,可能存在上个版本的修改未合并到本次发布版本,有代码功能缺失的风险,任务脚本内容容易被修改,不能跟踪修改记录的问题。本实施例信息存储在数据库中,对任务配置的操作进行记录,方便审计,版本代码的移交从现有技术中的脚本文件转为sql文件,投产时也更容易验证发布内容的正确,本实施例基于任务调度系统的业务处理方法,开发人员只需要关注业务逻辑代码的开发,执行过程由模块化程序进行任务递交,异常捕获和执行结果检查,不仅可以规范业务功能的开发,减少开发人员出错的机率,还可以减轻运维人员的工作量,提高任务调度效率。
进一步地,参照图5,图5为本发明基于任务调度系统的业务处理方法第三实施例的流程示意图。基于上述图2所示的实施例,步骤S40,基于预设条件,根据所述任务信息生成可执行任务的步骤包括:
步骤S41,判断所述任务信息是否符合预设的可执行条件;
若符合,则执行步骤S42,根据所述任务信息生成可执行任务。
任务信息包含作业的基本信息,如重试次数、优先级、调度时间、执行周期、依赖关系、所属业务等,基于任务信息,生成符合实例化条件的任务实例,即可执行任务。
进一步地,步骤S50,将所述可执行任务递交至大数据平台运行的步骤之前还包括:
步骤S43,判断所述可执行任务是否达到预设的运行条件;
若是,则执行步骤S50,将所述可执行任务递交至大数据平台运行。
根据任务的优先级,依赖关系,调度时间等参数信息判断生成的任务实例是否达到预设的运行条件,若达到运行条件,则将任务实例通过JobServer服务递交到hadoop集群运行,完成对业务处理请求的响应。
进一步地,步骤S50,将所述可执行任务递交至大数据平台运行的步骤之后还包括:
步骤S51,接收所述大数据平台发送的针对所述可执行任务的执行状态;
步骤S52,基于所述执行状态生成任务运行日志并保存至数据库。
本实施例中通过任务调度系统跟踪并记录任务运行情况,方便以后回溯及数据查询,可以更好地管理分析任务运行结果。
进一步地,步骤S51,接收所述大数据平台发送的针对所述可执行任务的执行状态的步骤之后还包括:
步骤S53,基于预设条件,根据接收到的所述执行状态生成警告信息并提示于所述用户端。
大数据平台在运行任务的过程中,会存在运行出错或是其它异常运行状态,当接收到的异常执行状态时生成警告信息并提示于所述用户端,以便用户对上述情况的出现及时地处理。
本实施例通过上述方式,完善了基于任务调度系统的任务管理和任务运行控制流程,提升了作业处理的效率及准确性。
进一步地,参照图6,图6为本发明基于任务调度系统的业务处理方法第四实施例的流程示意图。基于上述图2所示的实施例,步骤S10,接收用户端发送的业务处理请求的步骤之后还包括:
步骤S11,判断所述任务调度系统当前的工作模式为模块调度模式或脚本调度模式;
若所述任务调度系统当前的工作模式为模块调度模式,则进入步骤S20,确定所述业务处理请求对应的若干个任务类型;
若所述任务调度系统当前的工作模式为脚本调度模式,则执行步骤S12,根据用户输入的脚本代码配置得到任务信息,进入步骤:步骤S40,基于预设条件,根据所述任务信息生成可执行任务。
本实施例给出了一种兼容SHELL脚本配置任务的业务处理方法,本实施例接收到用户端发送的业务处理请求之后,首先判断所述任务调度系统当前的工作模式为模块调度模式或脚本调度模式,若所述任务调度系统当前的工作模式为模块调度模式,则进入本发明上述实施例的流程,进入步骤:确定所述业务处理请求对应的若干个任务类型;若所述任务调度系统当前的工作模式为脚本调度模式,则根据用户输入的脚本代码配置得到任务信息,进入步骤,基于预设条件,根据所述任务信息生成可执行任务的步骤。
本发明实施例还提供一种基于任务调度系统的业务处理装置。
本发明实施例基于任务调度系统的业务处理装置包括接收识别模块、配置模块、任务生成模块及递交模块;
所述接收识别模块,用于接收用户端发送的业务处理请求,并根据所述业务处理请求确定所述业务处理请求对应的若干个任务类型;
所述配置模块,用于根据预置的与所述任务类型对应的任务功能模块配置得到任务信息;所述任务功能模块包括与所述任务类型对应的任务相匹配的功能代码;
所述任务生成模块,用于基于预设条件,根据所述任务信息生成可执行任务;
所述递交模块,用于将所述可执行任务递交至大数据平台运行。
优选地,本实施例基于任务调度系统的业务处理装置还包括:
获取模块,用于获取用户输入的用于执行预设任务类型所对应任务的功能代码;
建立模块,用于根据所述功能代码建立与所述任务类型对应的任务功能模块,并将所述任务功能模块保存至数据库。
优选地,本实施例配置模块包括:
调用单元,用于调取预置的与所述任务类型对应的任务功能模块;
配置子单元,用于根据所述任务功能模块、用户输入的配置参数以及预置的检查模块配置得到任务信息,并将所述任务信息保存至数据库;所述检查模块包括用于对所述任务功能模块实现运行结果检查及异常捕获的检查代码。
优选地,本实施例任务生成模块包括:
判断子单元,用于判断所述任务信息是否符合预设的可执行条件,还用于当判断出所述任务信息符合预设的可执行条件时,将判断结果“符合”发送至:
任务生成子单元,用于在接收到所述判断子单元发送的判断结果为“符合”时,根据所述任务信息生成可执行任务。
优选地,本实施例基于任务调度系统的业务处理装置还包括:
第一判断模块,用于判断所述可执行任务是否达到预设的运行条件,还用于当判断出所述可执行任务达到预设的运行条件时,将判断结果“是”发送至所述递交模块;
所述递交模块还用于在接收到所述第一判断模块发送的判断结果为“是”时,将所述可执行任务递交至大数据平台运行。
优选地,本实施例基于任务调度系统的业务处理装置还包括:
日志生成模块,用于接收所述大数据平台发送的针对所述可执行任务的执行状态,并基于所述执行状态生成任务运行日志并保存至数据库。
优选地,本实施例基于任务调度系统的业务处理装置还包括:
警示模块,用于基于预设条件,根据接收到的所述执行状态生成警告信息并提示于所述用户端。
优选地,本实施例基于任务调度系统的业务处理装置还包括:
第二判断模块,用于判断所述任务调度系统当前的工作模式为模块调度模式或脚本调度模式;当判断出所述任务调度系统当前的工作模式为模块调度模式,所述第二判断模块发送判断结果“模块调度模式”至所述接收识别模块,以使所述接收识别模块根据所述判断结果执行相应的步骤;
当判断出所述任务调度系统当前的工作模式为脚本调度模式,则根据用户输入的脚本代码配置得到任务信息,所述第二判断模块发送判断结果“脚本调度模式”所述任务生成模块,以使所述任务生成模块根据所述判断结果执行相应的步骤。
本实施例提出的基于任务调度系统的业务处理装置各个模块运行时实现如上所述的基于任务调度系统的业务处理方法的步骤,在此不再赘述。
本发明还提供一种基于任务调度系统的业务处理设备。
本发明基于任务调度系统的业务处理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于任务调度系统的业务处理程序,所述基于任务调度系统的业务处理程序被所述处理器执行时实现如上所述的基于任务调度系统的业务处理方法的步骤。
其中,在所述处理器上运行的基于任务调度系统的业务处理程序被执行时所实现的方法可参照本发明基于任务调度系统的业务处理方法各个实施例,此处不再赘述。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有基于任务调度系统的业务处理程序,所述基于任务调度系统的业务处理程序被处理器执行时实现如上所述的基于任务调度系统的业务处理方法的步骤。
其中,在所述处理器上运行的基于任务调度系统的业务处理程序被执行时所实现的方法可参照本发明基于任务调度系统的业务处理方法各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (11)
1.一种基于任务调度系统的业务处理方法,其特征在于,应用于任务调度系统,所述方法包括如下步骤:
接收用户端发送的业务处理请求;
确定所述业务处理请求对应的若干个任务类型;
根据预置的与所述任务类型对应的任务功能模块配置得到任务信息;所述任务功能模块包括与所述任务类型对应的任务相匹配的功能代码;其中,所述任务信息包含重试次数、优先级、调度时间、执行周期、依赖关系或所属业务;
基于预设条件,根据所述任务信息生成可执行任务;
将所述可执行任务递交至大数据平台运行。
2.如权利要求1所述的基于任务调度系统的业务处理方法,其特征在于,所述根据预置的与所述任务类型对应的任务功能模块配置得到任务信息的步骤之前还包括:
获取用户输入的用于执行预设任务类型所对应任务的功能代码;
根据所述功能代码建立与所述任务类型对应的任务功能模块;
将所述任务功能模块保存至数据库。
3.如权利要求2所述的基于任务调度系统的业务处理方法,其特征在于,所述根据预置的与所述任务类型对应的任务功能模块配置得到任务信息的步骤包括:
调取预置的与所述任务类型对应的任务功能模块;
根据所述任务功能模块、用户输入的配置参数以及预置的检查模块配置得到任务信息;所述检查模块包括用于对所述任务功能模块实现运行结果检查及异常捕获的检查代码;
将所述任务信息保存至数据库。
4.如权利要求1-3中任一项所述的基于任务调度系统的业务处理方法,其特征在于,所述基于预设条件,根据所述任务信息生成可执行任务的步骤包括:
判断所述任务信息是否符合预设的可执行条件;
若符合,则根据所述任务信息生成可执行任务。
5.如权利要求4所述的基于任务调度系统的业务处理方法,其特征在于,所述将所述可执行任务递交至大数据平台运行的步骤之前还包括:
判断所述可执行任务是否达到预设的运行条件;
若是,则执行步骤:将所述可执行任务递交至大数据平台运行。
6.如权利要求5所述的基于任务调度系统的业务处理方法,其特征在于,所述将所述可执行任务递交至大数据平台运行的步骤之后还包括:
接收所述大数据平台发送的针对所述可执行任务的执行状态;
基于所述执行状态生成任务运行日志并保存至数据库。
7.如权利要求6所述的基于任务调度系统的业务处理方法,其特征在于,所述接收所述大数据平台发送的针对所述可执行任务的执行状态的步骤之后还包括:
基于预设条件,根据接收到的所述执行状态生成警告信息并提示于所述用户端。
8.如权利要求1所述的基于任务调度系统的业务处理方法,其特征在于,所述接收用户端发送的业务处理请求的步骤之后还包括:
判断所述任务调度系统当前的工作模式为模块调度模式或脚本调度模式;
若所述任务调度系统当前的工作模式为模块调度模式,则进入步骤:确定所述业务处理请求对应的若干个任务类型;
若所述任务调度系统当前的工作模式为脚本调度模式,则根据用户输入的脚本代码配置得到任务信息,进入步骤:基于预设条件,根据所述任务信息生成可执行任务。
9.一种基于任务调度系统的业务处理装置,其特征在于,包括接收识别模块、配置模块、任务生成模块及递交模块;
所述接收识别模块,用于接收用户端发送的业务处理请求,并根据所述业务处理请求确定所述业务处理请求对应的若干个任务类型;
所述配置模块,用于根据预置的与所述任务类型对应的任务功能模块配置得到任务信息;所述任务功能模块包括与所述任务类型对应的任务相匹配的功能代码;其中,所述任务信息包含重试次数、优先级、调度时间、执行周期、依赖关系或所属业务;
所述任务生成模块,用于基于预设条件,根据所述任务信息生成可执行任务;
所述递交模块,用于将所述可执行任务递交至大数据平台运行。
10.一种基于任务调度系统的业务处理设备,其特征在于,所述基于任务调度系统的业务处理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于任务调度系统的业务处理程序,所述基于任务调度系统的业务处理程序被所述处理器执行时实现如权利要求1至8中任一项所述的基于任务调度系统的业务处理方法的步骤。
11.一种存储介质,其特征在于,应用于计算机,所述存储介质上存储有基于任务调度系统的业务处理程序,所述基于任务调度系统的业务处理程序被处理器执行时实现如权利要求1至8中任一项所述的基于任务调度系统的业务处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811468853.2A CN109582301B (zh) | 2018-12-03 | 2018-12-03 | 基于任务调度系统的业务处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811468853.2A CN109582301B (zh) | 2018-12-03 | 2018-12-03 | 基于任务调度系统的业务处理方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109582301A CN109582301A (zh) | 2019-04-05 |
CN109582301B true CN109582301B (zh) | 2022-01-28 |
Family
ID=65926702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811468853.2A Active CN109582301B (zh) | 2018-12-03 | 2018-12-03 | 基于任务调度系统的业务处理方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109582301B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110209731A (zh) * | 2019-04-25 | 2019-09-06 | 深圳壹账通智能科技有限公司 | 数据同步方法、装置、及存储介质、电子装置 |
CN112153095A (zh) * | 2019-06-28 | 2020-12-29 | 北京金山云网络技术有限公司 | Cdn功能模块运行方法、运行装置、电子设备及存储介质 |
CN110428453B (zh) * | 2019-07-30 | 2020-12-15 | 深圳云天励飞技术有限公司 | 数据处理方法、装置、数据处理设备及存储介质 |
CN110837509A (zh) * | 2019-11-08 | 2020-02-25 | 深圳市彬讯科技有限公司 | 一种调度依赖的方法、装置、设备以及存储介质 |
CN111026530A (zh) * | 2019-11-29 | 2020-04-17 | 珠海随变科技有限公司 | 一种任务调度方法、装置、计算机设备和存储介质 |
CN110941488A (zh) * | 2019-12-11 | 2020-03-31 | 中国建设银行股份有限公司 | 一种任务处理方法、装置、设备和存储介质 |
CN112419018B (zh) * | 2020-01-03 | 2022-11-18 | 上海哔哩哔哩科技有限公司 | 分布式环境下的通用数据对账方法、服务器及存储介质 |
CN111563084A (zh) * | 2020-05-06 | 2020-08-21 | 中国银行股份有限公司 | 批量扣费数据处理方法及装置 |
CN111596897B (zh) * | 2020-05-07 | 2023-04-28 | 北京百度网讯科技有限公司 | 代码复用的处理方法、装置及电子设备 |
CN111815200A (zh) * | 2020-07-31 | 2020-10-23 | 深圳壹账通智能科技有限公司 | 任务调度方法及装置、计算机设备、存储介质 |
CN112148854B (zh) * | 2020-09-16 | 2024-01-26 | 出门问问创新科技有限公司 | 一种对话管理方法及装置 |
CN112367164B (zh) * | 2020-10-14 | 2021-11-02 | 深圳追一科技有限公司 | 业务请求处理方法、装置、计算机设备和存储介质 |
CN112328705B (zh) * | 2020-11-03 | 2023-10-24 | 成都中科大旗软件股份有限公司 | 支持任意配置周期的任务调度方法 |
CN112667386A (zh) * | 2021-01-18 | 2021-04-16 | 青岛海尔科技有限公司 | 任务管理方法和装置、存储介质及电子设备 |
CN113656157B (zh) * | 2021-08-10 | 2024-04-23 | 北京锐安科技有限公司 | 一种分布式任务调度方法、装置、存储介质及电子设备 |
CN114385055A (zh) * | 2021-12-10 | 2022-04-22 | 招银云创信息技术有限公司 | 财资结算支付产品化方法、装置、计算机设备和存储介质 |
CN117472530B (zh) * | 2023-10-25 | 2024-04-05 | 上海宽睿信息科技有限责任公司 | 一种基于集中管理的数据智能调度方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001004796A1 (en) * | 1999-07-09 | 2001-01-18 | Junot Systems, Inc. | External system interface method and system |
CN107066246A (zh) * | 2016-12-27 | 2017-08-18 | 深圳虚觅者科技有限公司 | 一种软件开发方法及装置 |
CN107704315A (zh) * | 2017-03-31 | 2018-02-16 | 广东网金控股股份有限公司 | 一种基于Quartz的定时任务调度服务框架及方法 |
CN108897610A (zh) * | 2018-06-15 | 2018-11-27 | 上海陆家嘴国际金融资产交易市场股份有限公司 | 任务调度方法、装置、计算机设备和存储介质 |
-
2018
- 2018-12-03 CN CN201811468853.2A patent/CN109582301B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001004796A1 (en) * | 1999-07-09 | 2001-01-18 | Junot Systems, Inc. | External system interface method and system |
CN107066246A (zh) * | 2016-12-27 | 2017-08-18 | 深圳虚觅者科技有限公司 | 一种软件开发方法及装置 |
CN107704315A (zh) * | 2017-03-31 | 2018-02-16 | 广东网金控股股份有限公司 | 一种基于Quartz的定时任务调度服务框架及方法 |
CN108897610A (zh) * | 2018-06-15 | 2018-11-27 | 上海陆家嘴国际金融资产交易市场股份有限公司 | 任务调度方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109582301A (zh) | 2019-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109582301B (zh) | 基于任务调度系统的业务处理方法、装置、设备及介质 | |
US11281570B2 (en) | Software testing method, system, apparatus, device medium, and computer program product | |
CN108415832B (zh) | 接口自动化测试方法、装置、设备及存储介质 | |
CN107370786B (zh) | 一种基于微服务架构的通用信息管理系统 | |
CN106844217B (zh) | 对应用的控件进行埋点的方法及装置、可读存储介质 | |
US9524229B2 (en) | Testing coordinator | |
WO2019029160A1 (zh) | 应用程序构建方法、系统、计算机设备和存储介质 | |
US9122804B2 (en) | Logic validation and deployment | |
US20110016452A1 (en) | Method and system for identifying regression test cases for a software | |
CN108628748B (zh) | 自动化测试管理方法和自动化测试管理系统 | |
CN110188135B (zh) | 文件生成方法及设备 | |
CN104657274A (zh) | 软件界面测试方法及装置 | |
CN112380255A (zh) | 一种业务处理方法、装置、设备和存储介质 | |
CN110727575A (zh) | 一种信息处理方法、系统、装置、以及存储介质 | |
CN112561370A (zh) | 软件发版的管理方法、装置、计算机设备及存储介质 | |
CN116069838A (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
CN117493188A (zh) | 接口测试方法及装置、电子设备及存储介质 | |
US11113105B1 (en) | Computer implemented system and method for generating platform agnostic digital worker | |
CN111258618A (zh) | 文件配置方法、装置、计算机设备和存储介质 | |
CN116599881A (zh) | 云平台租户建模测试的方法、装置、设备及存储介质 | |
WO2019193479A1 (en) | Cognitive robotic system for test data management activities and method employed thereof | |
CN112367205B (zh) | 一种对http调度请求的处理方法及调度系统 | |
CN114237634A (zh) | 应用发布风险识别方法、装置、设备、介质、程序产品 | |
CN113392002A (zh) | 一种测试系统构建方法、装置、设备及存储介质 | |
CN114371866A (zh) | 业务系统的版本重构测试方法、装置和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |