CN109669766A - 批处理作业的处理方法、装置、设备及存储介质 - Google Patents
批处理作业的处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN109669766A CN109669766A CN201811060668.XA CN201811060668A CN109669766A CN 109669766 A CN109669766 A CN 109669766A CN 201811060668 A CN201811060668 A CN 201811060668A CN 109669766 A CN109669766 A CN 109669766A
- Authority
- CN
- China
- Prior art keywords
- abnormal
- server
- processing
- processed
- substep
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 230
- 238000003672 processing method Methods 0.000 title claims abstract description 34
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 230000002159 abnormal effect Effects 0.000 claims abstract description 145
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000012958 reprocessing Methods 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims 1
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000012795 verification Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 239000012634 fragment Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000010923 batch production Methods 0.000 description 1
- 239000000567 combustion gas Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种批处理作业的处理方法、装置、设备及计算机可读存储介质,该方法包括:在接收到待处理作业时,根据预存分步标识,将所述待处理作业进行分步,生成对应的步骤作业,并顺序执行所述步骤作业;若检测到处理异常指令,获取异常数据对应的步骤标识,作为异常步骤标识,并根据所述异常步骤标识生成异常节点信息;在接收到再处理指令时,根据所述异常节点信息中的异常步骤标识顺序处理包括异常步骤作业的未处理步骤作业。本发明通过将待处理作业进行分步,降低数据处理单位,并将发生异常的数据所在步骤进行标记,从发生异常的数据出继续再处理,避免重复处理已被处理的数据记录。
Description
技术领域
本发明涉及数据处理领域,尤其涉及一种批处理作业的处理方法、装置、设备及计算机可读存储介质。
背景技术
在银行业务中,特别是数据量庞大的大型银行系统,需要通过批处理作业以成批处理大量数据,例如工资代发业务、行业水电燃气费用的代扣、日间业务的账务汇总、客户账单批生成处理以及账务报表生成的过程处理等。在上述业务对应的批处理作业过程中,批处理程序需按照预设顺序依次对业务数据表中上万条、数十万条或者百万条的记录进行处理。现有技术中,若批处理作业在处理期间发生异常,如某条记录异常、外部数据库异常或者内存不足导致异常等,在排除异常后需要重新提交批处理作业,并根据预先备份的业务数据表重新执行该批处理作业。因此,现有批处理作业的方法作业处理效率低下。
发明内容
本发明的主要目的在于提供一种批处理作业的处理方法、装置、设备及计算机可读存储介质,旨在解决现有批处理作业的方法作业处理效率低下的技术问题。
为实现上述目的,本发明提供一种批处理作业的处理方法,所述批处理作业的处理方法包括以下步骤:
在接收到待处理作业时,根据预存分步标识,将所述待处理作业进行分步,生成对应的步骤作业,并顺序执行所述步骤作业;
若检测到处理异常指令,获取异常数据对应的步骤标识,作为异常步骤标识,并根据所述异常步骤标识生成异常节点信息;
在接收到再处理指令时,根据所述异常节点信息中的异常步骤标识顺序处理包括异常步骤作业的未处理步骤作业。
可选地,所述批处理作业的处理方法应用于批处理作业的处理系统,所述处理系统包括管理服务器和处理服务器,所述在接收到待处理作业时,根据预存分步标识,将所述待处理作业进行分步,生成对应的步骤作业,并顺序执行所述步骤作业的步骤包括:
所述管理服务器在接收到所述待处理作业时,根据预存分步标识,将所述待处理作业进行分步,生成对应的步骤作业;
所述管理服务器在将所述待处理作业进行分步后,获取所述处理服务器中的待处理数据量,并判断所述处理服务器中是否存在待处理数据量小于第一阈值的空闲服务器;
所述管理服务器若判定存在所述空闲服务器,则在所述空闲服务器中获取目标服务器,并将所述步骤作业分配至所述目标服务器进行顺序执行。
可选地,所述管理服务器若判定存在所述空闲服务器,则在所述空闲服务器中获取目标服务器,并将所述步骤作业分配至所述目标服务器进行顺序执行的步骤之后,还包括:
所述管理服务器在检测到所述目标服务器开始执行所述步骤作业时,获取所述目标服务器执行所述步骤作业的执行时间,并判断所述执行时间是否超过预设时间阈值;
所述管理服务器在判定所述执行时间超过预设时间阈值时,则判定所述目标服务器发生异常,并在所述空闲服务器中,获取除目标服务器以外的其他服务器,并将所述步骤作业分配至所述其他服务器进行顺序执行。
可选地,所述在接收到待处理作业时,根据预存分步标识,将所述待处理作业进行分步,生成对应的步骤作业,并顺序执行所述步骤作业的步骤之前,还包括:
所述管理服务器在接收到待处理作业时,判断所述待处理作业对应的数据量是否超过第二阈值;
所述管理服务器在判定所述待处理作业对应的数据量超过所述第二阈值时,根据预设数据量将所述待处理作业进行数量划分,生成对应的待处理作业片;
所述管理服务器根据预存分步标识,将所述待处理作业片进行分步,生成对应的步骤作业片,并将所述步骤作业片分配至所述空闲服务器顺序执行所述步骤作业。
可选地,所述批处理作业的处理方法还包括:
在通过所述处理服务器执行所述步骤作业时,若接收到其他批处理作业操作触发的并行指令,在所述空闲服务器中获取一服务器,作为并行服务器,并将所述其他批处理作业分配至所述并行服务器进行处理。
可选地,所述在接收到待处理作业时,根据预存分步标识,将所述待处理作业进行分步,生成对应的步骤作业,并顺序执行所述步骤作业的步骤之后,还包括:
在顺序执行所述步骤作业时,根据预存数据表,将执行各个步骤作业时产生的数据结果进行存储。
可选地,所述若检测到处理异常指令,获取异常数据对应的步骤标识,作为异常步骤标识,并根据所述异常步骤标识生成异常节点信息的步骤之后,还包括:
获取异常数据,并根据所述异常数据生成并显示对应的异常提醒消息,以便用户核对所述异常数据是否发生错误;
在接收到用户根据所述异常数据触发的数据替换指令时,获取所述用户上传的替换数据,并删除所述异常数据。
此外,为实现上述目的,本发明还提供一种批处理作业的处理装置,所述批处理作业的处理装置包括:
作业分步模块,用于在接收到待处理作业时,根据预存分步标识,将所述待处理作业进行分步,生成对应的步骤作业,并顺序执行所述步骤作业;
异常标识模块,用于若检测到处理异常指令,获取异常数据对应的步骤标识,作为异常步骤标识,并根据所述异常步骤标识生成异常节点信息;
再处理模块,用于在接收到再处理指令时,根据所述异常节点信息中的异常步骤标识顺序处理包括异常步骤作业的未处理步骤作业。
此外,为实现上述目的,本发明还提供一种批处理作业的处理设备,其特征在于,所述批处理作业的处理设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的批处理作业的处理程序,其中所述批处理作业的处理程序被所述处理器执行时,实现如上述的批处理作业的处理方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有批处理作业的处理程序,其中所述批处理作业的处理程序被处理器执行时,实现如上述的批处理作业的处理方法的步骤。
本发明通过在接收到待处理作业时,根据预存分步标识,将所述待处理作业进行分步,生成对应的步骤作业,并顺序执行所述步骤作业;若检测到处理异常指令,获取异常数据对应的步骤标识,作为异常步骤标识,并根据所述异常步骤标识生成异常节点信息;在接收到再处理指令时,根据所述异常节点信息中的异常步骤标识顺序处理包括异常步骤作业的未处理步骤作业。通过上述方式,本发明通过将待处理作业进行分步,降低数据处理单位,并将发生异常的数据所在步骤进行标记,从发生异常的数据出继续再处理,避免重复处理已被处理的数据记录,解决了现有批处理作业方法处理效率低下的技术问题。
附图说明
图1为本发明实施例方案中涉及的批处理作业的处理设备的硬件结构示意图;
图2为本发明批处理作业的处理方法第一实施例的流程示意图;
图3为本发明批处理作业的处理方法第二实施例的流程示意图;
图4为本发明批处理作业的处理方法第三实施例的流程示意图;
图5为本发明批处理作业的处理装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例涉及的批处理作业的处理方法主要应用于批处理作业的处理设备,该批处理作业的处理设备可以是PC、便携计算机、移动终端等具有显示和处理功能的设备。
参照图1,图1为本发明实施例方案中涉及的批处理作业的处理设备的硬件结构示意图。本发明实施例中,批处理作业的处理设备可以包括处理器1001(例如CPU),通信总线1002,用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信;用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard);网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口);存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器,存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的硬件结构并不构成对批处理作业的处理设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
继续参照图1,图1中作为一种计算机可读存储介质的存储器1005可以包括操作系统、网络通信模块以及批处理作业的处理程序。
在图1中,网络通信模块主要用于连接服务器,与服务器进行数据通信;而处理器1001可以调用存储器1005中存储的批处理作业的处理程序,并执行本发明实施例提供的批处理作业的处理方法。
本发明实施例提供了一种批处理作业的处理方法。
参照图2,图2为本发明批处理作业的处理方法第一实施例的流程示意图。
本实施例中,所述批处理作业的处理方法包括以下步骤:
步骤S10,在接收到待处理作业时,根据预存分步标识,将所述待处理作业进行分步,生成对应的步骤作业,并顺序执行所述步骤作业;
目前在处理批处理作业过程中,批处理程序需按照预设顺序依次对业务数据表中上万条、数十万条或者百万条的记录进行处理。现有技术中,若批处理作业在处理期间发生异常,容易出现单点问题,如某条记录异常、外部数据库异常或者内存不足导致异常等,会造成作业处理流程中止,在排除异常后需要重新提交批处理作业,并根据预先备份的业务数据表重新执行该批处理作业。因此,现有批处理作业的方法作业处理效率低下。
本实施例中,所述批处理作业的处理方法应用于批处理作业的处理系统,所述处理系统包括管理服务器和处理服务器。用户可以通过终端设备将待处理的批处理作业上传至管理服务器,管理服务器在接收到该待处理的批处理作业时,为了避免在执行批处理作业发生异常时重复执行已处理的数据记录,首先根据预存分步标识将待处理的批处理作业中的数据记录根据预设分步规则进行分步操作。其中,所述预存分步标识可以是用户根据自身业务上传的分步标识表,所述分步标识表中存储有分步的作业语句或者是作业关键字等。具体实施例中,分步标识还可以是产生该批处理作业的业务对应的业务流程,如根据产品赎回交易中本金计算、利息计算以及赎回总额计算等流程,将产品赎回交易业务对应的数据记录按照本金计算步骤、利息计算步骤以及赎回总额计算步骤进行分步划分。即将批处理作业中的大量数据记录按照业务流程划分执行步骤,并将分布后的数据记录的数据标识与对应的步骤标识进行关联存储,即将分步后的数据记录与对应步骤的对应关系存储至数据库中,以便后期对应查找。更多实施例中,分步标识还可以是根据用户定义的分步标识进行对应步骤的划分,由于批处理作业的处理过程为依次执行,因此若批处理作业程序在处理过程中发生异常,则会停止批处理过程。本发明将批处理作业进行分步后,可将发生异常的数据记录对应的作业步骤进行记录,并在在异常处理完毕后,或者接收到重新处理指令时,直接定位至该发生异常的步骤进行数据记录的处理,即直接再次执行发生异常的作业步骤,从而避免重复执行已经处理过的作业步骤。
进一步地,所述管理服务器在接收到待处理作业时,判断所述待处理作业对应的数据量是否超过第二阈值;
所述管理服务器在判定所述待处理作业对应的数据量超过所述第二阈值时,根据预设数据量将所述待处理作业进行数量划分,生成对应的待处理作业片;
所述管理服务器根据预存分步标识,将所述待处理作业片进行分步,生成对应的步骤作业片,并将所述步骤作业片分配至所述空闲服务器顺序执行所述步骤作业。
具体地,若待处理的批处理作业中数据记录的数量超过预设阈值时,即表示该批处理作业中数据记录数量较大,若仅通过一个服务器执行该批处理作业,不仅导致该台服务器任务量繁重,而且处理效率低下,处理时间长。因此,可以根据预设分片规则,将该待处理的批处理作业进行数量划分,即划分为数量相等或者不等的数据片。调用多台服务器处理该批处理作业,并将各个数据片分配至各个服务器进行处理。其中,预设分片规则可以是:将一个作业的数据记录数量为划分基数,然后根据服务器处理数据的最佳数量值,选取划分基数的整数倍作为划分单位,并根据所述划分单位进行数据记录的划分。预设分片规则还可以是:用户根据需一个完整作业业务流程对应的数据记录数量,手动设定划分单位。其中预设阈值可以是用户根据自身经验手动设定或者是服务器根据同类型数据统一设定。若待处理的批处理作业中数据记录的数量未超过预设阈值,即表示该批处理作业中数据记录数量较小,可分配至一个服务器进行数据处理。由此避免分片占用管理服务器的资源。
步骤S20,若检测到处理异常指令,获取异常数据对应的步骤标识,作为异常步骤标识,并根据所述异常步骤标识生成异常节点信息;
本实施例中,在处理批处理作业的过程中,可能由于某个数据记录执行异常,导致处理过程中止。在处理过程中止时,即或者是检测到批处理异常的指令时,将该发生异常的作业步骤进行标识,即获取该异常数据记录对应的步骤标识,并将该步骤标识标记为异常步骤标识。为了便于在异常后,直接定位至发生异常的步骤,并重新执行该步骤,以继续执行未处理的批处理作业,根据所述异常步骤标识生成异常节点信息。即在异常数据处进行节点标识,以便直接定位至该处进行再处理。具体实施中,分片后的数据记录还需获取对应的数据片标识,根据所述数据片服务器在解决异常问题后重新处理批处理作业时,可根据所述异常断点信息,跳过已处理的作业步骤,找到发生异常的作业步骤,并从该异常步骤开始,执行未处理的作业步骤。本申请选取发生异常的异常作业步骤作为重新执行批处理作业的起点步骤,即可以重新执行异常步骤,重新执行异常步骤的数据记录,并根据重新得到的执行结果继续执行剩下未处理的作业步骤,进一步提高了批处理作业的准确性与处理效率。
进一步地,获取异常数据,并根据所述异常数据生成并显示对应的异常提醒消息,以便用户核对所述异常数据是否发生错误;
在接收到用户根据所述异常数据触发的数据替换指令时,获取所述用户上传的替换数据,并删除所述异常数据。
本实施例中,为了便于用户对所述异常数据进行异常处理,所述管理服务器在检测到所述处理服务器发生异常时,获取所述异常数据,并根据所述异常数据生成对应的异常提醒,然后将所述异常提醒发送至客户终端,便于用户进行异常数据检查。在客户判定该异常数据有异常时,可通过替换按钮触发替换指令。所述管理服务器在接收到所述替换指令时,通过对应接口接收用户上传的替换数据,删除原存储的异常数据,并将所述替换数据存储至所述异常数据原存放处。
步骤S30,在接收到再处理指令时,根据所述异常节点信息中的异常步骤标识顺序处理包括异常步骤作业的未处理步骤作业。
本实施例中,在管理员将异常数据记录处理完毕后,通过手动或者联机触发再处理指令,即管理员在解决异常情况后,向服务器发送再处理指令,以便服务器继续处理批处理作业。再处理指令触发方式包括联机触发、手动触发以及定时触发等多种触发方式,从而支持定时执行,实时拉起,任务补跑,失败重跑等功能。为了避免重复处理已处理过的数据记录,并从异常步骤处继续处理未处理过的数据记录,获取异常节点信息,根据异常节点信息中的异常步骤标识查找到导致处理程序中止的异常步骤,通过重新执行该异常步骤中的数据记录,即重新处理批处理作业中未处理的数据记录,以继续执行该处理程序。具体实施例中,分片后的步骤作业片还需获取对应的作业片标识,并根据所述作业片标识和异常步骤标识生成异常断点信息。更多实施例中,为了避免处理服务器重复处理已处理的作业数据,预先将未处理的数据记录进行未处理状态标识,并在处理服务器处理作业数据时,将已处理的数据记录进行已处理状态标识。
本实施例通过在接收到待处理作业时,根据预存分步标识,将所述待处理作业进行分步,生成对应的步骤作业,并顺序执行所述步骤作业;若检测到处理异常指令,获取异常数据对应的步骤标识,作为异常步骤标识,并根据所述异常步骤标识生成异常节点信息;在接收到再处理指令时,根据所述异常节点信息中的异常步骤标识顺序处理包括异常步骤作业的未处理步骤作业。通过上述方式,本发明通过将待处理作业进行分步,降低数据处理单位,并将发生异常的数据所在步骤进行标记,从发生异常的数据出继续再处理,避免重复处理已被处理的数据记录,解决了现有批处理作业方法处理效率低下的技术问题。
参照图3,图3为本发明批处理作业的处理方法第二实施例的流程示意图。
基于上述图2所示实施例,本实施例中,步骤S10包括:
步骤S11,所述管理服务器在接收到所述待处理作业时,根据预存分步标识,将所述待处理作业进行分步,生成对应的步骤作业;
步骤S12,所述管理服务器在将所述待处理作业进行分步后,获取所述处理服务器中的待处理数据量,并判断所述处理服务器中是否存在待处理数据量小于第一阈值的空闲服务器;
步骤S13,所述管理服务器若判定存在所述空闲服务器,则在所述空闲服务器中获取目标服务器,并将所述步骤作业分配至所述目标服务器进行顺序执行。
本实施例中,优先将作业任务分配至服务压力小的服务器执行。即所述管理服务器在将接收到的所述待处理作业进行分步后,获取所述处理服务器中各个服务器对应的待处理数据量。然后将所述待处理数据量与预设的第一阈值进行比较。其中,第一阈值为管理员根据实际情况进行设定。所述服务器上待处理数据量大于所述第一阈值,即为任务饱和的服务器,待处理数据量小于所述第一阈值的,即为空闲服务器。所述管理服务器在判定所述处理服务器中存在所述空闲服务器时,即可在所述空闲服务器中获取任一服务器,作为目标服务器进行步骤作业的处理。具体实施例中,若所述处理服务器中不存在所述空闲服务器,则获取所述处理服务器对应的可处理数据量,然后可将所述步骤作业进行分片,并将分片后的作业片分配至可处理数据量大于该作业片的数据量的服务器进行处理。
参照图4,图4为本发明批处理作业的处理方法第三实施例的流程示意图。
基于上述图3所示实施例,本实施例中,在步骤步骤S12之后,步骤S10还包括:
步骤S13,所述管理服务器在检测到所述目标服务器开始执行所述步骤作业时,获取所述目标服务器执行所述步骤作业的执行时间,并判断所述执行时间是否超过预设时间阈值;
步骤S14,所述管理服务器在判定所述执行时间超过预设时间阈值时,则判定所述目标服务器发生异常,并在所述空闲服务器中,获取除目标服务器以外的其他服务器,并将所述步骤作业分配至所述其他服务器进行顺序执行。
本实施例中,实时统计批服务执行时间,并根据所述执行时间,推测处理服务器是否发生异常。所述管理服务器在将所述步骤作业分配至所述处理服务器进行处理,并接收到所述处理服务器反馈的开始处理指令时,则通过计时器,对所述处理服务器的执行时间进行计时。然后将所述执行时间与预设时间阈值进行比较。其中,所述预设时间阈值为管理员根据实际情况进行设定,且所述预设时间阈值为一般处理服务器完成对应数据量的作业的处理时间。所述管理服务器在监测到所述目标服务器对应的执行时间超过阈值时,即判定所述目标服务器发生异常,在所述空闲服务器获取除目标服务器的任一服务器,作为其他服务器,然后将所述步骤作业分配至该其他服务器中进行处理。
进一步地,在通过所述处理服务器执行所述步骤作业时,若接收到其他批处理作业操作触发的并行指令,在所述空闲服务器中获取一服务器,作为并行服务器,并将所述其他批处理作业分配至所述并行服务器进行处理。
本实施例中,为了避免单一的支持方式,在通过一服务器执行所述步骤作业的过程中,若接收到用户上传的其他批处理作业操作触发的并行指令,即需要同时处理两批批处理操作,所述管理服务器在所述处理服务器中,获取另一服务压力小的服务器,对该其他批处理操作进行处理。
进一步地,在顺序执行所述步骤作业时,根据预存数据表,将执行各个步骤作业时产生的数据结果进行存储。
本实施例中,由于不同业务对应的批处理作业具有不同的业务流程,即有些业务对应的批处理作业中数据记录可单独被执行得到业务结果,有些业务对应的批处理作业中数据记录需要获取对应的上下文数据才能继续处理。因此,在进行作业处理时,可以根据用户上传的预存数据表,将后续需要用到的数据进行单独存储。其中,所述预存数据表中可以存储有需要存储数据的数据类型标识或者关键字。所述管理服务器在检测到对应数据产生时,即将该数据存储至所述预存数据表中。然后在重新处理中止的批处理作业时,可对应选择定位至具体的异常数据记录处,通过再次执行异常数据记录继续以继续处理未处理的数据记录,并在需要获取上步骤执行所产生的数据时,根据对应的数据标识在所述预存数据表中获取对应数据。具体实施例中,还可以定位至异常步骤处,通过再次执行异常数据记录对应的整个异常步骤以继续处理未处理的数据记录。为了判断定位的异常数据记录或者异常步骤是未处理的数据记录还是已处理的数据记录,可通过数据记录的状态标识(未处理状态标识/已处理状态标识)进行判定。
此外,本发明实施例还提供一种批处理作业的处理装置。
参照图5,图5为本发明批处理作业的处理装置第一实施例的功能模块示意图。
本实施例中,所述批处理作业的处理装置包括:
作业分步模块10,用于在接收到待处理作业时,根据预存分步标识,将所述待处理作业进行分步,生成对应的步骤作业,并顺序执行所述步骤作业;
异常标识模块20,用于若检测到处理异常指令,获取异常数据对应的步骤标识,作为异常步骤标识,并根据所述异常步骤标识生成异常节点信息;
再处理模块30,用于在接收到再处理指令时,根据所述异常节点信息中的异常步骤标识顺序处理包括异常步骤作业的未处理步骤作业。
进一步的,所述作业分步模块10包括:
第一分步单元,用于所述管理服务器在接收到所述待处理作业时,根据预存分步标识,将所述待处理作业进行分步,生成对应的步骤作业;
第一判断单元,用于所述管理服务器在将所述待处理作业进行分步后,获取所述处理服务器中的待处理数据量,并判断所述处理服务器中是否存在待处理数据量小于第一阈值的空闲服务器;
第一分配单元,用于所述管理服务器若判定存在所述空闲服务器,则在所述空闲服务器中获取目标服务器,并将所述步骤作业分配至所述目标服务器进行顺序执行。
进一步的,所述作业分步模块10包括:
第二判断单元,用于所述管理服务器在检测到所述目标服务器开始执行所述步骤作业时,获取所述目标服务器执行所述步骤作业的执行时间,并判断所述执行时间是否超过预设时间阈值;
第二分配单元,用于所述管理服务器在判定所述执行时间超过预设时间阈值时,则判定所述目标服务器发生异常,并在所述空闲服务器中,获取除目标服务器以外的其他服务器,并将所述步骤作业分配至所述其他服务器进行顺序执行。
进一步的,作业分步模块10还包括:
第三判断单元,用于所述管理服务器在接收到待处理作业时,判断所述待处理作业对应的数据量是否超过第二阈值;
分片单元,用于所述管理服务器在判定所述待处理作业对应的数据量超过所述第二阈值时,根据预设数据量将所述待处理作业进行数量划分,生成对应的待处理作业片;
第三分配单元,用于所述管理服务器根据预存分步标识,将所述待处理作业片进行分步,生成对应的步骤作业片,并将所述步骤作业片分配至所述空闲服务器顺序执行所述步骤作业。
进一步的,所述批处理作业的处理装置,还包括:
并行处理模块,用于在通过所述处理服务器执行所述步骤作业时,若接收到其他批处理作业操作触发的并行指令,在所述空闲服务器中获取一服务器,作为并行服务器,并将所述其他批处理作业分配至所述并行服务器进行处理。
进一步的,所述批处理作业的处理装置,还包括:
数据存储模块,用于在顺序执行所述步骤作业时,根据预存数据表,将执行各个步骤作业时产生的数据结果进行存储。
进一步的,所述异常标识模块30还包括:
异常提醒单元,用于获取异常数据,并根据所述异常数据生成并显示对应的异常提醒消息,以便用户核对所述异常数据是否发生错误;
数据替换单元,用于在接收到用户根据所述异常数据触发的数据替换指令时,获取所述用户上传的替换数据,并删除所述异常数据。
其中,上述批处理作业的处理装置中各个模块与上述批处理作业的处理方法实施例中各步骤相对应,其功能和实现过程在此处不再一一赘述。
此外,本发明实施例还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有批处理作业的处理程序,其中所述批处理作业的处理程序被处理器执行时,实现如上述的批处理作业的处理方法的步骤。
其中,批处理作业的处理程序被执行时所实现的方法可参照本发明批处理作业的处理方法的各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种批处理作业的处理方法,其特征在于,所述批处理作业的处理方法包括以下步骤:
在接收到待处理作业时,根据预存分步标识,将所述待处理作业进行分步,生成对应的步骤作业,并顺序执行所述步骤作业;
若检测到处理异常指令,获取异常数据对应的步骤标识,作为异常步骤标识,并根据所述异常步骤标识生成异常节点信息;
在接收到再处理指令时,根据所述异常节点信息中的异常步骤标识顺序处理包括异常步骤作业的未处理步骤作业。
2.如权利要求1所述的批处理作业的处理方法,其特征在于,所述批处理作业的处理方法应用于批处理作业的处理系统,所述处理系统包括管理服务器和处理服务器,所述在接收到待处理作业时,根据预存分步标识,将所述待处理作业进行分步,生成对应的步骤作业,并顺序执行所述步骤作业的步骤包括:
所述管理服务器在接收到所述待处理作业时,根据预存分步标识,将所述待处理作业进行分步,生成对应的步骤作业;
所述管理服务器在将所述待处理作业进行分步后,获取所述处理服务器中的待处理数据量,并判断所述处理服务器中是否存在待处理数据量小于第一阈值的空闲服务器;
所述管理服务器若判定存在所述空闲服务器,则在所述空闲服务器中获取目标服务器,并将所述步骤作业分配至所述目标服务器进行顺序执行。
3.如权利要求2所述的批处理作业的处理方法,其特征在于,所述管理服务器若判定存在所述空闲服务器,则在所述空闲服务器中获取目标服务器,并将所述步骤作业分配至所述目标服务器进行顺序执行的步骤之后,还包括:
所述管理服务器在检测到所述目标服务器开始执行所述步骤作业时,获取所述目标服务器执行所述步骤作业的执行时间,并判断所述执行时间是否超过预设时间阈值;
所述管理服务器在判定所述执行时间超过预设时间阈值时,则判定所述目标服务器发生异常,并在所述空闲服务器中,获取除目标服务器以外的其他服务器,并将所述步骤作业分配至所述其他服务器进行顺序执行。
4.如权利要求2所述的批处理作业的处理方法,其特征在于,所述在接收到待处理作业时,根据预存分步标识,将所述待处理作业进行分步,生成对应的步骤作业,并顺序执行所述步骤作业的步骤之前,还包括:
所述管理服务器在接收到待处理作业时,判断所述待处理作业对应的数据量是否超过第二阈值;
所述管理服务器在判定所述待处理作业对应的数据量超过所述第二阈值时,根据预设数据量将所述待处理作业进行数量划分,生成对应的待处理作业片;
所述管理服务器根据预存分步标识,将所述待处理作业片进行分步,生成对应的步骤作业片,并将所述步骤作业片分配至所述空闲服务器顺序执行所述步骤作业。
5.如权利要求1所述的批处理作业的处理方法,其特征在于,所述批处理作业的处理方法还包括:
在通过所述处理服务器执行所述步骤作业时,若接收到其他批处理作业操作触发的并行指令,在所述空闲服务器中获取一服务器,作为并行服务器,并将所述其他批处理作业分配至所述并行服务器进行处理。
6.如权利要求1所述的批处理作业的处理方法,其特征在于,所述在接收到待处理作业时,根据预存分步标识,将所述待处理作业进行分步,生成对应的步骤作业,并顺序执行所述步骤作业的步骤之后,还包括:
在顺序执行所述步骤作业时,根据预存数据表,将执行各个步骤作业时产生的数据结果进行存储。
7.如权利要求1至6中任一项所述的批处理作业的处理方法,其特征在于,所述若检测到处理异常指令,获取异常数据对应的步骤标识,作为异常步骤标识,并根据所述异常步骤标识生成异常节点信息的步骤之后,还包括:
获取异常数据,并根据所述异常数据生成并显示对应的异常提醒消息,以便用户核对所述异常数据是否发生错误;
在接收到用户根据所述异常数据触发的数据替换指令时,获取所述用户上传的替换数据,并删除所述异常数据。
8.一种批处理作业的处理装置,其特征在于,所述批处理作业的处理装置包括:
作业分步模块,用于在接收到待处理作业时,根据预存分步标识,将所述待处理作业进行分步,生成对应的步骤作业,并顺序执行所述步骤作业;
异常标识模块,用于若检测到处理异常指令,获取异常数据对应的步骤标识,作为异常步骤标识,并根据所述异常步骤标识生成异常节点信息;
再处理模块,用于在接收到再处理指令时,根据所述异常节点信息中的异常步骤标识顺序处理包括异常步骤作业的未处理步骤作业。
9.一种批处理作业的处理设备,其特征在于,所述批处理作业的处理设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的批处理作业的处理程序,其中所述批处理作业的处理程序被所述处理器执行时,实现如权利要求1至7中任一项所述的批处理作业的处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有批处理作业的处理程序,其中所述批处理作业的处理程序被处理器执行时,实现如权利要求1至7中任一项所述的批处理作业的处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811060668.XA CN109669766A (zh) | 2018-09-11 | 2018-09-11 | 批处理作业的处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811060668.XA CN109669766A (zh) | 2018-09-11 | 2018-09-11 | 批处理作业的处理方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109669766A true CN109669766A (zh) | 2019-04-23 |
Family
ID=66141608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811060668.XA Pending CN109669766A (zh) | 2018-09-11 | 2018-09-11 | 批处理作业的处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109669766A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110784339A (zh) * | 2019-10-09 | 2020-02-11 | 杭州迪普科技股份有限公司 | Lacp报文超时的故障检测方法、装置、电子设备 |
CN110825771A (zh) * | 2019-10-12 | 2020-02-21 | 中国平安财产保险股份有限公司 | 批量数据处理方法、电子装置、计算机设备及存储介质 |
CN110866834A (zh) * | 2019-10-12 | 2020-03-06 | 中国平安财产保险股份有限公司 | 批处理程序的执行方法及系统 |
CN111124491A (zh) * | 2019-12-12 | 2020-05-08 | 浪潮(北京)电子信息产业有限公司 | 一种批处理方法、装置、设备及存储介质 |
CN111274090A (zh) * | 2020-01-16 | 2020-06-12 | 泰康保险集团股份有限公司 | 作业处理方法、装置、介质及电子设备 |
CN111459631A (zh) * | 2020-03-27 | 2020-07-28 | 厦门梦加网络科技股份有限公司 | 服务器自动化批处理方法及系统 |
CN112579616A (zh) * | 2019-09-29 | 2021-03-30 | 北京国双科技有限公司 | 任务处理方法、装置、存储介质和电子设备 |
CN112926877A (zh) * | 2021-03-26 | 2021-06-08 | 中国建设银行股份有限公司 | 批处理业务的健康情况判断方法、装置、设备及存储介质 |
CN113806029A (zh) * | 2020-06-16 | 2021-12-17 | 北京达佳互联信息技术有限公司 | 任务处理方法、装置、服务器及存储介质 |
CN115551077A (zh) * | 2022-09-14 | 2022-12-30 | 西北工业大学 | 基于LabVIEW的水声网络节点自定位方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103886399A (zh) * | 2012-12-24 | 2014-06-25 | 鸿富锦精密工业(深圳)有限公司 | 任务分配系统及方法 |
JP2014120123A (ja) * | 2012-12-19 | 2014-06-30 | Hitachi Ltd | 情報処理装置及び情報処理方法 |
CN104267937A (zh) * | 2014-09-16 | 2015-01-07 | 中国工商银行股份有限公司 | 一种联机小批量数据处理方法及系统 |
CN104317960A (zh) * | 2014-11-14 | 2015-01-28 | 中国建设银行股份有限公司 | 一种批处理作业的处理方法和装置 |
CN108446172A (zh) * | 2018-02-26 | 2018-08-24 | 平安普惠企业管理有限公司 | 数据调取方法、装置、计算机设备和存储介质 |
-
2018
- 2018-09-11 CN CN201811060668.XA patent/CN109669766A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014120123A (ja) * | 2012-12-19 | 2014-06-30 | Hitachi Ltd | 情報処理装置及び情報処理方法 |
CN103886399A (zh) * | 2012-12-24 | 2014-06-25 | 鸿富锦精密工业(深圳)有限公司 | 任务分配系统及方法 |
CN104267937A (zh) * | 2014-09-16 | 2015-01-07 | 中国工商银行股份有限公司 | 一种联机小批量数据处理方法及系统 |
CN104317960A (zh) * | 2014-11-14 | 2015-01-28 | 中国建设银行股份有限公司 | 一种批处理作业的处理方法和装置 |
CN108446172A (zh) * | 2018-02-26 | 2018-08-24 | 平安普惠企业管理有限公司 | 数据调取方法、装置、计算机设备和存储介质 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112579616A (zh) * | 2019-09-29 | 2021-03-30 | 北京国双科技有限公司 | 任务处理方法、装置、存储介质和电子设备 |
CN110784339A (zh) * | 2019-10-09 | 2020-02-11 | 杭州迪普科技股份有限公司 | Lacp报文超时的故障检测方法、装置、电子设备 |
US11310139B2 (en) | 2019-10-09 | 2022-04-19 | Hangzhou Dptech Technologies Co., Ltd. | Fault detection for LACP packet timeout |
CN110825771A (zh) * | 2019-10-12 | 2020-02-21 | 中国平安财产保险股份有限公司 | 批量数据处理方法、电子装置、计算机设备及存储介质 |
CN110866834A (zh) * | 2019-10-12 | 2020-03-06 | 中国平安财产保险股份有限公司 | 批处理程序的执行方法及系统 |
CN110866834B (zh) * | 2019-10-12 | 2023-08-18 | 中国平安财产保险股份有限公司 | 批处理程序的执行方法及系统 |
CN111124491A (zh) * | 2019-12-12 | 2020-05-08 | 浪潮(北京)电子信息产业有限公司 | 一种批处理方法、装置、设备及存储介质 |
CN111274090A (zh) * | 2020-01-16 | 2020-06-12 | 泰康保险集团股份有限公司 | 作业处理方法、装置、介质及电子设备 |
CN111459631A (zh) * | 2020-03-27 | 2020-07-28 | 厦门梦加网络科技股份有限公司 | 服务器自动化批处理方法及系统 |
CN113806029A (zh) * | 2020-06-16 | 2021-12-17 | 北京达佳互联信息技术有限公司 | 任务处理方法、装置、服务器及存储介质 |
CN112926877A (zh) * | 2021-03-26 | 2021-06-08 | 中国建设银行股份有限公司 | 批处理业务的健康情况判断方法、装置、设备及存储介质 |
CN115551077A (zh) * | 2022-09-14 | 2022-12-30 | 西北工业大学 | 基于LabVIEW的水声网络节点自定位方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109669766A (zh) | 批处理作业的处理方法、装置、设备及存储介质 | |
US20200250152A1 (en) | System for determining the impact to databases, tables and views by batch processing | |
CN111245900B (zh) | 一种分布式消息发送的处理系统及其处理方法 | |
US20070203973A1 (en) | Fuzzing Requests And Responses Using A Proxy | |
US20190196937A1 (en) | Automated Performance Debugging of Production Applications | |
US9257150B2 (en) | Techniques for analyzing operations of one or more restaurants | |
US7328134B1 (en) | Enterprise integration test tool | |
CN111240812B (zh) | 任务执行方法及装置 | |
CN112395177A (zh) | 业务数据的交互处理方法、装置、设备及存储介质 | |
US9134997B2 (en) | Methods for assessing deliverable product quality and devices thereof | |
US20230004478A1 (en) | Systems and methods of continuous stack trace collection to monitor an application on a server and resolve an application incident | |
US20170337208A1 (en) | Collecting test results in different formats for storage | |
CN106062738B (zh) | 管理作业状态 | |
CN111381940B (zh) | 分布式数据处理方法及装置 | |
CN111125719A (zh) | 一种提升代码安全检测效率的方法、装置、计算机设备、和可读存储介质 | |
CN112650676A (zh) | 软件测试方法、装置、设备及存储介质 | |
CN111124791A (zh) | 一种系统测试方法及装置 | |
US20170357569A1 (en) | System and method for automatic root cause detection | |
CN109271289B (zh) | 一种应用接口监控方法、装置、设备及计算机可读介质 | |
CN111835566A (zh) | 一种系统故障管理方法、装置及系统 | |
CN111143179A (zh) | 定位性能瓶颈的方法、装置、存储介质及电子设备 | |
CN109033196A (zh) | 一种分布式数据调度系统及方法 | |
CN111143177B (zh) | Ibm主机的rmf iii数据的收集方法、系统、装置及存储介质 | |
CN115062080A (zh) | 数据稽核方法、装置、设备及存储介质 | |
CN113132143B (zh) | 服务调用追踪方法及相关产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190423 |
|
WD01 | Invention patent application deemed withdrawn after publication |