CN104317960A - 一种批处理作业的处理方法和装置 - Google Patents
一种批处理作业的处理方法和装置 Download PDFInfo
- Publication number
- CN104317960A CN104317960A CN201410647344.1A CN201410647344A CN104317960A CN 104317960 A CN104317960 A CN 104317960A CN 201410647344 A CN201410647344 A CN 201410647344A CN 104317960 A CN104317960 A CN 104317960A
- Authority
- CN
- China
- Prior art keywords
- batch processing
- record
- processing job
- identification information
- record identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
- G06F16/2386—Bulk updating operations
Abstract
本发明实施例公开了一种断点续处理机制的批处理作业的处理方法和装置,无需在批处理作业前对相应的业务数据表进行备份,在批处理作业出现异常,需要重新提交批处理作业时,可以从上次出现异常的地方继续执行未处理的批处理作业,避免整个业务数据表的重新处理。本发明实施例方法包括:在批处理作业过程中,对业务数据表中每个当前待处理的记录的记录标识信息进行存储,且后一个记录的记录标识信息更新前一个记录的记录标识信息,其中,所述记录标识信息可以对所述记录进行唯一识别;在批处理作业出现异常后,若重新提交批处理作业,则根据存储的所述记录标识信息确定出现异常时的断点记录信息;根据所述断点记录信息继续执行未处理的批处理作业。
Description
技术领域
本发明涉及数据处理技术,尤其涉及一种批处理作业的处理方法和装置。
背景技术
在银行业务中,特别是数据量庞大的大型银行系统,往往需要通过批处理作业成批处理大量数据,例如工资代发业务,行业水电煤费用的代扣,日间业务的账务汇总,客户账单批生成处理,账务报表生成的过程处理等。
在上述批处理作业过程中,批处理程序需按照预设顺序依次对业务数据表中动辄上万条,甚至数十万、百万条的记录进行处理。如果期间批处理作业出现异常,例如某条记录异常、外部数据库异常、或者是内存不足等不可以抗击因素,在排除异常需要重新提交批处理作业时,需要考虑如何重新处理该批处理作业对应的业务数据表。目前,在业界较为普遍的方式是:在批处理作业提交前,对相应的业务数据表进行备份,若出现异常,需要重新提交批处理作业,则根据该备份的业务数据表重新执行批处理作业。
上述方式存在以下缺点:(1)、根据该备份的业务数据表重新执行批处理作业,无法保留上次批处理作业已经处理更新过的数据,业务数据表中的所有数据都得重新处理,在某些数据量庞大的批处理作业过程中,这种重新执行的方式对系统的消耗极大且效率极低;(2)对业务数据表进行数据备份需要大量存储空间及数据库资源,造成资源的过渡消耗;(3)在批处理作业过程中,备份的业务数据表需要控制其他作业不对其进行更新,以保证备份数据的正确性,然而在银行系统日间联机过程中,大量的联机作业在后台不间断运行,此控制往往较难实现。
发明内容
本发明实施例提供了一种断点续处理机制的批处理作业的处理方法和装置,无需在批处理作业前对相应的业务数据表进行备份,在批处理作业出现异常,需要重新提交批处理作业时,可以从上次出现异常的地方继续执行未处理的批处理作业,避免整个业务数据表的重新处理。
本发明实施例的第一方面提供一种批处理作业的处理方法,包括:在批处理作业过程中,
对业务数据表中每个当前待处理的记录的记录标识信息进行存储,且后一个记录的记录标识信息更新前一个记录的记录标识信息,其中,所述记录标识信息可以对所述记录进行唯一识别;
在批处理作业出现异常后,若重新提交批处理作业,则根据存储的所述记录标识信息确定出现异常时的断点记录信息;
根据所述断点记录信息继续执行未处理的批处理作业。
可选地,所述对业务数据表中每个当前待处理的记录的记录标识信息进行存储具体包括:
创建断点状态表;
在每个当前待处理的记录被处理前,将所述记录的记录标识信息写入所述断点状态表中。
可选地,所述记录标识信息包括所述记录的键值信息;
若存在多个业务数据表,则所述记录标识信息还包括业务数据表信息;
若存在一个业务数据表被多个批处理作业引用,则所述记录标识信息还包括批处理作业信息。
可选地,所述记录标识信息还包括批处理作业的运行时间信息;
所述方法还包括:
根据所述记录标识信息确定批处理作业的运行状态信息,所述运行状态信息包括未运行状态、运行失败状态以及运行完成状态;
将批处理作业的运行状态信息写入所述断点状态表。
可选地,所述方法还包括:
根据批处理作业的业务数据量确定断点状态表的写入频率;
所述将所述记录的记录标识信息写入所述断点状态表中具体包括:
根据所述写入频率将所述记录的记录标识信息写入所述断点状态表中。
本发明实施例第二方面提供了一种批处理作业的处理装置,包括:
保存单元,用于在批处理作业过程中,对业务数据表中每个当前待处理的记录的记录标识信息进行存储,其中,所述记录标识信息可以对所述记录进行唯一识别;
第一确定单元,用于在批处理作业出现异常后,若重新提交批处理作业,则根据存储的所述记录标识信息确定出现异常时的断点记录信息;
执行单元,用于根据所述断点记录信息继续执行未处理的批处理作业。
可选地,所述保存单元具体包括:
创建模块,用于创建断点状态表;
写入模块,用于在每个当前待处理的记录被处理前,将所述记录的记录标识信息写入所述断点状态表中,且后一个记录的记录标识信息更新前一个记录的记录标识信息。
可选地,所述记录标识信息包括所述记录的键值信息;
若存在多个业务数据表,则所述记录标识信息还包括业务数据表信息;
若存在一个业务数据表被多个批处理作业引用,则所述记录标识信息还包括批处理作业信息。
可选地,所述记录标识信息还包括批处理作业的运行时间信息;所述装置还包括:
第二确定单元,用于根据所述记录标识信息确定批处理作业的运行状态信息,所述运行状态信息包括未运行状态、运行失败状态以及运行完成状态;
所述写入模块,还用于将批处理作业的运行状态信息写入所述断点状态表。
可选地,所述保存单元还包括:
确定模块,用于根据批处理作业的业务数据量确定断点状态表的写入频率;
所述写入模块,具体用于根据所述写入频率将所述记录的记录标识信息写入所述断点状态表中。
本发明实施例提供的技术方案中,在批处理作业过程中,对业务数据表中每个当前待处理的记录的记录标识信息进行存储,且后一个记录的记录标识信息更新前一个记录的记录标识信息,使得存储的记录标识信息保持为最新的当前待处理的记录的记录标识信息,其中,记录标识信息可以对记录进行唯一识别,在批处理作业出现异常后,若重新提交批处理作业,根据存储的记录标识信息可以对最新的当前待处理的记录进行识别,以确定出现异常时的断点记录信息,该断点记录信息可以指示最新的当前待处理的记录(即断点),然后,根据该断点记录信息继续执行未处理的批处理作业。因此相对于现有技术,本发明实施例无需在批处理作业前对相应的业务数据表进行备份,在批处理作业出现异常,需要重新提交批处理作业时,可以从上次出现异常的地方继续执行未处理的批处理作业,避免整个业务数据表的重新处理。
附图说明
图1为本发明实施例中批处理作业的处理方法一个实施例示意图;
图2为本发明实施例中批处理作业的处理方法另一实施例示意图;
图3为本发明实施例中批处理作业的处理装置一个实施例示意图。
具体实施方式
本发明实施例提供了一种批处理作业的处理方法和装置,无需在批处理作业前对相应的业务数据表进行备份,在批处理作业出现异常,需要重新提交批处理作业时,可以从上次出现异常的地方继续执行未处理的批处理作业,避免整个业务数据表的重新处理,以下分别进行详细说明。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是,本发明实施例中的批处理作业的处理方法是对现有批处理作业逻辑框架的改进,如果现有批处理作业逻辑框架包括批处理作业辅助程序(例如,批处理作业中涉及的检查操作或者其他预处理操作)以及批处理作业主程序(批处理作业的运行操作),则可以预先将批处理作业逻辑框架中的辅助程序分离开来,仅对主程序进行改进以保证批处理作业的单独性,提高发明实施例中的断点续处理的处理效果。
请参阅图1,本发明实施例中批处理作业的处理方法一个实施例包括:
101、对业务数据表中每个当前待处理的记录的记录标识信息进行存储,且后一个记录的记录标识信息更新前一个记录的记录标识信息;
在本实施例中,批处理程序以记录为处理节点,按照预设的顺序依次对业务数据表中的记录进行处理,以对业务数据表中的记录进行更新。在每一个记录将要被处理时,批处理作业的处理装置对当前待处理的记录的记录标识信息进行存储,以将当前待处理的记录的记录标识信息保存下来。需要说明的是,当后一个记录进入当前待处理状态时,表明前一个记录已经处理完毕,在存储操作过程中,该后一个记录的记录标识信息更新该前一个记录的记录标识信息,使得存储的记录标识信息保持为最新的当前待处理的记录的记录标识信息,由此可知,在以记录为处理节点的一个批处理作业中,存储的记录标识信息的数量始终为一个,且随着预处理作业对记录的依次处理而不断更新。
需要说明的是,记录标识信息可以对记录进行唯一识别,以使得批处理作业的处理装置根据该记录标识信息在业务数据表中查询到对应的记录。
102、在批处理作业出现异常后,若重新提交批处理作业,则根据存储的记录标识信息确定出现异常时的断点记录信息;
由于存储的记录标识信息为最新的当前待处理的记录的记录标识信息,因而可以根据存储的记录标识信息识别业务数据表哪个记录为最新的当前待处理的记录,在批处理作业出现异常后,存储的记录标识信息的记录标识信息不再进行更新,其保留的记录标识信息即为出现异常前最后的一个当前待处理的记录的记录标识信息,因此,在批处理作业出现异常后,若重新提交批处理作业,批处理作业的处理装置根据存储的记录标识信息确定出现异常时的断点记录信息,该断点记录信息包括出现异常前最后的一个当前待处理的记录(即断点)。
103、根据断点记录信息继续执行未处理的批处理作业;
批处理作业的处理装置通过读取断点记录信息,得到断点对应的记录,并从断点开始继续执行未处理的批处理作业,从而实现批处理作业的断点续处理。
本发明实施例提供的技术方案中,在批处理作业过程中,对业务数据表中每个当前待处理的记录的记录标识信息进行存储,且后一个记录的记录标识信息更新前一个记录的记录标识信息,使得存储的记录标识信息保持为最新的当前待处理的记录的记录标识信息,其中,记录标识信息可以对记录进行唯一识别,在批处理作业出现异常后,若重新提交批处理作业,根据存储的记录标识信息可以对最新的当前待处理的记录进行识别,以确定出现异常时的断点记录信息,该断点记录信息可以指示最新的当前待处理的记录(即断点),然后,根据该断点记录信息继续执行未处理的批处理作业。因此相对于现有技术,本发明实施例无需在批处理作业前对相应的业务数据表进行备份,在批处理作业出现异常,需要重新提交批处理作业时,可以从上次出现异常的地方继续执行未处理的批处理作业,避免整个业务数据表的重新处理。
下面在图1所示实施例的基础上,进一步说明如何对记录标识信息进行存储,具体请参阅图2,本发明实施例中批处理作业的处理方法另一实施例包括:
201、创建断点状态表;
在本实施例中,为了方便对记录标识信息的读写操作,可以构建一个断点状态表,断点状态表的关键字段可以根据记录标识信息的内容来确定。
在本实施例中,记录的记录标识信息可以采用记录的键值信息,以对记录进行唯一识别,如果在实际应用过程中,仅涉及一个批处理作业以及一个业务数据表,则记录标识信息仅需包含记录的键值信息,便可以准确定位到对应的记录;如果在实际应用过程中,考虑到存在多个业务数据表的情况,记录标识信息还可以包括业务数据表信息,例如业务数据表名,从而通过业务数据表信息和键值信息准确定位到某个业务数据表中某个记录;如果在实际应用过程中,考虑同一个业务数据表被多个批处理作业引用的情况,记录标识信息还可以包括批处理作业信息,例如批处理作业名和程序名,从而通过批处理作业信息定位到某个批处理作业中的记录。下面从考虑多个批处理作业以及多个业务数据表的情况出发,对断点状态表的结构设计进行说明:设置断点状态表的关键字段,该关键字段包括批处理作业名JOB_NAME、程序名PGM_NAME、业务数据表名TABLE_NAME以及键值RECORD_KEY。
在本实施例中,键值信息可以为记录的主键值组合成一个长字符串。
202、在每个当前待处理的记录被处理前,将记录的记录标识信息写入断点状态表中;
在每一个记录将要被处理时,批处理作业的处理装置将该记录的记录标识信息写入断点状态表中,需要说明的是,当前一个记录已经处理完毕,后一个记录进入当前待处理状态时,在写入过程中,该后一个记录的记录标识信息更新该前一个记录的记录标识信息,使得断点状态表中的记录标识信息保持为最新的当前待处理的记录的记录标识信息,由此可知,在以记录为处理节点的一个批处理作业中,存储的记录标识信息的数量始终为一个,且随着预处理作业对记录的依次处理而不断更新。
在本实施例中,以记录标识信息包括键值信息、批处理作业信息以及业务数据表信息为例,则批处理作业的处理装置在每个当前待处理的记录被处理前,需要将该记录对应的批处理作业名和程序名、该记录对应的业务数据表名、该记录的键值分别写入到断点状态表中,作为对应字段的取值,使得批处理作业的处理装置通过读取该断点状态表便可以根据表中的记录标识信息准确定位到指定批处理作业中的指定业务数据表中的指定记录。
可选地,在本实施例中,还可以对将记录的记录标识信息写入断点状态表中的写入频率进行控制,以减低对数据库的负荷,具体的:
根据批处理作业的业务数据量确定断点状态表的写入频率,并根据该写入频率将记录的记录标识信息写入断点状态表中。
在本实施例中,批处理作业的处理装置可以根据业务数据量来决定commit的数据量以及commit频率,以确定批处理作业过程中将记录的记录标识信息写入断点状态表中的写入频率。例如每100条记录处理完成就执行数据库的commit操作,则在处理过程中,只需每100条记录执行一次对断点状态表的写入操作。
203、在批处理作业出现异常后,若重新提交批处理作业,则根据读取的断点状态表确定出现异常时的断点记录信息;
由于断点状态表写有最新的当前待处理的记录的记录标识信息,因而可以根据读取的断点状态表识别业务数据表哪个记录为最新的当前待处理的记录,在批处理作业出现异常后,断点状态表中的记录标识信息不再进行更新,其保留的记录标识信息即为出现异常前最后的一个当前待处理的记录的记录标识信息,因此,在批处理作业出现异常后,若重新提交批处理作业,批处理作业的处理装置根据存储的记录标识信息确定出现异常时的断点记录信息,该断点记录信息包括出现异常前最后的一个当前待处理的记录(即断点)。
204、根据断点记录信息继续执行未处理的批处理作业;
本实施例中的步骤204与图1所示实施例中的步骤103过程相同,在此不再赘述。
在本实施例中,记录标识信息还可以进一步包括批处理作业的运行时间信息,同样地,该运行时间信息随着预处理作业对记录的依次处理而不断更新,则在对断点状态表的结构设计中,关键字段还包括批处理作业运行日期UPD_DATE和批处理作业运行时间UPD_TIME,以记录下批处理作业的运行时间信息,并在每个当前待处理的记录被处理前,批处理作业的处理装置将记录对应的批处理作业的运行时间信息写入断点状态表中,作为对应字段(UPD_DATE,UPD_TIME)的取值。
205、根据记录标识信息确定批处理作业的运行状态信息;
在本实施例中,在对断点状态表的结构设计中,关键字段还可以包括用于记录批处理作业的运行状态信息的字段:批处理作业运行状态JOB_STATUS,在断点状态表的未被更新前,批处理作业运行状态默认为未运行状态,例如,JOB_STATUS的取值为空值时表示批处理作业运行状态为未运行状态。在批处理作业结束后,根据断点状态表中的记录标识信息可以确定该批处理作业是否出现异常,具体的:若记录标识信息与业务数据表中的待处理的最后一条记录不对应,则可以判断该批处理作业在运行过程中出现异常,并确定批处理作业的运行状态为运行失败状态,否则,可以判断该批处理作业已成功运行,并确定批处理作业的运行状态为运行完成状态。
206、将批处理作业的运行状态信息写入断点状态表;
在确定批处理作业的运行状态信息后,如果确定批处理作业的运行状态为运行失败状态,则将断点状态表中的批处理作业运行状态更新为运行失败状态,例如,JOB_STATUS的取值为“F”时表示批处理作业运行状态为运行失败状态,将JOB_STATUS的取值置为“F”;如果确定批处理作业的运行状态为运行完成状态,则将断点状态表中的批处理作业运行状态更新为运行完成状态,例如,JOB_STATUS的取值为“C”时表示批处理作业运行状态为运行完成状态,将JOB_STATUS的取值置为“C”。
基于上述步骤205和步骤206可以对批处理作业的运行状态进行标示,并将最后更新得到的断点状态表作为数据输出。在实际应用过程中,在下一次需要执行该批处理作业时,可以先调用上述断点状态表,并利用其中的运行状态信息检查该批处理作业的状态,若批处理作业运行状态显示为未运行状态,则从批处理作业对应的第一个记录开始执行步骤101以及后续步骤,若批处理作业运行状态显示为运行失败状态,则批处理作业进入重新提交状态,利用该断点状态表中的记录标识信息得到断点记录信息,并从断点开始继续执行未处理的批处理作业,若批处理作业运行状态显示为运行完成状态,则表明该批处理作业已经成功运行结束,退出此次批处理作业,跳过处理,避免手误重复提交。
上面对本发明实施例中的批处理作业的处理方法进行了描述,下面对本发明实施例中的批处理作业的处理装置进行描述,请参阅图3,本发明实施例中批处理作业的处理装置一个实施例包括:
保存单元301,用于在批处理作业过程中,对业务数据表中每个当前待处理的记录的记录标识信息进行存储,其中,所述记录标识信息可以对所述记录进行唯一识别;
第一确定单元302,用于在批处理作业出现异常后,若重新提交批处理作业,则根据存储的所述记录标识信息确定出现异常时的断点记录信息;
执行单元303,用于根据所述断点记录信息继续执行未处理的批处理作业。
为便于理解,下面以一具体应用场景为例,对本实施例中批处理作业的处理装置内部运作流程进行描述:
在批处理作业过程中,保存单元301对业务数据表中每个当前待处理的记录的记录标识信息进行存储,其中,所述记录标识信息可以对所述记录进行唯一识别;在批处理作业出现异常后,若重新提交批处理作业,则第一确定单元302根据存储的所述记录标识信息确定出现异常时的断点记录信息;执行单元303根据所述断点记录信息继续执行未处理的批处理作业。
可选地,在本实施例中,所述保存单元具体包括:
创建模块3011,用于创建断点状态表;
写入模块3012,用于在每个当前待处理的记录被处理前,将所述记录的记录标识信息写入所述断点状态表中,且后一个记录的记录标识信息更新前一个记录的记录标识信息。
可选地,在本实施例中,所述记录标识信息包括所述记录的键值信息;
若存在多个业务数据表,则所述记录标识信息还包括业务数据表信息;
若存在一个业务数据表被多个批处理作业引用,则所述记录标识信息还包括批处理作业信息。
可选地,在本实施例中,所述记录标识信息还包括批处理作业的运行时间信息;所述保存单元还包括:
第二确定单元304,用于根据所述记录标识信息确定批处理作业的运行状态信息,所述运行状态信息包括未运行状态、运行失败状态以及运行完成状态;
所述写入模块3012,还用于将批处理作业的运行状态信息写入所述断点状态表。
可选地,在本实施例中,所述保存单元301还包括:
确定模块3013,用于根据批处理作业的业务数据量确定断点状态表的写入频率;
所述写入模块3012,具体用于根据所述写入频率将所述记录的记录标识信息写入所述断点状态表中。
本发明实施例提供的技术方案中,在批处理作业过程中,保存单元301对业务数据表中每个当前待处理的记录的记录标识信息进行存储,且后一个记录的记录标识信息更新前一个记录的记录标识信息,使得存储的记录标识信息保持为最新的当前待处理的记录的记录标识信息,其中,记录标识信息可以对记录进行唯一识别,在批处理作业出现异常后,若重新提交批处理作业,第一确定单元302根据存储的记录标识信息可以对最新的当前待处理的记录进行识别,以确定出现异常时的断点记录信息,该断点记录信息可以指示最新的当前待处理的记录(即断点),然后,执行单元303根据该断点记录信息继续执行未处理的批处理作业。因此相对于现有技术,本发明实施例无需在批处理作业前对相应的业务数据表进行备份,在批处理作业出现异常,需要重新提交批处理作业时,可以从上次出现异常的地方继续执行未处理的批处理作业,避免整个业务数据表的重新处理。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种批处理作业的处理方法,其特征在于,包括:在批处理作业过程中,
对业务数据表中每个当前待处理的记录的记录标识信息进行存储,且后一个记录的记录标识信息更新前一个记录的记录标识信息,其中,所述记录标识信息可以对所述记录进行唯一识别;
在批处理作业出现异常后,若重新提交批处理作业,则根据存储的所述记录标识信息确定出现异常时的断点记录信息;
根据所述断点记录信息继续执行未处理的批处理作业。
2.如权利要求1所述的批处理作业的处理方法,其特征在于,所述对业务数据表中每个当前待处理的记录的记录标识信息进行存储具体包括:
创建断点状态表;
在每个当前待处理的记录被处理前,将所述记录的记录标识信息写入所述断点状态表中。
3.如权利要求2所述的批处理作业的处理方法,其特征在于,所述记录标识信息包括所述记录的键值信息;
若存在多个业务数据表,则所述记录标识信息还包括业务数据表信息;
若存在一个业务数据表被多个批处理作业引用,则所述记录标识信息还包括批处理作业信息。
4.如权利要求3所述的批处理作业的处理方法,其特征在于,所述记录标识信息还包括批处理作业的运行时间信息;
所述方法还包括:
根据所述记录标识信息确定批处理作业的运行状态信息,所述运行状态信息包括未运行状态、运行失败状态以及运行完成状态;
将批处理作业的运行状态信息写入所述断点状态表。
5.如权利要求2所述的批处理作业的处理方法,其特征在于,所述方法还包括:
根据批处理作业的业务数据量确定断点状态表的写入频率;
所述将所述记录的记录标识信息写入所述断点状态表中具体包括:
根据所述写入频率将所述记录的记录标识信息写入所述断点状态表中。
6.一种批处理作业的处理装置,其特征在于,包括:
保存单元,用于在批处理作业过程中,对业务数据表中每个当前待处理的记录的记录标识信息进行存储,其中,所述记录标识信息可以对所述记录进行唯一识别;
第一确定单元,用于在批处理作业出现异常后,若重新提交批处理作业,则根据存储的所述记录标识信息确定出现异常时的断点记录信息;
执行单元,用于根据所述断点记录信息继续执行未处理的批处理作业。
7.如权利要求6所述的批处理作业的处理装置,其特征在于,所述保存单元具体包括:
创建模块,用于创建断点状态表;
写入模块,用于在每个当前待处理的记录被处理前,将所述记录的记录标识信息写入所述断点状态表中,且后一个记录的记录标识信息更新前一个记录的记录标识信息。
8.如权利要求7所述的批处理作业的处理装置,其特征在于,所述记录标识信息包括所述记录的键值信息;
若存在多个业务数据表,则所述记录标识信息还包括业务数据表信息;
若存在一个业务数据表被多个批处理作业引用,则所述记录标识信息还包括批处理作业信息。
9.如权利要求8所述的批处理作业的处理装置,其特征在于,所述记录标识信息还包括批处理作业的运行时间信息;所述装置还包括:
第二确定单元,用于根据所述记录标识信息确定批处理作业的运行状态信息,所述运行状态信息包括未运行状态、运行失败状态以及运行完成状态;
所述写入模块,还用于将批处理作业的运行状态信息写入所述断点状态表。
10.如权利要求7所述的批处理作业的处理装置,其特征在于,所述保存单元还包括:
确定模块,用于根据批处理作业的业务数据量确定断点状态表的写入频率;
所述写入模块,具体用于根据所述写入频率将所述记录的记录标识信息写入所述断点状态表中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410647344.1A CN104317960A (zh) | 2014-11-14 | 2014-11-14 | 一种批处理作业的处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410647344.1A CN104317960A (zh) | 2014-11-14 | 2014-11-14 | 一种批处理作业的处理方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104317960A true CN104317960A (zh) | 2015-01-28 |
Family
ID=52373192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410647344.1A Pending CN104317960A (zh) | 2014-11-14 | 2014-11-14 | 一种批处理作业的处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104317960A (zh) |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104866595A (zh) * | 2015-05-29 | 2015-08-26 | 北京京东尚科信息技术有限公司 | 对关系数据库脚本加入事务控制的方法及装置 |
CN105323627A (zh) * | 2015-11-24 | 2016-02-10 | 深圳市九洲电器有限公司 | 机顶盒json数据解析存储方法及系统 |
CN105446807A (zh) * | 2015-11-10 | 2016-03-30 | 中国建设银行股份有限公司 | 批处理方法及装置 |
CN105487924A (zh) * | 2015-11-30 | 2016-04-13 | 中国建设银行股份有限公司 | 一种批处理控制方法及装置 |
CN106161393A (zh) * | 2015-04-17 | 2016-11-23 | 伊姆西公司 | 实现多个内容管理服务操作的方法和装置 |
CN106648842A (zh) * | 2016-12-27 | 2017-05-10 | 中国建设银行股份有限公司 | 一种批量作业续跑方法及装置 |
CN106682017A (zh) * | 2015-11-09 | 2017-05-17 | 高德软件有限公司 | 一种数据库更新方法及装置 |
CN107368359A (zh) * | 2017-05-31 | 2017-11-21 | 杭州大搜车汽车服务有限公司 | 一种异步任务执行方法及其存储介质、装置 |
CN108009037A (zh) * | 2017-11-24 | 2018-05-08 | 中国银行股份有限公司 | 批处理作业故障处理方法、装置、存储介质及设备 |
CN108241543A (zh) * | 2016-12-30 | 2018-07-03 | 深圳壹账通智能科技有限公司 | 业务操作断点执行的方法、业务服务器及系统 |
CN108536551A (zh) * | 2018-03-20 | 2018-09-14 | 中国银行股份有限公司 | 一种批处理程序的中断重入方法及系统 |
CN108984549A (zh) * | 2017-05-31 | 2018-12-11 | 北京京东尚科信息技术有限公司 | 一种基于动态配置数据库的分库分表数据抽取方法和装置 |
CN109669766A (zh) * | 2018-09-11 | 2019-04-23 | 深圳平安财富宝投资咨询有限公司 | 批处理作业的处理方法、装置、设备及存储介质 |
CN110362419A (zh) * | 2019-07-22 | 2019-10-22 | 中国工商银行股份有限公司 | 应用于集中式多时区系统的数据处理方法及装置 |
CN110381150A (zh) * | 2019-07-24 | 2019-10-25 | 中国工商银行股份有限公司 | 区块链上的数据处理方法、装置、电子设备及存储介质 |
CN110727539A (zh) * | 2019-12-19 | 2020-01-24 | 北京江融信科技有限公司 | 批处理任务中的异常处理方法、系统及电子设备 |
CN110866834A (zh) * | 2019-10-12 | 2020-03-06 | 中国平安财产保险股份有限公司 | 批处理程序的执行方法及系统 |
CN110874286A (zh) * | 2018-08-29 | 2020-03-10 | 中国石油化工股份有限公司 | 基于属性计算的批处理作业断点恢复方法及其系统 |
CN110879763A (zh) * | 2019-10-31 | 2020-03-13 | 北京浪潮数据技术有限公司 | 一种任务项执行方法、装置、设备及计算机可读存储介质 |
CN111274090A (zh) * | 2020-01-16 | 2020-06-12 | 泰康保险集团股份有限公司 | 作业处理方法、装置、介质及电子设备 |
CN111752842A (zh) * | 2020-06-28 | 2020-10-09 | 中国银行股份有限公司 | 银行批量程序故障处理方法及装置 |
CN112685208A (zh) * | 2020-12-15 | 2021-04-20 | 建信金融科技有限责任公司 | 批量处理方法、装置、设备及存储介质 |
CN113010566A (zh) * | 2021-03-31 | 2021-06-22 | 建信金融科技有限责任公司 | 批处理结果的检查方法及装置 |
CN113157405A (zh) * | 2020-01-22 | 2021-07-23 | 北京京东振世信息技术有限公司 | 业务流程断点重试的方法和装置 |
CN113704277A (zh) * | 2021-07-14 | 2021-11-26 | 浪潮商用机器有限公司 | 一种基于数据库的断点续传方法及相关装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102495906A (zh) * | 2011-12-23 | 2012-06-13 | 天津神舟通用数据技术有限公司 | 一种实现断点续传的增量式数据迁移方法 |
CN104021043A (zh) * | 2014-06-23 | 2014-09-03 | 中国银行股份有限公司 | 批量应用程序的中断重入方法及系统 |
-
2014
- 2014-11-14 CN CN201410647344.1A patent/CN104317960A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102495906A (zh) * | 2011-12-23 | 2012-06-13 | 天津神舟通用数据技术有限公司 | 一种实现断点续传的增量式数据迁移方法 |
CN104021043A (zh) * | 2014-06-23 | 2014-09-03 | 中国银行股份有限公司 | 批量应用程序的中断重入方法及系统 |
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106161393A (zh) * | 2015-04-17 | 2016-11-23 | 伊姆西公司 | 实现多个内容管理服务操作的方法和装置 |
CN106161393B (zh) * | 2015-04-17 | 2020-04-24 | 伊姆西Ip控股有限责任公司 | 实现多个内容管理服务操作的方法和装置 |
CN104866595A (zh) * | 2015-05-29 | 2015-08-26 | 北京京东尚科信息技术有限公司 | 对关系数据库脚本加入事务控制的方法及装置 |
CN104866595B (zh) * | 2015-05-29 | 2019-05-03 | 北京京东尚科信息技术有限公司 | 对关系数据库脚本加入事务控制的方法及装置 |
CN106682017A (zh) * | 2015-11-09 | 2017-05-17 | 高德软件有限公司 | 一种数据库更新方法及装置 |
CN106682017B (zh) * | 2015-11-09 | 2020-07-31 | 阿里巴巴(中国)有限公司 | 一种数据库更新方法及装置 |
CN105446807A (zh) * | 2015-11-10 | 2016-03-30 | 中国建设银行股份有限公司 | 批处理方法及装置 |
CN105323627B (zh) * | 2015-11-24 | 2018-09-04 | 深圳市九洲电器有限公司 | 机顶盒json数据解析存储方法及系统 |
CN105323627A (zh) * | 2015-11-24 | 2016-02-10 | 深圳市九洲电器有限公司 | 机顶盒json数据解析存储方法及系统 |
CN105487924A (zh) * | 2015-11-30 | 2016-04-13 | 中国建设银行股份有限公司 | 一种批处理控制方法及装置 |
CN106648842A (zh) * | 2016-12-27 | 2017-05-10 | 中国建设银行股份有限公司 | 一种批量作业续跑方法及装置 |
CN108241543B (zh) * | 2016-12-30 | 2020-07-07 | 深圳壹账通智能科技有限公司 | 业务操作断点执行的方法、业务服务器及系统 |
CN108241543A (zh) * | 2016-12-30 | 2018-07-03 | 深圳壹账通智能科技有限公司 | 业务操作断点执行的方法、业务服务器及系统 |
CN107368359A (zh) * | 2017-05-31 | 2017-11-21 | 杭州大搜车汽车服务有限公司 | 一种异步任务执行方法及其存储介质、装置 |
CN108984549A (zh) * | 2017-05-31 | 2018-12-11 | 北京京东尚科信息技术有限公司 | 一种基于动态配置数据库的分库分表数据抽取方法和装置 |
CN108009037A (zh) * | 2017-11-24 | 2018-05-08 | 中国银行股份有限公司 | 批处理作业故障处理方法、装置、存储介质及设备 |
CN108536551A (zh) * | 2018-03-20 | 2018-09-14 | 中国银行股份有限公司 | 一种批处理程序的中断重入方法及系统 |
CN108536551B (zh) * | 2018-03-20 | 2022-04-15 | 中国银行股份有限公司 | 一种批处理程序的中断重入方法及系统 |
CN110874286A (zh) * | 2018-08-29 | 2020-03-10 | 中国石油化工股份有限公司 | 基于属性计算的批处理作业断点恢复方法及其系统 |
CN109669766A (zh) * | 2018-09-11 | 2019-04-23 | 深圳平安财富宝投资咨询有限公司 | 批处理作业的处理方法、装置、设备及存储介质 |
CN110362419B (zh) * | 2019-07-22 | 2023-04-07 | 中国工商银行股份有限公司 | 应用于集中式多时区系统的数据处理方法及装置 |
CN110362419A (zh) * | 2019-07-22 | 2019-10-22 | 中国工商银行股份有限公司 | 应用于集中式多时区系统的数据处理方法及装置 |
CN110381150A (zh) * | 2019-07-24 | 2019-10-25 | 中国工商银行股份有限公司 | 区块链上的数据处理方法、装置、电子设备及存储介质 |
CN110381150B (zh) * | 2019-07-24 | 2021-12-17 | 中国工商银行股份有限公司 | 区块链上的数据处理方法、装置、电子设备及存储介质 |
CN110866834A (zh) * | 2019-10-12 | 2020-03-06 | 中国平安财产保险股份有限公司 | 批处理程序的执行方法及系统 |
CN110866834B (zh) * | 2019-10-12 | 2023-08-18 | 中国平安财产保险股份有限公司 | 批处理程序的执行方法及系统 |
CN110879763A (zh) * | 2019-10-31 | 2020-03-13 | 北京浪潮数据技术有限公司 | 一种任务项执行方法、装置、设备及计算机可读存储介质 |
CN110727539A (zh) * | 2019-12-19 | 2020-01-24 | 北京江融信科技有限公司 | 批处理任务中的异常处理方法、系统及电子设备 |
CN111274090A (zh) * | 2020-01-16 | 2020-06-12 | 泰康保险集团股份有限公司 | 作业处理方法、装置、介质及电子设备 |
CN113157405A (zh) * | 2020-01-22 | 2021-07-23 | 北京京东振世信息技术有限公司 | 业务流程断点重试的方法和装置 |
CN111752842A (zh) * | 2020-06-28 | 2020-10-09 | 中国银行股份有限公司 | 银行批量程序故障处理方法及装置 |
CN111752842B (zh) * | 2020-06-28 | 2024-02-27 | 中国银行股份有限公司 | 银行批量程序故障处理方法及装置 |
CN112685208A (zh) * | 2020-12-15 | 2021-04-20 | 建信金融科技有限责任公司 | 批量处理方法、装置、设备及存储介质 |
CN112685208B (zh) * | 2020-12-15 | 2023-06-06 | 建信金融科技有限责任公司 | 批量处理方法、装置、设备及存储介质 |
CN113010566A (zh) * | 2021-03-31 | 2021-06-22 | 建信金融科技有限责任公司 | 批处理结果的检查方法及装置 |
CN113704277A (zh) * | 2021-07-14 | 2021-11-26 | 浪潮商用机器有限公司 | 一种基于数据库的断点续传方法及相关装置 |
CN113704277B (zh) * | 2021-07-14 | 2024-02-02 | 浪潮商用机器有限公司 | 一种基于数据库的断点续传方法及相关装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104317960A (zh) | 一种批处理作业的处理方法和装置 | |
CN103970585B (zh) | 创建虚拟机的方法及装置 | |
CN104331285A (zh) | 一种代码自动生成方法及系统 | |
CN106970856B (zh) | 对数据进行备份、恢复及挂载的数据管理系统及方法 | |
CN102609337A (zh) | 一种内存数据库快速数据恢复方法 | |
CN102902558A (zh) | 项目脚本文件更新系统和方法、脚本文件合并方法和装置 | |
CN103034566A (zh) | 虚拟机还原的方法和装置 | |
CN105159991B (zh) | 一种保持数据一致性的方法、装置、系统和应用服务器 | |
CN104516796B (zh) | 一种基于命令集的网元备份与恢复方法及装置 | |
CN103077241A (zh) | 将文件拆分后并行加载数据入库的方法 | |
CN112612775B (zh) | 一种数据存储方法、装置、计算机设备及存储介质 | |
CN103631967A (zh) | 一种带自增量标识字段的数据表的处理方法及装置 | |
CN105224422A (zh) | 一种数据备份方法及设备 | |
CN106897123B (zh) | 数据库操作方法及装置 | |
CN103678696A (zh) | 控制数据读取分离的方法及装置 | |
CN114546510B (zh) | 一种挂起功能的验证方法、装置、电子设备及存储介质 | |
CN111143323B (zh) | Mpp数据库管理方法、装置及系统 | |
CN104317963A (zh) | 一种数据处理方法及装置 | |
CN110597821B (zh) | 数据仓库表结构变更方法及装置 | |
CN106528349B (zh) | 一种数据存储方法及装置 | |
CN103226610A (zh) | 数据库表查询方法和装置 | |
CN105608150A (zh) | 一种业务数据的处理方法及系统 | |
CN105224418A (zh) | 一种数据备份方法和装置 | |
CN107179965A (zh) | 数据库恢复方法及装置 | |
CN112631763A (zh) | 一种主机程序的程序变更方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150128 |