CN103218256A - 一种主机批量的回退方法以及系统 - Google Patents
一种主机批量的回退方法以及系统 Download PDFInfo
- Publication number
- CN103218256A CN103218256A CN2013101360052A CN201310136005A CN103218256A CN 103218256 A CN103218256 A CN 103218256A CN 2013101360052 A CN2013101360052 A CN 2013101360052A CN 201310136005 A CN201310136005 A CN 201310136005A CN 103218256 A CN103218256 A CN 103218256A
- Authority
- CN
- China
- Prior art keywords
- batch
- time point
- backup
- batches
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Retry When Errors Occur (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种主机批量的回退方法及系统,所述方法包括:根据备份频度将所述的主机上正在运行的批量状态信息进行备份;采集用户输入的批量回退命令;根据所述的批量回退命令确定批量回退的时间点;确定所述的时间点之前最近一次的备份时间;恢复批量状态至所述的最近一次的备份时间;从所述的主机上采集所述的批量从所述的备份时间至所述的时间点之间的运行信息以及排程信息;根据所述的运行信息、所述的排程信息将所述的批量状态恢复至发生异常时的时间点。克服了现有技术中由于应用批量处理规模庞大、逻辑架构复杂,批量在运行过程中产生排程执行异常后,无法让批量状态尽快恢复到之前的某个时间点的技术难题。
Description
技术领域
本发明是关于批量处理技术领域,特别是关于批量状态异常的处理技术,具体的讲是一种主机批量的回退方法以及系统。
背景技术
银行的数据处理主要包括如下两种模式:联机模式和批量模式。联机处理模式主要用于处理交互式的实时数据,比如存取款时的数据处理流程、银行卡消费时对应的数据处理流程、帐务查询时对应的数据处理流程等。批量处理模式主要用于处理大数据量的非实时数据,比如代发工资时对应的批量处理流程、中间业务处理流程和报表统计对应的数据处理流程等。批量模式一般固定在系统资源相对空闲的时间运行,比如每天00:00到06:00,目标是减少对联机的影响,均衡使用主机资源和提高海量数据处理效率。
批量处理流程是一个比较完整的系统流程,构成批量的基本单元是作业(也可称之为任务),这些作业并不是孤立存在的,而是通过前后项关系设置,首尾相连,形成了一张关系错综复杂的有向无环图。各个作业按照此前后关系运行,调用相关的批量程序(一般一个作业由若干步骤组成,一个作业完成一个或多个独立的功能),最终完成复杂的多功能数据处理流程。为了适应银行的数据庞大性和复杂性,综合批量系统具有相当大的作业总量(规模超过十五万个)和相当高的并发处理能力(同一时间并行运行的作业数量),批量高峰期并发度达到上千甚至几千个作业,它为海量数据高效处理提供了有力的技术支撑。
目前,对于批量系统的管理运行完全依赖批量排程工具。因批量模式由众多事务单元组成,各事务单元间逻辑关系错综复杂,且批量工具不支持批量逆运行,所以无法简单回退。主机系统异常、批量系统异常、批量系统文件损毁或者灾难发生、甚至人为原因都可能导致非常规情形的发生,即批量运行状态全部或部分丢失,应用批量处理流程将被迫中断,且无法继续运行。由于批量的固有特性使得其难以在短时间内经人工处理后恢复运行,将会严重影响数据的正常处理,导致银行被迫停止提供对外服务,造成重大损失。
因此,鉴于应用批量作业数量庞大、逻辑架构复杂,批量在运行过程中产生排程异常后,如何实现让批量状态恢复到之前的某个时间点一直是困扰业界的一个难题。
发明内容
为了克服了现有技术中由于应用批量作业数量庞大、逻辑架构复杂,批量在运行过程中产生排程异常后,无法让批量状态尽快恢复到之前的某个时间点的技术难题,本发明实施例提供了一种主机批量的回退方法以及系统,在异常发生的情况下避免了损失,有效地保障数据的完整性和数据流程的连续性。
本发明的目的之一是,提供一种主机批量的回退方法,所述的方法包括根据备份频度将所述的主机上正在运行的批量进行备份;采集所述的批量发生异常时的时间点;确定所述的时间点之前最近一次的备份时间;恢复批量状态至所述的最近一次的备份时间;从所述的主机上采集所述的批量从所述的备份时间至所述的时间点之间的运行信息以及排程信息;根据所述的运行信息、所述的排程信息将所述的批量状态恢复至发生异常时的时间点。
本发明的目的之一是,提供一种主机批量的回退方法,所述的方法包括:根据备份频度将所述的主机上正在运行的批量进行备份;采集用户输入的批量回退命令;根据所述的批量回退命令确定批量回退的时间点;确定所述的时间点之前最近一次的备份时间;恢复批量状态至所述的最近一次的备份时间;从所述的主机上采集所述的批量从所述的备份时间至所述的时间点之间的运行信息以及排程信息;根据所述的运行信息、所述的排程信息将所述的批量状态恢复至所述的时间点。
本发明的目的之一是,提供一种主机批量的回退系统,所述的回退系统包括:数据备份装置,用于根据备份频度将所述的主机上正在运行的批量进行备份;时间点采集装置,用于采集所述的批量发生异常时的时间点,或采集用户输入的批量回退命令,根据所述的批量回退命令确定批量回退的时间点;备份时间确定装置,用于确定所述的时间点之前最近一次的备份时间;第一状态恢复装置,用于恢复批量状态至所述的最近一次的备份时间;运行信息采集装置,用于从所述的主机上采集所述的批量从所述的备份时间至所述的时间点之间的运行信息以及排程信息;第二状态恢复装置,用于根据所述的运行信息、所述的排程信息将所述的批量状态恢复至所述的时间点。
本发明的有益效果在于,提供了一种主机批量的回退方法以及系统,克服了现有技术中由于应用批量作业数量庞大、逻辑架构复杂,批量在运行过程中产生排程异常后,无法让批量状态尽快恢复到之前的某个时间点的技术难题,一旦遇到异常情况,用户可以快速完整地将批量状态恢复至异常前的任意指定时刻,并使批量继续健康运行,为保障批量稳定运行、业务数据连续性完整性提供了有力支撑,提高了批量系统的稳定性和抵御风险的能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的第一种主机批量的回退方法的实施方式一的具体流程图;
图2为图1中的步骤S106的具体流程图;
图3为本发明实施例提供的第一种主机批量的回退方法的实施方式二的具体流程图;
图4为本发明实施例提供的另一种主机批量的回退方法的实施方式一的具体流程图;
图5为本发明实施例提供的另一种主机批量的回退方法的实施方式二的具体流程图;
图6为本发明提供的一种主机批量的回退方法的具体实施例的流程图;
图7为本发明实施例提供的一种主机批量的回退系统的实施方式一的结构框图;
图8为本发明实施例提供的一种主机批量的回退系统中第二状态恢复装置的结构框图;
图9为本发明实施例提供的一种主机批量的回退系统的实施方式二的结构框图;
图10是步骤S105在单个作业状态时对应的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的第一种主机批量的回退方法的实施方式一的具体流程图,由图1可知,所述的方法包括:
S101:根据备份频度将所述的主机上正在运行的批量进行备份。即该步骤提供了一种完备的批量文件备份机制,将所述的主机上正在运行的批量状态信息进行备份,用户可以根据实际需要,预先设定备份频度,比如,在银行批量高峰期00:00-04:00每半小时进行一次备份,其他时间每2小时进行一次备份。备份频度越高,批量回退所需时间越短,相应的备份装置所消耗的系统资源越多;备份频度越低,批量回退所需时间越长,相应的系统消耗也越少。用户可以根据自身批量系统的特性来设定备份频度。
S102:采集所述的批量发生异常时的时间点。在实际的使用过程中,主机的异常、批量系统异常、批量系统文件损毁或者灾难发生,甚至人为原因都可能导致非常规情形的发生,即批量运行状态全部或部分丢失,应用批量将被迫中断,且无法继续运行,批量发生异常时,批量状态已被破坏,且没有任何作业在运行(即批量处于一种静止状态)。发生故障异常的时刻即为该步骤提及的时间点,即要把批量状态恢复到哪个时间点,比如A日E时。
S103:确定所述的时间点之前最近一次的备份时间。由于步骤S101在异常发生之前均按照备份频度进行批量的备份,因此发生异常时首先确定异常发生的时间点之前最近一次的备份时间,比如A日D时。
S104:恢复批量状态至所述的最近一次的备份时间。
在具体的实施方式中,若异常发生后,如果发现24小时之内没有批量自身的文件备份,则从外部导入最近一次的应用版本定义。应用版本定义导入后,重新制定批量计划(后续再将批量状态从最开始状态恢复到异常发生前的指定时间点)。
S105:从所述的主机上采集所述的批量从所述的备份时间至所述的时间点之间的运行信息以及排程信息。
在具体的实施方式中,可读取主机系统中作业输出队列信息,抓取指定时间段内指定用户名提交的作业运行信息,采集的运行信息包括:作业名、作业号、返回码、结束日期、结束时间点。
所述的排程信息包括所述的批量对应的各个作业遵循的运行规则。也即排程信息是指组成批量的各作业必须遵循一定的运行规则,比如前后项关系、定时运行、特殊资源控制运行或者计划外调度运行等。只有作业所有的运行规则均已满足时,才能被提交运行。每个作业都有其最高返回码,它是标志作业运行是否正常判定条件,当某作业运行完毕后,其实际返回码若小于等于定义的最高返回码,则视为此作业正常结束,否则视为异常结束。
S106:根据所述的运行信息、所述的排程信息将所述的批量状态恢复至发生异常时的时间点。
图10是步骤S105在单个作业状态时对应的流程图,其中未运行的作业状态用W表示(批量开始前所有作业都是),正在运行的作业状态用S表示,运行中报错的作业状态用E表示,运行正常结束的作业状态用C表示。
S11:收集作业JOBA的运行信息。
S12:判定JOBA是否运行完毕,若未执行完毕,则跳到步骤S13,若执行完毕,则跳到步骤S14。
S13:将JOBA的状态置位为S。
S14:收集JOBA排程定信息。
S15:判断JOBA实际返回码是否大于其排程定义的最高返回码,若判断为否,则跳到步骤S17,否则跳到步骤S16。
S16:将JOBA的状态置位为E。
S17:将JOBA的状态置位为C。
图2为图1中的步骤S106的具体流程图,由图2可知,步骤S106具体包括:
S201:根据所述的运行信息以及所述的排程信息确定所述的批量对应的各个作业的拓扑关系图。
在具体的实施方式中,先将组成批量的海量作业运行信息进行筛查排序,生成备份点与还原点之间的批量作业运行信息,并将结果按时间顺序排序。根据组成批量的各个作业间前后项(各作业间执行顺序限制关系)关系生成拓扑排序图(此图是个复杂的有向无环图,也是逻辑顺序图表),批量作业遵循拓扑排序图所示的顺序执行。
S202:根据所述的运行信息、所述的排程信息以及所述的拓扑关系图对所述的批量从所述的备份时间至所述的时间点之间的作业进行智能运算置位,得到所述的批量从所述的备份时间至所述的时间点之间的作业清单。
在具体的实施方式中,根据运行信息和排程信息对备份点与还原点之间的批量作业的执行结果进行智能运算,更新最新状态到批量排程工具中。诸如对收集到的执行信息进行处理,得到D时与E时之间已执行完成的作业清单。
S203:根据所述的作业清单补齐所述的批量从所述的备份时间至所述的时间点之间的状态差异,即根据D时与E时之间已执行完成的作业清单,补齐D时与E时之间的状态差。
S204:根据所述的状态差异将所述的批量状态恢复至发生异常时的时间点。在批量发生异常的情况下,或者应特殊需求需要进行批量回退的情况下,恢复批量状态到指定时间点。在具体的实施方式中,步骤S104将批量状态恢复至最近一次的备份时间,步骤S203将备份时间至所述的时间点之间的状态差异补齐,因此可将批量状态恢复至异常发生前的任意指定时刻,并使批量继续健康运行,从而做到批量状态的零丢失。
图3为本发明实施例提供的第一种主机批量的回退方法的实施方式二的具体流程图,由图3可知,在实施方式二中,该方法还包括:
S307:从所述的主机上采集批量对应的全量运行结果;
S308:将所述恢复的批量状态对应的运行信息与所述的全量运行结果进行比对,得到比对结果。
也即实施方式二中,将批量状态恢复至异常发生时刻后,对批量状态回退结果进行检查,确保批量回退结果正确。将主机系统中记录的批量作业全量运行结果与重置后的批量排程工具作业运行信息进行比对,确保二者数据一致。
以上本发明实施例提供的第一种主机批量的回退方法,通过建立一套完备的备份恢复机制,在发生异常的情况下,能迅速恢复批量状态到发生异常前的最近一次备份时间点;然后收集批量作业从备份时间点到异常时间点之间的运行信息,再根据全批量作业间前后项关系生成拓扑排序图,最后依据此图结合作业实际运行信息对作业状态进行智能运算置位,补齐备份时间点到灾难时间点的状态差异,从而做到批量状态零丢失,在异常发生的情况下避免了损失,有效地保障数据的完整性和数据流程的连续性。
图4为本发明实施例提供的另一种主机批量的回退方法的实施方式一的具体流程图,由图4可知,该方法具体包括:
S401:根据备份频度将所述的主机上正在运行的批量进行备份。该步骤提供了一种完备的批量文件备份机制,用户可以根据实际需要,预先设定备份频度,比如,在银行批量高峰期00:00-04:00每半小时进行一次备份,其他时间每2小时进行一次备份。备份频度越高,批量回退所需时间越短,相应的备份装置所消耗的系统资源越多;备份频度越低,批量回退所需时间越长,相应的系统消耗也越少。用户可以根据自身批量系统的特性来设定备份频度。
S402:采集用户输入的批量回退命令;
S403:根据所述的批量回退命令确定批量回退的时间点。用户可以主动发起批量回退命令,并可指定回退时间点,即要把批量状态恢复到哪个时间点,比如A日E时。
S404:确定所述的时间点之前最近一次的备份时间。由于步骤S401在采集到用户的批量回退命令之前均按照备份频度进行批量的备份,因此首先确定接收到批量回退命令之前最近一次的备份时间,比如A日D时。
S405:恢复批量状态至所述的最近一次的备份时间。
在具体的实施方式中,若接收到用户输入的批量回退命令后,发现24小时之内没有批量自身的文件备份,则从外部导入最近一次的应用版本定义。应用版本定义导入后,重新制定批量计划(后续再将批量状态从最开始状态恢复到回退命令接收前的指定时间点)。
S406:从所述的主机上采集所述的批量从所述的备份时间至所述的时间点之间的运行信息以及排程信息。
在具体的实施方式中,可读取主机系统中作业输出队列信息,抓取指定时间段内指定用户名提交的作业运行信息,采集的运行信息包括:作业名、作业号、返回码、结束日期、结束时间点。
所述的排程信息包括所述的批量对应的各个作业遵循的运行规则。也即排程信息是指组成批量的各作业必须遵循一定的运行规则,比如前后项关系、定时运行、特殊资源控制运行或者计划外调度运行等。只有作业所有的运行规则均已满足时,才能被提交运行。每个作业都有其最高返回码,它是标志作业运行是否正常判定条件,当某作业运行完毕后,其实际返回码若小于等于定义的最高返回码,则视为此作业正常结束,否则视为异常结束。
S407:根据所述的运行信息、所述的排程信息将所述的批量状态恢复至所述的时间点。
图10是图4中的步骤S406在单个作业状态时对应的流程图,图2为图4中的步骤S407的具体流程图,对这两个步骤的具体描述此处不在赘述,可参见第一种主机批量的回退方法的相关描述。
图5为本发明实施例提供的另一种主机批量的回退方法的实施方式二的具体流程图,由图5可知,在实施方式二中,该方法还包括:
S508:从所述的主机上采集批量对应的全量运行结果;
S509:将所述恢复的批量状态对应的运行信息与所述的全量运行结果进行比对,得到比对结果。
也即实施方式二中,将批量状态恢复至异常发生时刻后,对批量状态回退结果进行检查,确保批量回退结果正确。将主机系统中记录的批量作业全量运行结果与重置后的批量排程工具作业运行信息进行比对,确保二者数据一致。
以上本发明实施例提供的另一种主机批量的回退方法,通过建立一套完备的备份恢复机制,在用户主动发起批量回退的情况下,能迅速恢复批量状态到发起回退命令前的最近一次备份时间点;然后收集批量作业从备份时间点到回退命令时间点之间的运行信息,再根据全批量作业间前后项关系生成拓扑排序图,最后依据此图结合作业实际运行信息对作业状态进行智能运算置位,补齐备份时间点到灾难时间点的状态差异,从而做到批量状态零丢失,有效地保障数据的完整性和数据流程的连续性。
图7为本发明实施例提供的一种主机批量的回退系统的实施方式一的结构框图,由图7可知,该回退系统具体包括:
数据备份装置100,用于根据备份频度将所述的主机上正在运行的批量进行备份。该装置提供了一种完备的批量文件备份机制,用户可以根据实际需要,预先设定备份频度,比如,在银行批量高峰期00:00-04:00每半小时进行一次备份,其他时间每2小时进行一次备份。备份频度越高,批量回退所需时间越短,相应的备份装置所消耗的系统资源越多;备份频度越低,批量回退所需时间越长,相应的系统消耗也越少。用户可以根据自身批量系统的特性来设定备份频度。
时间点采集装置200,用于采集所述的批量发生异常时的时间点,或采集用户输入的批量回退命令,根据所述的批量回退命令确定批量回退的时间点;
时间点有如下两种采集方式:
(1)在实际的使用过程中,主机的异常、批量系统异常、批量系统文件损毁或者灾难发生,甚至人为原因都可能导致非常规情形的发生,即批量运行状态全部或部分丢失,应用批量将被迫中断,且无法继续运行,批量发生异常时,批量状态已被破坏,且没有任何作业在运行(即批量处于一种静止状态)。发生故障异常的时刻即为此处提及的时间点,即要把批量状态恢复到哪个时间点,比如A日E时。
(2)用户可以主动发起批量回退命令,并可指定回退时间点,即要把批量状态恢复到哪个时间点,比如A日E时。
备份时间确定装置300,用于确定所述的时间点之前最近一次的备份时间。由于时间点采集装置在异常发生之前或采集到回退命令之前均按照备份频度进行批量的备份,因此首先确定时间点之前最近一次的备份时间,比如A日D时。
第一状态恢复装置400,用于恢复批量状态至所述的最近一次的备份时间。
在具体的实施方式中,如果发现24小时之内没有批量自身的文件备份,则从外部导入最近一次的应用版本定义。应用版本定义导入后,重新制定批量计划(后续再将批量状态从最开始状态恢复到异常发生前的指定时间点)。
运行信息采集装置500,用于从所述的主机上采集所述的批量从所述的备份时间至所述的时间点之间的运行信息以及排程信息。图10是运行信息采集装置在单个作业状态时对应的流程图,对这个流程图的具体描述此处不在赘述,可参见一种主机批量的回退方法的相关描述。
在具体的实施方式中,可读取主机系统中作业输出队列信息,抓取指定时间段内指定用户名提交的作业运行信息,采集的运行信息包括:作业名、作业号、返回码、结束日期、结束时间点。
所述的排程信息包括所述的批量对应的各个作业遵循的运行规则。也即排程信息是指组成批量的各作业必须遵循一定的运行规则,比如前后项关系、定时运行、特殊资源控制运行或者计划外调度运行等。只有作业所有的运行规则均已满足时,才能被提交运行。每个作业都有其最高返回码,它是标志作业运行是否正常判定条件,当某作业运行完毕后,其实际返回码若小于等于定义的最高返回码,则视为此作业正常结束,否则视为异常结束。
第二状态恢复装置600,用于根据所述的运行信息、所述的排程信息将所述的批量状态恢复至所述的时间点。
本发明实施例的主机批量的回退系统中,各个装置之间是松耦合关系。
图8为图7中的第二状态恢复装置600的结构框图,由图8可知,该装置具体包括:
拓扑关系确定单元601,用于根据所述的运行信息以及所述的排程信息确定所述的批量对应的各个作业的拓扑关系图;
在具体的实施方式中,先将组成批量的海量作业运行信息进行筛查排序,生成备份点与还原点之间的批量作业运行信息,并将结果按时间顺序排序。根据组成批量的各个作业间前后项(各作业间执行顺序限制关系)关系生成拓扑排序图(此图是个复杂的有向无环图,也是逻辑顺序图表),批量作业遵循拓扑排序图所示的顺序执行。
作业清单确定单元602,用于根据所述的运行信息、所述的排程信息以及所述的拓扑关系图对所述的批量从所述的备份时间至所述的时间点之间的作业进行智能运算置位,得到所述的批量从所述的备份时间至所述的时间点之间的作业清单;
在具体的实施方式中,根据运行信息和排程信息对备份点与还原点之间的批量作业的执行结果进行智能运算,更新最新状态到批量排程工具中。诸如对收集到的执行信息进行处理,得到D时与E时之间已执行完成的作业清单。
状态差异补齐单元603,用于根据所述的作业清单补齐所述的批量从所述的备份时间至所述的时间点之间的状态差异,即根据D时与E时之间已执行完成的作业清单,补齐D时与E时之间的状态差;
状态恢复单元604,用于根据所述的状态差异将所述的批量状态恢复至所述的时间点。在批量发生异常的情况下,或者应特殊需求需要进行批量回退的情况下,恢复批量状态到指定时间点。在具体的实施方式中,第一状态恢复装置400将批量状态恢复至最近一次的备份时间,状态差异补齐单元将备份时间至所述的时间点之间的状态差异补齐,因此可将批量状态恢复至异常发生前的任意指定时刻,并使批量继续健康运行,从而做到批量状态的零丢失。
图9为本发明实施例提供的一种主机批量的回退系统的实施方式二的结构框图,由图9可知,在实施方式二中,回退系统还包括:
全量运行结果采集装置700,用于从所述的主机上采集批量对应的全量运行结果;
比对装置800,用于将所述恢复的批量状态对应的运行信息与所述的全量运行结果进行比对,得到比对结果。
也即实施方式二中,将批量状态恢复至异常发生时刻后,对批量状态回退结果进行检查,确保批量回退结果正确。将主机系统中记录的批量作业全量运行结果与重置后的批量排程工具作业运行信息进行比对,确保二者数据一致。
以上本发明实施例提供的一种主机批量的回退系统,通过建立一套完备的备份恢复机制,在发生异常的情况或用户发出回退命令时,能迅速恢复批量状态到最近一次备份时间点;然后收集批量作业从备份时间点到时间点之间的运行信息,再根据全批量作业间前后项关系生成拓扑排序图,最后依据此图结合作业实际运行信息对作业状态进行智能运算置位,补齐备份时间点到时间点的状态差异,从而做到批量状态零丢失,有效地保障数据的完整性和数据流程的连续性。
下面结合具体的实施例,详细介绍本发明的方案。图6为本发明提供的一种主机批量的回退方法的具体实施例的流程图,具体包括:
S1:因主观或客观原因,批量发生异常,需要进行应急处理。
S2:判断24小时之内是否存在批量系统自身的文件备份,当判断为是时,执行步骤S5,否则执行步骤S3;
S3:从外部导入最近一次的应用版本定义;
S4:应用版本定义导入后,重新制定批量计划(后续再将批量状态从最开始状态恢复到异常发生前的指定时间点)。
S5:恢复异常发生前最近的备份,这时批量状态也同时恢复到了该备份的时间点(后续再将批量状态从最开始状态恢复到异常发生前的指定时间点)。
S6:从所述的主机上采集所述的批量从所述的备份时间至所述的时间点之间的运行信息以及排程信息。收集的作业运行信息包括:作业名、作业号、返回码、结束日期、结束时间点。
S7:根据所述的运行信息以及所述的排程信息确定所述的批量对应的各个作业的拓扑关系图。
S8:根据S6、S7步骤的输出,以及批量计划当前状态,逐一将作业状态恢复至某一个时间点。
S9:恢复完成后,再针对结果进行检查,确保恢复无误。
综上所述,本发明提供了一种主机批量的回退方法以及系统,能在灾难情况下快速恢复批量状态,避免了因批量无法及时恢复而导致的数据异常,有力保障了数据处理的连续性,其优势在于:
1、可以高效、无缝地恢复批量状态到任意历史时间点,特别适用于以下情况使用:
(1)批量排程系统自身异常的情况下恢复批量运行状态至异常前。
(2)批量运行状态整体丢失情况下恢复批量运行状态。
(3)异地系统间平滑接管批量运行。
(4)根据需求恢复批量运行状态到任意指定时间点。
2、增强了抵御批量状态被破坏及批量排程逻辑故障等问题的能力,有效降低了运营风险,能有效保障主机批量系统稳定性,大大提升了批量稳定运行的技术服务质量、提高了灾难应对水平。
3、极大降低了批量的恢复时间,将批量恢复时间从2至3天缩短至2小时以内,缩短了96%至97%。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一般计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
本领域技术人员还可以了解到本发明实施例列出的各种功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用,可以使用各种方法实现所述的功能,但这种实现不应被理解为超出本发明实施例保护的范围。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (15)
1.一种主机批量的回退方法,其特征是,所述的方法包括:
根据备份频度将所述的主机上正在运行的批量进行备份;
采集所述的批量发生异常时的时间点;
确定所述的时间点之前最近一次的备份时间;
恢复批量状态至所述的最近一次的备份时间;
从所述的主机上采集所述的批量从所述的备份时间至所述的时间点之间的运行信息以及排程信息;
根据所述的运行信息、所述的排程信息将所述的批量状态恢复至发生异常时的时间点。
2.根据权利要求1所述的方法,其特征是,所述的运行信息包括作业名、作业号、返回码、结束日期以及结束时间点。
3.根据权利要求1所述的方法,其特征是,所述的排程信息包括所述的批量对应的各个作业遵循的运行规则。
4.根据权利要求1或2或3所述的方法,其特征是,根据所述的运行信息、所述的排程信息将所述的批量状态恢复至发生异常时的时间点具体包括:
根据所述的运行信息以及所述的排程信息确定所述的批量对应的各个作业的拓扑关系图;
根据所述的运行信息、所述的排程信息以及所述的拓扑关系图对所述的批量从所述的备份时间至所述的时间点之间的作业进行智能运算置位,得到所述的批量从所述的备份时间至所述的时间点之间的作业清单;
根据所述的作业清单补齐所述的批量从所述的备份时间至所述的时间点之间的状态差异;
根据所述的状态差异将所述的批量状态恢复至发生异常时的时间点。
5.根据权利要求4所述的方法,其特征是,所述的方法还包括:
从所述的主机上采集批量对应的全量运行结果;
将所述恢复的批量状态对应的运行信息与所述的全量运行结果进行比对,得到比对结果。
6.一种主机批量的回退方法,其特征是,所述的方法包括:
根据备份频度将所述的主机上正在运行的批量进行备份;
采集用户输入的批量回退命令;
根据所述的批量回退命令确定批量回退的时间点;
确定所述的时间点之前最近一次的备份时间;
恢复批量状态至所述的最近一次的备份时间;
从所述的主机上采集所述的批量从所述的备份时间至所述的时间点之间的运行信息以及排程信息;
根据所述的运行信息、所述的排程信息将所述的批量状态恢复至批量回退的时间点。
7.根据权利要求6所述的方法,其特征是,所述的运行信息包括作业名、作业号、返回码、结束日期以及结束时间点。
8.根据权利要求6所述的方法,其特征是,所述的排程信息包括所述的批量对应的各个作业遵循的运行规则。
9.根据权利要求6或7或8所述的方法,其特征是,根据所述的运行信息、所述的排程信息将所述的批量状态恢复至批量回退的时间点具体包括:
根据所述的运行信息以及所述的排程信息确定所述的批量对应的各个作业的拓扑关系图;
根据所述的运行信息、所述的排程信息以及所述的拓扑关系图对所述的批量从所述的备份时间至所述的时间点之间的作业进行智能运算置位,得到所述的批量从所述的备份时间至所述的时间点之间的作业清单;
根据所述的作业清单补齐所述的批量从所述的备份时间至所述的时间点之间的状态差异;
根据所述的状态差异将所述的批量状态恢复至批量回退的时间点。
10.根据权利要求9所述的方法,其特征是,所述的方法还包括:
从所述的主机上采集批量对应的全量运行结果;
将所述恢复的批量状态对应的运行信息与所述的全量运行结果进行比对,得到比对结果。
11.一种主机批量的回退系统,其特征是,所述的回退系统包括:
数据备份装置,用于根据备份频度将所述的主机上正在运行的批量进行备份;
时间点采集装置,用于采集所述的批量发生异常时的时间点,或采集用户输入的批量回退命令,根据所述的批量回退命令确定批量回退的时间点;
备份时间确定装置,用于确定所述的时间点之前最近一次的备份时间;
第一状态恢复装置,用于恢复批量状态至所述的最近一次的备份时间;
运行信息采集装置,用于从所述的主机上采集所述的批量从所述的备份时间至所述的时间点之间的运行信息以及排程信息;
第二状态恢复装置,用于根据所述的运行信息、所述的排程信息将所述的批量状态恢复至所述的时间点。
12.根据权利要求11所述的回退系统,其特征是,所述的运行信息包括作业名、作业号、返回码、结束日期以及结束时间点。
13.根据权利要求11所述的回退系统,其特征是,所述的排程信息包括所述的批量对应的各个作业遵循的运行规则。
14.根据权利要求11或12或13所述的回退系统,其特征是,所述的第二状态恢复装置具体包括:
拓扑关系确定单元,用于根据所述的运行信息以及所述的排程信息确定所述的批量对应的各个作业的拓扑关系图;
作业清单确定单元,用于根据所述的运行信息、所述的排程信息以及所述的拓扑关系图对所述的批量从所述的备份时间至所述的时间点之间的作业进行智能运算置位,得到所述的批量从所述的备份时间至所述的时间点之间的作业清单;
状态差异补齐单元,用于根据所述的作业清单补齐所述的批量从所述的备份时间至所述的时间点之间的状态差异;
状态恢复单元,用于根据所述的状态差异将所述的批量状态恢复至所述的时间点。
15.根据权利要求14所述的回退系统,其特征是,所述的回退系统还包括:
全量运行结果采集装置,用于从所述的主机上采集批量对应的全量运行结果;
比对装置,用于将所述恢复的批量状态对应的运行信息与所述的全量运行结果进行比对,得到比对结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310136005.2A CN103218256B (zh) | 2013-04-18 | 2013-04-18 | 一种主机批量的回退方法以及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310136005.2A CN103218256B (zh) | 2013-04-18 | 2013-04-18 | 一种主机批量的回退方法以及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103218256A true CN103218256A (zh) | 2013-07-24 |
CN103218256B CN103218256B (zh) | 2016-04-13 |
Family
ID=48816080
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310136005.2A Active CN103218256B (zh) | 2013-04-18 | 2013-04-18 | 一种主机批量的回退方法以及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103218256B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104572339A (zh) * | 2013-10-17 | 2015-04-29 | 捷达世软件(深圳)有限公司 | 基于分布式文件系统的数据备份还原系统及方法 |
CN103853634B (zh) * | 2014-02-26 | 2017-02-01 | 北京优炫软件股份有限公司 | 一种容灾备份系统及方法 |
CN107391309A (zh) * | 2017-07-28 | 2017-11-24 | Tcl移动通信科技(宁波)有限公司 | 移动终端及其恢复出厂预配置处理方法、及存储介质 |
CN114495147A (zh) * | 2022-01-25 | 2022-05-13 | 北京百度网讯科技有限公司 | 识别方法、装置、设备以及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998059285A2 (en) * | 1997-06-20 | 1998-12-30 | Brown Peter G | System and method for simulation, modeling and scheduling of biopharmaceutical batch process operations |
EP1056011A2 (en) * | 1999-04-29 | 2000-11-29 | Citibank, N.A. | Method and system for recovering data |
-
2013
- 2013-04-18 CN CN201310136005.2A patent/CN103218256B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998059285A2 (en) * | 1997-06-20 | 1998-12-30 | Brown Peter G | System and method for simulation, modeling and scheduling of biopharmaceutical batch process operations |
EP1056011A2 (en) * | 1999-04-29 | 2000-11-29 | Citibank, N.A. | Method and system for recovering data |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104572339A (zh) * | 2013-10-17 | 2015-04-29 | 捷达世软件(深圳)有限公司 | 基于分布式文件系统的数据备份还原系统及方法 |
CN103853634B (zh) * | 2014-02-26 | 2017-02-01 | 北京优炫软件股份有限公司 | 一种容灾备份系统及方法 |
CN107391309A (zh) * | 2017-07-28 | 2017-11-24 | Tcl移动通信科技(宁波)有限公司 | 移动终端及其恢复出厂预配置处理方法、及存储介质 |
CN114495147A (zh) * | 2022-01-25 | 2022-05-13 | 北京百度网讯科技有限公司 | 识别方法、装置、设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN103218256B (zh) | 2016-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101561773B (zh) | 一种磁盘数据恢复方法及装置 | |
Zheng | Improving MapReduce fault tolerance in the cloud | |
CN104040481B (zh) | 用于融合、存储和检索增量式备份数据的方法和系统 | |
CN107148617B (zh) | 日志协调存储组的自动配置 | |
CN100464307C (zh) | 一种实现数据备份和恢复的方法及系统 | |
EP1246063A2 (en) | Restartable database loads using parallel data streams | |
CN103415840A (zh) | 跨硬件层和软件层的错误管理 | |
US8260752B1 (en) | Systems and methods for change tracking with multiple backup jobs | |
CN104021043A (zh) | 批量应用程序的中断重入方法及系统 | |
CN103218256A (zh) | 一种主机批量的回退方法以及系统 | |
CN101394424A (zh) | 一种磁盘级网络数据备份的系统及方法 | |
CN102314368A (zh) | 更新服务器程序的配置数据的方法及设备 | |
CN102667720A (zh) | 没有排序依赖的一致性 | |
CN113157710A (zh) | 区块链数据并行写入方法、装置、计算机设备及存储介质 | |
CN108038201A (zh) | 一种数据整合系统及其分布式数据整合系统 | |
CN107273378B (zh) | 一种文件存储方法及装置 | |
CN102541750A (zh) | 数据快照的实现方法和装置 | |
US20130239123A1 (en) | Milestone manager | |
CN101999113A (zh) | 存储复制的方法和系统 | |
CN111382028B (zh) | 批量处理系统日期切换错误的处理方法、装置和服务器 | |
CN104115127A (zh) | 存储系统和数据管理方法 | |
CN108319694A (zh) | 一种历史数据的自动清理方法及装置 | |
WO2015181616A1 (en) | System and method for the production of job level pre-processed backup of critical data and/or datasets in a mainframe computing environment | |
CN111831483A (zh) | 备份管理方法、系统、电子设备以及介质 | |
CN103177085A (zh) | 一种检查点操作方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |