CN110874286A - 基于属性计算的批处理作业断点恢复方法及其系统 - Google Patents

基于属性计算的批处理作业断点恢复方法及其系统 Download PDF

Info

Publication number
CN110874286A
CN110874286A CN201810991955.6A CN201810991955A CN110874286A CN 110874286 A CN110874286 A CN 110874286A CN 201810991955 A CN201810991955 A CN 201810991955A CN 110874286 A CN110874286 A CN 110874286A
Authority
CN
China
Prior art keywords
job
information
attribute calculation
batch
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810991955.6A
Other languages
English (en)
Inventor
陈海洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Petroleum and Chemical Corp
Sinopec Geophysical Research Institute
Original Assignee
China Petroleum and Chemical Corp
Sinopec Geophysical Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Petroleum and Chemical Corp, Sinopec Geophysical Research Institute filed Critical China Petroleum and Chemical Corp
Priority to CN201810991955.6A priority Critical patent/CN110874286A/zh
Publication of CN110874286A publication Critical patent/CN110874286A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1438—Restarting or rejuvenating

Abstract

本发明提供一种基于属性计算的批处理作业断点恢复方法及其系统，该方法包括步骤：S1、获取运行中的属性计算批处理作业的相关信息；S2、根据所述相关信息获取作业进度信息并以Json格式更新到数据库中；S3、若所述属性计算批处理作业被中断或暂停，则提取和解析待恢复的属性计算批处理作业的作业进度信息，并据此恢复运行。该系统包括：信息获取单元，信息更新单元，作业恢复单元。本发明通过数据库来对作业进度信息进行管理，可以实现在任意作业运行节点上恢复运行暂停或中断的作业，有效的提高了作业运行节点的资源利用效率，提升了工作效率。

Description

基于属性计算的批处理作业断点恢复方法及其系统
技术领域
本发明涉及解释系统批处理作业断点恢复领域，尤其涉及一种基于属性计算的批处理作业断点恢复方法及其系统。
背景技术
属性计算是解释系统解释流程中非常重要的一步，其产生的数据体不仅可以用于油气藏综合解释，而且可以用于构造和地层解释。属性计算批处理作业由于运行时间非常长，对硬件资源的要求非常多。传统的作业提交，在资源紧张的情况下，为了避免多个作业抢占资源导致计算效率不高，需要等待已经开始运行的作业先运行结束，再行提交。在遭遇意外断电等意外中断作业的情况下，需要对作业从头重新进行计算，极大的浪费了时间和资源，降低了工作效率。
为了解决这个问题，一般的方法是通过写本地文件进行作业信息的记录，以便进行作业恢复。这种方法一般用于本地批处理作业的恢复，作业信息量大，恢复较慢，且不能实现多个批处理作业的记录与恢复，一旦更换了运行作业的节点，就获取不到相关信息，不能实现作业的恢复运行。
因此，如何实现多个批处理作业的记录与恢复是本领域亟待解决的问题。
发明内容
本发明的特征和优点在下文的描述中部分地陈述，或者可从该描述显而易见，或者可通过实践本发明而学习。
为克服现有技术的问题，本发明提供一种基于属性计算的批处理作业断点恢复方法，包括步骤：
S1、获取运行中的属性计算批处理作业的相关信息；
S2、根据所述相关信息获取作业进度信息并以Json格式更新到数据库中；
S3、若所述属性计算批处理作业被中断或暂停，则提取和解析待恢复的属性计算批处理作业的作业进度信息，并据此恢复运行。
可选地，所述步骤S2包括：
根据所述相关信息获取作业状态信息并更新到数据库中。
可选地，所述作业状态信息以对象格式更新到数据库中。
可选地，所述步骤S2包括：根据定时器的定时对数据库中的作业状态信息进行更新。
可选地，所述步骤S3包括：
提取所述属性计算批处理作业的作业状态信息，并进行展示以获取被选择的属性计算批处理作业，记为所述待恢复的属性计算批处理作业。
可选地，所述步骤S2包括：根据定时器的定时对数据库中的作业进度信息进行更新。
本发明提供一种基于属性计算的批处理作业断点恢复模块，包括：
信息获取单元，用于获取运行中的属性计算批处理作业的相关信息；
信息更新单元，与所述信息获取单元相连，用于根据所述相关信息获取作业进度信息并以Json格式更新到数据库中；
作业恢复单元，与所述信息更新单元相连，用于若所述属性计算批处理作业被中断或暂停，则提取和解析待恢复的属性计算批处理作业的作业进度信息，并据此恢复运行。
可选地，所述信息更新单元还用于根据所述相关信息获取作业状态信息并更新到数据库中。
可选地，包括展示选择单元，与所述信息更新单元及作业恢复单元相连，用于提取所述属性计算批处理作业的作业状态信息，并进行展示以获取被选择的属性计算批处理作业，记为所述待恢复的属性计算批处理作业。
本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行的至少一个程序，所述至少一个程序被所述计算机执行时使所述计算机执行本发明任一实施例的基于属性计算的批处理作业断点恢复方法中的步骤。
本发明提供了一种基于属性计算的批处理作业断点恢复方法及其系统、计算机可读存储介质，实现在任意作业运行节点上恢复运行暂停或中断的作业，方法简单，实现快速，有效的提高了作业运行节点的资源利用效率，提升了工作效率。
通过阅读说明书，本领域普通技术人员将更好地了解这些技术方案的特征和内容。
附图说明
下面通过参考附图并结合实例具体地描述本发明，本发明的优点和实现方式将会更加明显，其中附图所示内容仅用于对本发明的解释说明，而不构成对本发明的任何意义上的限制，在附图中：
图1为本发明实施例的基于属性计算的批处理作业断点恢复方法的流程示意图。
图2为本发明另一实施例的基于属性计算的批处理作业断点恢复方法的流程示意图。
图3为本发明实施例的基于属性计算的批处理作业断点恢复系统的结构示意图。
具体实施方式
如图1所示，本发明提供一种基于属性计算的批处理作业断点恢复方法，包括步骤：
S1、获取运行中的属性计算批处理作业的相关信息；
S2、根据所述相关信息获取作业进度信息并以Json格式更新到数据库中；
在具体实施时，可以根据定时器的定时对数据库中的作业进度信息进行更新。本发明采用Json格式对作业进度信息进行记录，具有更强的扩展性，可以适应不同模块的批处理作业的作业进度信息内容。
S3、若所述属性计算批处理作业被中断或暂停，则提取和解析待恢复的属性计算批处理作业的作业进度信息，并据此恢复运行。
在图1对应的实施例的基础上，在执行步骤S2中，除了获取作业进度信息以外，还包括根据所述相关信息获取作业状态信息并以对象格式更新到数据库中。此时，在步骤S3中，提取和解析待恢复的属性计算批处理作业的作业进度信息之前，先提取所述属性计算批处理作业的作业状态信息，并进行展示以获取被选择的属性计算批处理作业，记为待恢复属性计算批处理作业。在具体实施时，可以将作业状态信息进行可视化展示，方便使用者进行属性计算批处理作业的管理。
如图2所示，本发明实施例提供一种基于属性计算的批处理作业断点恢复方法，进入步骤S11作业主控进程之后，执行步骤S12、S13；即初始化作业状态相关参数以及初始化作业进度相关参数。初始化完成后会进入步骤S14执行属性计算批处理作业运行。在运行过程中，执行步骤S15，将属性计算批处理作业结果保存；保存后的结果返回步骤S14，并进入步骤S21即通过定时器进行定时，定时时间到后，执行步骤S22，获取批处理作业的作业状态信息与作业进度信息，本实施例中，作业状态信息采用对象格式，作业进度信息采用Json格式。然后执行步骤S23，将作业状态信息与作业进度信息保存或更新到数据库20。若在属性计算批处理的运行过程发生中断或暂停，则进入步骤S18，进行作业恢复。更具体地，在执行步骤S18之前，先通过步骤S24，从数据库20中提取并解析作业状态信息、作业进度信息。若在属性计算批处理的运行没有发生中断或暂停，则在运行结束后，进入步骤S16，结束进程。在步骤S24中，可以先提取作业状态信息并通过显示器进行展示，获取被选择的属性计算批处理作业，记为待恢复的属性计算批处理作业；提取和解析待恢复的属性计算批处理作业的作业进度信息，用于进行作业恢复。
可见，本实施例中，将批处理作业相关描述信息分为作业状态信息和作业进度信息两部分，利用数据库来对相关信息进行管理。从而方便实现在任意作业运行节点上监控(作业状态信息)，恢复作业(作业进度信息)。
本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行的至少一个程序，所述至少一个程序被所述计算机执行时使所述计算机执行本发明任一实施例的基于属性计算的批处理作业断点恢复方法中的步骤。
如图3所示，本发明提供一种基于属性计算的批处理作业断点恢复模块，包括：信息获取单元60、信息更新单元70、作业恢复单元80。
信息获取单元60用于获取运行中的属性计算批处理作业的相关信息；
信息更新单元70与信息获取单元60相连，用于根据相关信息获取作业进度信息并以Json格式更新到数据库中；
作业恢复单元80与信息更新单元70相连，用于若属性计算批处理作业被中断或暂停，则提取和解析待恢复的属性计算批处理作业的作业进度信息，并据此恢复运行。
信息更新单元60还用于根据相关信息获取作业状态信息并更新到数据库中。更具体地，信息更新单元60中包括定时器，用于定时将作业进度信息和/或作业状态信息更新到数据库中。
还可以包括展示选择单元(图中未显示)，与信息更新单元70及作业恢复单元80相连，用于提取属性计算批处理作业的作业状态信息，并进行展示以获取被选择的属性计算批处理作业，记为所述待恢复的属性计算批处理作业。
本发明提供一种基于属性计算的批处理作业断点恢复方法及其系统、计算机可读存储介质，可以用于油气解释系统中类似批处理作业模块。本发明将批处理作业相关描述信息分为作业状态信息和作业进度信息两部分，通过数据库来对相关信息进行管理，从而实现在任意作业运行节点上恢复运行暂停或中断的作业，方法简单，实现快速，有效的提高了作业运行节点的资源利用效率，提升了工作效率。
以上参照附图说明了本发明的优选实施例，本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明。举例而言，作为一个实施例的部分示出或描述的特征可用于另一实施例以得到又一实施例。以上仅为本发明较佳可行的实施例而已，并非因此局限本发明的权利范围，凡运用本发明说明书及附图内容所作的等效变化，均包含于本发明的权利范围之内。

Claims (10)

1.一种基于属性计算的批处理作业断点恢复方法，其特征在于，包括步骤：
S1、获取运行中的属性计算批处理作业的相关信息；
S2、根据所述相关信息获取作业进度信息并以Json格式更新到数据库中；
S3、若所述属性计算批处理作业被中断或暂停，则提取和解析待恢复的属性计算批处理作业的作业进度信息，并据此恢复运行。
2.根据权利要求1所述的基于属性计算的批处理作业断点恢复方法，其特征在于，所述步骤S2包括：
根据所述相关信息获取作业状态信息并更新到数据库中。
3.根据权利要求2所述的基于属性计算的批处理作业断点恢复方法，其特征在于，所述作业状态信息以对象格式更新到数据库中。
4.根据权利要求2所述的基于属性计算的批处理作业断点恢复方法，其特征在于，所述步骤S2包括：根据定时器的定时对数据库中的作业状态信息进行更新。
5.根据权利要求2所述的基于属性计算的批处理作业断点恢复方法，其特征在于，所述步骤S3包括：
提取所述属性计算批处理作业的作业状态信息，并进行展示以获取被选择的属性计算批处理作业，记为所述待恢复的属性计算批处理作业。
6.根据权利要求1所述的基于属性计算的批处理作业断点恢复方法，其特征在于，所述步骤S2包括：根据定时器的定时对数据库中的作业进度信息进行更新。
7.一种基于属性计算的批处理作业断点恢复模块，其特征在于，包括：
信息获取单元，用于获取运行中的属性计算批处理作业的相关信息；
信息更新单元，与所述信息获取单元相连，用于根据所述相关信息获取作业进度信息并以Json格式更新到数据库中；
作业恢复单元，与所述信息更新单元相连，用于若所述属性计算批处理作业被中断或暂停，则提取和解析待恢复的属性计算批处理作业的作业进度信息，并据此恢复运行。
8.根据权利要求7所述的基于属性计算的批处理作业断点恢复模块，其特征在于，所述信息更新单元还用于根据所述相关信息获取作业状态信息并更新到数据库中。
9.根据权利要求7所述的基于属性计算的批处理作业断点恢复模块，其特征在于，包括展示选择单元，与所述信息更新单元及作业恢复单元相连，用于提取所述属性计算批处理作业的作业状态信息，并进行展示以获取被选择的属性计算批处理作业，记为所述待恢复的属性计算批处理作业。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行的至少一个程序，其特征在于，所述至少一个程序被所述计算机执行时使所述计算机执行上述权利要求1～6任一项所述的方法中的步骤。
CN201810991955.6A 2018-08-29 2018-08-29 基于属性计算的批处理作业断点恢复方法及其系统 Pending CN110874286A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810991955.6A CN110874286A (zh) 2018-08-29 2018-08-29 基于属性计算的批处理作业断点恢复方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810991955.6A CN110874286A (zh) 2018-08-29 2018-08-29 基于属性计算的批处理作业断点恢复方法及其系统

Publications (1)

Publication Number Publication Date
CN110874286A true CN110874286A (zh) 2020-03-10

Family

ID=69714185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810991955.6A Pending CN110874286A (zh) 2018-08-29 2018-08-29 基于属性计算的批处理作业断点恢复方法及其系统

Country Status (1)

Country Link
CN (1) CN110874286A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085021A (ja) * 2001-09-07 2003-03-20 Nippon Soken Holdings:Kk リカバリ・リスタート機能を備えたバッチ処理システム、リカバリ・リスタート機能を備えたバッチ処理システム用プログラム、及びそのプログラムを記録した記録媒体
CN101788908A (zh) * 2010-01-26 2010-07-28 浪潮(山东)电子信息有限公司 一种支持断点续航的批量数据处理方法
CN102221995A (zh) * 2011-05-19 2011-10-19 中国石油集团川庆钻探工程有限公司 地震数据处理作业的断点恢复方法
CN104021043A (zh) * 2014-06-23 2014-09-03 中国银行股份有限公司 批量应用程序的中断重入方法及系统
CN104317960A (zh) * 2014-11-14 2015-01-28 中国建设银行股份有限公司 一种批处理作业的处理方法和装置
CN104536770A (zh) * 2015-01-28 2015-04-22 浪潮电子信息产业股份有限公司 一种支持并行作业断点恢复的作业提交和恢复方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085021A (ja) * 2001-09-07 2003-03-20 Nippon Soken Holdings:Kk リカバリ・リスタート機能を備えたバッチ処理システム、リカバリ・リスタート機能を備えたバッチ処理システム用プログラム、及びそのプログラムを記録した記録媒体
CN101788908A (zh) * 2010-01-26 2010-07-28 浪潮(山东)电子信息有限公司 一种支持断点续航的批量数据处理方法
CN102221995A (zh) * 2011-05-19 2011-10-19 中国石油集团川庆钻探工程有限公司 地震数据处理作业的断点恢复方法
CN104021043A (zh) * 2014-06-23 2014-09-03 中国银行股份有限公司 批量应用程序的中断重入方法及系统
CN104317960A (zh) * 2014-11-14 2015-01-28 中国建设银行股份有限公司 一种批处理作业的处理方法和装置
CN104536770A (zh) * 2015-01-28 2015-04-22 浪潮电子信息产业股份有限公司 一种支持并行作业断点恢复的作业提交和恢复方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘涛等: "《空间数据库原理及实验校验》", 30 June 2018 *

Similar Documents

Publication Publication Date Title
JP6342070B2 (ja) ジョブ管理装置及びジョブ管理方法及びジョブ管理プログラム
CN106547613B (zh) 任务处理流程的调度及故障恢复方法
CN104063441A (zh) 数据库运维系统及其对数据的运维方法
CN106919620B (zh) 单页面处理方法及装置
CN102591993A (zh) 一种用于热表数据更新的异步处理方法及装置
CN111581219A (zh) 监控数据获取方法及装置
CN110162563B (zh) 一种数据入库方法、系统及电子设备和存储介质
CN105589739B (zh) 一种流程控制系统及方法
CN104991836A (zh) 恢复数据库的方法、装置及数据库服务器
CN108664315A (zh) 多线程动态处理业务的方法、电子设备和可读存储介质
CN110874286A (zh) 基于属性计算的批处理作业断点恢复方法及其系统
CN108694041A (zh) 数据转换方法、装置及服务终端
CN107632899B (zh) 一种应用服务器的快照服务方法及装置
CN107678889B (zh) 工作流任务状态的恢复方法及装置、存储介质、计算设备
CN103488549B (zh) 多镜像数据的回滚处理系统和回滚处理方法
CN114168119B (zh) 代码文件编辑方法、装置、电子设备以及存储介质
CN112559641B (zh) 拉链表的处理方法及装置、可读存储介质、电子设备
CN112000492B (zh) 公众号用户标签的管理系统及方法
CN104462106A (zh) 数据更新方法及系统
CN111399975A (zh) 基于云计算管理平台的虚拟机快照管理方法、装置及系统
CN112765158A (zh) 一种数据库的数据修改方法、装置及存储介质
CN111159188A (zh) 基于DataWorks实现准实时大数据量的处理方法
JP6141136B2 (ja) 装置及びプログラム
JP5219782B2 (ja) シーケンサ装置
CN109739883A (zh) 提升数据查询性能的方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200310