CN113239028B - 一种数据仓库调度的数据修复方法、装置和可读存储介质 - Google Patents
一种数据仓库调度的数据修复方法、装置和可读存储介质 Download PDFInfo
- Publication number
- CN113239028B CN113239028B CN202110514836.3A CN202110514836A CN113239028B CN 113239028 B CN113239028 B CN 113239028B CN 202110514836 A CN202110514836 A CN 202110514836A CN 113239028 B CN113239028 B CN 113239028B
- Authority
- CN
- China
- Prior art keywords
- repaired
- job
- data
- dependency relationship
- directed acyclic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及数据修复技术领域,公开了一种数据仓库调度的数据修复方法,包括:获取待修复作业;将所述待修复作业与有向无环图进行比对,得到比对结果;其中,所述有向无环图用于表征所述数据仓库中包括的日常作业之间的第一作业依赖关系;所述日常作业能够被归类为至少一个作业集合,所述至少一个作业集合中不同的作业集合对应不同的项目;根据所述比对结果确定所述待修复作业之间的第二作业依赖关系;按照所述第二作业依赖关系执行所述待修复作业的数据修复。本发明能够减少数据仓库调度的数据修复时间,同时减少占用服务器资料,提高修复效率,且操作简便。
Description
技术领域
本发明属于数据修复技术领域,具体涉及一种数据仓库调度的数据修复方法、装置和可读存储介质。
背景技术
数据仓库是在企业管理和决策中面向主题的、集成的、与时间有关的以及不可修改的数据集合。随着企业信息化程度的不断提高,企业内部积累了大量的业务数据,数据仓库用于对这些相互独立、分散的数据进行统一管理,以满足企业决策与分析需要。作业在数据仓库的概念中是指最小的数据处理程序,数据仓库中包括有若干个作业,在应用中,需要对作业进行不定时的修复。
现有技术中对作业进行修复的方式主要包括:
1)如图1所示,当有多个待修复作业时,业务人员需要在有向无环图中手动找出对应作业,然后人工判断作业顺序,再按照作业顺序手动执行作业修复。此种方式存在工作量大、人工操作繁琐且修复时间长的问题。
2)当有多个待修复作业时,业务人员需要将有向无环图中所有作业按照作业顺序完整执行一次,以完成作业修复。此种方式存在修复时间长且占用大量服务器资源的问题。
发明内容
本发明的目的在于提供一种数据仓库调度的数据修复方法、装置和可读存储介质,用于解决现有技术中数据仓库的作业修复时间长、人工操作繁琐以及占用大量服务器资源的问题。
为了实现上述目的,本发明采用以下技术方案:
第一方面,本发明提供了一种数据仓库调度的数据修复方法,包括:
获取待修复作业;
将所述待修复作业与有向无环图进行比对,得到比对结果;其中,所述有向无环图用于表征所述数据仓库中包括的日常作业之间的第一作业依赖关系;所述日常作业能够被归类为至少一个作业集合,所述至少一个作业集合中不同的作业集合对应不同的项目;
根据所述比对结果确定所述待修复作业之间的第二作业依赖关系;
按照所述第二作业依赖关系执行所述待修复作业的数据修复。
基于上述公开的内容,通过获取待修复作业,然后将所述待修复作业与数据仓库的有向无环图进行比对,可以根据比对结果确定所述待修复作业的第二作业依赖关系,以使调度系统按照所述第二作业依赖关系执行所述待修复作业的数据修复。通过上述设计,业务人员无须手动人工确定所述待修复作业之间的作业顺序,操作简单;且调度系统也无需为修复所述待修复作业将所述有向无环图完整执行一次,减少了作业修复时间,同时减少了占用的服务器资源。
在一个可能的设计中,将所述待修复作业与有向无环图进行比对,得到比对结果,包括:
将所述待修复作业与所述有向无环图进行比对,得到所述待修复作业在所述有向无环图中的位置关系;
根据所述比对结果确定所述待修复作业之间的作业依赖关系,包括:
根据所述位置关系确定所述待修复作业之间的第二作业依赖关系。
基于上述公开的内容,通过将所述待修复作业与所述有向无环图进行比对,能够获得所述待修复作业在所述有向无环图的位置关系,根据所述位置关系可以确定所述待修复作业之间的第二作业依赖关系,则调度系统只需要按照所述第二作业依赖关系执行作业修复,极大地减少了作业修复时间。当然,可以理解的,上述给出的比对结果仅仅作为其中一种比对方式得到的比对结果。
在一种可能的设计中,将所述待修复作业与有向无环图进行比对,得到比对结果,包括:
将所述待修复作业与所述有向无环图进行比对,确定在所述有向无环图中除所述待修复作业之外的其它作业;
将所述待修复作业的作业状态设置为未执行状态,将所述其它作业的作业状态设置为已完成状态;
根据所述比对结果确定所述待修复作业之间的作业依赖关系,包括:
根据已设置作业状态的所述待修复作业和已设置作业状态的所述其它作业确定所述待修复作业的第二作业依赖关系。
基于上述公开的内容,通过将所述待修复作业与所述有向无环图进行比对,可获得除所述待修复作业以外的其他作业,通过分别将所述待修复作业和所述其他作业的作业状态设置为未执行状态和已完成状态以建立第二作业依赖关系,使得调度系统在进行作业修复时,跳过已完成的其他作业,而仅对未执行的待修复作业进行修复,从而极大地减少了作业修复时间。当然,可以理解的,上述给出的比对结果仅仅作为其中一种比对方式得到的比对结果。
在一种可能的设计中,按照所述第二作业依赖关系执行所述待修复作业的数据修复,包括:
判断待修复的项目中与当前正在执行的修复项目中是否包含相同的作业;
若不包含,则按照所述第二作业依赖关系执行所述待修复作业的数据修复。
基于上述公开的内容,为了保证数据修复的准确性,在按照所述第二作业依赖关系执行所述待修复作业的数据修复之前,判断待修复的项目与当前正在执行的修复项目中是否包含相同的作业。
在一种可能的设计中,所述方法还包括:
若包含,则等待所述当前正在执行的修复项目执行完成后,按照所述第二作业依赖关系执行所述待修复作业的数据修复。
在一种可能的设计中,所述方法还包括:
确定所述项目中每个项目对应的待修复作业的生成日期;
根据所述生成日期,为所述每个项目设置数据修复起始日期和数据修复结束日期。
基于上述公开的内容,由于系统默认修复当前日期生成的作业数据,因此,若所述项目中对应的待修复作业的生成日期早于当前日期,业务人员可以为所述每个项目设置数据修复起始日期和数据修复结束日期。
第二方面,本发明提供一种数据仓库调度的数据修复装置,包括:作业获取模块、比对模块、确定模块和执行模块;
所述作业获取模块,用于获取待修复作业;
比对模块,用于将所述待修复作业与有向无环图进行比对,得到比对结果;其中,所述有向无环图用于表征所述数据仓库中包括的日常作业之间的第一作业依赖关系;所述日常作业能够被归类为至少一个作业集合,所述至少一个作业集合中不同的作业集合对应不同的项目;
确定模块,用于根据所述比对结果确定所述待修复作业之间的第二作业依赖关系;
执行模块,用于按照所述第二作业依赖关系执行所述待修复作业的数据修复。
在一种可能的设计中,在所述比对模块用于将所述待修复作业与有向无环图进行比对,得到比对结果时,具体用于:
将所述待修复作业与所述有向无环图进行比对,得到所述待修复作业在所述有向无环图中的位置关系;
在所述确定模块用于根据所述比对结果确定所述待修复作业之间的第二作业依赖关系时,具体用于:
根据所述位置关系确定所述待修复作业之间的第二作业依赖关系。
在一种可能的设计中,在所述比对模块用于将所述待修复作业与有向无环图进行比对,得到比对结果时,具体用于:
将所述待修复作业与所述有向无环图进行比对,确定在所述有向无环图中除所述待修复作业之外的其它作业;
将所述待修复作业的作业状态设置为未执行状态,将所述其它作业的作业状态设置为已完成状态;
在所述确定模块用于根据所述比对结果确定所述待修复作业之间的第二作业依赖关系时,具体用于:
根据已设置作业状态的所述待修复作业和已设置作业状态的所述其它作业确定所述待修复作业的第二作业依赖关系。
在一种可能的设计中,在所述执行模块用于按照所述第二作业依赖关系执行所述待修复作业的数据修复时,具体用于:
判断待修复的项目中与当前正在执行的修复项目中是否包含相同的作业;
若不包含,则按照所述第二作业依赖关系执行所述待修复作业的数据修复。
在一种可能的设计中,在所述执行模块用于按照所述第二作业依赖关系执行所述待修复作业的数据修复时,具体用于:
若包含,则等待所述当前正在执行的修复项目执行完成后,按照所述第二作业依赖关系执行所述待修复作业的数据修复。
在一种可能的设计中,所述装置还包括:
生成日期确定模块,用于确定所述项目中每个项目对应的待修复作业的生成日期;
设置模块,用于根据所述生成日期,为所述每个项目设置数据修复起始日期和数据修复结束日期。
第三方面,本发明提供一种数据仓库调度的数据修复装置,包括:依次通信相连的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发消息,所述处理器用于读取所述计算机程序,执行如第一方面所述的数据仓库调度的数据修复方法。
第四方面,本发明提供一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如第一方面所述的数据仓库调度的数据修复方法。
第五方面,本发明提供一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使所述计算机执行如上述任意方面所述的数据仓库调度的数据修复方法。
附图说明
图1是现有技术中方式一的数据修复的方法流程图;
图2是本发明提供的数据仓库调度的数据修复的方法流程图;
图3是本发明提供的有向无环示意图;
图4是本发明提供的从有向无环图选取的部分作业示意图;
图5是本发明提供的其中一种数据仓库调度的数据修复方法流程图;
图6是本发明提供的数据仓库调度的数据修复装置的结构示意图;
图7是本发明提供的另一数据仓库调度的数据修复装置的结构示意图。
具体实施方式
为使本说明书实施例的目的、技术方案和优点更加清楚,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明保护的范围。
实施例
为了减少数据仓库调度作业的修复时间和减少人工成本,本申请实施例提供了一种数据仓库调度的数据修复方法,该数据仓库调度的数据修复方法通过建立待修复作业新的作业依赖关系,实现调度作业的快速修复。
本申请实施例提供的数据仓库调度的数据修复方法可应用于服务器,包括但不限于通过python、java、C++等语言和工具执行步骤S101-步骤S104实现。
请结合参见图2-5,下面对本申请实施例提供的数据仓库调度的数据修复方法进行详细说明。
步骤S101.获取待修复作业;
在本实施例中,所述待修复作业包括但不限于从数据仓库的有向无环图中获取的至少一个作业。
在本实施例中,所述有向无环图用于表征所述数据仓库中包括的日常作业之间的第一作业依赖关系;所述日常作业能够被归类为至少一个作业集合,所述至少一个作业集合中不同的作业集合对应不同的项目;
在本实施例中,所述第一作业依赖关系是所述数据仓库中完整的有向无环图中作业之间的作业执行顺序关系。
在本实例中,所述日常作业属于调度系统共享的作业,作业本身并没有归属关系,可以被任意一个或多个项目调取。在实际应用中,应用层可以根据项目需求将多个作业作为集合对应于一个项目,以供应用层应用这些作业的数据。此处举例说明所述根据项目需求将多个作业作为集合对应于一个项目,例如应用层有财务数据修复项目,则从有向无环图中获取包含财务数据的多个作业作为集合,则所述财务数据修复项目对应的作业有多个。
在一种可能的设计中,在服务器获取所述待修复作业之前,业务人员可以通过创建项目表,将所述至少一个作业集合中不同的作业集合对应的不同的项目存储在所述项目表中,并同时设置项目的ID信息、项目名称以及项目的创建时间等信息,以方便业务人员管理每一项目的数据修复。
作为一种实际应用,图2示出了本申请实施例中有向无环图的部分作业流程,包括实例A、实例B、实例C、实例D和实例E。从所述有向无环图中获取多个待修复作业,包括:作业B1B2、作业G1G4、作业C2、作业D1D2和作业E4。其中,所述作业B1B2和作业G1G4作为一个作业集合对应项目1,所述作业C2、作业D1D2和作业E4作为一个作业集合对应项目2。则业务人员可以将项目1和项目2存储在所述项目表中,便于管理所述项目1和项目2的数据修复。
步骤S102.将所述待修复作业与有向无环图进行比对,得到比对结果;
在本实施例中,由于所述待修复作业是从所述有向无环图中选取的,因此,将所述待修复作业与有向无环图进行比对后,能够得到所述待修复作业在所述有向无环图中所在的对应位置。
作为步骤S102其中一种可能的设计,将所述待修复作业与有向无环图进行比对,得到比对结果可以但不限于:
将所述待修复作业与所述有向无环图进行比对,得到所述待修复作业在所述有向无环图中的位置关系;
如图2所示,将项目1中的作业B1B2和作业G1G4与有向无环图进行比对后可以确定,作业B1B2位于所述有向无环图的实例B中,其中,B1分别与A1、A2、A3以及G1之间存在作业依赖关系,B2分别与A1、A2、A3以及G2之间存在作业依赖关系,作业G1G4位于所述有向无环图的实例G中,G1分别与B1和E4存在作业依赖关系,G4分别与E1和E2存在作业依赖关系。
将项目2中的作业C2、作业D1D2和作业E4与有向无环图进行比对后可以确定,作业C2位于所述有向无环图的实例C中,C2与D2之间存在作业依赖关系;作业D1D2位于所述有向无环图的实例D中,其中,D1分别与C1和E1之间存在作业依赖关系,D2分别与C2和E2之间存在作业依赖关系;作业E4位于所述有向无环图的实例E中,其中,E1分别与D1和F1存在作业依赖关系。
作为步骤S102另一种可能的设计,将所述待修复作业与有向无环图进行比对,得到比对结果可以但不限于:
步骤S102a.将所述待修复作业与所述有向无环图进行比对,确定在所述有向无环图中除所述待修复作业之外的其它作业;
例如,将图2中的项目1和项目2分别与所述有向无环图进行比对,则项目1对应的除作业B1B2和作业G1G4之外的其他作业是:A1A2A3、B2、C1C2、D1D2、F1、E1E2E3E4以及G2G3;项目2对应的除作业C2、作业D1D2和作业E4之外的其他作业是:A1A2A3、B1B2B3、C1C2、F1、E1E2E3和G1G2G3G4。
步骤S102b.将所述待修复作业的作业状态设置为未执行状态,将所述其它作业的作业状态设置为已完成状态;
在一种可能的设计中,通过在业务层中创建作业执行表,将所述待修复作业和所述其他作业存储在所述作业执行表中,将所述待修复作业的作业状态设置为未执行状态,将所述其它作业的作业状态设置为已完成状态,在执行步骤S103时,执行所述作业执行表的工作流。
步骤S103.根据所述比对结果确定所述待修复作业之间的第二作业依赖关系;
作为步骤S103其中一种可能的设计,根据所述比对结果确定所述待修复作业之间的作业依赖关系可以但不限于:
根据所述位置关系确定所述待修复作业之间的第二作业依赖关系。
基于上述公开的内容,通过所述待修复作业在所述有向无环图中的位置关系,建立所述待修复作业之间的新的作业依赖关系,即所述第二作业依赖关系。则服务器在执行所述待修复作业的作业修复时,按照所述第二作业依赖关系进行作业修复,而无需再将所述有向无环图的所有作业均执行一遍,从而极大地减少了数据仓库作业修复的时间,同时也减少了服务器资源的占用。
作为步骤S103另一种可能的设计,根据所述比对结果确定所述待修复作业之间的作业依赖关系可以但不限于:
根据已设置作业状态的所述待修复作业和已设置作业状态的所述其它作业确定所述待修复作业的第二作业依赖关系。
基于上述公开的内容,当服务器在执行作业修复时,会首先判断当前作业的作业状态,当所述当前作业的作业状态为已完成时,则自动跳过所述当前作业,而不执行作业修复,当所述当前作业的作业状态为未执行时,则执行所述当前作业的作业修复。对于服务器而言,无需获知每一待修复作业之间的作业关系,只需要判断当前作业的作业状态,根据作业状态执行或不执行当前作业,运算简单,减少了服务器资源的占用,且减少了作业修复的时间,提高了修复效率。
步骤S104.按照所述第二作业依赖关系执行所述待修复作业的数据修复。
在步骤S104中,当多个项目中包含相同的作业时,为了避免服务器识别不了该作业属于哪一项目,从而导致数据处理出错的问题,在一种可能的设计中,按照所述第二作业依赖关系执行所述待修复作业的数据修复,包括:
判断待修复的项目中与当前正在执行的修复项目中是否包含相同的作业;
若不包含,则按照所述第二作业依赖关系执行所述待修复作业的数据修复。
在一种可能的设计中,按照所述第二作业依赖关系执行所述待修复作业的数据修复,还包括:
若包含,则等待所述当前正在执行的修复项目执行完成后,按照所述第二作业依赖关系执行所述待修复作业的数据修复。
在一种可能的设计中,所述方法还包括:
确定所述项目中每个项目对应的待修复作业的生成日期;
根据所述生成日期,为所述每个项目设置数据修复起始日期和数据修复结束日期。
基于上述公开的内容,由于系统默认修复当前日期生成的作业数据,因此,若所述项目中对应的待修复作业的生成日期早于当前日期,业务人员可以为所述每个项目设置数据修复起始日期和数据修复结束日期。
例如,当所述项目中的待修复作业的生成日期早于当前日期时,假设当前日期为2021年4月11日,若业务人员需要修复的作业时过去一个星期的作业数据,则为所述项目设置数据修复起始日期为2021年4月4日,数据修复结束日期为2021年4月11日,则服务器在执行作业数据修复时,将仅修复所述待修复作业在2021年4月4日至2021年4月11日之间生成的作业数据。
在一个可能的设计中,所述方法还包括:为所述每个项目设置起始调用时间。
其中,需要说明的是,所述起始调用时间是指服务器调用所述项目开始进行数据修复的时间。由于业务人员不一定需要在确定所述待修复作业的作业依赖关系之后立刻执行所述待修复作业的数据修复,因此,业务人员可以根据需求设置每一所述项目的起始调用时间,以使服务器在设定的时间调用所述项目开始进行数据修复。
例如,某企业的某工作人员在每周五的下午6点更新数据,那么管理作业数据修复的业务人员可设置所述某工作人员所在项目的数据修复时间在每周五下午7点开始执行,则所述某工作人员可及时查看修复后的作业数据,保证了所述某工作人员获取数据的及时性和准确性。
在一个可能的设计中,当有多个项目的所述起始调用时间相同时,所述方法还包括:
根据紧急程度设置每一所述项目的任务优先级;
优先调用优先级高的所述项目执行数据修复。
基于上述公开的内容,当有多个所述项目时且多个所述项目的起始调用时间相同,则可以根据修复任务的紧急程度设置每一所述项目的任务优先级,然后优先调用优先级高的所述项目执行数据修复,以满足业务层面的自定义需求。
如图6所示,第二方面,本发明提供一种数据仓库调度的数据修复装置,包括:作业获取模块、比对模块、确定模块和执行模块;
所述作业获取模块,用于获取待修复作业;
比对模块,用于将所述待修复作业与有向无环图进行比对,得到比对结果;其中,所述有向无环图用于表征所述数据仓库中包括的日常作业之间的第一作业依赖关系;所述日常作业能够被归类为至少一个作业集合,所述至少一个作业集合中不同的作业集合对应不同的项目;
确定模块,用于根据所述比对结果确定所述待修复作业之间的第二作业依赖关系;
执行模块,用于按照所述第二作业依赖关系执行所述待修复作业的数据修复。
在一种可能的设计中,在所述比对模块用于将所述待修复作业与有向无环图进行比对,得到比对结果时,具体用于:
将所述待修复作业与所述有向无环图进行比对,得到所述待修复作业在所述有向无环图中的位置关系;
在所述确定模块用于根据所述比对结果确定所述待修复作业之间的第二作业依赖关系时,具体用于:
根据所述位置关系确定所述待修复作业之间的第二作业依赖关系。
在一种可能的设计中,在所述比对模块用于将所述待修复作业与有向无环图进行比对,得到比对结果时,具体用于:
将所述待修复作业与所述有向无环图进行比对,确定在所述有向无环图中除所述待修复作业之外的其它作业;
将所述待修复作业的作业状态设置为未执行状态,将所述其它作业的作业状态设置为已完成状态;
在所述确定模块用于根据所述比对结果确定所述待修复作业之间的第二作业依赖关系时,具体用于:
根据已设置作业状态的所述待修复作业和已设置作业状态的所述其它作业确定所述待修复作业的第二作业依赖关系。
在一种可能的设计中,在所述执行模块用于按照所述第二作业依赖关系执行所述待修复作业的数据修复时,具体用于:
判断待修复的项目中与当前正在执行的修复项目中是否包含相同的作业;
若不包含,则按照所述第二作业依赖关系执行所述待修复作业的数据修复。
在一种可能的设计中,在所述执行模块用于按照所述第二作业依赖关系执行所述待修复作业的数据修复时,具体用于:
若包含,则等待所述当前正在执行的修复项目执行完成后,按照所述第二作业依赖关系执行所述待修复作业的数据修复。
在一种可能的设计中,所述装置还包括:
生成日期确定模块,用于确定所述项目中每个项目对应的待修复作业的生成日期;
设置模块,用于根据所述生成日期,为所述每个项目设置数据修复起始日期和数据修复结束日期。
本实施例第二方面提供的装置的工作过程、工作细节和技术效果,可以参见实施例第一方面,于此不再赘述。
如图7所示,第三方面,本发明提供一种数据仓库调度的数据修复装置,包括:依次通信相连的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发消息,所述处理器用于读取所述计算机程序,执行如第一方面所述的数据仓库调度的数据修复方法。
具体举例的,所述存储器可以但不限于包括随机存取存储器(Random-AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、闪存(Flash Memory)、先进先出存储器(First Input First Output,FIFO)和/或先进后出存储器(First Input Last Output,FILO)等等;所述收发器可以但不限于为WiFi(无线保真)无线收发器、蓝牙无线收发器、GPRS(General Packet Radio Service,通用分组无线服务技术)无线收发器和/或ZigBee(紫蜂协议,基于IEEE802.15.4标准的低功耗局域网协议)无线收发器等;所述处理器可以不限于采用型号为STM32F105系列的微处理器。
本实施例第三方面提供的装置的工作过程、工作细节和技术效果,可以参见实施例第一方面,于此不再赘述。
第四方面,本发明提供一种计算机可读存储介质,所述计算机可读存储介质是上存储有指令,当所述指令在计算机上运行时,执行上述任意方面所述的数据仓库调度的数据修复方法。
其中,所述可读存储介质是指存储数据的载体,可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等,所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例第四方面提供的装置的工作过程、工作细节和技术效果,可以参见实施例第一方面,于此不再赘述。
第五方面,本发明提供一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使所述计算机执行如上述任意方面所述的数据仓库调度的数据修复方法。其中,所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种数据仓库调度的数据修复方法,其特征在于,所述方法包括:
获取待修复作业;
将所述待修复作业与有向无环图进行比对,得到比对结果;其中,所述有向无环图用于表征所述数据仓库中包括的日常作业之间的第一作业依赖关系;所述日常作业能够被归类为至少一个作业集合,所述至少一个作业集合中不同的作业集合对应不同的项目;
根据所述比对结果确定所述待修复作业之间的第二作业依赖关系;
按照所述第二作业依赖关系执行所述待修复作业的数据修复;
将所述待修复作业与有向无环图进行比对,得到比对结果,包括:
将所述待修复作业与所述有向无环图进行比对,得到所述待修复作业在所述有向无环图中的位置关系;
根据所述比对结果确定所述待修复作业之间的作业依赖关系,包括:
根据所述位置关系确定所述待修复作业之间的第二作业依赖关系。
2.根据权利要求1所述的方法,其特征在于,将所述待修复作业与有向无环图进行比对,得到比对结果,包括:
将所述待修复作业与所述有向无环图进行比对,确定在所述有向无环图中除所述待修复作业之外的其它作业;
将所述待修复作业的作业状态设置为未执行状态,将所述其它作业的作业状态设置为已完成状态;
根据所述比对结果确定所述待修复作业之间的作业依赖关系,包括:
根据已设置作业状态的所述待修复作业和已设置作业状态的所述其它作业确定所述待修复作业的第二作业依赖关系。
3.根据权利要求1所述的方法,其特征在于,按照所述第二作业依赖关系执行所述待修复作业的数据修复,包括:
判断待修复的项目中与当前正在执行的修复项目中是否包含相同的作业;
若不包含,则按照所述第二作业依赖关系执行所述待修复作业的数据修复。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
若包含,则等待所述当前正在执行的修复项目执行完成后,按照所述第二作业依赖关系执行所述待修复作业的数据修复。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定所述项目中每个项目对应的待修复作业的生成日期;
根据所述生成日期,为所述每个项目设置数据修复起始日期和数据修复结束日期。
6.一种数据仓库调度的数据修复装置,其特征在于,包括:作业获取模块、比对模块、确定模块和执行模块;
作业获取模块,用于获取待修复作业;
比对模块,用于将所述待修复作业与有向无环图进行比对,得到比对结果;其中,所述有向无环图用于表征所述数据仓库中包括的日常作业之间的第一作业依赖关系;所述日常作业能够被归类为至少一个作业集合,所述至少一个作业集合中不同的作业集合对应不同的项目;
确定模块,用于根据所述比对结果确定所述待修复作业之间的第二作业依赖关系;
执行模块,用于按照所述第二作业依赖关系执行所述待修复作业的数据修复;
在所述比对模块用于将所述待修复作业与有向无环图进行比对,得到比对结果时,具体用于:
将所述待修复作业与所述有向无环图进行比对,得到所述待修复作业在所述有向无环图中的位置关系;
在所述确定模块用于根据所述比对结果确定所述待修复作业之间的第二作业依赖关系时,具体用于:
根据所述位置关系确定所述待修复作业之间的第二作业依赖关系。
7.一种数据仓库调度的数据修复装置,其特征在于,包括:依次通信相连的存储器、处理器和收发器,其中,所述存储器用于存储计算机程序,所述收发器用于收发消息,所述处理器用于读取所述计算机程序,执行如权利要求1-5任意一项所述的数据仓库调度的数据修复方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如权利要求1-5任意一项所述的数据仓库调度的数据修复方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110514836.3A CN113239028B (zh) | 2021-05-10 | 2021-05-10 | 一种数据仓库调度的数据修复方法、装置和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110514836.3A CN113239028B (zh) | 2021-05-10 | 2021-05-10 | 一种数据仓库调度的数据修复方法、装置和可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113239028A CN113239028A (zh) | 2021-08-10 |
CN113239028B true CN113239028B (zh) | 2023-03-14 |
Family
ID=77133821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110514836.3A Active CN113239028B (zh) | 2021-05-10 | 2021-05-10 | 一种数据仓库调度的数据修复方法、装置和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113239028B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106293893A (zh) * | 2015-06-26 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 作业调度方法、装置及分布式系统 |
CN110019144A (zh) * | 2018-06-19 | 2019-07-16 | 杭州数澜科技有限公司 | 一种大数据平台数据运维的方法和系统 |
CN110402431A (zh) * | 2017-03-23 | 2019-11-01 | 亚马逊科技公司 | 使用有向无环图进行事件驱动的调度 |
CN111736969A (zh) * | 2020-06-16 | 2020-10-02 | 中国银行股份有限公司 | 分布式作业调度方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7979859B2 (en) * | 2005-05-03 | 2011-07-12 | International Business Machines Corporation | Managing automated resource provisioning with a workload scheduler |
US9461876B2 (en) * | 2012-08-29 | 2016-10-04 | Loci | System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction |
CN108037991A (zh) * | 2017-12-26 | 2018-05-15 | 中山大学 | 一种支持作业依赖关系的定时作业调度方法及系统 |
CN109670780A (zh) * | 2018-12-03 | 2019-04-23 | 中国建设银行股份有限公司 | 复杂场景下的工作流处理方法、设备和存储介质 |
CN110471754B (zh) * | 2019-08-22 | 2022-04-05 | 中国工商银行股份有限公司 | 作业调度中的数据展示方法、装置、设备及存储介质 |
-
2021
- 2021-05-10 CN CN202110514836.3A patent/CN113239028B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106293893A (zh) * | 2015-06-26 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 作业调度方法、装置及分布式系统 |
CN110402431A (zh) * | 2017-03-23 | 2019-11-01 | 亚马逊科技公司 | 使用有向无环图进行事件驱动的调度 |
CN110019144A (zh) * | 2018-06-19 | 2019-07-16 | 杭州数澜科技有限公司 | 一种大数据平台数据运维的方法和系统 |
CN111736969A (zh) * | 2020-06-16 | 2020-10-02 | 中国银行股份有限公司 | 分布式作业调度方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113239028A (zh) | 2021-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11847103B2 (en) | Data migration using customizable database consolidation rules | |
US20200104375A1 (en) | Data Migration Using Source Classification and Mapping | |
CN111352717B (zh) | 一种实现kubernetes自定义调度器的方法 | |
US20110119680A1 (en) | Policy-driven schema and system for managing data system pipelines in multi-tenant model | |
CN107016449B (zh) | 一种基于跨企业动态计划排程的智能制造方法 | |
CN102542382A (zh) | 业务规则的管理方法和装置 | |
US11100437B2 (en) | Method for improving semiconductor back-end factories | |
CN110427252A (zh) | 基于任务依赖关系的任务调度方法、装置及存储介质 | |
CN105719126A (zh) | 一种基于生命周期模型的互联网大数据任务调度的系统及方法 | |
CN112035230B (zh) | 一种任务调度文件生成方法、装置及存储介质 | |
CN112637263B (zh) | 一种多数据中心资源优化提升方法、系统和存储介质 | |
CN111798130A (zh) | 一种排产方法、设备及计算机可读存储介质 | |
CN112558934A (zh) | 一种基于编排控制流程业务开通的控制子任务引擎模块 | |
CN114153580A (zh) | 一种跨多集群的工作调度方法及装置 | |
CN112099937A (zh) | 一种资源治理方法和装置 | |
US8612597B2 (en) | Computing scheduling using resource lend and borrow | |
CN105446812A (zh) | 一种多任务调度配置方法 | |
CN112667383A (zh) | 一种任务执行及调度方法、系统、装置、计算设备及介质 | |
CN117077977A (zh) | 基于生产计划的调度方法及装置、存储介质及电子设备 | |
CN114169801A (zh) | 工作流调度方法和装置 | |
CN114154962A (zh) | 批处理监控方法、装置及设备 | |
CN113239028B (zh) | 一种数据仓库调度的数据修复方法、装置和可读存储介质 | |
CN115829266A (zh) | 跨调度系统的作业协同方法、装置、电子设备和存储介质 | |
US20210312365A1 (en) | Analysis of resources utilized during execution of a process | |
CN114237858A (zh) | 一种基于多集群网络的任务调度方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |