CN114064609A - 一种数据仓库任务调度方法、装置、系统及存储介质 - Google Patents
一种数据仓库任务调度方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN114064609A CN114064609A CN202111341530.9A CN202111341530A CN114064609A CN 114064609 A CN114064609 A CN 114064609A CN 202111341530 A CN202111341530 A CN 202111341530A CN 114064609 A CN114064609 A CN 114064609A
- Authority
- CN
- China
- Prior art keywords
- time
- task
- data
- granularity
- offset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000011144 upstream manufacturing Methods 0.000 claims abstract description 41
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 9
- 238000009795 derivation Methods 0.000 claims description 21
- 239000010453 quartz Substances 0.000 claims description 10
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 abstract description 11
- 238000010276 construction Methods 0.000 abstract description 7
- 238000012545 processing Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种数据仓库任务调度方法、装置、系统及存储介质，所述方法为：基于依赖关系、数据版本、任务时间粒度、偏移量、运行时间规则五个因子推导有向无环图DAG的算法，运行DAG计算包括根据某一任务实例推导其上游数据版本以及下游数据版本，分成两个步骤完成：步骤一、依据数据版本、依赖关系、时间粒度、偏移量计算上游或者下游的时间检查区间；步骤二、根据时间检查区间、依赖关系、运行时间规则计算时间检查区间内的数据版本。本发明解决了现有数据仓库建设过程中数据任务运行编排的依赖问题、数据版本问题。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及一种数据仓库任务调度方法。
背景技术
数据仓库建设过程中，ETL环节占据了整个项目60％-70％的时间和人力投入。ETL即数据抽取(Extract)、转换(Transform)、装载(Load)的过程。ETL是通过数据任务对数据进行加工、处理，数据仓库建设往往涉及大量的数据任务。数据仓库是持续建设的过程，这些数据任务需要例行进行调度，对数据仓库的数据进行刷新。这就需要独立的调度引擎对数据任务的运行进行编排。现有任务调度引擎难以满足数据仓库的任务调度需求，存在如下缺陷：
现有调度引擎无法支持数据任务的依赖关系。现有调度引擎多为定时触发器，能够满足数据任务的例行调度要求，但是数据任务通常具有严格的依赖关系，存在任务的执行顺序要求，上游执行完成后才允许下游任务执行。现有调度引擎很难满足要求。
现有调度引擎不能支持数据版本。数据任务与普通工作流任务的一个重要区别就是数据任务有时间版本的概念，数据任务在不同时间窗口内执行的意义截然不同。数据仓库的任务调度是基于时间版本的DAG，现有的普通工作流引擎面向任务的DAG设计，但因不是为数据仓库建设而建的系统，其尚无法原生支持基于数据版本的DAG调度。
发明内容
为此，本发明提供一种数据仓库任务调度方法，以解决现有数据仓库建设过程中数据任务运行编排的依赖问题、数据版本问题。
为了实现上述目的，本发明提供如下技术方案：
根据本发明的第一方面，公开了一种数据仓库任务调度方法，所述方法为：
基于依赖关系、数据版本、任务时间粒度、偏移量、运行时间规则五个因子推导有向无环图DAG的算法，运行DAG计算包括根据某一任务实例推导其上游数据版本以及下游数据版本，分成两个步骤完成：
步骤一、依据数据版本、依赖关系、时间粒度、偏移量计算上游或者下游的时间检查区间；
步骤二、根据时间检查区间、依赖关系、运行时间规则计算时间检查区间内的数据版本。
进一步地，所述数据版本为数据的理论时间归属，所述任务时间粒度描述一个任务在一个对应周期内只能执行一次，所述偏移量用于计算时间区间的基准时间，所述运行时间规则用于限定此任务的法定时间，与依赖关系共同决定实例是否具备运行条件。
进一步地，所述时间检查区间针对上游任务的推导方法为：已知一个任务downTask的数据版本downTaskDataVersion和任务的一个上游任务upTask，推导downTask的上游依赖关系；
任务检查时间区间计算公式：
[toStart_ug(toStart_bg(dataVersionTime+offset_bg)),
toEnd_ug(toEnd_bg(dataVersionTime+offset_bg))]
公式说明：
[dataVersionTime+offset(bg粒度)的结果时间在bg粒度的起始时间在ug粒度的起始时间，
dataVersionTime+offset(bg粒度)的结果时间在bg粒度的结束时间在ug粒度的结束时间]。
进一步地，所述时间检查区间针对上游任务的推导方法为：
已知一个任务(upTask)的数据版本(upTaskDataVersion)和任务的一个下游任务(downTask)，推导upTask的下游依赖关系。
任务检查时间区间计算公式：
[toStart_bg(toStart_ug(dataVersionTime))-offset_bg,
toEnd_bg(toEnd_ug(dataVersionTime))-offset_bg]
公式说明：
[dataVersionTime所在的ug粒度的起始时间在bg粒度的起始时间-offset(bg粒度),
dataVersionTime所在的ug粒度的结束时间在bg粒度的结束时间-offset(bg粒度)]。
进一步地，所述时间检查区间内的数据版本计算方法为：
任务运行时间规则采用类似quartz时间表达式，以上一步骤计算得出的检查区间并结合运行时间规则作为输入变量，利用quartz时间表达式对运行时间的迭代推导机制计算得出一组有效的理论运行时间，此理论运行时间依据任务的时间粒度进行精度截断得到数据版本列表。
根据本发明的第二方面，公开了一种数据仓库任务调度装置，所述装置包括：
时间检查区间推导模块和数据版本计算模块，所述时间检查区间推导模块，依据数据版本、依赖关系、任务时间粒度和偏移量计算上游或者下游的时间检查区间，所述数据版本计算模块根据时间检查区间、依赖关系、运行时间规则计算时间检查区间内的数据版本。
进一步地，所述时间检查区间推导模块针对上游任务，根据已知一个任务downTask的数据版本downTaskDataVersion和任务的一个上游任务upTask，推导downTask的上游依赖关系；时间检查区间推导模块针对下游任务，根据已知一个任务upTask的数据版本upTaskDataVersion和任务的一个下游任务downTask，推导upTask的下游依赖关系。
进一步地，所述数据版本计算模块针对任务运行时间规则采用类似quartz时间表达式，以上一步骤计算得出的检查区间并结合运行时间规则作为输入变量，利用quartz时间表达上对运行时间的迭代推导机制计算得出一组有效的理论运行时间。
根据本发明的第三方面，公开了一种数据仓库任务调度系统，所述系统包括：至少一个处理器和至少一个存储器；
所述存储器，用于存储一个或多个程序指令；
所述处理器，用于运行一个或多个程序指令，用以执行一种数据仓库任务调度方法中任一项所述的方法。
根据本发明的第四方面，公开了一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行一种数据仓库任务调度方法中任一项所述的方法。
本发明具有如下优点：
本发明公开了一种数据仓库任务调度方法、装置、系统及存储介质，本发明提出的DAG模型的任务运行机制，实现任务运行对上游依赖关系的检查，即使上游任务运行超时也能保证正确的任务运行顺序，避免数据错误。这比业内常见的单纯任务定时触发机制的调度模型更适合数据仓库的建设场景；
本发明提出的任务运行依赖图谱的算法模型为数据仓库任务DAG的构建提供了基础，依据本发明中的对上游任务依赖关系的推导算法，对系统中所有有效任务迭代进行上游任务数据版本计算，可以实现对数据仓库完整运行图谱的构建，调度引擎依据完整图谱对任务进行调度执行，满足数据仓库任务对基于数据版本的工作流图谱的需求；
本发明提出的对任务下游依赖关系的推导算法，应用于数据任务的历史性修复场景，通过触发某一特定历史版本的数据任务实例，根据推导算法可以自动发现其下游的完整数据版本图谱，按照DAG模型自动进行调度，完成整个数据链路的修复。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明实施例提供的一种数据仓库任务调度方法的流程图；
图2为本发明实施例提供的一种数据仓库任务调度系统架构图；
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本发明为针对数据仓库数据任务调度的算法及系统，解决数据仓库建设过程中数据任务运行编排的依赖问题、数据版本问题，基于本发明可以实现基于数据版本的数据任务DAG调度，以及对历史数据的修复性调度。本实施例公开了一种数据仓库任务调度方法，所述方法为：
基于依赖关系、数据版本、任务时间粒度、偏移量、运行时间规则五个因子推导有向无环图DAG的算法，运行DAG计算包括根据某一任务实例推导其上游数据版本以及下游数据版本，分成两个步骤完成：
步骤一、依据数据版本、依赖关系、时间粒度、偏移量计算上游或者下游的时间检查区间；
步骤二、根据时间检查区间、依赖关系、运行时间规则计算时间检查区间内的数据版本。
依赖关系是描述任务的上下游关系，若B任务依赖A任务则表示B任务是A任务的下游，需要等待A任务相应版本执行完成后才会被触发。所述数据版本为数据的理论时间归属，所述任务时间粒度描述一个任务在一个对应周期内只能执行一次，所述偏移量用于计算时间区间的基准时间，所述运行时间规则用于限定此任务的法定时间，与依赖关系共同决定实例是否具备运行条件。参考表1，为时间检查区间推导变量对应表。
表1
| 变量 | 描述 |
| ug | 上游任务的数据粒度 |
| dg | 下游任务的数据粒度 |
| bg | 上下游任务中较大的数据粒度 |
| offset | 偏移量 |
| offset_bg | bg粒度的偏移量 |
| dataVersionTime | 和数据版本对应的时间戳 |
所述时间检查区间针对上游任务的推导方法为：已知一个任务downTask的数据版本downTaskDataVersion和任务的一个上游任务upTask，推导downTask的上游依赖关系；
任务检查时间区间计算公式：
[toStart_ug(toStart_bg(dataVersionTime+offset_bg)),
toEnd_ug(toEnd_bg(dataVersionTime+offset_bg))]
公式说明：
[dataVersionTime+offset(bg粒度)的结果时间在bg粒度的起始时间在ug粒度的起始时间，
dataVersionTime+offset(bg粒度)的结果时间在bg粒度的结束时间在ug粒度的结束时间]。
所述时间检查区间针对上游任务的推导方法为：
已知一个任务(upTask)的数据版本(upTaskDataVersion)和任务的一个下游任务(downTask)，推导upTask的下游依赖关系。
任务检查时间区间计算公式：
[toStart_bg(toStart_ug(dataVersionTime))-offset_bg,
toEnd_bg(toEnd_ug(dataVersionTime))-offset_bg]
公式说明：
[dataVersionTime所在的ug粒度的起始时间在bg粒度的起始时间-offset(bg粒度),
dataVersionTime所在的ug粒度的结束时间在bg粒度的结束时间-offset(bg粒度)]。
在一个具体例子中，调度引擎系统需要应对并发场景的技术考验，整体采用Reactor的设计思想，将调度流程分成多个独立的Stage，每个Stage处理特定的Event，系统全局通过Event机制实现调度引擎运转。为了降低Stage间的耦合度，系统通过独立的Schedule Event Bus(SEB)实现Event在不同Stage间的传递。
参考图2，在通用场景模型中，事件调度总线接收上游的调度事件，转入控制器，通过触发器定时进行任务触发，触发器主要进行兜底，针对上游遗漏的时间进行定时触发，防止事件遗漏，触发器将调度事件转入控制器，通过控制器进行路由分配，在队列池中，每个队列分配一个事件监听器，从队列中取出第一事件，利用事件监听器进行监听，事件监听器通过工厂模式找到相应的事件处理器EventHandlers，事件处理器对时间进行处理，例如：DailyInit EventHandler针对每天需要处理的任务进行初始化，每天触发一次事件；ReadyCheck EventHandler定时触发任务，判定事件是否具备运行条件；SubmitEventHandler进行事件的提交。在事件处理器处理完成后向下游发送调度事件。
实施例2
本实施例公开了一种数据仓库任务调度装置，所述装置包括：
时间检查区间推导模块和数据版本计算模块，所述时间检查区间推导模块，依据数据版本、依赖关系、任务时间粒度和偏移量计算上游或者下游的时间检查区间，所述数据版本计算模块根据时间检查区间、依赖关系、运行时间规则计算时间检查区间内的数据版本。
时间检查区间推导模块针对上游任务，根据已知一个任务downTask的数据版本downTaskDataVersion和任务的一个上游任务upTask，推导downTask的上游依赖关系；时间检查区间推导模块针对下游任务，根据已知一个任务upTask的数据版本upTaskDataVersion和任务的一个下游任务downTask，推导upTask的下游依赖关系。
数据版本计算模块针对任务运行时间规则采用类似quartz时间表达式，以上一步骤计算得出的检查区间并结合运行时间规则作为输入变量，利用quartz时间表达上对运行时间的迭代推导机制计算得出一组有效的理论运行时间。
另一实施例中，公开了一种数据仓库任务调度系统，所述系统包括：至少一个处理器和至少一个存储器；
所述存储器，用于存储一个或多个程序指令；
所述处理器，用于运行一个或多个程序指令，用以执行一种数据仓库任务调度方法中任一项所述的方法。
又一实施例中，公开了一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行一种数据仓库任务调度方法中任一项所述的方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synch Link DRAM，简称SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (10)
1.一种数据仓库任务调度方法，其特征在于，所述方法为：
基于依赖关系、数据版本、任务时间粒度、偏移量、运行时间规则五个因子推导有向无环图DAG的算法，运行DAG计算包括根据某一任务实例推导其上游数据版本以及下游数据版本，分成两个步骤完成：
步骤一、依据数据版本、依赖关系、时间粒度、偏移量计算上游或者下游的时间检查区间；
步骤二、根据时间检查区间、依赖关系、运行时间规则计算时间检查区间内的数据版本。
2.如权利要求1所述的一种数据仓库任务调度方法，其特征在于，所述数据版本为数据的理论时间归属，所述任务时间粒度描述一个任务在一个对应周期内只能执行一次，所述偏移量用于计算时间区间的基准时间，所述运行时间规则用于限定此任务的法定时间，与依赖关系共同决定实例是否具备运行条件。
3.如权利要求1所述的一种数据仓库任务调度方法，其特征在于，所述时间检查区间针对上游任务的推导方法为：已知一个任务downTask的数据版本downTaskDataVersion和任务的一个上游任务upTask，推导downTask的上游依赖关系；
任务检查时间区间计算公式：
[toStart_ug(toStart_bg(dataVersionTime+offset_bg)),
toEnd_ug(toEnd_bg(dataVersionTime+offset_bg))]
公式说明：
[dataVersionTime+offse的结果时间在bg粒度的起始时间在ug粒度的起始时间，
dataVersionTime+offset的结果时间在bg粒度的结束时间在ug粒度的结束时间]。
4.如权利要求1所述的一种数据仓库任务调度方法，其特征在于，所述时间检查区间针对上游任务的推导方法为：
已知一个任务upTask的数据版本upTaskDataVersion和任务的一个下游任务downTask，推导upTask的下游依赖关系，
任务检查时间区间计算公式：
[toStart_bg(toStart_ug(dataVersionTime))-offset_bg,
toEnd_bg(toEnd_ug(dataVersionTime))-offset_bg]
公式说明：
[dataVersionTime所在的ug粒度的起始时间在bg粒度的起始时间-offset,
dataVersionTime所在的ug粒度的结束时间在bg粒度的结束时间-offset]。
5.如权利要求1所述的一种数据仓库任务调度方法，其特征在于，所述时间检查区间内的数据版本计算方法为：
任务运行时间规则采用类似quartz时间表达式，上一步骤计算得出的检查区间并结合运行时间规则作为输入变量，利用quartz时间表达式对运行时间的迭代推导机制计算得出一组有效的理论运行时间，此理论运行时间依据任务的时间粒度进行精度截断得到数据版本列表。
6.一种数据仓库任务调度装置，其特征在于，所述装置包括：
时间检查区间推导模块和数据版本计算模块，所述时间检查区间推导模块，依据数据版本、依赖关系、任务时间粒度和偏移量计算上游或者下游的时间检查区间，所述数据版本计算模块根据时间检查区间、依赖关系、运行时间规则计算时间检查区间内的数据版本。
7.如权利要求6所述的一种数据仓库任务调度装置，其特征在于，所述时间检查区间推导模块针对上游任务，根据已知一个任务downTask的数据版本downTaskDataVersion和任务的一个上游任务upTask，推导downTask的上游依赖关系；时间检查区间推导模块针对下游任务，根据已知一个任务upTask的数据版本upTaskDataVersion和任务的一个下游任务downTask，推导upTask的下游依赖关系。
8.如权利要求6所述的一种数据仓库任务调度装置，其特征在于，所述数据版本计算模块针对任务运行时间规则采用类似quartz时间表达式，上一步骤计算得出的检查区间并结合运行时间规则作为输入变量，利用quartz时间表达上对运行时间的迭代推导机制计算得出一组有效的理论运行时间。
9.一种数据仓库任务调度系统，其特征在于，所述系统包括：至少一个处理器和至少一个存储器；
所述存储器，用于存储一个或多个程序指令；
所述处理器，用于运行一个或多个程序指令，用以执行如权利要求1-5任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111341530.9A CN114064609A (zh) | 2021-11-12 | 2021-11-12 | 一种数据仓库任务调度方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111341530.9A CN114064609A (zh) | 2021-11-12 | 2021-11-12 | 一种数据仓库任务调度方法、装置、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114064609A true CN114064609A (zh) | 2022-02-18 |
Family
ID=80271704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111341530.9A Pending CN114064609A (zh) | 2021-11-12 | 2021-11-12 | 一种数据仓库任务调度方法、装置、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114064609A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106293893A (zh) * | 2015-06-26 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 作业调度方法、装置及分布式系统 |
| CN110069334A (zh) * | 2019-05-05 | 2019-07-30 | 重庆天蓬网络有限公司 | 一种基于包管理的分布式数据作业调度的方法和系统 |
| CN110895484A (zh) * | 2018-09-12 | 2020-03-20 | 北京奇虎科技有限公司 | 任务调度方法及装置 |
| US20200167343A1 (en) * | 2018-11-28 | 2020-05-28 | Snowflake Inc. | Task scheduling in database systems |
| WO2020259392A1 (zh) * | 2019-06-25 | 2020-12-30 | 深圳前海微众银行股份有限公司 | 一种异常任务的根因任务确定方法及装置 |
| CN112559161A (zh) * | 2021-02-19 | 2021-03-26 | 北京搜狐新媒体信息技术有限公司 | 一种任务调度方法及系统 |
| CN113094162A (zh) * | 2021-04-09 | 2021-07-09 | 中国工商银行股份有限公司 | 一种任务依赖关系更新方法、装置及存储介质 |
| CN113360282A (zh) * | 2021-06-03 | 2021-09-07 | 中国工商银行股份有限公司 | 一种任务管理方法、装置、电子设备及存储介质 |
| CN113535364A (zh) * | 2021-07-29 | 2021-10-22 | 维沃移动通信（杭州）有限公司 | 任务调度方法及装置 |
-
2021
- 2021-11-12 CN CN202111341530.9A patent/CN114064609A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106293893A (zh) * | 2015-06-26 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 作业调度方法、装置及分布式系统 |
| CN110895484A (zh) * | 2018-09-12 | 2020-03-20 | 北京奇虎科技有限公司 | 任务调度方法及装置 |
| US20200167343A1 (en) * | 2018-11-28 | 2020-05-28 | Snowflake Inc. | Task scheduling in database systems |
| CN110069334A (zh) * | 2019-05-05 | 2019-07-30 | 重庆天蓬网络有限公司 | 一种基于包管理的分布式数据作业调度的方法和系统 |
| WO2020259392A1 (zh) * | 2019-06-25 | 2020-12-30 | 深圳前海微众银行股份有限公司 | 一种异常任务的根因任务确定方法及装置 |
| CN112559161A (zh) * | 2021-02-19 | 2021-03-26 | 北京搜狐新媒体信息技术有限公司 | 一种任务调度方法及系统 |
| CN113094162A (zh) * | 2021-04-09 | 2021-07-09 | 中国工商银行股份有限公司 | 一种任务依赖关系更新方法、装置及存储介质 |
| CN113360282A (zh) * | 2021-06-03 | 2021-09-07 | 中国工商银行股份有限公司 | 一种任务管理方法、装置、电子设备及存储介质 |
| CN113535364A (zh) * | 2021-07-29 | 2021-10-22 | 维沃移动通信（杭州）有限公司 | 任务调度方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5897747B2 (ja) | フォールトトレラントバッチ処理 | |
| CN110399241B (zh) | 任务异常处理方法、装置、计算机设备和可读存储介质 | |
| CN111309372A (zh) | 定时任务执行方法、装置、计算机设备和存储介质 | |
| CN109684304B (zh) | 数据迁移方法及装置 | |
| CN110928653A (zh) | 跨集群任务的执行方法、装置、计算机设备和存储介质 | |
| CN107861991B (zh) | 单据数据处理方法、装置、计算机设备和存储介质 | |
| CN110599305A (zh) | 业务处理方法、装置及存储介质 | |
| CN112508534A (zh) | 基于区块链的人事信息管理方法、装置及相关设备 | |
| CN108885570B (zh) | 车辆控制装置 | |
| CN114064609A (zh) | 一种数据仓库任务调度方法、装置、系统及存储介质 | |
| CN111782378B (zh) | 自适应性的处理性能调整方法、服务器及可读存储介质 | |
| US20080276247A1 (en) | Method for the Real-Time Analysis of a System | |
| CN110674214B (zh) | 大数据同步方法、装置、计算机设备及存储介质 | |
| CN112286704A (zh) | 延时任务的处理方法、装置、计算机设备及存储介质 | |
| CN112732819A (zh) | 基于etl的数据处理方法、装置、设备和存储介质 | |
| CN113297150A (zh) | 数据库日志处理方法、装置、设备及存储介质 | |
| CN109344545B (zh) | 建筑设计软件中构件尺寸的精确度调整方法、装置 | |
| CN115202898A (zh) | 消息消费方法、装置、计算机设备和存储介质 | |
| CN112541041A (zh) | 一种数据处理方法、装置、服务器及存储介质 | |
| CN110969430A (zh) | 可疑用户的识别方法、装置、计算机设备和存储介质 | |
| CN111176966A (zh) | 确定cpu利用率的方法、装置、设备及存储介质 | |
| CN115374218B (zh) | 一种异构数据库的数据同步方法、装置、设备及介质 | |
| CN112445829B (zh) | 数据核对的方法、装置、设备及存储介质 | |
| CN111158701B (zh) | 库模块发布方法、装置、设备及存储介质 | |
| CN117879550B (zh) | 定时生成脉冲的余数处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230414 Address after: No.13, heiniucheng Road, Hexi District, Tianjin 300210 Applicant after: CCCC Intelligent Transportation Co.,Ltd. Applicant after: CHINA HIGHWAY ENGINEERING CONSULTING Corp. Applicant after: ZHONGZI DATA CO.,LTD. Address before: No.13, heiniucheng Road, Hexi District, Tianjin 300210 Applicant before: CCCC Intelligent Transportation Co.,Ltd. |
|
| TA01 | Transfer of patent application right |