CN112445600A - 一种离线数据处理任务发布方法及系统 - Google Patents
一种离线数据处理任务发布方法及系统 Download PDFInfo
- Publication number
- CN112445600A CN112445600A CN202011473566.8A CN202011473566A CN112445600A CN 112445600 A CN112445600 A CN 112445600A CN 202011473566 A CN202011473566 A CN 202011473566A CN 112445600 A CN112445600 A CN 112445600A
- Authority
- CN
- China
- Prior art keywords
- data processing
- offline data
- processing task
- task
- offline
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 155
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000004590 computer program Methods 0.000 claims description 8
- 239000008280 blood Substances 0.000 claims description 4
- 210000004369 blood Anatomy 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 4
- 238000007726 management method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
Abstract
本发明公开的离线数据处理任务发布方法，根据用户的离线数据处理任务更新操作，从代码评审中心Gerrit中获取各个离线数据处理任务的最新代码，编辑最新代码，对各个离线数据处理任务进行配置并将配置后的各个离线数据处理任务的状态设置为待发布状态，利用调度引擎，将待发布状态的离线数据处理任务发送至任务调度中心进行发布，支持脚本类离线数据处理之间的依赖关系、脚本类离线数据处理之间的依赖关系、跨工作流的依赖关系，根据依赖关系的强执行场景，提高了效率及适用性。另外，本发明还公开了一种离线数据处理任务发布系统。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种离线数据处理任务发布方法及系统。
背景技术
近几年，车辆租赁业务在移动互联网推动下，用户增长迅速，订单猛增。在此背景下，各个汽车共享平台在分时租赁、日租、整租等主要业务场景积累了大量数据，同时也初步构建了租赁行业领先的数据体系，但存在任务管理、数据治理等方面的各种问题，尤其在离线数据处理任务管理及发布方面一系列问题。
当前，离线数仓任务管理主要方案如下：
借助IDE集成开发环境在开发离线数据处理任务(以下简称任务)，任务主要分为SQL类任务或者脚本类任务，以便对数据进行清理和逻辑处理，提交任务代码到代码评审中心Gerrit，任务调度中心在固定时间(一般在凌晨0:30分)从代码评审中心Gerrit拉取最新任务，任务调度中心计算任务依赖关系并根据任务调度时间提交到数据计算集群，批量运行任务。
当前的方案存在以下问题：
(1)当前任务调度中心只能在固定的时间点拉取最新任务，已经无法支撑当前的数据临时处理场景，任务发布不及时同时流程不灵活；
(2)当前任务调度中心使用的是开源调度系统，对开发人员不友好，成本过高，任务调度设置、任务下线、执行、补数等任务管理操作完全依赖开发人员进行，无法让开发人员自助操作，效率低；
(3)仅支持sql类型任务之间的依赖关系，不支持脚本类任务之间的依赖依赖关系及跨工作流任务之间的依赖关系，无法支撑复杂的任务依赖关系，跨工作流需要逐个查看，效率低。同时问题出现时不支持跨工作流的强执行，需要逐个点击工作流对任务重新跑数，效率较低。
发明内容
针对现有技术存在的缺陷，本发明实施例提供了一种离线数据处理任务发布方法及系统。
第一方面，本发明实施例提供的离线数据处理任务发布方法包括以下步骤：
根据用户的离线数据处理任务更新操作，从代码评审中心Gerrit中获取各个离线数据处理任务的最新代码；
编辑所述最新代码，对所述各个离线数据处理任务进行配置并将配置后的各个离线数据处理任务的状态设置为待发布状态；
利用调度引擎，将待发布状态的离线数据处理任务发送至任务调度中心进行发布。
优选地，利用调度引擎，将待发布状态的离线数据处理任务发布至任务调度中心包括：
解析所述待发布状态的离线数据处理任务对应的SQL语句；
根据所述SQL语句，确定所述离线数据处理任务关联的源数据表及目标数据表；
根据所述源数据表及所述目标数据表，确定与所述离线数据处理任务具有依赖关系的离线数据处理任务。
优选地，利用调度引擎，将待发布状态的离线数据处理任务发布至任务调度中心包括：
根据执行参数中的源数据表参数及目标数据表参数，确定脚本类的离线数据处理任务关联的源数据表和目标数据表；
根据所述源数据表和所述目标数据表，确定与所述离线数据处理任务具有依赖关系的离线数据处理任务。
优选地，根据所述源数据表和所述目标数据表，确定与所述离线数据处理任务具有依赖关系的离线数据处理任务包括：
根据所述源数据表和所述目标数据表，确定所述离线数据处理任务的类型及所述离线数据处理任务与其他离线数据处理任务之间的血缘关系；
根据所述离线数据处理任务的类型及所述离线数据处理任务与其他离线数据处理任务之间的血缘关系，确定与所述离线数据处理任务具有依赖关系的离线数据处理任务。
优选地，编辑所述最新代码，对所述各个离线数据处理任务进行配置包括：
为需要强制执行的离线数据处理任务设置标识。
第一方面，本发明实施例提供的离线数据处理任务发布系统包括以下模块：
获取模块，用于根据用户的离线数据处理任务更新操作，从代码审查工具Gerrit中获取各个离线数据处理任务的最新代码；
配置模块，用于编辑所述最新代码，对所述各个离线数据处理任务进行配置并将配置后的各个离线数据处理任务的状态设置为待发布状态；
发布模块，用于利用调度引擎，将待发布状态的离线数据处理任务发布至任务调度中心。
本发明实施例提供的离线数据处理任务发布方法及系统具有以下有益效果：
(1)可随时从代码审查工具Gerrit获取离线数据处理任务；
(2)支持开发人员自主且随时发布离线数据处理任务，并自主进行任务的其他管理操作；
(3)支持脚本类离线数据处理之间的依赖关系；
(4)对单个任务，支持跨工作流的依赖关系，并支持根据依赖关系的强执行场景。
具体实施方式
以下结合具体实施例对本发明作具体的介绍。
本发明实施例提供的离线数据处理任务发布方法包括以下步骤：
S101，根据用户的离线数据处理任务更新操作，从代码评审中心Gerrit中获取各个离线数据处理任务的最新代码。
其中，多个离线数据处理任务组成一个工作流，工作流由建立依赖关系的不同任务组成。每个离线数据处理任务在执行后产生一个运行记录称为离线数据处理任务实例，记录当次离线数据处理任务运行的详细信息，详细信息包括运行开始时间、结束时间、运行状态、运行日志及运行消耗资源等。
作为一个具体的实施例，开发人员开发离线数据处理任务并提交到代码评审中心Gerrit后，开发人员在天枢离线数据处理任务管理模块下点击更新任务列表按钮，该动作触发从代码评审中心Gerrit自动拉取最新代码数据到天枢系统并展现给开发人员。
S102，编辑最新代码，对各个离线数据处理任务进行配置并将配置后的各个离线数据处理任务的状态设置为待发布状态。
S103，利用调度引擎，将待发布状态的离线数据处理任务发送至任务调度中心进行发布。
其中，离线数据处理任务的下线、调度时间设置、补数等管理操作由数据开发人员点击系统中对应的按钮，任务管理服务与调度引擎协作，进行相应的动作处理，实现离线数据处理任务管理的完全自助。
可选地，利用调度引擎，将待发布状态的离线数据处理任务发布至任务调度中心包括：
解析待发布状态的离线数据处理任务对应的SQL语句；
根据SQL语句，确定离线数据处理任务关联的源数据表及目标数据表；
根据源数据表及目标数据表，确定与离线数据处理任务具有依赖关系的离线数据处理任务。
其中，该依赖关系包括强依赖关系和弱依赖关系，一个离线数据处理任务可以与多个离线数据处理任务建立不同的依赖关系。如果离线数据处理任务A强依赖离线数据处理任务B，则离线数据处理任务A一定等待离线数据处理任务B必须执行一次并正常结束才会执行；如果离线数据处理任务A弱依赖离线数据处理任务B，则离线数据处理离线数据处理任务A只要在确认离线数据处理任务B的运行状态是成功即可运行(离线数据处理任务B可能被其他其他任务强依赖已经执行过一次)。
可选地，利用调度引擎，将待发布状态的离线数据处理任务发布至任务调度中心包括：
根据执行参数中的源数据表参数及目标数据表参数，确定脚本类的离线数据处理任务关联的源数据表和目标数据表；
根据源数据表和目标数据表，确定与离线数据处理任务具有依赖关系的离线数据处理任务。
可选地，根据源数据表和目标数据表，确定与离线数据处理任务具有依赖关系的离线数据处理任务包括：
根据源数据表和目标数据表，确定离线数据处理任务的类型及离线数据处理任务与其他离线数据处理任务之间的血缘关系；
根据离线数据处理任务的类型及离线数据处理任务与其他离线数据处理任务之间的血缘关系，确定与离线数据处理任务具有依赖关系的离线数据处理任务。
可选地，编辑最新代码，对各个离线数据处理任务进行配置包括：
为需要强制执行的离线数据处理任务设置标识。
作为一个具体的实施例，当开发人员需要强制执行跨工作流间的离线数据处理任务时，通过为该离线数据处理任务配置是否需要强制执行所有任务标识，如果该标识为True，则无论该离线数据处理任务任务是否执行成功，根据该离线数据处理任务的依赖关系，再次执行该离线数据处理任务及与该离线数据处理任务具有依赖关系的离线数据处理任务，如果该标识为False，则再次只执行上次执行失败的离线数据处理任务。
本发明实施例提供的离线数据处理任务发布方法，根据用户的离线数据处理任务更新操作，从代码评审中心Gerrit中获取各个离线数据处理任务的最新代码，编辑最新代码，对各个离线数据处理任务进行配置并将配置后的各个离线数据处理任务的状态设置为待发布状态，利用调度引擎，将待发布状态的离线数据处理任务发送至任务调度中心进行发布，支持脚本类离线数据处理之间的依赖关系、脚本类离线数据处理之间的依赖关系、跨工作流的依赖关系，根据依赖关系的强执行场景，提高了效率及适用性。
第二方面，本发明实施例提供的离线数据处理任务发布系统包括以下模块：
获取模块，用于根据用户的离线数据处理任务更新操作，从代码审查工具Gerrit中获取各个离线数据处理任务的最新代码；
配置模块，用于编辑所述最新代码，对所述各个离线数据处理任务进行配置并将配置后的各个离线数据处理任务的状态设置为待发布状态；
发布模块，用于利用调度引擎，将待发布状态的离线数据处理任务发布至任务调度中心。
可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
需要说明的是，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。
Claims (8)
1.一种离线数据处理任务发布方法，其特征在于，包括：
根据用户的离线数据处理任务更新操作，从代码评审中心Gerrit中获取各个离线数据处理任务的最新代码；
编辑所述最新代码，对所述各个离线数据处理任务进行配置并将配置后的各个离线数据处理任务的状态设置为待发布状态；
利用调度引擎，将待发布状态的离线数据处理任务发送至任务调度中心进行发布。
2.根据权利要求1所述的离线数据处理任务发布方法，其特征在于，利用调度引擎，将待发布状态的离线数据处理任务发布至任务调度中心包括：
解析所述待发布状态的离线数据处理任务对应的SQL语句；
根据所述SQL语句，确定所述离线数据处理任务关联的源数据表及目标数据表；
根据所述源数据表及所述目标数据表，确定与所述离线数据处理任务具有依赖关系的离线数据处理任务。
3.根据权利要求1所述的离线数据处理任务发布方法，其特征在于，利用调度引擎，将待发布状态的离线数据处理任务发布至任务调度中心包括：
根据执行参数中的源数据表参数及目标数据表参数，确定脚本类的离线数据处理任务关联的源数据表和目标数据表；
根据所述源数据表和所述目标数据表，确定与所述离线数据处理任务具有依赖关系的离线数据处理任务。
4.根据权利要求2或3所述的离线数据处理任务发布方法，其特征在于，根据所述源数据表和所述目标数据表，确定与所述离线数据处理任务具有依赖关系的离线数据处理任务包括：
根据所述源数据表和所述目标数据表，确定所述离线数据处理任务的类型及所述离线数据处理任务与其他离线数据处理任务之间的血缘关系；
根据所述离线数据处理任务的类型及所述离线数据处理任务与其他离线数据处理任务之间的血缘关系，确定与所述离线数据处理任务具有依赖关系的离线数据处理任务。
5.根据权利要求1所述的离线数据处理任务发布方法，其特征在于，编辑所述最新代码，对所述各个离线数据处理任务进行配置包括：
为需要强制执行的离线数据处理任务设置标识。
6.一种离线数据处理任务发布系统，其特征在于，包括：
获取模块，用于根据用户的离线数据处理任务更新操作，从代码审查工具Gerrit中获取各个离线数据处理任务的最新代码；
配置模块，用于编辑所述最新代码，对所述各个离线数据处理任务进行配置并将配置后的各个离线数据处理任务的状态设置为待发布状态；
发布模块，用于利用调度引擎，将待发布状态的离线数据处理任务发布至任务调度中心。
7.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如权利要求1-5任一项所述的方法。
8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011473566.8A CN112445600A (zh) | 2020-12-15 | 2020-12-15 | 一种离线数据处理任务发布方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011473566.8A CN112445600A (zh) | 2020-12-15 | 2020-12-15 | 一种离线数据处理任务发布方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112445600A true CN112445600A (zh) | 2021-03-05 |
Family
ID=74740026
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011473566.8A Pending CN112445600A (zh) | 2020-12-15 | 2020-12-15 | 一种离线数据处理任务发布方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112445600A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117076141A (zh) * | 2023-10-17 | 2023-11-17 | 深圳迅策科技有限公司 | 一种高适用性离线数据处理任务发布方法及系统 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160034267A1 (en) * | 2014-08-01 | 2016-02-04 | Sap Se | Lightweight application deployment |
| CN105589874A (zh) * | 2014-10-22 | 2016-05-18 | 阿里巴巴集团控股有限公司 | Etl任务依赖关系的检测方法、装置及etl工具 |
| CN107608774A (zh) * | 2017-09-08 | 2018-01-19 | 新智云数据服务有限公司 | 一种任务调度方法、装置、设备及存储介质 |
| CN108182111A (zh) * | 2018-01-23 | 2018-06-19 | 百度在线网络技术（北京）有限公司 | 任务调度系统、方法和装置 |
| CN108345497A (zh) * | 2018-01-17 | 2018-07-31 | 千寻位置网络有限公司 | Gnss离线定位模拟的执行方法及系统、定位装置 |
| CN108959564A (zh) * | 2018-07-04 | 2018-12-07 | 玖富金科控股集团有限责任公司 | 数据仓库元数据管理方法、可读存储介质和计算机设备 |
| CN108984284A (zh) * | 2018-06-26 | 2018-12-11 | 杭州比智科技有限公司 | 基于离线计算平台的dag任务调度方法及装置 |
| CN109445929A (zh) * | 2018-11-16 | 2019-03-08 | 杭州数澜科技有限公司 | 一种调度任务的方法和系统 |
| CN109725906A (zh) * | 2018-12-30 | 2019-05-07 | 上海创功通讯技术有限公司 | 一种代码编译方法及对应的持续集成系统 |
| CN110895484A (zh) * | 2018-09-12 | 2020-03-20 | 北京奇虎科技有限公司 | 任务调度方法及装置 |
| CN110941446A (zh) * | 2019-11-06 | 2020-03-31 | 苏宁云计算有限公司 | 基于多环境离线任务的版本发布方法及装置 |
| CN111523851A (zh) * | 2020-03-06 | 2020-08-11 | 北京三快在线科技有限公司 | 任务管理及处理方法、商家信息管理方法、系统、及设备 |
| CN111666326A (zh) * | 2020-05-29 | 2020-09-15 | 中国工商银行股份有限公司 | Etl调度方法及装置 |
| CN111752920A (zh) * | 2020-06-22 | 2020-10-09 | 杭州数澜科技有限公司 | 用于管理元数据的方法、系统及存储介质 |
-
2020
- 2020-12-15 CN CN202011473566.8A patent/CN112445600A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160034267A1 (en) * | 2014-08-01 | 2016-02-04 | Sap Se | Lightweight application deployment |
| CN105589874A (zh) * | 2014-10-22 | 2016-05-18 | 阿里巴巴集团控股有限公司 | Etl任务依赖关系的检测方法、装置及etl工具 |
| CN107608774A (zh) * | 2017-09-08 | 2018-01-19 | 新智云数据服务有限公司 | 一种任务调度方法、装置、设备及存储介质 |
| CN108345497A (zh) * | 2018-01-17 | 2018-07-31 | 千寻位置网络有限公司 | Gnss离线定位模拟的执行方法及系统、定位装置 |
| CN108182111A (zh) * | 2018-01-23 | 2018-06-19 | 百度在线网络技术（北京）有限公司 | 任务调度系统、方法和装置 |
| CN108984284A (zh) * | 2018-06-26 | 2018-12-11 | 杭州比智科技有限公司 | 基于离线计算平台的dag任务调度方法及装置 |
| CN108959564A (zh) * | 2018-07-04 | 2018-12-07 | 玖富金科控股集团有限责任公司 | 数据仓库元数据管理方法、可读存储介质和计算机设备 |
| CN110895484A (zh) * | 2018-09-12 | 2020-03-20 | 北京奇虎科技有限公司 | 任务调度方法及装置 |
| CN109445929A (zh) * | 2018-11-16 | 2019-03-08 | 杭州数澜科技有限公司 | 一种调度任务的方法和系统 |
| CN109725906A (zh) * | 2018-12-30 | 2019-05-07 | 上海创功通讯技术有限公司 | 一种代码编译方法及对应的持续集成系统 |
| CN110941446A (zh) * | 2019-11-06 | 2020-03-31 | 苏宁云计算有限公司 | 基于多环境离线任务的版本发布方法及装置 |
| CN111523851A (zh) * | 2020-03-06 | 2020-08-11 | 北京三快在线科技有限公司 | 任务管理及处理方法、商家信息管理方法、系统、及设备 |
| CN111666326A (zh) * | 2020-05-29 | 2020-09-15 | 中国工商银行股份有限公司 | Etl调度方法及装置 |
| CN111752920A (zh) * | 2020-06-22 | 2020-10-09 | 杭州数澜科技有限公司 | 用于管理元数据的方法、系统及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117076141A (zh) * | 2023-10-17 | 2023-11-17 | 深圳迅策科技有限公司 | 一种高适用性离线数据处理任务发布方法及系统 |
| CN117076141B (zh) * | 2023-10-17 | 2024-01-26 | 深圳迅策科技有限公司 | 一种高适用性离线数据处理任务发布方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7844570B2 (en) | Database generation systems and methods | |
| CN111190924A (zh) | 跨域的数据查询方法及装置 | |
| CN106897342B (zh) | 一种数据校验方法和设备 | |
| US20220222068A1 (en) | Data structures for managing configuration versions of cloud-based applications | |
| CN110968565A (zh) | 一种数据库的创建方法及系统 | |
| CN116302064A (zh) | 一种集成代码分析方法、装置、电子设备及存储介质 | |
| US11966732B2 (en) | Data structures for managing configuration versions of cloud-based applications | |
| CN112445600A (zh) | 一种离线数据处理任务发布方法及系统 | |
| CN114139923A (zh) | 任务关联性分析方法、装置及计算机可读存储介质 | |
| CN110244951B (zh) | 应用发布方法及装置 | |
| CN112631763A (zh) | 一种主机程序的程序变更方法及装置 | |
| US6944618B2 (en) | Method, computer program product, and system for unloading a hierarchical database utilizing segment specific selection criteria | |
| CN112667259A (zh) | 一种sdn控制器版本升级方法、设备及介质 | |
| CN116820427A (zh) | 一种软件研发项目管理方法、设备及介质 | |
| CN110928941A (zh) | 一种数据分片抽取方法及装置 | |
| CN116701356A (zh) | 数据迁移方法、装置、终端设备及存储介质 | |
| US20210303339A1 (en) | Data backup method, electronic device and computer program product | |
| CN111475167A (zh) | 一种基于HQL语句的Shell脚本依赖关系抽取方法 | |
| CN109299125B (zh) | 数据库更新方法及装置 | |
| CN108897873B (zh) | 一种生成作业文件的方法、装置、存储介质及处理器 | |
| CN115328524A (zh) | 补丁合入方法、装置、计算机设备及存储介质 | |
| CN111240646A (zh) | 一种基于全流程开发的程序设计方法 | |
| CN111158873A (zh) | 系统状态机实现方法、装置、存储介质及处理器 | |
| CN115951893B (zh) | 一种半导体加工脚本获取方法、系统、设备及存储介质 | |
| CN116016158B (zh) | 一种混合云的aPaaS平台部署方法、装置、设备和计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |