CN114064240A - 用于实现低代码配置化etl数据转换的平台系统、方法、装置、处理器及计算机存储介质 - Google Patents

用于实现低代码配置化etl数据转换的平台系统、方法、装置、处理器及计算机存储介质 Download PDF

Info

Publication number
CN114064240A
CN114064240A CN202111345731.6A CN202111345731A CN114064240A CN 114064240 A CN114064240 A CN 114064240A CN 202111345731 A CN202111345731 A CN 202111345731A CN 114064240 A CN114064240 A CN 114064240A
Authority
CN
China
Prior art keywords
task
execution
processing module
etl data
data transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111345731.6A
Other languages
English (en)
Inventor
俞枫
任志浩
陈雨忱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guotai Junan Securities Co Ltd
Original Assignee
Guotai Junan Securities Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guotai Junan Securities Co Ltd filed Critical Guotai Junan Securities Co Ltd
Priority to CN202111345731.6A priority Critical patent/CN114064240A/zh
Publication of CN114064240A publication Critical patent/CN114064240A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
    • G06F9/4482—Procedural
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Stored Programmes (AREA)

Abstract

本发明涉及一种用于实现低代码配置化ETL数据转换的平台系统，其中，该系统包括：任务生成器处理模块，用于根据用户定义的执行计划生成执行任务；任务调度器处理模块，用于根据执行任务的要求选择注册的任务执行器；任务执行器处理模块，用于接收任务调度器提交的任务，并根据执行参数执行资源库里的作业或转换；平台监视器处理模块，用于实时监控任务的执行情况以及各个组件的健康情况；资源库处理模块，用于进行存放作业及转换。本发明还涉及相应的方法、装置、处理器及其存储介质。采用了本发明的上述技术方案，通过开发可视化的任务配置功能，能够减少使用人员的学习成本；并且通过配置参数复用公共组件，能够有效的减少重复开发。

Description

用于实现低代码配置化ETL数据转换的平台系统、方法、装置、 处理器及计算机存储介质
技术领域
本发明涉及数据转换开发领域，尤其涉及ETL数据转换技术领域，具体是指一种用于实现低代码配置化ETL数据转换的平台系统、方法、装置、处理器及其计算机可读存储介质。
背景技术
当前ETL数据转换工具很多，如DataPineline,datastage,informatica,kettle,Datax,cognos等，虽然这些转换工具或平台功能都特别强大，能够处理复杂数据转换逻辑，但是正是因为如此，使用这些转换工具需要很强的专业背景，学习使用的成本很高。此外，有些转换工具的使用datastage,informatica也需要对应的商业许可。因此，目前的开发工具均存在种种局限性，不便于针对性的适时使用。
发明内容
本发明的目的是克服了上述现有技术的缺点，提供了一种适用性较为广泛且可利用率极高的用于实现低代码配置化ETL数据转换的平台系统、方法、装置、处理器及其计算机可读存储介质。
为了实现上述目的，本发明的用于实现低代码配置化ETL数据转换的平台系统、方法、装置、处理器及其计算机可读存储介质如下：
该用于实现低代码配置化ETL数据转换的平台系统，其主要特点是，所述的系统包括：
任务生成器处理模块，与所述的平台系统相连接，用于按照用户定义的任务执行相应的计划，以生成执行任务；
任务调度器处理模块，与所述的平台系统相连接，用于根据执行任务的要求，选择当前注册的任务执行器，并提交至任务执行器执行任务；
任务执行器处理模块，与所述的平台系统相连接，用于接收任务调度器提交的任务，并根据执行参数执行资源库里的作业或转换；
平台监视器处理模块，与所述的平台系统相连接，用于实时监控任务的执行情况以及各个组件的健康情况，并接入短信与邮件网关实现告警信息的推送；以及
资源库处理模块，与所述的平台系统相连接，用于进行存放作业及转换。
较佳地，所述的任务生成器处理模块可集群部署，为一主多备多活的架构。
较佳地，所述的任务调度器处理模块可集群部署，为一主多备多活的架构。
较佳地，所述的任务执行器处理模块为独立的Kettle Carte服务。
该基于上述系统实现低代码配置化ETL数据转换的方法，其主要特点是，所述的方法包括以下步骤：
(1)创建ETL数据转换管理平台；
(2)创建与注册资源库；
(3)创建与注册任务执行器；
(4)部署任务生成器；
(5)部署任务调度器；
(6)根据用户需求配置计划任务，并设置任务组，查看任务生成及执行情况。
较佳地，所述的步骤(1)具体包括以下步骤：
(1.1)搭建配置数据库，创建平台管理用户及相应的配置表以及存储过程；
(1.2)搭建B/S管理页面，连接配置数据库；
(1.3)配置监视器。
较佳地，所述的步骤(2)具体包括以下步骤：
(2.1)创建资源库：开发通用执行组件或自定义作业，存放在统一目录下；
(2.2)在所述的管理平台配置资源库。
较佳地，所述的步骤(3)具体包括以下步骤：
(3.1)在转换服务器中配置服务端口及日志管理策略，启动Kettle Carte服务。
(3.2)在管理平台注册执行器，查看执行器的健康状态及负载情况。
较佳地，所述的步骤(4)具体包括以下步骤：
(4.1)启动任务生成器，任务生成器将根据配置的任务执行参数生成执行任务。
(4.2)生成执行参数。
尤佳地，所述的步骤(4.2)生成执行参数包括但不限于：根据资源库的配置生成执行路径、根据任务预定义的相关参数生成相关变量。
较佳地，所述的步骤(5)具体为：
启动所述的任务调度器，所述的任务调度器将检查所述的任务生成器生成的待执行任务，同时根据所述的任务执行器当前的负载情况动态选择相应的任务执行器，并将执行任务提交给所述的任务执行器，最后将提交结果反馈给执行任务。
该用于实现低代码配置化ETL数据转换的装置，其主要特点是，所述的装置包括：
处理器，被配置成执行计算机可执行指令；
存储器，存储一个或多个计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现上述所述的低代码配置化ETL数据转换的方法的各个步骤。
该用于实现低代码配置化ETL数据转换的处理器，其主要特点是，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述所述的低代码配置化ETL数据转换的方法的各个步骤。
该计算机可读存储介质，其主要特点是，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述所述的低代码配置化ETL数据转换的方法的各个步骤。
采用了本发明的该用于实现低代码配置化ETL数据转换的平台系统、方法、装置、处理器及其计算机可读存储介质，旨在打造一个简洁易用的通用数据转换平台，实现低代码数据转换配置化开发，通过开发可视化的任务配置功能，屏蔽底层复杂的转换流程，减少使用人员的学习成本；同时开发公共转换组件，通过配置参数复用公共组件，减少重复开发。并且本发明使用开源kettle作为任务执行器，能够有效的消除使用者的许可忧虑。
附图说明
图1为本发明的用于实现低代码配置化ETL数据转换的平台系统的功能结构示意图。
图2为本发明的用于实现低代码配置化ETL数据转换的平台系统的物理架构示意图。
图3为本发明的实现低代码配置化ETL数据转换的方法的一实施例的配置流程图。
图4为本发明的调度器及执行器信息的界面示意图。
图5为本发明的任务管理的界面示意图。
图6为本发明的任务列表及配置管理的界面示意图。
具体实施方式
为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
在详细说明根据本发明的实施例前，应该注意到的是，在下文中，术语“包括”、“包含”或任何其他变体旨在涵盖非排他性的包含，由此使得包括一系列要素的过程、方法、物品或者设备不仅包含这些要素，而且还包含没有明确列出的其他要素，或者为这种过程、方法、物品或者设备所固有的要素。
请参阅图1所示，该用于实现低代码配置化ETL数据转换的平台系统，其中，所述的系统包括：
任务生成器处理模块，与所述的平台系统相连接，用于按照用户定义的任务执行相应的计划，以生成执行任务；
任务调度器处理模块，与所述的平台系统相连接，用于根据执行任务的要求，选择当前注册的任务执行器，并提交至任务执行器执行任务；
任务执行器处理模块，与所述的平台系统相连接，用于接收任务调度器提交的任务，并根据执行参数执行资源库里的作业或转换；
平台监视器处理模块，与所述的平台系统相连接，用于实时监控任务的执行情况以及各个组件的健康情况，并接入短信与邮件网关实现告警信息的推送；以及
资源库处理模块，与所述的平台系统相连接，用于进行存放作业及转换。
作为本发明的优选实施方式，所述的任务生成器处理模块可集群部署，为一主多备多活的架构。
作为本发明的优选实施方式，所述的任务调度器处理模块可集群部署，为一主多备多活的架构。
作为本发明的优选实施方式，所述的任务执行器处理模块为独立的Kettle Carte服务。
该基于上述系统实现低代码配置化ETL数据转换的方法，其中，所述的方法包括以下步骤：
(1)创建ETL数据转换管理平台；
(2)创建与注册资源库；
(3)创建与注册任务执行器；
(4)部署任务生成器；
(5)部署任务调度器；
(6)根据用户需求配置计划任务，并设置任务组，查看任务生成及执行情况。
作为本发明的优选实施方式，所述的步骤(1)具体包括以下步骤：
(1.1)搭建配置数据库，创建平台管理用户及相应的配置表以及存储过程；
(1.2)搭建B/S管理页面，连接配置数据库；
(1.3)配置监视器。
作为本发明的优选实施方式，所述的步骤(2)具体包括以下步骤：
(2.1)创建资源库：开发通用执行组件或自定义作业，存放在统一目录下；
(2.2)在所述的管理平台配置资源库。
在实际应用当中，若需实现资源隔离，则可创建多个资源库。
作为本发明的优选实施方式，所述的步骤(3)具体包括以下步骤：
(3.1)在转换服务器中配置服务端口及日志管理策略，启动Kettle Carte服务。
(3.2)在管理平台注册执行器，查看执行器的健康状态及负载情况。
作为本发明的优选实施方式，所述的步骤(4)具体包括以下步骤：
(4.1)启动任务生成器，任务生成器将根据配置的任务执行参数生成执行任务。
(4.2)生成执行参数。
作为本发明的优选实施方式，所述的步骤(4.2)生成执行参数包括但不限于：根据资源库的配置生成执行路径、根据任务预定义的相关参数生成相关变量。
作为本发明的优选实施方式，所述的步骤(5)具体为：
启动所述的任务调度器，所述的任务调度器将检查所述的任务生成器生成的待执行任务，同时根据所述的任务执行器当前的负载情况动态选择相应的任务执行器，并将执行任务提交给所述的任务执行器，最后将提交结果反馈给执行任务。
该用于实现低代码配置化ETL数据转换的装置，其中，所述的装置包括：
处理器，被配置成执行计算机可执行指令；
存储器，存储一个或多个计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现上述所述的低代码配置化ETL数据转换的方法的各个步骤。
该用于实现低代码配置化ETL数据转换的处理器，其中，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述所述的低代码配置化ETL数据转换的方法的各个步骤。
该计算机可读存储介质，其中，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述所述的低代码配置化ETL数据转换的方法的各个步骤。
在实际应用当中，所述的任务执行器处理模块是一个独立的Kettle Carte服务，接收调度器提交的任务，根据执行参数执行资源库里的作业或转换。执行器是消耗系统资源最多的组件，但由于执行器是独立的服务，因此可能根据系统负载情况进行水平扩展，前期计划任务较少时，可配置少数执行器；当计划任务越来越多，或不满足容量要求时，随时增加新的执行器。执行器的上线与下线可在管理平台里完成。
由于任务生成器处理模块、任务调度器处理模块、任务执行器处理模块都是解耦独立的组件，它们既可以部署在同一台服务器，也可以部署在不同的服务器，使用者可根据自身的资源使用情况，灵活定制系统架构。
在实际应用当中，请参阅图3所示，本技术方案将按照如下处理流程，配置用户的计划任务：
(1)首先配置任务的基本要素信息；
(2)其次配置执行计划；
(3)最后选择执行步骤类型。
其中，步骤(3)具体包括判断是否执行标准DML？判断是否执行数据采集？判断是否执行调用？判断是否自定义脚本？并根据相应的配置结果，执行对应的配置流程。
在本发明的一具体实施例中，假设当前有如下需求：将数据库A中的某数据S按某处理逻辑P转换至数据库D的表T。则可按如下步骤实现：
为了能够更清楚地描述本发明的开发数据转换任务的便利性，下面结合具体实施例来进行进一步的描述。
假设当前有如下需求：将数据库A中的某数据S按某处理逻辑P转换至数据库D的表T。可按如下步骤实现：
1检查源数据库A采集用户及权限：
1.1检查数据库A的采集用户是否已在平台配置，若没有则创建采集用户并在本平台中配置。
1.2检查源数据S的采集权限是否已给采集用户，若无则赋权。
2检查目标数据库B转换用户及权限：
2.1检查数据库B的转换用户是否已在本平台配置，若没有则创建转换用户并在本平台中配置。
2.2检查转换用户对目标表T的操作权限，若无则赋权。
2.3实现数据处理逻辑P。
3检查转换相关组件：
3.1检查平台中是否已配置数据库A至数据库B的数据采集组件，若无，则在资源库中创建并在本平台中配置。
3.2检查平台中是否已有数据库B的过程调度组件，如无则在资源库中创建并在本平台中配置。
4在管理平台配置计划任务：
4.1任务基本信息：描述信息、所属资源库、所属任务组、错误重新执行、异常提示人员信息。
4.2执行计划：最早/最晚开始时间、多否多次执行、执行间隔；
4.3执行步骤：包括选择数据采集组件、配置数据采集逻辑、配置过程处理逻辑P。
5查看任务执行情况：包括任务生成结束时间及状态、实际被哪个执行器执行、执行日志。
通过上述步骤可以看到，数据采集组件及过程调度组件只需创建及配置一次即可，以后所有数据库A至B的数据采集及数据库B的过程调度需求，均可复用当前的配置信息。类似的需求可直接在本平台的任务管理中通过配置实现，即只需执行步骤4，开发人员只需专注于数据采集逻辑及转换逻辑。
在本发明的实际应用当中，上述提及的作业或转换是ETL里的一种代码实现方式，作业由一系列转换组成，而转换是作业中的一个步骤。以采集更新为例，整个流程就是一个作业，而采集、更新这两个步骤是两个转换。具体化的来说，执行参数执行资源库里的作业或转换，就是已参数化的公共转换组件，可加以实际执行参数实现配置化ETL数据转换。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成的，程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一实施例”、“一些实施例”、“示例”、“具体示例”、或“实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
本技术方案在实际应用当中，已为全连接企业数字化运作平台提供数据转换支持，目前已部署2个资源库、3个调度节点、9个执行器、215个计划任务。并开放任务管理功能，通过简单的培训，转换任务需求人员能够通过该功能方便地开发所需的数据转换任务，将专业复杂的过程简单化。
采用了本发明的该用于实现低代码配置化ETL数据转换的平台系统、方法、装置、处理器及其计算机可读存储介质，旨在打造一个简洁易用的通用数据转换平台，实现低代码数据转换配置化开发，通过开发可视化的任务配置功能，屏蔽底层复杂的转换流程，减少使用人员的学习成本；同时开发公共转换组件，通过配置参数复用公共组件，减少重复开发。并且本发明使用开源kettle作为任务执行器，能够有效的消除使用者的许可忧虑。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (14)

1.一种用于实现低代码配置化ETL数据转换的平台系统，其特征在于，所述的系统包括：
任务生成器处理模块，与所述的平台系统相连接，用于按照用户定义的任务执行相应的计划，以生成执行任务；
任务调度器处理模块，与所述的平台系统相连接，用于根据执行任务的要求，选择当前注册的任务执行器，并提交至任务执行器执行任务；
任务执行器处理模块，与所述的平台系统相连接，用于接收任务调度器提交的任务，并根据执行参数执行资源库里的作业或转换；
平台监视器处理模块，与所述的平台系统相连接，用于实时监控任务的执行情况以及各个组件的健康情况，并接入短信与邮件网关实现告警信息的推送；以及
资源库处理模块，与所述的平台系统相连接，用于进行存放作业及转换。
2.根据权利要求1所述的用于实现低代码配置化ETL数据转换的平台系统，其特征在于，所述的任务生成器处理模块可集群部署，为一主多备多活的架构。
3.根据权利要求1所述的用于实现低代码配置化ETL数据转换的平台系统，其特征在于，所述的任务调度器处理模块可集群部署，为一主多备多活的架构。
4.根据权利要求1所述的用于实现低代码配置化ETL数据转换的平台系统，其特征在于，所述的任务执行器处理模块为独立的Kettle Carte服务。
5.一种基于权利要求1所述的系统实现低代码配置化ETL数据转换的方法，其特征在于，所述的方法包括以下步骤：
(1)创建ETL数据转换管理平台；
(2)创建与注册资源库；
(3)创建与注册任务执行器；
(4)部署任务生成器；
(5)部署任务调度器；
(6)根据用户需求配置计划任务，并设置任务组，查看任务生成及执行情况。
6.根据权利要求5所述的实现低代码配置化ETL数据转换的方法，其特征在于，所述的步骤(1)具体包括以下步骤：
(1.1)搭建配置数据库，创建平台管理用户及相应的配置表以及存储过程；
(1.2)搭建B/S管理页面，连接配置数据库；
(1.3)配置监视器。
7.根据权利要求5所述的实现低代码配置化ETL数据转换的方法，其特征在于，所述的步骤(2)具体包括以下步骤：
(2.1)创建资源库：开发通用执行组件或自定义作业，存放在统一目录下；
(2.2)在所述的管理平台配置资源库。
8.根据权利要求5所述的实现低代码配置化ETL数据转换的方法，其特征在于，所述的步骤(3)具体包括以下步骤：
(3.1)在转换服务器中配置服务端口及日志管理策略，启动Kettle Carte服务。
(3.2)在管理平台注册执行器，查看执行器的健康状态及负载情况。
9.根据权利要求5所述的实现低代码配置化ETL数据转换的方法，其特征在于，所述的步骤(4)具体包括以下步骤：
(4.1)启动任务生成器，任务生成器将根据配置的任务执行参数生成执行任务。
(4.2)生成执行参数。
10.根据权利要求9所述的实现低代码配置化ETL数据转换的方法，其特征在于，所述的步骤(4.2)生成执行参数包括但不限于：根据资源库的配置生成执行路径、根据任务预定义的相关参数生成相关变量。
11.根据权利要求5所述的实现低代码配置化ETL数据转换的方法，其特征在于，所述的步骤(5)具体为：
启动所述的任务调度器，所述的任务调度器将检查所述的任务生成器生成的待执行任务，同时根据所述的任务执行器当前的负载情况动态选择相应的任务执行器，并将执行任务提交给所述的任务执行器，最后将提交结果反馈给执行任务。
12.一种用于实现低代码配置化ETL数据转换的装置，其特征在于，所述的装置包括：
处理器，被配置成执行计算机可执行指令；
存储器，存储一个或多个计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现权利要求5至11中任一项所述的低代码配置化ETL数据转换的方法的各个步骤。
13.一种用于实现低代码配置化ETL数据转换的处理器，其特征在于，所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现权利要求5至11中任一项所述的低代码配置化ETL数据转换的方法的各个步骤。
14.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述的计算机程序可被处理器执行以实现权利要求5至11中任一项所述的低代码配置化ETL数据转换的方法的各个步骤。
CN202111345731.6A 2021-11-15 2021-11-15 用于实现低代码配置化etl数据转换的平台系统、方法、装置、处理器及计算机存储介质 Pending CN114064240A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111345731.6A CN114064240A (zh) 2021-11-15 2021-11-15 用于实现低代码配置化etl数据转换的平台系统、方法、装置、处理器及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111345731.6A CN114064240A (zh) 2021-11-15 2021-11-15 用于实现低代码配置化etl数据转换的平台系统、方法、装置、处理器及计算机存储介质

Publications (1)

Publication Number Publication Date
CN114064240A true CN114064240A (zh) 2022-02-18

Family

ID=80272371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111345731.6A Pending CN114064240A (zh) 2021-11-15 2021-11-15 用于实现低代码配置化etl数据转换的平台系统、方法、装置、处理器及计算机存储介质

Country Status (1)

Country Link
CN (1) CN114064240A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115048205A (zh) * 2022-08-15 2022-09-13 广州粤芯半导体技术有限公司 Etl调度平台及其部署方法、计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115048205A (zh) * 2022-08-15 2022-09-13 广州粤芯半导体技术有限公司 Etl调度平台及其部署方法、计算机可读存储介质
CN115048205B (zh) * 2022-08-15 2023-02-07 广州粤芯半导体技术有限公司 Etl调度平台及其部署方法、计算机可读存储介质

Similar Documents

Publication Publication Date Title
US10146599B2 (en) System and method for a generic actor system container application
EP2031507B1 (en) Systems and/or methods for location transparent routing and execution of processes
CN111580861A (zh) 用于计算机环境迁移的基于模式的人工智能计划器
CN110245110A (zh) 数据处理方法、装置及存储介质
AU2007289177A1 (en) Dynamically configuring, allocating and deploying computing systems
CN105897805A (zh) 对多层架构的数据中心的资源进行跨层调度的方法和装置
US9092278B2 (en) Determining the processing order of a plurality of events
CN109145539A (zh) 一种多编程项目的权限管理方法及电子设备
CN103810272A (zh) 一种数据处理方法和系统
CN110888736A (zh) 一种基于容器云平台的应用管理方法、系统及相关组件
CN103577165A (zh) 一种表单生成方法和表单生成器
CN114879939A (zh) 生成微服务的方法、系统、电子设备及存储介质
CN110569113A (zh) 分布式任务的调度方法及系统、计算机可读存储介质
CN112486630A (zh) 分布式训练部署系统及其方法
Bhattacharjee et al. A model-driven approach to automate the deployment and management of cloud services
CN114064240A (zh) 用于实现低代码配置化etl数据转换的平台系统、方法、装置、处理器及计算机存储介质
CN107577527A (zh) 任务生成、调度方法及装置
CN111144830A (zh) 一种企业级计算资源管理方法、系统和计算机设备
JP4265413B2 (ja) 仮想私設組織に対するポリシの実施システム及びその方法
US8468159B2 (en) Data element categorization in a service-oriented architecture
Laosen et al. A knowledge-based approach for generating UML sequence diagrams from operation contracts
TW200923776A (en) System for automatically preloading software elements
Abidi et al. Desktop grid computing at the age of the web
CN113434141B (zh) 一种基于国产化环境windows图形界面管理系统开发方法和系统
CN116860304A (zh) 云服务更新方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination