CN108228708A - 大数据etl系统及其调度方法 - Google Patents
大数据etl系统及其调度方法 Download PDFInfo
- Publication number
- CN108228708A CN108228708A CN201711229647.1A CN201711229647A CN108228708A CN 108228708 A CN108228708 A CN 108228708A CN 201711229647 A CN201711229647 A CN 201711229647A CN 108228708 A CN108228708 A CN 108228708A
- Authority
- CN
- China
- Prior art keywords
- etl
- instruction
- tasks
- task
- etl tasks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种大数据ETL系统及其调度方法，系统包括：Web可视化模块、ETL任务管理模块(包括ETL模板模块和ETL任务修改模块)、权限模块和调度模块；Web可视化模块对用户账户登陆系统后所有操作通过界面进行展示；ETL模板模块封装多种ETL操作模板；ETL任务修改模块接收用户输入的任务修改指令，调用权限模块校验该指令所对应操作的权限，在校验通过后调用调度模块以执行任务修改指令所对应的操作；权限模块设置绑定用户账户的登陆权限和可操作的ETL任务的权限；调度模块提供ETL任务的定时处理，以及任务修改指令所对应的操作的事件驱动处理。本发明能解决现有技术中ETL执行程序效率低下、操作繁琐、信息不直观，不方便描述等问题。
Description
技术领域
本发明实施例涉及计算机技术领域，具体涉及一种大数据ETL系统及其调度方法。
背景技术
ETL(extract-transform-load，抽取-转换-加载)是用来描述数据从源端经过抽取、转换、加载到目的端的过程。ETL过程主要包括三个阶段：输入、处理以及输出，其中，处理阶段可以包括：清洗，过滤，校验等处理操作。
在互联网飞速发展的今天，随处可用到大数据的处理系统，在大数据的处理场景中，存在大量的ETL处理场景，不同的ETL处理场景的ETL处理方式可能不一样。目前，现有技术中实现ETL过程的ETL执行程序采用传统的软件开发模式，通过人工编写代码的方式实现。
但是，由于现有技术中的ETL执行程序都是通过人工编码方式，然后在让系统执行该执行程序以实现ETL过程，带来了以下不便利性：一、人工编写代码，效率低下，在大数据时代，ETL场景多，编写不过来；二、当ETL需求变化，则需要更新代码，操作繁琐，效率低，影响业务处理；三、代码呈现为一段文本，信息不直观，不方便描述。
发明内容
由于现有方法存在上述问题，本发明实施例提出一种大数据ETL系统，能够解决现有技术中的ETL执行程序效率低下、操作繁琐、信息不直观，不方便描述等问题。
第一方面，本发明实施例提出一种大数据ETL系统，包括：Web可视化模块、ETL任务管理模块、权限模块和调度模块；其中：
所述Web可视化模块，用于对用户账户登陆大数据ETL系统后所进行的所有操作通过界面进行展示；
所述ETL任务管理模块，包括：ETL模板模块和ETL任务修改模块；
所述ETL模板模块，用于封装多种ETL操作的模板；
所述ETL任务修改模块，用于接收用户输入的任务修改指令，调用所述权限模块校验所述任务修改指令所对应操作的权限，在校验通过后调用所述调度模块，以执行所述任务修改指令所对应的操作；
所述权限模块，用于设置绑定用户账户的登陆权限和可操作的ETL任务的权限；
所述调度模块，用于提供ETL任务的定时处理，以及所述任务修改指令所对应的操作的事件驱动处理。
可选地，所述多种ETL操作，包括：
从关系数据库将数据ETL到大数据生态下的基于HDFS数据仓库Hive上；
从Hive将数据ETL到关系型数据库中；
将Hive中的数据以邮件的形式发出；
将Hive上的数据流转；
用户预先输入存储的用于实现预设ETL操作的程序代码段。
可选地，所述任务修改指令，包括：新增ETL任务的指令、修改ETL任务的指令、查看ETL任务的指令和删除ETL任务的指令。
可选地，若所述任务修改指令为新增ETL任务的指令，则相应地，所述ETL任务修改模块，具体用于
接收用户输入的新增ETL任务的指令，调用所述权限模块校验所述新增ETL任务的指令所对应的新增ETL任务操作的权限，在校验通过后调用所述调度模块，以执行下述新增ETL任务的指令所对应的新增ETL任务的操作，包括：选择所述ETL模板模块中所封装的ETL操作的模板，设定调度信息，提交ETL任务和将提交的ETL任务翻译成ETL代码并执行。
可选地，若所述任务修改指令为修改ETL任务的指令，则相应地，所述ETL任务修改模块，具体用于
接收用户输入的修改ETL任务的指令，调用所述权限模块校验所述修改ETL任务的指令所对应的修改ETL任务操作的权限，在校验通过后调用所述调度模块，以执行下述修改ETL任务的指令所对应的修改ETL任务的操作，包括：选择ETL任务，更新所述ETL模板模块中所选择的ETL任务所对应的模板信息，以及更新调度信息，提交修改后的ETL任务和将提交的修改后的ETL任务翻译成ETL代码并执行。
可选地，若所述任务修改指令为查看ETL任务的指令，则相应地，所述ETL任务修改模块，具体用于
接收用户输入的查看ETL任务的指令，调用所述权限模块校验所述查看ETL任务的指令所对应的查看ETL任务操作的权限，在校验通过后调用所述调度模块，以执行浏览所述查看ETL任务的指令中所选择的ETL任务的操作。
可选地，若所述任务修改指令为删除ETL任务的指令，则相应地，所述ETL任务修改模块，具体用于
接收用户输入的删除ETL任务的指令，调用所述权限模块校验所述删除ETL任务的指令所对应的删除ETL任务操作的权限，在校验通过后调用所述调度模块，以执行删除所述删除ETL任务的指令中所选择的ETL任务的操作。
第二方面，本发明实施例还提出一种上述大数据ETL系统的调度方法，其特征在于，包括：
权限模块对申请登陆的用户账户进行登陆权限的校验；
在登陆权限的校验通过后，ETL任务管理模块中的ETL任务修改模块接收用户输入的任务修改指令；
所述ETL任务修改模块调用所述权限模块校验所述任务修改指令所对应操作的权限进行校验，在校验通过后调用所述调度模块执行所述任务修改指令所对应的操作。
可选地，所述任务修改指令，包括：新增ETL任务的指令、修改ETL任务的指令、查看ETL任务的指令和删除ETL任务的指令。
可选地，若所述任务修改指令为新增ETL任务的指令，则相应地，所述调用所述调度模块所执行的所述任务修改指令所对应的操作，包括：选择所述ETL模板模块中所封装的ETL操作的模板，设定调度信息，提交ETL任务和将提交的ETL任务翻译成ETL代码并执行；
若所述任务修改指令为修改ETL任务的指令，则相应地，所述调用所述调度模块所执行的所述任务修改指令所对应的操作，包括：选择ETL任务，更新所述ETL模板模块中所选择的ETL任务所对应的模板信息，以及更新调度信息，提交修改后的ETL任务，将提交的修改后的ETL任务翻译成ETL代码并执行；
若所述任务修改指令为查看ETL任务的指令，则相应地，所述调用所述调度模块所执行的所述任务修改指令所对应的操作，包括：浏览所述查看ETL任务的指令中所选择的ETL任务；
若所述任务修改指令为删除ETL任务的指令，则相应地，所述调用所述调度模块所执行的所述任务修改指令所对应的操作，包括：删除所述删除ETL任务的指令中所选择的ETL任务。
由上述技术方案可知，本发明实施例提供的大数据ETL系统及其调度方法，能够解决现有技术中的ETL执行程序效率低下、操作繁琐、信息不直观，不方便描述等问题，可以提供在线拖拽，模版配置的方式，生成ETL代码，并结合调度模块，将ETL代码直接发布到调度模块中进行执行。同时，整个操作都基于在线web可视化模块，更方便快捷，有效的展示信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1为本发明一实施例提供的一种大数据ETL系统的结构示意图；
图2为本发明实施例提供的一种在选择所述ETL模板模块中所封装的ETL操作的模板时在模板中配置相关的任务信息的举例参考示意图；
图3为本发明实施例提供的一种设定调度信息的举例参考示意图；
图4为本发明一实施例提供的一种图1所示大数据ETL系统的调度方法的流程示意图；
图5为图4所示方法更进一步的具体流程示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
图1示出了本发明一实施例提供的一种大数据ETL系统的结构示意图，如图1所示，本实施例的一种大数据ETL系统，包括：Web可视化模块、ETL任务管理模块、权限模块和调度模块；其中：
所述Web可视化模块，用于对用户账户登陆大数据ETL系统后所进行的所有操作通过界面进行展示；
所述ETL任务管理模块，包括：ETL模板模块和ETL任务修改模块；
所述ETL模板模块，用于封装多种ETL操作的模板；
所述ETL任务修改模块，用于接收用户输入的任务修改指令，调用所述权限模块校验所述任务修改指令所对应操作的权限，在校验通过后调用所述调度模块，以执行所述任务修改指令所对应的操作；
所述权限模块，用于设置绑定用户账户的登陆权限和可操作的ETL任务的权限；
所述调度模块，用于提供ETL任务的定时处理，以及所述任务修改指令所对应的操作的事件驱动处理。
在具体应用中，所述多种ETL操作，可以包括：
从关系数据库将数据ETL到大数据生态下的基于HDFS数据仓库Hive上；
从Hive将数据ETL到关系型数据库中；
将Hive中的数据以邮件的形式发出；
将Hive上的数据流转；
用户预先输入存储的用于实现预设ETL操作的程序代码段。
在具体应用中，所述任务修改指令可以包括：新增ETL任务的指令、修改ETL任务的指令、查看ETL任务的指令和删除ETL任务的指令。
具体地，若所述任务修改指令为新增ETL任务的指令，则相应地，所述ETL任务修改模块，可具体用于
接收用户输入的新增ETL任务的指令，调用所述权限模块校验所述新增ETL任务的指令所对应的新增ETL任务操作的权限，在校验通过后调用所述调度模块，以执行下述新增ETL任务的指令所对应的新增ETL任务的操作，包括：选择所述ETL模板模块中所封装的ETL操作的模板，设定调度信息，提交ETL任务和将提交的ETL任务翻译成ETL代码并执行。
可以理解的是，在选择所述ETL模板模块中所封装的ETL操作的模板时，还需要在模板中配置相关的任务信息，仅需要设置一些基本的数据信息即可，不用编写代码，可参考图2。
可以理解的是，所述设定调度信息可以包括：选择ETL任务需要执行的结点(也就是该ETL任务在哪个计算机上)，设置执行时间，依赖的执行任务，执行周期等，可参考图3。
具体地，若所述任务修改指令为修改ETL任务的指令，则相应地，所述ETL任务修改模块，可具体用于
接收用户输入的修改ETL任务的指令，调用所述权限模块校验所述修改ETL任务的指令所对应的修改ETL任务操作的权限，在校验通过后调用所述调度模块，以执行下述修改ETL任务的指令所对应的修改ETL任务的操作，包括：选择ETL任务，更新所述ETL模板模块中所选择的ETL任务所对应的模板信息，以及更新调度信息，提交修改后的ETL任务和将提交的修改后的ETL任务翻译成ETL代码并执行。
具体地，若所述任务修改指令为查看ETL任务的指令，则相应地，所述ETL任务修改模块，可具体用于
接收用户输入的查看ETL任务的指令，调用所述权限模块校验所述查看ETL任务的指令所对应的查看ETL任务操作的权限，在校验通过后调用所述调度模块，以执行浏览所述查看ETL任务的指令中所选择的ETL任务的操作。
具体地，若所述任务修改指令为删除ETL任务的指令，则相应地，所述ETL任务修改模块，可具体用于
接收用户输入的删除ETL任务的指令，调用所述权限模块校验所述删除ETL任务的指令所对应的删除ETL任务操作的权限，在校验通过后调用所述调度模块，以执行删除所述删除ETL任务的指令中所选择的ETL任务的操作。
本实施例的大数据ETL系统，能够解决现有技术中的ETL执行程序效率低下、操作繁琐、信息不直观，不方便描述等问题，可以提供在线拖拽，模版配置的方式，生成ETL代码，并结合调度模块，将ETL代码直接发布到调度模块中进行执行。同时，整个操作都基于在线web可视化模块，更方便快捷，有效的展示信息。
图4示出了本发明一实施例提供的一种图1所示大数据ETL系统的调度方法的流程示意图，如图4所示，本实施例所示方法包括：
S1、权限模块对申请登陆的用户账户进行登陆权限的校验。
S2、在登陆权限的校验通过后，ETL任务管理模块中的ETL任务修改模块接收用户输入的任务修改指令。
在具体应用中，所述任务修改指令，可以包括：新增ETL任务的指令、修改ETL任务的指令、查看ETL任务的指令和删除ETL任务的指令。
S3、所述ETL任务修改模块调用所述权限模块校验所述任务修改指令所对应操作的权限进行校验，在校验通过后调用所述调度模块执行所述任务修改指令所对应的操作。
具体地，可参考图5，若所述任务修改指令为新增ETL任务的指令，则相应地，所述调用所述调度模块所执行的所述任务修改指令所对应的操作，包括：选择所述ETL模板模块中所封装的ETL操作的模板，设定调度信息，提交ETL任务和将提交的ETL任务翻译成ETL代码并执行。
可以理解的是，在选择所述ETL模板模块中所封装的ETL操作的模板时，还需要在模板中配置相关的任务信息，仅需要设置一些基本的数据信息即可，不用编写代码，可参考图2。
可以理解的是，所述设定调度信息可以包括：选择ETL任务需要执行的结点(也就是该ETL任务在哪个计算机上)，设置执行时间，依赖的执行任务，执行周期等，可参考图3。
具体地，可参考图5，若所述任务修改指令为修改ETL任务的指令，则相应地，所述调用所述调度模块所执行的所述任务修改指令所对应的操作，包括：选择ETL任务，更新所述ETL模板模块中所选择的ETL任务所对应的模板信息，以及更新调度信息，提交修改后的ETL任务，将提交的修改后的ETL任务翻译成ETL代码并执行。
具体地，可参考图5，若所述任务修改指令为查看ETL任务的指令，则相应地，所述调用所述调度模块所执行的所述任务修改指令所对应的操作，包括：浏览所述查看ETL任务的指令中所选择的ETL任务。
具体地，可参考图5，若所述任务修改指令为删除ETL任务的指令，则相应地，所述调用所述调度模块所执行的所述任务修改指令所对应的操作，包括：删除所述删除ETL任务的指令中所选择的ETL任务。
本实施例提供的图1所示大数据ETL系统的调度方法，能够解决现有技术中的ETL执行程序效率低下、操作繁琐、信息不直观，不方便描述等问题，可以提供在线拖拽模版配置的方式，生成ETL代码，并结合调度模块，将ETL代码直接发布到调度模块中进行执行。同时，整个操作都基于在线web可视化模块，更方便快捷，有效的展示信息。
本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置/系统。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种大数据ETL系统，其特征在于，包括：Web可视化模块、ETL任务管理模块、权限模块和调度模块；其中：
所述Web可视化模块，用于对用户账户登陆大数据ETL系统后所进行的所有操作通过界面进行展示；
所述ETL任务管理模块，包括：ETL模板模块和ETL任务修改模块；
所述ETL模板模块，用于封装多种ETL操作的模板；
所述ETL任务修改模块，用于接收用户输入的任务修改指令，调用所述权限模块校验所述任务修改指令所对应操作的权限，在校验通过后调用所述调度模块，以执行所述任务修改指令所对应的操作；
所述权限模块，用于设置绑定用户账户的登陆权限和可操作的ETL任务的权限；
所述调度模块，用于提供ETL任务的定时处理，以及所述任务修改指令所对应的操作的事件驱动处理。
2.根据权利要求1所述的系统，其特征在于，所述多种ETL操作，包括：
从关系数据库将数据ETL到大数据生态下的基于HDFS数据仓库Hive上；
从Hive将数据ETL到关系型数据库中；
将Hive中的数据以邮件的形式发出；
将Hive上的数据流转；
用户预先输入存储的用于实现预设ETL操作的程序代码段。
3.根据权利要求1所述的系统，其特征在于，所述任务修改指令，包括：新增ETL任务的指令、修改ETL任务的指令、查看ETL任务的指令和删除ETL任务的指令。
4.根据权利要求3所述的系统，其特征在于，若所述任务修改指令为新增ETL任务的指令，则相应地，所述ETL任务修改模块，具体用于
接收用户输入的新增ETL任务的指令，调用所述权限模块校验所述新增ETL任务的指令所对应的新增ETL任务操作的权限，在校验通过后调用所述调度模块，以执行下述新增ETL任务的指令所对应的新增ETL任务的操作，包括：选择所述ETL模板模块中所封装的ETL操作的模板，设定调度信息，提交ETL任务和将提交的ETL任务翻译成ETL代码并执行。
5.根据权利要求3所述的系统，其特征在于，若所述任务修改指令为修改ETL任务的指令，则相应地，所述ETL任务修改模块，具体用于
接收用户输入的修改ETL任务的指令，调用所述权限模块校验所述修改ETL任务的指令所对应的修改ETL任务操作的权限，在校验通过后调用所述调度模块，以执行下述修改ETL任务的指令所对应的修改ETL任务的操作，包括：选择ETL任务，更新所述ETL模板模块中所选择的ETL任务所对应的模板信息，以及更新调度信息，提交修改后的ETL任务和将提交的修改后的ETL任务翻译成ETL代码并执行。
6.根据权利要求3所述的系统，其特征在于，若所述任务修改指令为查看ETL任务的指令，则相应地，所述ETL任务修改模块，具体用于
接收用户输入的查看ETL任务的指令，调用所述权限模块校验所述查看ETL任务的指令所对应的查看ETL任务操作的权限，在校验通过后调用所述调度模块，以执行浏览所述查看ETL任务的指令中所选择的ETL任务的操作。
7.根据权利要求3所述的系统，其特征在于，若所述任务修改指令为删除ETL任务的指令，则相应地，所述ETL任务修改模块，具体用于
接收用户输入的删除ETL任务的指令，调用所述权限模块校验所述删除ETL任务的指令所对应的删除ETL任务操作的权限，在校验通过后调用所述调度模块，以执行删除所述删除ETL任务的指令中所选择的ETL任务的操作。
8.一种权利要求1-7中任一项所述大数据ETL系统的调度方法，其特征在于，包括：
权限模块对申请登陆的用户账户进行登陆权限的校验；
在登陆权限的校验通过后，ETL任务管理模块中的ETL任务修改模块接收用户输入的任务修改指令；
所述ETL任务修改模块调用所述权限模块校验所述任务修改指令所对应操作的权限进行校验，在校验通过后调用所述调度模块执行所述任务修改指令所对应的操作。
9.根据权利要求8所述的方法，其特征在于，所述任务修改指令，包括：新增ETL任务的指令、修改ETL任务的指令、查看ETL任务的指令和删除ETL任务的指令。
10.根据权利要求9所述的方法，其特征在于，若所述任务修改指令为新增ETL任务的指令，则相应地，所述调用所述调度模块所执行的所述任务修改指令所对应的操作，包括：选择所述ETL模板模块中所封装的ETL操作的模板，设定调度信息，提交ETL任务和将提交的ETL任务翻译成ETL代码并执行；
若所述任务修改指令为修改ETL任务的指令，则相应地，所述调用所述调度模块所执行的所述任务修改指令所对应的操作，包括：选择ETL任务，更新所述ETL模板模块中所选择的ETL任务所对应的模板信息，以及更新调度信息，提交修改后的ETL任务，将提交的修改后的ETL任务翻译成ETL代码并执行；
若所述任务修改指令为查看ETL任务的指令，则相应地，所述调用所述调度模块所执行的所述任务修改指令所对应的操作，包括：浏览所述查看ETL任务的指令中所选择的ETL任务；
若所述任务修改指令为删除ETL任务的指令，则相应地，所述调用所述调度模块所执行的所述任务修改指令所对应的操作，包括：删除所述删除ETL任务的指令中所选择的ETL任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711229647.1A CN108228708B (zh) | 2017-11-29 | 2017-11-29 | 大数据etl系统及其调度方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711229647.1A CN108228708B (zh) | 2017-11-29 | 2017-11-29 | 大数据etl系统及其调度方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108228708A true CN108228708A (zh) | 2018-06-29 |
| CN108228708B CN108228708B (zh) | 2020-08-11 |
Family
ID=62653635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711229647.1A Active CN108228708B (zh) | 2017-11-29 | 2017-11-29 | 大数据etl系统及其调度方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108228708B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111082976A (zh) * | 2019-12-02 | 2020-04-28 | 东莞数汇大数据有限公司 | 一种支持etl任务调度可视化的方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060195846A1 (en) * | 2005-02-25 | 2006-08-31 | Fabio Benedetti | Method and system for scheduling jobs based on predefined, re-usable profiles |
| CN101533417A (zh) * | 2009-04-28 | 2009-09-16 | 阿里巴巴集团控股有限公司 | 一种实现etl调度的方法及系统 |
| CN102999528A (zh) * | 2011-09-16 | 2013-03-27 | 阿里巴巴集团控股有限公司 | 一种数据仓库中etl任务离线和数据清理的方法及装置 |
| CN103309904A (zh) * | 2012-03-16 | 2013-09-18 | 阿里巴巴集团控股有限公司 | 一种生成数据仓库etl 代码的方法及装置 |
| CN104252381A (zh) * | 2013-06-30 | 2014-12-31 | 北京百度网讯科技有限公司 | 一种用于调度etl任务的方法与设备 |
| CN105389402A (zh) * | 2015-12-29 | 2016-03-09 | 曙光信息产业(北京)有限公司 | 一种面向大数据的etl方法和装置 |
-
2017
- 2017-11-29 CN CN201711229647.1A patent/CN108228708B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060195846A1 (en) * | 2005-02-25 | 2006-08-31 | Fabio Benedetti | Method and system for scheduling jobs based on predefined, re-usable profiles |
| CN101533417A (zh) * | 2009-04-28 | 2009-09-16 | 阿里巴巴集团控股有限公司 | 一种实现etl调度的方法及系统 |
| CN102999528A (zh) * | 2011-09-16 | 2013-03-27 | 阿里巴巴集团控股有限公司 | 一种数据仓库中etl任务离线和数据清理的方法及装置 |
| CN103309904A (zh) * | 2012-03-16 | 2013-09-18 | 阿里巴巴集团控股有限公司 | 一种生成数据仓库etl 代码的方法及装置 |
| CN104252381A (zh) * | 2013-06-30 | 2014-12-31 | 北京百度网讯科技有限公司 | 一种用于调度etl任务的方法与设备 |
| CN105389402A (zh) * | 2015-12-29 | 2016-03-09 | 曙光信息产业(北京)有限公司 | 一种面向大数据的etl方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 宋旭东,刘晓冰: "数据仓库ETL任务调度模型研究", 《控制与决策》 * |
| 沈琦，陈博: "基于大数据处理的ETL框架的研究与设计", 《电子设计工程》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111082976A (zh) * | 2019-12-02 | 2020-04-28 | 东莞数汇大数据有限公司 | 一种支持etl任务调度可视化的方法 |
| CN111082976B (zh) * | 2019-12-02 | 2022-07-29 | 东莞数汇大数据有限公司 | 一种支持etl任务调度可视化的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108228708B (zh) | 2020-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110007902A (zh) | 业务处理流程配置的方法及装置 | |
| US7367006B1 (en) | Hierarchical, rules-based, general property visualization and editing method and system | |
| US11642783B2 (en) | Automated generation of robotic computer program code | |
| US20230177363A1 (en) | Generation of query templates for knowledge-graph based question answering system | |
| US20140081615A1 (en) | Virtual systems testing | |
| CN105528418B (zh) | 一种设计文档生成方法及装置 | |
| CN103577906A (zh) | 工作流生成方法、工作流执行方法以及工作流执行系统 | |
| CN104714858A (zh) | 数据备份方法及装置、数据恢复方法及装置 | |
| CN108427809A (zh) | 一种基于装配式建筑的属性赋值方法及装置 | |
| CN111198868A (zh) | 一种智能分库实时数据迁移方法和装置 | |
| US20240028991A1 (en) | Flexible Work Breakdown Structure | |
| CN105988911A (zh) | 在系统日志中建立信任链 | |
| TW201820119A (zh) | 具有可選擇比較屬性之浮點指令 | |
| CN106155769A (zh) | 一种工作流处理方法、装置及工作流引擎 | |
| CN109871290A (zh) | 应用于Java的调用堆栈追踪方法、装置和存储介质 | |
| CN108469955A (zh) | 一种基于注解的Android注入框架 | |
| CN108733671A (zh) | 数据历史归档的方法和装置 | |
| US20120330859A1 (en) | Interactive business process modeling and simulation | |
| CN111666100A (zh) | 软件框架生成方法、装置、电子设备及存储介质 | |
| CN107656796A (zh) | 一种虚拟机冷迁移方法、系统及设备 | |
| CN109213477A (zh) | 一种实现软件线路差异自动对比的方法和装置 | |
| CN108228708A (zh) | 大数据etl系统及其调度方法 | |
| CN117215556A (zh) | 模块化的页面快速构建方法、系统、设备及介质 | |
| CN108228174A (zh) | 加快软件开发中编码效率的方法及装置 | |
| US8849440B2 (en) | Manufacturing control based on a final design structure incorporating both layout and client-specific manufacturing information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 100085 Floor 102-1, Building No. 35, West Second Banner Road, Haidian District, Beijing Applicant after: Seashell Housing (Beijing) Technology Co.,Ltd. Address before: 100085 Floor 102-1, Building No. 35, West Second Banner Road, Haidian District, Beijing Applicant before: LIANJIA(BEIJING) TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |