CN111082976A - 一种支持etl任务调度可视化的方法 - Google Patents

一种支持etl任务调度可视化的方法 Download PDF

Info

Publication number
CN111082976A
CN111082976A CN201911213576.5A CN201911213576A CN111082976A CN 111082976 A CN111082976 A CN 111082976A CN 201911213576 A CN201911213576 A CN 201911213576A CN 111082976 A CN111082976 A CN 111082976A
Authority
CN
China
Prior art keywords
etl task
etl
script file
task script
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911213576.5A
Other languages
English (en)
Other versions
CN111082976B (zh
Inventor
麦家健
罗挺
朱凌峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan Shuhui Big Data Co ltd
Original Assignee
Dongguan Shuhui Big Data Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Shuhui Big Data Co ltd filed Critical Dongguan Shuhui Big Data Co ltd
Priority to CN201911213576.5A priority Critical patent/CN111082976B/zh
Publication of CN111082976A publication Critical patent/CN111082976A/zh
Application granted granted Critical
Publication of CN111082976B publication Critical patent/CN111082976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/0246—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols
    • H04L41/0253—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols using browsers or web-pages for accessing management information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及服务端开发技术领域，具体涉及一种支持ETL任务调度可视化的方法，对ETL任务脚本文件校验处理；请求查询ETL任务脚本内容，生成DAG数据返回；若接收ETL任务脚本文件修改请求，则解析ETL任务脚本文件，并修改ETL任务脚本文件内容；配置动态执行触发机制；实时执行ETL任务请求，并实时显示任务执行日志，本发明可以在不修改和应用ETL carte应用的情况下，实现任务可视化、上传或修改ETL任务脚本以及动态执行任务，使得运维人员可直接通过web界面掌控掌控ETL任务脚本的运行状态和运行结果，提升了业务的稳定性和扩展性。

Description

一种支持ETL任务调度可视化的方法
技术领域
本发明涉及前端开发技术领域，具体涉及一种支持ETL任务调度可视化的方法。
背景技术
Carte是一个轻量级的web服务，允许远程请求HTTP进行监控、启动、停止在Carte服务上运行的ETL job和trans。但是Carte也存在一些弊端，比如Carte没有提供任务可视化界面，不便于查看ETL任务脚本的执行细节内容，并且ETL原生的定时任务机制缺乏灵活性，不能配置任务动态执行的策略，从而导致不能满足实际业务开发需求。
因此，行业内亟需一种能解决上述问题的方案。
发明内容
本发明的目的在于针对现有技术的不足而提供一种支持ETL任务调度可视化的方法。本发明的目的可以通过如下所述技术方案来实现。
一种支持ETL任务调度可视化的方法，包括：
对ETL任务脚本文件校验处理；
请求查询ETL任务脚本内容，生成DAG数据返回；
若接收ETL任务脚本文件修改请求，则解析ETL任务脚本文件，并修改ETL任务脚本文件内容；
配置动态执行触发机制；
实时执行ETL任务请求，并实时显示任务执行日志。
进一步地， 对ETL任务脚本文件校验处理，包括：
在第一服务端获取客户端上传的ETL任务脚本文件,其中ETL任务脚本文件为kjb文件；
校验ETL任务脚本文件的内容合法性，包括检查ETL任务脚本文件的后缀是否规范、能否以XML方式将ETL任务脚本文件读取出来、检查是否符合kettle脚本规范；
通过vsftp服务将ETL任务脚本文件传送至第二服务端，并向客户端返回上传结果及文件地址。
进一步地，请求查询ETL任务脚本内容，生成DAG数据并返回，包括：
通过第一服务端接收客户端查询ETL任务脚本内容请求，并查询文件地址；
根据查询到的文件地址在第二服务端请求下载ETL任务脚本文件，并向第一服务端返回任务文件流；
在第一服务端读取任务文件流，获取ETL任务脚本内容并组装成DAG数据结构；
返回客户端DAG数据，在客户端绘制任务DAG有向环形图。
进一步地， 接收ETL任务脚本文件修改请求，则解析ETL任务脚本文件，并修改ETL任务脚本文件内容，包括：
通过第一服务端接收客户端发送的ETL任务脚本文件修改请求，并保存ETL任务脚本文件；
将原始的ETL任务脚本文件解析成XML文档，并将修改的内容覆盖原XML文档的节点内容，保存成新的ETL任务脚本文件；
通过vsftp服务上传新的ETL任务脚本文件至第二服务端覆盖原文件保存。
进一步地，配置动态执行触发机制，包括：
通过ThreadPoolTaskScheduler调度器创建一个新的定时任务，并将定时任务信息保存在数据库中；
到定时时间向第二服务端触发调用carte接口的请求；
第二服务端返回任务执行日志流至第一服务端，第一服务端保存日志流信息到数据库中。
进一步地，执行ETL任务请求，并实时显示任务执行日志，包括：
通过第一服务端获取客户端发送的执行ETL任务请求；
调用Rest http接口执行ETL任务请求，并监听第二服务端carte服务的日志返回流至第一服务端；
第一服务端将日志流格式化组装后返回客户端，在客户端实时显示任务执行日志。
进一步地，第一服务端为应用调度服务端，第二服务端为kettle carte服务端。
一种计算机可读存储设备，存储有计算机程序，所述计算机程序被处理器执行以实现上述的支持ETL任务调度可视化的方法。
一种移动终端，包括：
处理器，适于执行程序指令；
存储设备，适于存储程序指令，所述程序指令适于由处理器加载并执行以实现上述的支持ETL任务调度可视化的方法。
一种支持ETL任务调度可视化的系统，包括服务器；
服务器包括处理器和存储设备；
处理器，适于执行程序指令；
存储设备，适于存储程序指令，所述程序指令适于由处理器加载并执行以实现上述的支持ETL任务调度可视化的方法。
与现有技术比，本发明的有益效果：
本发明研发了一种支持ETL任务调度可视化的方法，可以在不修改和应用ETL carte应用的情况下，实现任务可视化、上传或修改ETL任务脚本以及动态执行任务，使得运维人员可直接通过web界面掌控掌控ETL任务脚本的运行状态和运行结果，提升了业务的稳定性和扩展性。
附图说明
图1为本发明实施例中的流程示意图。
具体实施方式
下面将结合具体实施例，对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通的技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明的保护范围。
本发明针对现有技术中Carte没有提供任务可视化界面，不便于查看ETL任务脚本的执行细节内容，并且ETL原生的定时任务机制缺乏灵活性的问题，提供一种支持ETL任务调度可视化的方法，通过web管理系统可动态增加ETL任务，在线查看ETL任务的内容并可修改其中的任务执行细节，而且还可以配置任务动态执行的策略。
一种支持ETL任务调度可视化的方法，如图1所示，基于客户端、第一服务端及第二服务端，其中第一服务端为应用调度服务端，第二服务端为kettle carte服务端，包括：
为了使ETL任务请求能够适应支持ETL任务调度可视化的方法，顺利地在客户端、第一服务端及第二服务端之间进行信息通讯，对ETL任务脚本文件校验处理，使得从客户端上传的ETL任务脚本文件符合预定的要求，保证了本方法在运行过程的稳定。
客户端向第一终端请求查询ETL任务脚本内容，由于前面已经对ETL任务脚本文件进行校验处理成预定要求，第一服务端可以根据预定的要求查询ETL任务脚本文件，通过第二服务端获取ETL任务文件生成DAG数据，并返回给客户端。
可以通过web管理界面查看ETL任务脚本对应的DAG数据，可以了解到ETL任务脚本文件的细节内容，同时可以在线修改ETL任务脚本文件。当需要修改ETL任务脚本文件时，通过客户端向第一服务端发送ETL任务脚本文件修改请求，当第一服务端接收ETL任务脚本文件修改请求时，解析ETL任务脚本文件，完成解析后便可修改ETL任务脚本文件内容。
为了能更好地通过web界面掌控ETL任务脚本的运行状态和运行结果，配置动态执行触发机制，完成配置动态执行触发机制后，可以实时执行ETL任务请求，并实时显示任务执行日志。
本实施例中， 对ETL任务脚本文件校验处理，具体包括，在第一服务端获取客户端上传的ETL任务脚本文件,其中ETL任务脚本文件为kjb文件。校验ETL任务脚本文件的内容合法性，合法性包括但不限于检查ETL任务脚本文件的后缀是否规范以便识别查询ETL任务脚本文件；能否以XML方式将ETL任务脚本文件读取出来以便ETL任务脚本文件解析出来进行修改；检查是否符合kettle脚本规范以便运行任务动态执行的策略。若检测到ETL任务脚本文件的内容不具备合法性，则优选对不具备合法性的ETL任务脚本文件进行处理，转换成具备合法性的ETL任务脚本文件，若无法通过转换则需提醒重新上传具备合法性的ETL任务脚本文件。通过vsftp服务将ETL任务脚本文件传送至第二服务端，并向客户端返回上传结果及文件地址，便于进行请求查询ETL任务脚本内容。
本实施例中，请求查询ETL任务脚本内容，生成DAG数据并返回，具体包括，当需要请求查询时，在客户端想第一服务端发送查询ETL任务脚本内容的请求，第一服务端接收客户端查询ETL任务脚本内容请求，并查询文件地址，文件地址是在对ETL任务脚本文件校验合法后确定，可快速查询到相应的ETL任务脚本内容。根据查询到的文件地址向第二服务端请求下载ETL任务脚本文件，并向第一服务端返回任务文件流。在第一服务端读取任务文件流，获取包括任务节点名称、节点间的关系、任务的起点和终点等ETL任务脚本内容组装成DAG数据结构，返回客户端DAG数据，在客户端绘制任务DAG有向环形图，方便后续进行在线修改ETL任务脚本内容。其中，DAG有向环形图是客户端使用开源组件绘制的。
本实施例中， 接收ETL任务脚本文件修改请求，则解析ETL任务脚本文件，并修改ETL任务脚本文件内容，具体包括，在客户端修改ETL任务脚本内容，请求向第一服务端保存修改文件内容，第一服务端接收客户端发送的ETL任务脚本文件修改请求后保存ETL任务脚本文件。并且，将原始的ETL任务脚本文件解析成XML文档以便进行修改，将修改的内容覆盖原XML文档的节点内容，保存成新的ETL任务脚本文件，从而完成修改，然后再通过vsftp服务上传新的ETL任务脚本文件至第二服务端覆盖原文件保存。
本实施例中，配置动态执行触发机制，可支持标准的cron计划任务时间配置，具体包括，通过ThreadPoolTaskScheduler调度器创建一个新的定时任务，并将定时任务信息保存在数据库中。ThreadPoolTaskScheduler本身就是spring用于创建定时任务的组件，使用方法schedule就能创建一个定时任务。定时任务的触发可以根据不同的情况进行适应性的设置。执行触发机制时，到定时时间向第二服务端触发调用carte接口的请求，第二服务端返回任务执行日志流至第一服务端，第一服务端保存日志流信息到数据库中。
本实施例中，执行ETL任务请求，并实时显示任务执行日志，具体包括，客户端发送实时执行ETL任务请求，第一服务端获取客户端发送的执行ETL任务请求后调用Rest http接口执行ETL任务请求，监听并定时读取第二服务端carte服务的日志返回流，将日志流格式化组装后返回客户端，在客户端实时显示任务执行日志。日志流格式化组装只保留任务名称、实时状态、节点执行日志，其他的去除信息。
本发明提供的一种支持ETL任务调度可视化的方法，通过web管理界面上传ETL任务脚本到应用调度服务器，应用调度服务器将任务脚本通过VSFTP技术上传至carte服务器上，用户还可通过web管理界面查看ETL任务脚本的执行细节内容，系统提供ETL任务的DAG有向环形图，可在线修改ETL任务脚本内容，系统将解析ETL任务脚本成XML文档，修改XML文档中的内容以达到修改脚本的目的，而且系统通过Spring框架的ThreadPoolTaskScheduler完成任务的动态调度执行。
以此，可以在不修改和应用ETL carte应用的情况下，实现任务可视化、上传或修改ETL任务脚本以及动态执行任务，使得运维人员可直接通过web界面掌控掌控ETL任务脚本的运行状态和运行结果，提升了业务的稳定性和扩展性。
另外，本领域普通技术人员可以理解：实现上述方法实施的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序指令可以存储于一计算机可读取存储介质或存储设备中，该程序指令在执行时，执行上述方法的步骤；而前述存储介质或存储设备包括但不限于：ROM、RAM、磁盘或者光盘等各种可以存储程序代码的介质。
因此相应地，本发明实施例还提供了一种计算机可读存储设备，存储有计算机程序，所述计算机程序被处理器执行以实现所述支持ETL任务调度可视化的方法。
进一步地，本发明还配套提供了一种相应的移动终端、系统来实现上述支持ETL任务调度可视化的方法，具体为：
一种移动终端，包括：
处理器，适于执行程序指令；
存储设备，适于存储程序指令，所述程序指令适于由处理器加载并执行以实现所述的支持ETL任务调度可视化的方法。
支持ETL任务调度可视化的方法，包括服务器；服务器包括处理器和存储设备；
处理器，适于执行程序指令；
存储设备，适于存储程序指令，所述程序指令适于由处理器加载并执行以实现所述的支持ETL任务调度可视化的方法。
以上借助具体实施例对本发明做了进一步描述，但是应该理解的是，这里具体的描述，不应理解为对本发明的实质和范围的限定，本领域内的普通技术人员在阅读本说明书后对上述实施例做出的各种修改，都属于本发明所保护的范围。

Claims (10)

1.一种支持ETL任务调度可视化的方法，其特征在于，包括：
对ETL任务脚本文件校验处理；
请求查询ETL任务脚本内容，生成DAG数据返回；
若接收ETL任务脚本文件修改请求，则解析ETL任务脚本文件，并修改ETL任务脚本文件内容；
配置动态执行触发机制；
实时执行ETL任务请求，并实时显示任务执行日志。
2.根据权利要求1所述的一种支持ETL任务调度可视化的方法，其特征在于， 对ETL任务脚本文件校验处理，包括：
在第一服务端获取客户端上传的ETL任务脚本文件,其中ETL任务脚本文件为kjb文件；
校验ETL任务脚本文件的内容合法性，包括检查ETL任务脚本文件的后缀是否规范、能否以XML方式将ETL任务脚本文件读取出来、检查是否符合kettle脚本规范；
通过vsftp服务将ETL任务脚本文件传送至第二服务端，并向客户端返回上传结果及文件地址。
3.根据权利要求1所述的一种支持ETL任务调度可视化的方法，其特征在于，请求查询ETL任务脚本内容，生成DAG数据并返回，包括：
通过第一服务端接收客户端查询ETL任务脚本内容请求，并查询文件地址；
根据查询到的文件地址在第二服务端请求下载ETL任务脚本文件，并向第一服务端返回任务文件流；
在第一服务端读取任务文件流，获取ETL任务脚本内容并组装成DAG数据结构；
返回客户端DAG数据，在客户端绘制任务DAG有向环形图。
4.根据权利要求1所述的一种支持ETL任务调度可视化的方法，其特征在于， 接收ETL任务脚本文件修改请求，则解析ETL任务脚本文件，并修改ETL任务脚本文件内容，包括：
通过第一服务端接收客户端发送的ETL任务脚本文件修改请求，并保存ETL任务脚本文件；
将原始的ETL任务脚本文件解析成XML文档，并将修改的内容覆盖原XML文档的节点内容，保存成新的ETL任务脚本文件；
通过vsftp服务上传新的ETL任务脚本文件至第二服务端覆盖原文件保存。
5.根据权利要求1所述的一种支持ETL任务调度可视化的方法，其特征在于，配置动态执行触发机制，包括：
通过ThreadPoolTaskScheduler调度器创建一个新的定时任务，并将定时任务信息保存在数据库中；
到定时时间向第二服务端触发调用carte接口的请求；
第二服务端返回任务执行日志流至第一服务端，第一服务端保存日志流信息到数据库中。
6.根据权利要求1所述的一种支持ETL任务调度可视化的方法，其特征在于，执行ETL任务请求，并实时显示任务执行日志，包括：
通过第一服务端获取客户端发送的执行ETL任务请求；
调用Rest http接口执行ETL任务请求，并监听第二服务端carte服务的日志返回流至第一服务端；
第一服务端将日志流格式化组装后返回客户端，在客户端实时显示任务执行日志。
7.根据权利要求1-6任一项所述的一种支持ETL任务调度可视化的方法，其特征在于，第一服务端为应用调度服务端，第二服务端为kettle carte服务端。
8.一种计算机可读存储设备，存储有计算机程序，其特征在于，所述计算机程序被处理器执行以实现权利要求1至6任意一项所述的支持ETL任务调度可视化的方法。
9.一种移动终端，其特征在于，包括：
处理器，适于执行程序指令；
存储设备，适于存储程序指令，所述程序指令适于由处理器加载并执行以实现权利要求1至6任意一项所述的支持ETL任务调度可视化的方法。
10.一种支持ETL任务调度可视化的系统，其特征在于，包括服务器；
服务器包括处理器和存储设备；
处理器，适于执行程序指令；
存储设备，适于存储程序指令，所述程序指令适于由处理器加载并执行以实现权利要求1至6任意一项所述的支持ETL任务调度可视化的方法。
CN201911213576.5A 2019-12-02 2019-12-02 一种支持etl任务调度可视化的方法 Active CN111082976B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911213576.5A CN111082976B (zh) 2019-12-02 2019-12-02 一种支持etl任务调度可视化的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911213576.5A CN111082976B (zh) 2019-12-02 2019-12-02 一种支持etl任务调度可视化的方法

Publications (2)

Publication Number Publication Date
CN111082976A true CN111082976A (zh) 2020-04-28
CN111082976B CN111082976B (zh) 2022-07-29

Family

ID=70312323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911213576.5A Active CN111082976B (zh) 2019-12-02 2019-12-02 一种支持etl任务调度可视化的方法

Country Status (1)

Country Link
CN (1) CN111082976B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112100266A (zh) * 2020-11-05 2020-12-18 成都中科大旗软件股份有限公司 大数据图谱分析方法及系统
CN112115192A (zh) * 2020-10-09 2020-12-22 北京东方通软件有限公司 一种etl系统的高效流程编排方法和系统
CN112131297A (zh) * 2020-09-28 2020-12-25 广州亚信技术有限公司 数据处理方法、装置、设备及存储介质
CN112764902A (zh) * 2021-01-21 2021-05-07 上海明略人工智能(集团)有限公司 任务调度方法及系统
CN112966039A (zh) * 2021-03-18 2021-06-15 上海新炬网络技术有限公司 基于etl引擎的前后端分离执行方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567013A (zh) * 2009-06-02 2009-10-28 阿里巴巴集团控股有限公司 一种etl调度的实现方法及装置
CN105069029A (zh) * 2015-07-17 2015-11-18 电子科技大学 一种实时etl系统及方法
CN105976158A (zh) * 2016-04-26 2016-09-28 中国电子科技网络信息安全有限公司 一种可视化的etl流程管理与调度监控方法
US20170351989A1 (en) * 2016-06-03 2017-12-07 Perfaware Providing supply chain information extracted from an order management system
CN108228708A (zh) * 2017-11-29 2018-06-29 链家网（北京）科技有限公司 大数据etl系统及其调度方法
CN109669983A (zh) * 2018-12-27 2019-04-23 杭州火树科技有限公司 可视化多数据源etl工具
CN110232085A (zh) * 2019-04-30 2019-09-13 中国科学院计算机网络信息中心 一种大数据etl任务的编排方法与系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567013A (zh) * 2009-06-02 2009-10-28 阿里巴巴集团控股有限公司 一种etl调度的实现方法及装置
CN105069029A (zh) * 2015-07-17 2015-11-18 电子科技大学 一种实时etl系统及方法
CN105976158A (zh) * 2016-04-26 2016-09-28 中国电子科技网络信息安全有限公司 一种可视化的etl流程管理与调度监控方法
US20170351989A1 (en) * 2016-06-03 2017-12-07 Perfaware Providing supply chain information extracted from an order management system
CN108228708A (zh) * 2017-11-29 2018-06-29 链家网（北京）科技有限公司 大数据etl系统及其调度方法
CN109669983A (zh) * 2018-12-27 2019-04-23 杭州火树科技有限公司 可视化多数据源etl工具
CN110232085A (zh) * 2019-04-30 2019-09-13 中国科学院计算机网络信息中心 一种大数据etl任务的编排方法与系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张懿: ""基于Kettle集群的ETL管理系统的设计与实现"", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131297A (zh) * 2020-09-28 2020-12-25 广州亚信技术有限公司 数据处理方法、装置、设备及存储介质
CN112115192A (zh) * 2020-10-09 2020-12-22 北京东方通软件有限公司 一种etl系统的高效流程编排方法和系统
CN112100266A (zh) * 2020-11-05 2020-12-18 成都中科大旗软件股份有限公司 大数据图谱分析方法及系统
CN112764902A (zh) * 2021-01-21 2021-05-07 上海明略人工智能(集团)有限公司 任务调度方法及系统
CN112764902B (zh) * 2021-01-21 2024-03-29 上海明略人工智能(集团)有限公司 任务调度方法及系统
CN112966039A (zh) * 2021-03-18 2021-06-15 上海新炬网络技术有限公司 基于etl引擎的前后端分离执行方法
CN112966039B (zh) * 2021-03-18 2024-03-19 上海新炬网络技术有限公司 基于etl引擎的前后端分离执行方法

Also Published As

Publication number Publication date
CN111082976B (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN111082976B (zh) 一种支持etl任务调度可视化的方法
CN109032909A (zh) 应用程序崩溃日志的处理方法、系统、设备和存储介质
CN106302445B (zh) 用于处理请求的方法和装置
CN107346320B (zh) 一种数据调用方法和装置
CN106776314B (zh) 一种测试系统
RU2666272C2 (ru) Система обработки информации, способ управления процессом данных, программа и носитель записи
CN108833510B (zh) 消息处理方法和装置
CN112765103B (zh) 一种文件解析方法、系统、装置及设备
CN110737655B (zh) 用于上报数据的方法和装置
CN111708611A (zh) 轻量级Kubernetes监控系统及方法
CN114443905A (zh) 接口文档更新方法、装置、电子设备及可读存储介质
CN112698817A (zh) 基于微服务架构的消息接入方法、装置、系统及存储介质
CN117271584A (zh) 数据处理方法及装置、计算机可读存储介质和电子设备
WO2021093672A1 (zh) 外部系统的嵌入方法、工作流系统、设备及计算机可读存储介质
CN111988398A (zh) 一种数据获取方法、api网关、介质
KR20170122874A (ko) 데이터 분산 서비스 기반의 응용 시스템의 통합 로그 관리 장치
KR20210000041A (ko) 로그 데이터의 실시간 분석 방법 및 그 장치
CN112084245B (zh) 基于微服务架构的数据管理方法、装置、设备及存储介质
CN115185841A (zh) 系统重构测试方法、装置、设备及存储介质
CN114285774A (zh) 流量录制方法、装置、电子设备及存储介质
CN113568720A (zh) 进程管理、开发、配置方法、装置、电子设备和存储介质
CN110727457A (zh) 组件管理方法、装置、存储介质及电子设备
CN110674366A (zh) 基于ognl表达式语言的数据分发方法、电子装置及存储介质
CN111949472A (zh) 一种记录应用日志的方法及装置
US9672294B2 (en) Partial data report generation with data costing notification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant