CN115309811A - Etl脚本生成方法、装置、存储介质和设备 - Google Patents

Etl脚本生成方法、装置、存储介质和设备 Download PDF

Info

Publication number
CN115309811A
CN115309811A CN202211047024.3A CN202211047024A CN115309811A CN 115309811 A CN115309811 A CN 115309811A CN 202211047024 A CN202211047024 A CN 202211047024A CN 115309811 A CN115309811 A CN 115309811A
Authority
CN
China
Prior art keywords
target
data
processed
template
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211047024.3A
Other languages
English (en)
Inventor
郭志豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bank of China Ltd
Original Assignee
Bank of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bank of China Ltd filed Critical Bank of China Ltd
Priority to CN202211047024.3A priority Critical patent/CN115309811A/zh
Publication of CN115309811A publication Critical patent/CN115309811A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/288—Entity relationship models

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Stored Programmes (AREA)

Abstract

本申请公开了一种ETL脚本生成方法、装置、存储介质和设备，应用于大数据领域，该方法为：获取待处理数据表的元数据信息表以及环境参数；对元数据信息表进行解析，得到待处理数据表的开发参数；对环境参数进行解析，得到目标系统层级；从预先配置的系统参数中，获取与目标系统层级对应的结构化查询语言加工模板，标识为目标模板；将开发参数加载至目标模板的变量中，得到与待处理数据表对应的ETL脚本。该方法将开发参数加载至目标模板的变量中，得到与待处理数据表对应的ETL脚本，代替人工重新开发ETL脚本，有效减少ETL脚本的开发时间，以使ETL脚本的开发效率得到显著提高。

Description

ETL脚本生成方法、装置、存储介质和设备
技术领域
本申请涉及大数据领域，尤其涉及一种ETL脚本生成方法、装置、存储介质和设备。
背景技术
随着数据仓库(简称数仓)的不断建设与发展，数仓中数据表的数量在不断增加，ETL脚本的需求量也随着数据表的增多而增多。现有的ETL脚本无法复用，为此，需要重新开发ETL脚本，ETL脚本的开发受限于人力因素，将会耗费不少时间，开发效率较低。
为此，如何提高ETL脚本的开发效率，成为本领域亟需解决的问题。
发明内容
本申请提供了一种ETL脚本生成方法、装置、存储介质和设备，目的在于提高ETL脚本的开发效率。
为了实现上述目的，本申请提供了以下技术方案：
一种ETL脚本生成方法，包括：
获取待处理数据表的元数据信息表以及环境参数；
对所述元数据信息表进行解析，得到所述待处理数据表的开发参数；
对所述环境参数进行解析，得到目标系统层级；所述目标系统层级代表所述待处理数据表在数据仓库中所处的系统层级；
从预先配置的系统参数中，获取与所述目标系统层级对应的结构化查询语言加工模板，标识为目标模板；所述结构化查询语言加工模板包括生成ETL脚本所需的数据加工逻辑、SQL命令、变量；
将所述开发参数加载至所述目标模板的变量中，得到与所述待处理数据表对应的ETL脚本。
可选的，所示将所述开发参数加载至所述目标模板的变量中，得到与所述待处理数据表对应的ETL脚本之后，还包括：
从所述系统参数中获取与所述目标系统层级对应的配置文件，标识为目标配置文件；所述配置文件包括公用配置信息；
读取所述目标配置文件，得到目标公用配置信息；
将所述目标公用配置信息，加载至预设的python进程中，以使所述python进程读取所述目标公用配置信息，得到目标变量；
利用所述目标变量替换所述ETL脚本中的变量，得到目标处理逻辑；
利用所述目标处理逻辑，将所述待处理数据表中的数据保存到所述数据仓库中。
可选的，所述将所述目标公用配置信息，加载至预设的python进程中，以使所述python进程读取所述目标公用配置信息，得到目标变量，包括：
从所述系统参数中获取与所述目标系统层级对应的算法文件，标识为目标算法文件；所述算法文件包括接口配置；
读取所述目标算法文件，得到目标接口配置；
将所述目标公用配置信息以及所述目标接口配置，加载至预设的python进程中，以使所述python进程读取所述目标公用配置信息以及所述目标接口配置，得到目标变量。
可选的，所述利用所述目标处理逻辑，将所述待处理数据表中的数据保存到所述数据仓库中
调用所述python进程将所述目标处理逻辑提交到所述数据仓库中，以使所述数据仓库运行所述目标处理逻辑，将所述待处理数据表中的数据保存到所述数据仓库中。
一种ETL脚本生成装置，包括：
获取单元，用于获取待处理数据表的元数据信息表以及环境参数；
表解析单元，用于对所述元数据信息表进行解析，得到所述待处理数据表的开发参数；
参数解析单元，用于对所述环境参数进行解析，得到目标系统层级；所述目标系统层级代表所述待处理数据表在数据仓库中所处的系统层级；
模板获取单元，用于从预先配置的系统参数中，获取与所述目标系统层级对应的结构化查询语言加工模板，标识为目标模板；所述结构化查询语言加工模板包括生成ETL脚本所需的数据加工逻辑、SQL命令、变量；
参数加载单元，用于将所述开发参数加载至所述目标模板的变量中，得到与所述待处理数据表对应的ETL脚本。
可选的，还包括脚本执行单元；
所述脚本执行单元，用于：从所述系统参数中获取与所述目标系统层级对应的配置文件，标识为目标配置文件；所述配置文件包括公用配置信息；读取所述目标配置文件，得到目标公用配置信息；将所述目标公用配置信息，加载至预设的python进程中，以使所述python进程读取所述目标公用配置信息，得到目标变量；利用所述目标变量替换所述ETL脚本中的变量，得到目标处理逻辑；利用所述目标处理逻辑，将所述待处理数据表中的数据保存到所述数据仓库中。
可选的，所述脚本执行单元具体用于：
从所述系统参数中获取与所述目标系统层级对应的算法文件，标识为目标算法文件；所述算法文件包括接口配置；
读取所述目标算法文件，得到目标接口配置；
将所述目标公用配置信息以及所述目标接口配置，加载至预设的python进程中，以使所述python进程读取所述目标公用配置信息以及所述目标接口配置，得到目标变量。
可选的，所述脚本执行单元具体用于：
调用所述python进程将所述目标处理逻辑提交到所述数据仓库中，以使所述数据仓库运行所述目标处理逻辑，将所述待处理数据表中的数据保存到所述数据仓库中。
一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序执行所述的ETL脚本生成方法。
一种ETL脚本生成设备，包括：处理器、存储器和总线；所述处理器与所述存储器通过所述总线连接；
所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序运行时执行所述的ETL脚本生成方法。
本申请提供的技术方案，获取待处理数据表的元数据信息表以及环境参数。对元数据信息表进行解析，得到待处理数据表的开发参数。对环境参数进行解析，得到目标系统层级。从预先配置的系统参数中，获取与目标系统层级对应的结构化查询语言加工模板，标识为目标模板。将开发参数加载至目标模板的变量中，得到与待处理数据表对应的ETL脚本。本申请将开发参数加载至目标模板的变量中，得到与待处理数据表对应的ETL脚本，代替人工重新开发ETL脚本，有效减少ETL脚本的开发时间，以使ETL脚本的开发效率得到显著提高。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本申请实施例提供的一种ETL脚本生成方法的流程示意图；
图1b为本申请实施例提供的一种ETL脚本生成方法的流程示意图；
图2为本申请实施例提供的另一种ETL脚本生成方法的流程示意图；
图3为本申请实施例提供的一种ETL脚本生成装置的架构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1a和图1b所示，为本申请实施例提供的一种ETL脚本生成方法的流程示意图，应用于服务器中，包括如下所示步骤。
S101：预先配置系统参数。
其中，系统参数包括与数据仓库中每个系统层级对应的结构化查询语言(Structured Query Language，SQL)加工模板、配置文件以及算法文件。
其中，数据仓库所包含的系统层级包括临时存储数据运营(Operation DataStore，ODS)层，数据仓库明细(DataWarehouse Detail,DWD)层、数据仓库汇总(DataWarehouse Summery,DWS)层、应用(APPlication，APP)层。
在本申请实施例中，SQL加工模板包括生成ETL脚本所需的数据加工逻辑、SQL命令、多个变量。数据加工逻辑用于：对数据表中的数据进行加工处理，得到符合预设样式的脚本。SQL命令用于：调用预设SQL语句将脚本中的信息写入到数据仓库中。此外，配置文件包括公用配置信息(例如日志目录、通用日期配置)，算法文件包括接口配置。
S102：获取待处理数据表的元数据信息表以及环境参数。
S103：对元数据信息表进行解析，得到待处理数据表的开发参数。
其中，元数据信息表包括各个开发参数的元数据，所谓的元数据包括但不限于为：预设序号、目标表名、目标字段名、目标表库名、目标字段数据类型、主键、ETL任务名、主源字段名、主源字段数据类型、主源表库名、主源表名、JOIN方式、次源表库名、次源表名、JOIN条件、WHERE条件、备注等信息。
S104：对待处理数据表的环境参数进行解析，得到目标系统层级。
其中，目标系统层级代表待处理数据表在数据仓库中所处的系统层级。
S105：从系统参数中获取与目标系统层级对应的SQL加工模板，标识为目标模板。
S106：将待处理数据表的开发参数，加载至目标模板的变量中，得到与待处理数据表对应的ETL脚本。
S107：从系统参数中获取与目标系统层级对应的配置文件，标识为目标配置文件。
S108：读取目标配置文件，得到目标公用配置信息。
S109：从系统参数中获取与目标系统层级对应的算法文件，标识目标算法文件。
S110：读取目标算法文件，得到目标接口配置。
S111：将目标公用配置信息以及目标接口配置，加载至预设的python进程中，以使python进程读取目标公用配置信息以及目标接口配置，得到目标变量。
S112：利用目标变量替换ETL脚本中的变量，得到目标处理逻辑。
S113：调用python进程将目标处理逻辑提交到数据仓库中，以使数据仓库运行目标处理逻辑，将待处理数据表中的数据保存到数据仓库中。
基于上述S101-S113所示流程，本实施例能够将ETL开发过程元数据整理模板化，对ETL开发人员的SQL开发技能的依赖性进一步弱化，并提高开发效率及缩短实施周期。此外，python进程与所有ETL处理的SQL模板进行解耦，可扩展性强，可以针对更多数据库以及ETL开发场景；保留脚本代码生成原始文件，通过修改配置和文件内容可以较为方便进行批量脚本逻辑与内容修改。
综上所述，本实施例将开发参数加载至目标模板的变量中，得到与待处理数据表对应的ETL脚本，代替人工重新开发ETL脚本，有效减少ETL脚本的开发时间，以使ETL脚本的开发效率得到显著提高。
需要说明的是，上述实施例提及的S101，为本申请实施例所示ETL脚本生成方法的一种可选的实现方式。此外，上述实施例提及的S111，也为本申请实施例所示ETL脚本生成方法的一种可选的实现方式。为此，上述实施例提及的流程，可以概括为图2所示的方法。
如图2所示，为本申请实施例提供的另一种ETL脚本生成方法的流程示意图，包括如下所示步骤。
S201：获取待处理数据表的元数据信息表以及环境参数。
S202：对元数据信息表进行解析，得到待处理数据表的开发参数。
S203：对环境参数进行解析，得到目标系统层级。
其中，目标系统层级代表待处理数据表在数据仓库中所处的系统层级。
S204：从预先配置的系统参数中，获取与目标系统层级对应的结构化查询语言加工模板，标识为目标模板。
其中，结构化查询语言加工模板包括生成ETL脚本所需的数据加工逻辑、SQL命令、变量。
S205：将开发参数加载至目标模板的变量中，得到与待处理数据表对应的ETL脚本。
综上所述，本实施例将开发参数加载至目标模板的变量中，得到与待处理数据表对应的ETL脚本，代替人工重新开发ETL脚本，有效减少ETL脚本的开发时间，以使ETL脚本的开发效率得到显著提高。
需要说明的是，本发明提供的ETL脚本生成方法可用于人工智能领域、区块链领域、分布式领域、云计算领域、大数据领域、物联网领域、移动互联领域、网络安全领域、芯片领域、虚拟现实领域、增强现实领域、全息技术领域、量子计算领域、量子通信领域、量子测量领域、数字孪生领域或金融领域。上述仅为示例，并不对本发明提供的ETL脚本生成方法的应用领域进行限定。
本发明提供的ETL脚本生成方法可用于金融领域或其他领域，例如，可用于金融领域中的交易应用场景。其他领域为除金融领域之外的任意领域，例如，电力领域。上述仅为示例，并不对本发明提供的ETL脚本生成方法的应用领域进行限定。
与上述本申请实施例提供的ETL脚本生成方法相对应，本申请实施例还提供了一种ETL脚本生成装置。
如图3所示，为本申请实施例提供的一种ETL脚本生成装置的架构示意图，包括如下所示单元。
获取单元100，用于获取待处理数据表的元数据信息表以及环境参数。
表解析单元200，用于对元数据信息表进行解析，得到待处理数据表的开发参数。
参数解析单元300，用于对环境参数进行解析，得到目标系统层级；目标系统层级代表待处理数据表在数据仓库中所处的系统层级。
模板获取单元400，用于从预先配置的系统参数中，获取与目标系统层级对应的结构化查询语言加工模板，标识为目标模板；结构化查询语言加工模板包括生成ETL脚本所需的数据加工逻辑、SQL命令、变量。
参数加载单元500，用于将开发参数加载至目标模板的变量中，得到与待处理数据表对应的ETL脚本。
脚本执行单元600，用于：从系统参数中获取与目标系统层级对应的配置文件，标识为目标配置文件；配置文件包括公用配置信息；读取目标配置文件，得到目标公用配置信息；将目标公用配置信息，加载至预设的python进程中，以使python进程读取目标公用配置信息，得到目标变量；利用目标变量替换ETL脚本中的变量，得到目标处理逻辑；利用目标处理逻辑，将待处理数据表中的数据保存到数据仓库中。
可选的，脚本执行单元600具体用于：从系统参数中获取与目标系统层级对应的算法文件，标识为目标算法文件；算法文件包括接口配置；读取目标算法文件，得到目标接口配置；将目标公用配置信息以及目标接口配置，加载至预设的python进程中，以使python进程读取目标公用配置信息以及目标接口配置，得到目标变量。
脚本执行单元600具体用于：调用python进程将目标处理逻辑提交到数据仓库中，以使数据仓库运行目标处理逻辑，将待处理数据表中的数据保存到数据仓库中。
综上所述，本实施例将开发参数加载至目标模板的变量中，得到与待处理数据表对应的ETL脚本，代替人工重新开发ETL脚本，有效减少ETL脚本的开发时间，以使ETL脚本的开发效率得到显著提高。
本申请还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，程序执行上述本申请提供的ETL脚本生成方法。
本申请还提供了一种ETL脚本生成设备，包括：处理器、存储器和总线。处理器与存储器通过总线连接，存储器用于存储程序，处理器用于运行程序，其中，程序运行时执行上述本申请提供的ETL脚本生成方法，包括如下步骤：
获取待处理数据表的元数据信息表以及环境参数；
对所述元数据信息表进行解析，得到所述待处理数据表的开发参数；
对所述环境参数进行解析，得到目标系统层级；所述目标系统层级代表所述待处理数据表在数据仓库中所处的系统层级；
从预先配置的系统参数中，获取与所述目标系统层级对应的结构化查询语言加工模板，标识为目标模板；所述结构化查询语言加工模板包括生成ETL脚本所需的数据加工逻辑、SQL命令、变量；
将所述开发参数加载至所述目标模板的变量中，得到与所述待处理数据表对应的ETL脚本。
具体的，在上述实施例的基础上，所示将所述开发参数加载至所述目标模板的变量中，得到与所述待处理数据表对应的ETL脚本之后，还包括：
从所述系统参数中获取与所述目标系统层级对应的配置文件，标识为目标配置文件；所述配置文件包括公用配置信息；
读取所述目标配置文件，得到目标公用配置信息；
将所述目标公用配置信息，加载至预设的python进程中，以使所述python进程读取所述目标公用配置信息，得到目标变量；
利用所述目标变量替换所述ETL脚本中的变量，得到目标处理逻辑；
利用所述目标处理逻辑，将所述待处理数据表中的数据保存到所述数据仓库中。
具体的，在上述实施例的基础上，所述将所述目标公用配置信息，加载至预设的python进程中，以使所述python进程读取所述目标公用配置信息，得到目标变量，包括：
从所述系统参数中获取与所述目标系统层级对应的算法文件，标识为目标算法文件；所述算法文件包括接口配置；
读取所述目标算法文件，得到目标接口配置；
将所述目标公用配置信息以及所述目标接口配置，加载至预设的python进程中，以使所述python进程读取所述目标公用配置信息以及所述目标接口配置，得到目标变量。
具体的，在上述实施例的基础上，所述利用所述目标处理逻辑，将所述待处理数据表中的数据保存到所述数据仓库中
调用所述python进程将所述目标处理逻辑提交到所述数据仓库中，以使所述数据仓库运行所述目标处理逻辑，将所述待处理数据表中的数据保存到所述数据仓库中。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种ETL脚本生成方法，其特征在于，包括：
获取待处理数据表的元数据信息表以及环境参数；
对所述元数据信息表进行解析，得到所述待处理数据表的开发参数；
对所述环境参数进行解析，得到目标系统层级；所述目标系统层级代表所述待处理数据表在数据仓库中所处的系统层级；
从预先配置的系统参数中，获取与所述目标系统层级对应的结构化查询语言加工模板，标识为目标模板；所述结构化查询语言加工模板包括生成ETL脚本所需的数据加工逻辑、SQL命令、变量；
将所述开发参数加载至所述目标模板的变量中，得到与所述待处理数据表对应的ETL脚本。
2.根据权利要求1所述的方法，其特征在于，所示将所述开发参数加载至所述目标模板的变量中，得到与所述待处理数据表对应的ETL脚本之后，还包括：
从所述系统参数中获取与所述目标系统层级对应的配置文件，标识为目标配置文件；所述配置文件包括公用配置信息；
读取所述目标配置文件，得到目标公用配置信息；
将所述目标公用配置信息，加载至预设的python进程中，以使所述python进程读取所述目标公用配置信息，得到目标变量；
利用所述目标变量替换所述ETL脚本中的变量，得到目标处理逻辑；
利用所述目标处理逻辑，将所述待处理数据表中的数据保存到所述数据仓库中。
3.根据权利要求2所述的方法，其特征在于，所述将所述目标公用配置信息，加载至预设的python进程中，以使所述python进程读取所述目标公用配置信息，得到目标变量，包括：
从所述系统参数中获取与所述目标系统层级对应的算法文件，标识为目标算法文件；所述算法文件包括接口配置；
读取所述目标算法文件，得到目标接口配置；
将所述目标公用配置信息以及所述目标接口配置，加载至预设的python进程中，以使所述python进程读取所述目标公用配置信息以及所述目标接口配置，得到目标变量。
4.根据权利要求2所述的方法，其特征在于，所述利用所述目标处理逻辑，将所述待处理数据表中的数据保存到所述数据仓库中
调用所述python进程将所述目标处理逻辑提交到所述数据仓库中，以使所述数据仓库运行所述目标处理逻辑，将所述待处理数据表中的数据保存到所述数据仓库中。
5.一种ETL脚本生成装置，其特征在于，包括：
获取单元，用于获取待处理数据表的元数据信息表以及环境参数；
表解析单元，用于对所述元数据信息表进行解析，得到所述待处理数据表的开发参数；
参数解析单元，用于对所述环境参数进行解析，得到目标系统层级；所述目标系统层级代表所述待处理数据表在数据仓库中所处的系统层级；
模板获取单元，用于从预先配置的系统参数中，获取与所述目标系统层级对应的结构化查询语言加工模板，标识为目标模板；所述结构化查询语言加工模板包括生成ETL脚本所需的数据加工逻辑、SQL命令、变量；
参数加载单元，用于将所述开发参数加载至所述目标模板的变量中，得到与所述待处理数据表对应的ETL脚本。
6.根据权利要求5所述的装置，其特征在于，还包括脚本执行单元；
所述脚本执行单元，用于：从所述系统参数中获取与所述目标系统层级对应的配置文件，标识为目标配置文件；所述配置文件包括公用配置信息；读取所述目标配置文件，得到目标公用配置信息；将所述目标公用配置信息，加载至预设的python进程中，以使所述python进程读取所述目标公用配置信息，得到目标变量；利用所述目标变量替换所述ETL脚本中的变量，得到目标处理逻辑；利用所述目标处理逻辑，将所述待处理数据表中的数据保存到所述数据仓库中。
7.根据权利要求6所述的装置，其特征在于，所述脚本执行单元具体用于：
从所述系统参数中获取与所述目标系统层级对应的算法文件，标识为目标算法文件；所述算法文件包括接口配置；
读取所述目标算法文件，得到目标接口配置；
将所述目标公用配置信息以及所述目标接口配置，加载至预设的python进程中，以使所述python进程读取所述目标公用配置信息以及所述目标接口配置，得到目标变量。
8.根据权利要求6所述的装置，其特征在于，所述脚本执行单元具体用于：
调用所述python进程将所述目标处理逻辑提交到所述数据仓库中，以使所述数据仓库运行所述目标处理逻辑，将所述待处理数据表中的数据保存到所述数据仓库中。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，所述程序执行权利要求1-4任一所述的ETL脚本生成方法。
10.一种ETL脚本生成设备，其特征在于，包括：处理器、存储器和总线；所述处理器与所述存储器通过所述总线连接；
所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1-4任一所述的ETL脚本生成方法。
CN202211047024.3A 2022-08-30 2022-08-30 Etl脚本生成方法、装置、存储介质和设备 Pending CN115309811A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211047024.3A CN115309811A (zh) 2022-08-30 2022-08-30 Etl脚本生成方法、装置、存储介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211047024.3A CN115309811A (zh) 2022-08-30 2022-08-30 Etl脚本生成方法、装置、存储介质和设备

Publications (1)

Publication Number Publication Date
CN115309811A true CN115309811A (zh) 2022-11-08

Family

ID=83864676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211047024.3A Pending CN115309811A (zh) 2022-08-30 2022-08-30 Etl脚本生成方法、装置、存储介质和设备

Country Status (1)

Country Link
CN (1) CN115309811A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115756443A (zh) * 2022-12-02 2023-03-07 中电金信软件有限公司 一种脚本生成方法、装置、电子设备及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115756443A (zh) * 2022-12-02 2023-03-07 中电金信软件有限公司 一种脚本生成方法、装置、电子设备及可读存储介质
CN115756443B (zh) * 2022-12-02 2023-08-25 中电金信软件有限公司 一种脚本生成方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN109857755B (zh) 一种规则校验方法及装置
CN111061475B (zh) 软件代码生成方法、装置、计算机设备和存储介质
CN111435367B (zh) 知识图谱的构建方法、系统、设备及存储介质
CN113296786A (zh) 数据处理方法、装置、电子设备及存储介质
CN111078279A (zh) 字节码文件的处理方法、装置、设备及存储介质
CN115309811A (zh) Etl脚本生成方法、装置、存储介质和设备
CN112947907B (zh) 一种创建代码分支的方法
CN110555185A (zh) 基于pc客户端的页面定制方法及系统
CN116775613A (zh) 一种数据迁移方法、装置、电子设备及计算机可读介质
CN116126291A (zh) 基于信息管理的快速开发方法、装置、设备及存储介质
CN115310127A (zh) 一种数据脱敏方法及装置
CN112015429B (zh) 一种代码生成方法、装置及设备
CN113986879A (zh) 一种业务数据迁移方法以及相关装置
CN110399296B (zh) 测试客户端与服务端之间交互接口的方法、系统和介质
CN112883044A (zh) 用于数据库的数据处理方法、装置及计算机可读介质
CN112487111A (zh) 基于kv数据库的数据表关联方法及装置
CN112181951A (zh) 一种异构数据库数据迁移方法、装置及设备
CN117573199B (zh) 一种模型差异对比分析方法、装置、设备及介质
CN115470229B (zh) 数据表处理方法、装置、电子设备及存储介质
CN116383883B (zh) 一种基于大数据的数据管理权限处理方法及系统
CN118193032A (zh) 消除无效依赖库的方法、装置、设备、介质和程序产品
CN115099940A (zh) 一种批量系统中数据的生成方法及相关装置
CN117112424A (zh) 测试用例的生成方法、装置、设备、介质和产品
CN117149210A (zh) 一种软件优化方法、系统、设备及介质
CN115373722A (zh) 一种用于在热更新时进行差分更新的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination