CN112596806A - 数据湖数据加载脚本生成方法和系统 - Google Patents

数据湖数据加载脚本生成方法和系统 Download PDF

Info

Publication number
CN112596806A
CN112596806A CN202011407625.1A CN202011407625A CN112596806A CN 112596806 A CN112596806 A CN 112596806A CN 202011407625 A CN202011407625 A CN 202011407625A CN 112596806 A CN112596806 A CN 112596806A
Authority
CN
China
Prior art keywords
data
metadata information
platform
data lake
lake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011407625.1A
Other languages
English (en)
Inventor
季晓文
张勇
王丽
左开红
彭强
田江
向小佳
丁永建
李璠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Everbright Technology Co ltd
Original Assignee
Everbright Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Everbright Technology Co ltd filed Critical Everbright Technology Co ltd
Priority to CN202011407625.1A priority Critical patent/CN112596806A/zh
Publication of CN112596806A publication Critical patent/CN112596806A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种数据湖数据加载脚本生成方法和系统，该方法包括：数据源平台获取元数据信息；该数据源平台判断是否允许将获取的该元数据信息发送至数据湖平台，并将允许发送的该元数据信息发送至该数据湖平台；该数据湖平台接收该元数据信息，并根据该元数据信息生成数据湖数据加载脚本。通过本发明的上述实施例，由于数据源平台先判断是否允许将获取的元数据信息发送至数据湖平台，再传输元数据信息，因此，解决了对金融等安全要求较高的行业，相关技术中数据湖直接接入上游系统获取元数据安全性较低的问题，从而达到了提升数据传输的安全性的效果。

Description

数据湖数据加载脚本生成方法和系统
技术领域
本发明实施例涉及大数据技术领域，具体而言，涉及一种数据湖数据加载脚本生成方法和系统。
背景技术
数据湖接入源系统多，表数量大，大面积数据接入是一个需要消耗大量人力的事情。其中，源系统是数据的提供方、生成者。目前大多自动化程序都依赖于直连数据源，通过获取数据源的元数据信息，生成对应的建表语句和加载脚本。但在金融等对安全要求严格的行业，直连方式往往不被允许。同时，亦需要数据湖和源系统双方人员不断沟通交流，然后由源系统人员整理出元数据信息后，通过表格文件发送给数据湖。然而，采用不同技术的数据源，元数据信息也不尽相同，需要进行统一的转换；同时不同经验人员、理解差异，提供的元数据信息及完整性也有差异，大量时间浪费在双方沟通、确认标准和口径的环节。
针对金融等安全要求较高的行业，相关技术中数据湖直接接入上游系统获取元数据安全性较低的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据湖数据加载脚本生成方法和系统，以至少解决对金融等安全要求较高的行业，相关技术中数据湖直接接入上游系统获取元数据安全性较低的问题。
根据本发明的一个实施例，提供了一种数据湖数据加载脚本生成方法，包括：数据源平台获取元数据信息；所述数据源平台判断是否允许将获取的所述元数据信息发送至数据湖平台，并将允许发送的所述元数据信息发送至所述数据湖平台；所述数据湖平台接收所述元数据信息，并根据所述元数据信息生成数据湖数据加载脚本。
在一个示例性实施例中，所述数据源平台获取元数据信息，可以包括：所述数据源平台接收表名清单信息；所述数据源平台根据所述表名清单信息获取对应的所述元数据信息，其中，所述元数据信息至少包括以下之一：所述表名清单的字段名，所述表名清单的字段类型，所述表名清单的存储空间占用量。
在一个示例性实施例中，在数据源平台获取元数据信息之后，还可以包括：对所述元数据信息进行展示。
在一个示例性实施例中，所述数据源平台将允许发送的所述元数据信息发送至数据湖平台，可以包括：所述数据源平台将允许发送的所述元数据信息进行压缩加密；所述数据源平台将经过压缩加密的所述元数据信息发送至数据湖平台。
在一个示例性实施例中，所述数据湖平台接收所述元数据信息，并根据所述元数据信息生成数据湖数据加载脚本，可以包括：所述数据湖平台接收所述元数据信息；所述数据湖平台根据所述元数据信息中的数据库类型，对对应的元数据信息进行信息转换，生成数据湖环境建表语句；所述数据湖平台根据所述数据湖环境建表语句生成数据湖数据加载脚本。
在一个示例性实施例中，所述数据湖平台根据所述元数据信息中的数据库类型，对对应的元数据信息进行信息转换，生成数据湖环境建表语句，可以包括：所述数据湖平台将对应的所述元数据信息中的表名清单的字段类型转换为数据湖支持的数据库类型；所述数据湖平台根据转换后的所述数据湖支持的数据库类型生成数据湖环境建表语句。
根据本发明的另一个实施例，提供了一种数据湖数据加载脚本生成系统，包括：数据源平台和数据湖平台；其中，所述数据源平台，包括：获取模块，用于获取元数据信息；发送模块，用于判断是否允许将获取的所述元数据信息发送至数据湖平台，并将允许发送的所述元数据信息发送至所述数据湖平台；所述数据湖平台，用于接收所述元数据信息，并根据所述元数据信息生成数据湖数据加载脚本。
在一个示例性实施例中，所述数据湖平台，可以包括：接收模块，用于接收所述元数据信息；第一生成模块，用于根据所述元数据信息中的数据库类型，对对应的元数据信息进行信息转换，生成数据湖环境建表语句；第二生成模块，用于根据所述数据湖环境建表语句生成数据湖数据加载脚本。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明的上述实施例，由于数据源平台先判断是否允许将获取的元数据信息发送至数据湖平台，再传输元数据信息，因此，可以解决对金融等安全要求较高的行业，相关技术中数据湖直接接入上游系统获取元数据安全性较低的问题，达到提升数据传输的安全性的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的数据湖数据加载脚本生成方法的流程图；
图2是根据本发明实施例的数据湖数据加载脚本生成系统的结构框图；
图3是根据本发明可选实施例的数据湖数据加载脚本生成系统的结构框图；
图4是根据本发明可选实施例的统一的元数据获取、传输、转换方法的流程图；
图5是根据本发明可选实施例的可填写的连接信息表的示意图；
图6是根据本发明可选实施例的可修改的数据源表的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了更好的理解本发明实施例以及可选实施例的技术方案，以下对本发明实施例以及可选实施例中可能出现的应用场景进行说明，但不用于限定以下场景的应用。
在本实施例中提供了一种数据湖数据加载脚本生成方法，图1是根据本发明实施例的数据湖数据加载脚本生成方法的流程图，如图1所示，该流程包括如下步骤：
步骤S101，数据源平台获取元数据信息。
步骤S102，所述数据源平台判断是否允许将获取的所述元数据信息发送至数据湖平台，并将允许发送的所述元数据信息发送至所述数据湖平台。
步骤S103，所述数据湖平台接收所述元数据信息，并根据所述元数据信息生成数据湖数据加载脚本。
在本实施例中，步骤S101可以包括：所述数据源平台接收表名清单信息；所述数据源平台根据所述表名清单信息获取对应的所述元数据信息，其中，所述元数据信息至少包括以下之一：所述表名清单的字段名，所述表名清单的字段类型，所述表名清单的存储空间占用量。
在本实施例的步骤S101之后，还可以包括：对所述元数据信息进行展示。
在本实施例中，步骤S102可以包括：所述数据源平台将允许发送的所述元数据信息进行压缩加密；所述数据源平台将经过压缩加密的所述元数据信息发送至数据湖平台。
在本实施例中，步骤S103可以包括：所述数据湖平台接收所述元数据信息；所述数据湖平台根据所述元数据信息中的数据库类型，对对应的元数据信息进行信息转换，生成数据湖环境建表语句；所述数据湖平台根据所述数据湖环境建表语句生成数据湖数据加载脚本。
在本实施例中，所述数据湖平台根据所述元数据信息中的数据库类型，对对应的元数据信息进行信息转换，生成数据湖环境建表语句，可以包括：所述数据湖平台将对应的所述元数据信息中的表名清单的字段类型转换为数据湖支持的数据库类型；所述数据湖平台根据转换后的所述数据湖支持的数据库类型生成数据湖环境建表语句。
通过上述步骤，由于数据源平台先判断是否允许将获取的元数据信息发送至数据湖平台，再传输元数据信息，因此，解决了对金融等安全要求较高的行业，相关技术中数据湖直接接入上游系统获取元数据安全性较低的问题，达到了提升数据传输的安全性的效果。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种数据湖数据加载脚本生成系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图2是根据本发明实施例的数据湖数据加载脚本生成系统的结构框图，如图2所示，该系统包括数据源平台10和数据湖平台20，其中，所述数据源平台10，包括：获取模块11和发送模块12。
所述获取模块11，用于获取元数据信息。
所述发送模块12，用于判断是否允许将获取的所述元数据信息发送至数据湖平台，并将允许发送的所述元数据信息发送至所述数据湖平台。
所述数据湖平台20，用于接收所述元数据信息，并根据所述元数据信息生成数据湖数据加载脚本。
图3是根据本发明可选实施例的数据湖数据加载脚本生成系统的结构框图，如图3所示，该系统除包括图2所示的所有模块外，所述数据湖平台20，还包括：接收模块21、第一生成模块22和第二生成模块23。
所述接收模块21，用于接收所述元数据信息。
所述第一生成模块22，用于根据所述元数据信息中的数据库类型，对对应的元数据信息进行信息转换，生成数据湖环境建表语句。
所述第二生成模块23，用于根据所述数据湖环境建表语句生成数据湖数据加载脚本。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
为了便于对本发明所提供的技术方案的理解，下面将结合具体场景的实施例进行详细阐述。
目前主流自动化数据抽取工具，一般采用源系统授权，下游自助读取元数据信息，然后配置置抽取条件，抽取内容的方式，进行数据交换。源系统人员进行权限审批和简单的沟通；下游人员在获取授权后，可以直接读取源系统数据库，通过程序获取源系统元数据，配置好抽取条件、内容、频率等后，自动抽取数据。
但是对于金融等安全要求较高的行业，下游系统往往是不允许直接连接源系统获取数据的，数据一般以文件或消息队列的方式传输给下游，元数据信息也一般由双方人员沟通交流后，通过商定格式的表格文件传输。其中，下游系统是数据的获取方，其一般指数仓、数据湖、分析系统等，在本实施例中表示数据湖。上游系统人员在整理元数据信息时，往往需要和下游人员多轮沟通确认，然后配置抽取程序；下游人员同样需要沟通确认元数据信息后，才能配置数据加载程序，双方都浪费了大量的时间精力。
本实施例通过提供一种统一的元数据获取、传输、转换流程，提升数据湖对离线数据的接入效率。
图4是根据本发明可选实施例的统一的元数据获取、传输、转换方法的流程图，如图4所示，该方法包括如下步骤：
步骤S401，源系统人员使用提供的客户端软件提取相关数据表的元数据信息。
步骤S402，通过安全的方式传输元数据信息。
步骤S403，元数据信息解析，生成数据湖接数脚本。
在本实施例中，步骤S401可以包括：源系统表信息获取。
在本实施例的步骤S401中，具体而言，图5是根据本发明可选实施例的可填写的连接信息表的示意图，表1是根据本发明可选实施例的可填写的表信息表，如图5和表1所示，可以针对不同的数据源，通过集成不同的数据驱动，源系统人员仅需简单填写数据库连接信息和表信息，自动获取该表的字段名，字段类型，表大小等元数据信息，同时可根据是否导出样例数据配置，获取少量测试数据。
Figure BDA0002819024920000081
表1
另外，当源系统人员完成数据库连接配置和待获取表配置后，程序使用相应数据库版本的JDBC驱动，连接到数据库，执行数据库的元数据获取SQL/命令，获取已配置的表在数据库中的相关信息。
在本实施例的步骤S401之后，还可以包括：元数据展示以及源系统人员复核。
具体而言，图6是根据本发明可选实施例的可修改的数据源表的示意图，如图6所示，可以根据源系统人员填写的相关信息，自动获取数据源表元数据信息，并通过界面展示，源系统人员可以复核和修改其中内容。
在本实施例中，步骤S402可以包括：元数据传输。
在本实施例的步骤S402中，具体而言，生成好的元数据信息和样例数据，在经过压缩加密后，可以传输到SFTP的双方商定好的目录，数据湖开发人员登录到SFTP服务器上，获取源系统表元数据信息。
在本实施例中，步骤S403可以包括：数据格式的统一转换和加载。
在本实施例的步骤S403中，在数据湖开发人员接收到源系统提供的源系统信息后，可以作为解析程序的输入，针对不同数据库类型和上游系统的存储策略，自动对字段类型进行转换，生成数据湖环境建表语句，加载脚本。
具体而言，不同数据库的数据类型命名不完全相同，需要进行统一的类型转换，将不同数据库不同叫法的数据类型统一转换为数据湖支持的数据类型。表2是根据本发明可选实施例的类型转换表，如表2所示，每种数据库维护一个类型转换表。然后使用转化后的数据类型，拼接生成数据湖表的建表语句，并根据不同的加载场景，下游系统保留策略，生成对应的数据加载脚本。
数据库类型 数据类型 转换类型
Oracle VARchar2 VARchar
Oracle INTEGER BIGINT
Oracle NUMBER DECIMAL
Oracle LONG RAW BINARY
Oracle BLOB BINARY
Oracle CLOB STRING
Oracle TIMESTAMP STRING
Oracle DATE STRING
Oracle DECIMAL DECIMAL
Oracle FLOAT FLOAT
Oracle EIGINT BIGINT
表2
本实施例通过提供一种统一的元数据获取、传输、转换流程，大大提升特殊行业数据湖对离线数据的接入效率。
一方面，针对源系统人员，简化其对元数据的提取流程，统一元数据的格式，避免不同人员获取的元数据信息格式、完整性的差异，减少双方沟通复核的成本。
另一方面，可以针对不同类型数据源，对不同的字段类型进行转换以符合数据湖环境，自动生成数据湖环境的建表语句，加载程序脚本，提升数据湖人员的开发效率。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取元数据信息；
S2，判断是否允许将获取的所述元数据信息发送至数据湖平台，并将允许发送的所述元数据信息发送至所述数据湖平台。
可选地在一个示例性实施例中，存储介质还被设置为存储用于执行以下步骤的计算机程序：
S1，接收所述元数据信息，并根据所述元数据信息生成数据湖数据加载脚本。
在一个示例性实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
在一个示例性实施例中，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取元数据信息；
S2，判断是否允许将获取的所述元数据信息发送至数据湖平台，并将允许发送的所述元数据信息发送至所述数据湖平台。
可选地在一个示例性实施例中，处理器还被设置为通过计算机程序执行以下步骤：
S1，接收所述元数据信息，并根据所述元数据信息生成数据湖数据加载脚本。
在一个示例性实施例中，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，在一个示例性实施例中，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据湖数据加载脚本生成方法，其特征在于，包括：
数据源平台获取元数据信息；
所述数据源平台判断是否允许将获取的所述元数据信息发送至数据湖平台，并将允许发送的所述元数据信息发送至所述数据湖平台；
所述数据湖平台接收所述元数据信息，并根据所述元数据信息生成数据湖数据加载脚本。
2.根据权利要求1所述的方法，其特征在于，所述数据源平台获取元数据信息，包括：
所述数据源平台接收表名清单信息；
所述数据源平台根据所述表名清单信息获取对应的所述元数据信息，其中，所述元数据信息至少包括以下之一：所述表名清单的字段名，所述表名清单的字段类型，所述表名清单的存储空间占用量。
3.根据权利要求1所述的方法，其特征在于，在数据源平台获取元数据信息之后，还包括：
对所述元数据信息进行展示和筛选。
4.根据权利要求1所述的方法，其特征在于，所述数据源平台将允许发送的所述元数据信息发送至数据湖平台，包括：
所述数据源平台将允许发送的所述元数据信息进行压缩加密；
所述数据源平台将经过压缩加密的所述元数据信息发送至数据湖平台。
5.根据权利要求1所述的方法，其特征在于，所述数据湖平台接收所述元数据信息，并根据所述元数据信息生成数据湖数据加载脚本，包括：
所述数据湖平台接收所述元数据信息；
所述数据湖平台根据所述元数据信息中的数据库类型，对对应的元数据信息进行信息转换，生成数据湖环境建表语句；
所述数据湖平台根据所述数据湖环境建表语句生成数据湖数据加载脚本。
6.根据权利要求5所述的方法，其特征在于，所述数据湖平台根据所述元数据信息中的数据库类型，对对应的元数据信息进行信息转换，生成数据湖环境建表语句，包括：
所述数据湖平台将对应的所述元数据信息中的表名清单的字段类型转换为数据湖支持的字段类型；
所述数据湖平台根据转换后的支持的字段类型生成数据湖环境建表语句。
7.一种数据湖数据加载脚本生成系统，其特征在于，包括：数据源平台和数据湖平台；
其中，所述数据源平台，包括：
获取模块，用于获取元数据信息；
发送模块，用于判断是否允许将获取的所述元数据信息发送至数据湖平台，并将允许发送的所述元数据信息发送至所述数据湖平台；
所述数据湖平台，用于接收所述元数据信息，并根据所述元数据信息生成数据湖数据加载脚本。
8.根据权利要求7所述的系统，其特征在于，所述数据湖平台，包括：
接收模块，用于接收所述元数据信息；
第一生成模块，用于根据所述元数据信息中的数据库类型，对对应的元数据信息进行信息转换，生成数据湖环境建表语句；
第二生成模块，用于根据所述数据湖环境建表语句生成数据湖数据加载脚本。
9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。
CN202011407625.1A 2020-12-04 2020-12-04 数据湖数据加载脚本生成方法和系统 Pending CN112596806A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011407625.1A CN112596806A (zh) 2020-12-04 2020-12-04 数据湖数据加载脚本生成方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011407625.1A CN112596806A (zh) 2020-12-04 2020-12-04 数据湖数据加载脚本生成方法和系统

Publications (1)

Publication Number Publication Date
CN112596806A true CN112596806A (zh) 2021-04-02

Family

ID=75188322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011407625.1A Pending CN112596806A (zh) 2020-12-04 2020-12-04 数据湖数据加载脚本生成方法和系统

Country Status (1)

Country Link
CN (1) CN112596806A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113347249A (zh) * 2021-05-31 2021-09-03 中国工商银行股份有限公司 一种作业加载方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107222936A (zh) * 2017-06-26 2017-09-29 广东欧珀移动通信有限公司 一种数据处理方法、装置及终端
CN109241358A (zh) * 2018-08-14 2019-01-18 中国平安财产保险股份有限公司 元数据管理方法、装置、计算机设备及存储介质
US20190289011A1 (en) * 2018-03-15 2019-09-19 Fuji Xerox Co., Ltd. Information processing system, information processing apparatus, management apparatus, and non-transitory computer readable medium storing program
CN111858584A (zh) * 2020-06-22 2020-10-30 中国平安财产保险股份有限公司 元数据管理方法、系统及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107222936A (zh) * 2017-06-26 2017-09-29 广东欧珀移动通信有限公司 一种数据处理方法、装置及终端
US20190289011A1 (en) * 2018-03-15 2019-09-19 Fuji Xerox Co., Ltd. Information processing system, information processing apparatus, management apparatus, and non-transitory computer readable medium storing program
CN109241358A (zh) * 2018-08-14 2019-01-18 中国平安财产保险股份有限公司 元数据管理方法、装置、计算机设备及存储介质
CN111858584A (zh) * 2020-06-22 2020-10-30 中国平安财产保险股份有限公司 元数据管理方法、系统及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113347249A (zh) * 2021-05-31 2021-09-03 中国工商银行股份有限公司 一种作业加载方法、装置及设备
CN113347249B (zh) * 2021-05-31 2022-11-29 中国工商银行股份有限公司 一种作业加载方法、装置及设备

Similar Documents

Publication Publication Date Title
CN111078140B (zh) 核电站文件上传管理方法、装置、终端设备及介质
CN112100219B (zh) 基于数据库查询处理的报表生成方法、装置、设备和介质
CN110688828A (zh) 文件处理方法及装置、文件处理系统、计算机设备
US20050021427A1 (en) System and method for processing account data
CN114418714A (zh) 一种5g基站运维管理系统及方法
CN113688418B (zh) 基于区块链数据存储的工程订单结算方法及系统
CN112596806A (zh) 数据湖数据加载脚本生成方法和系统
CN117474696A (zh) 佣金结算问题的诊断方法、系统、设备及存储介质
CN113485942B (zh) 一种基于独立模块的自动化测试方法及装置
CN115829307A (zh) 智能卡自动化生产方法、装置及可读存储介质
CN108322492B (zh) 医疗数据同步方法及装置
CN106528718B (zh) 用于处理来自第三方的数据的方法及装置
CN115757642A (zh) 一种基于归档日志文件的数据同步方法及装置
JP2024509629A (ja) 量子車型部品基礎データベースの作成方法、装置、電子機器及び記憶媒体
CN114691782A (zh) 数据库表增量同步方法、装置及存储介质
CN116010349B (zh) 基于元数据的数据检核方法和装置、电子设备和存储介质
CN117093324A (zh) 一种数据处理方法和装置
CN114677121A (zh) 数据处理方法、装置、计算机可读存储介质和处理器
CN118035467A (zh) 基于数据湖的字典值校验方法、装置、设备和存储介质
CN114490854A (zh) 报表生成方法、装置、电子设备及计算机可读介质
CN113190463A (zh) 一种代码测试方法，节点及系统
CN115660875A (zh) 账目数据处理方法、装置、计算机设备和存储介质
CN116542621A (zh) 一种电子文书签发方法、系统、电子设备和存储介质
CN116071075A (zh) 交易完整性核对方法、装置、设备、介质和程序产品
CN113362025A (zh) 数据核算系统、方法、计算机可读存储介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination