CN113704337A - 一种基于驱动动态加载的元数据采集方法与系统 - Google Patents
一种基于驱动动态加载的元数据采集方法与系统 Download PDFInfo
- Publication number
- CN113704337A CN113704337A CN202110988919.6A CN202110988919A CN113704337A CN 113704337 A CN113704337 A CN 113704337A CN 202110988919 A CN202110988919 A CN 202110988919A CN 113704337 A CN113704337 A CN 113704337A
- Authority
- CN
- China
- Prior art keywords
- database
- metadata
- data
- connection
- loading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Abstract
本发明公开了一种基于驱动动态加载的元数据采集方法与系统，方法包含以下步骤：获取数据库连接与认证信息数据；解析数据库连接与认证信息数据得到数据库类型数据、数据库驱动路径数据；根据数据库类型数据得到需要连接的数据库，根据数据库驱动路径数据动态加载驱动，根据驱动的版本动态加载该数据库内元数据采集的字节码文件或生成元数据采集的字节码文件，并加载该字节码文件；初始化字节码文件后与数据库创建连接，并测试与数据库的连通性；若与数据库连通失败，则反馈连接失败；若与数据库连通成功，则开始采集数据库内的元数据；将获取的元数据进行格式转换后存储；调取转换后的元数据；系统包含客户端、元数据采集网关、数据库端。
Description
技术领域
本发明涉及元数据采集方法与系统，具体涉及一种基于驱动动态加载的元数据采集方法与系统。
背景技术
随着数字化加速，数据量成指数增长，大数据相关技术的出现，对数据治理的需求也在增加，尤其是大型企业业务数据、政府政务数据、行业标准数据，往往由于数据分散、质量参差不齐、数据存储结构差异大，虽然数据中蕴含大量有价值信息，但想要挖掘出来，往往需要做大量的数据治理工作，成本十分高昂；
元数据管理是企业数据治理的基础，元数据赋予数据上下文和含义的参考框架，经过有效治理的元数据可提供数据流视图、影响分析的执行能力、通用业务词汇表以及其术语和定义的可问责性，最终提供用于满足合规性的审计跟踪，元数据管理成为一项重要功能，让IT部门得以监视复杂数据集成环境中的变化，同时交付可信、安全的数据，因此，良好的元数据管理工具在全局数据治理中起到了核心作用；
而元数据管理的出发首先都是元数据的采集，采集元数据时，又会面对多种难点，数据库种类多，版本多，对应驱动和访问方法方式不一致，元数据采集负载高，业务方数据库压力大，降低业务数据库可用性，采集的元数据信息结构不一致，需要采集方统一转换存储，各种异构数据库不支持通用的开放性访问协议，导致部分开发语言采集困难。
发明内容
本发明要解决的技术问题是现有数据治理场景下元数据采集较难，数据治理过于复杂度，本发明提供一种基于驱动动态加载的元数据采集方法，本发明还提供一种基于驱动动态加载的元数据采集系统，驱动管理普适性，元数据采集网关使用插件式框架与类加载器隔离机制技术开发并结合Java的反射技术，动态支持各类数据库驱动以及不同驱动版本，可以应对多种异构环境而无需变更代码；元数据格式统一化，元数据采集网关内部自动封装从各类数据库采集的元数据信息，返回约定好的结构化信息，保持数据格式统一，外部开发者无需做额外格式转换；元数据采集加速，元数据采集网关内部使用连接池和缓存技术，可有效控制采集频率，并能快速响应接口调用；开发协议跨平台，元数据采集网关提供跨语言的Rest接口，可与任意编程语言集成，方便开发者对接，用以解决现有技术导致的缺陷。
为解决上述技术问题本发明提供以下的技术方案：
第一方面，一种基于驱动动态加载的元数据采集方法，其中，包含以下步骤：
步骤A1：获取数据库连接与认证信息数据；
步骤A2：解析数据库连接与认证信息数据得到数据库类型数据、数据库驱动路径数据；
步骤A3：根据数据库类型数据得到需要连接的数据库，根据数据库驱动路径数据动态加载驱动，根据驱动的版本动态加载该数据库内元数据采集的字节码文件或生成元数据采集的字节码文件，并加载该字节码文件；
步骤A4：初始化字节码文件后与数据库创建连接，并测试与数据库的连通性；
若与数据库连通失败，则反馈连接失败；
若与数据库连通成功，则开始采集数据库内的元数据；
步骤A5：将获取的元数据进行格式转换后存储；
步骤A6：调取转换后的元数据。
上述的一种基于驱动动态加载的元数据采集方法，其中，步骤A6中调取转换后元数据的具体步骤如下：
步骤B1：获取调取请求数据；
步骤B2：判断调取请求数据是否为及时状态请求；
若为否，则直接调取存储的转化后元数据；
若为是，则执行步骤A1-步骤A5，直接调取步骤A5得到的转换后元数据。
上述的一种基于驱动动态加载的元数据采集方法，其中，所述数据库为MySQL数据库或PostgreSQL数据库或Oracle数据库。
第二方面，一种基于驱动动态加载的元数据采集系统，其中，包含客户端、元数据采集网关、数据库端，所述数据库端由多个不同类型的数据库组成；
所述客户端用于发送数据库连接与认证信息数据至所述元数据采集网关；
所述元数据采集网关用于接收所述数据库连接与认证信息数据并解析得到数据库类型数据、数据库驱动路径数据，还用于根据所述数据库类型数据得到需要连接的数据库，还用于根据数据库驱动路径数据动态加载驱动，还用于根据驱动的版本动态加载该数据库内元数据采集的字节码文件或生成元数据采集的字节码文件，还用于加载所述字节码文件与所述数据库创建连接，还用于测试与所述数据库的连通性，还用于生成传输至所述客户端的反馈数据，还用于获取数据库内的元数据，还用于对元数据进行转换并存储；
所述客户端还用于接收所述反馈数据，还用于调取转换后的元数据；
元数据采集网关在加载驱动时使用类加载器隔离机制加载，可以实现在同一个程序中加载多种类型多种版本的驱动而不产生冲突；元数据采集网关可根据传去的驱动类型和版本，动态生成元数据格式转换代码，再加载至程序中；通过所述元数据采集网关实现了异构以及不同版本数据库的元数据采集，并以通用的Rest接口返回标准的规范格式给到开发者，从而降低数据治理程序的复杂度。
上述的一种基于驱动动态加载的元数据采集系统，其中，所述元数据采集网关内置有数据处理模块、驱动动态加载模块、连接检测模块、存储模块；
所述数据处理模块用于接收所述数据库连接与认证信息数据并解析得到数据库类型数据、数据库驱动路径数据，还用于根据所述数据库类型数据得到需要连接的数据库，还用于根据数据库驱动路径数据动态加载驱动，还用于根据驱动的版本动态加载该数据库内元数据采集的字节码文件或生成元数据采集的字节码文件并传输至所述驱动动态加载模块；
所述驱动动态加载模块用于加载所述字节码文件并与所述数据库创建连接；
所述连接检测模块用于测试所述驱动动态加载模块与所述数据库的连通性，还用于生成传输至所述客户端的反馈数据；
所述数据处理模块还用于获取数据库内的元数据；
所述数据处理模块内置有对所述元数据进行转换的格式转换器；
所述数据处理模块还用于将转换的所述元数据传输至所述存储模块进行储存。
上述的一种基于驱动动态加载的元数据采集系统，其中，还包含JDBC数据库接口，所述数据库端由MySQL数据库、PostgreSQL数据库、Oracle数据库组成，所述驱动动态加载模块通过所述JDBC数据库接口分别与所述MySQL数据库、所述PostgreSQL数据库、所述Oracle数据库创建连接。
上述的一种基于驱动动态加载的元数据采集系统，其中，所述客户端发送调取请求数据至所述数据处理模块；
所述数据处理模块判断所述调取请求数据是否为及时状态请求；
若为否，所述数据处理模块调取所述存储模块存储的转化后的元数据并传输至所述客户端；
若为是，则接收最新的所述数据库连接与认证信息数据获取最新的转换后的元数据并传输至所述客户端。
上述的一种基于驱动动态加载的元数据采集系统，其中，所述元数据采集网关内置有外接接口，采用插件式框架设计模式，用户可根据自己的需求来实现不同的方式和内容。
本发明旨在提供一种基于驱动动态加载的异构数据库元数据采集网关，提供统一的注册和开放跨语言的Rest(英文：Representational State Transfer，简称REST)接口，来完成多种数据库适配、元数据采集和访问，从而解放数据治理复杂度，该方法具体的业务流程如下：
1.开发者根据不同数据库的连接和认证参数，调用元数据采集网关的注册接口，来注册数据库信息；
2.元数据采集网关根据接收到的参数，判断数据库的类型和版本，再动态生成或者加载该类型数据库的元数据采集和封装元数据格式的代码，这里使用Java类加载器隔离技术，隔离不同驱动不同版本之间的干扰；
3.连接相应的数据库，异步采集该数据库的元数据，并采用线程池和缓存技术来加速元数据信息采集和对外访问支持，线程池是既能重复使用提高利用率，也能控制元数据采集网关对数据库的连接压力，缓存既能缓解数据库的访问压力，也可以提高元数据采集网关对外的接口响应速度；
4.开发者调用元数据采集接口，元数据网关根据要求从缓存或者实时的从数据库中采集元数据并封装成约定的结构化格式，返回给开发者，开发者获得元数据。
第三方面，一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的方法的步骤。
依据上述本发明一种基于驱动动态加载的元数据采集方法与系统提供的技术方案具有以下技术效果：
驱动管理普适性，元数据采集网关使用插件式框架与类加载器隔离机制技术开发并结合Java的反射技术，动态支持各类数据库驱动以及不同驱动版本，可以应对多种异构环境而无需变更代码；
元数据格式统一化，元数据采集网关内部自动封装从各类数据库采集的元数据信息，返回约定好的结构化信息，保持数据格式统一，外部开发者无需做额外格式转换；
元数据采集加速，元数据采集网关内部使用连接池和缓存技术，可有效控制采集频率，并能快速响应接口调用；
开发协议跨平台，元数据采集网关提供跨语言的Rest接口，可与任意编程语言集成，方便开发者对接。
附图说明
图1为本发明一种基于驱动动态加载的元数据采集方法的流程图；
图2为本发明一种基于驱动动态加载的元数据采集系统的结构图；
图3为本发明一种基于驱动动态加载的元数据采集系统的具体实施例的结构示意图。
其中，附图标记如下：
客户端100、元数据采集网关200、数据库端300、数据处理模块201、驱动动态加载模块202、连接检测模块203、存储模块204。
具体实施方式
为了使发明实现的技术手段、创造特征、达成目的和功效易于明白了解，下结合具体图示，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。
基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
本发明的第一实施例是提供一种基于驱动动态加载的元数据采集方法，目的是驱动管理普适性，元数据采集网关使用插件式框架与类加载器隔离机制技术开发并结合Java的反射技术，动态支持各类数据库驱动以及不同驱动版本，可以应对多种异构环境而无需变更代码；元数据格式统一化，元数据采集网关内部自动封装从各类数据库采集的元数据信息，返回约定好的结构化信息，保持数据格式统一，外部开发者无需做额外格式转换；元数据采集加速，元数据采集网关内部使用连接池和缓存技术，可有效控制采集频率，并能快速响应接口调用；开发协议跨平台，元数据采集网关提供跨语言的Rest接口，可与任意编程语言集成，方便开发者对接。
如图1所示，第一方面，一种基于驱动动态加载的元数据采集方法，其中，包含以下步骤：
步骤A1：获取数据库连接与认证信息数据；
步骤A2：解析数据库连接与认证信息数据得到数据库类型数据、数据库驱动路径数据；
步骤A3：根据数据库类型数据得到需要连接的数据库，根据数据库驱动路径数据动态加载驱动，根据驱动的版本动态加载该数据库内元数据采集的字节码文件或生成元数据采集的字节码文件，并加载该字节码文件；
步骤A4：初始化字节码文件后与数据库创建连接，并测试与数据库的连通性；
若与数据库连通失败，则反馈连接失败；
若与数据库连通成功，则开始采集数据库内的元数据；
步骤A5：将获取的元数据进行格式转换后存储；
步骤A6：调取转换后的元数据。
上述的一种基于驱动动态加载的元数据采集方法，其中，步骤A6中调取转换后元数据的具体步骤如下：
步骤B1：获取调取请求数据；
步骤B2：判断调取请求数据是否为及时状态请求；
若为否，则直接调取存储的转化后元数据；
若为是，则执行步骤A1-步骤A5，直接调取步骤A5得到的转换后元数据。
上述的一种基于驱动动态加载的元数据采集方法，其中，数据库为MySQL数据库或PostgreSQL数据库或Oracle数据库。
如图2-3所示，第二方面，一种基于驱动动态加载的元数据采集系统，其中，包含客户端100、元数据采集网关200、数据库端300，数据库端300由多个不同类型的数据库组成；
客户端100用于发送数据库连接与认证信息数据至元数据采集网关200；
元数据采集网关200用于接收数据库连接与认证信息数据并解析得到数据库类型数据、数据库驱动路径数据，还用于根据数据库类型数据得到需要连接的数据库，还用于根据数据库驱动路径数据动态加载驱动，还用于根据驱动的版本动态加载该数据库内元数据采集的字节码文件或生成元数据采集的字节码文件，还用于加载字节码文件与数据库创建连接，还用于测试与数据库的连通性，还用于生成传输至客户端100的反馈数据，还用于获取数据库内的元数据，还用于对元数据进行转换并存储；
客户端100还用于接收反馈数据，还用于调取转换后的元数据；
元数据采集网关200在加载驱动时使用类加载器隔离机制加载，可以实现在同一个程序中加载多种类型多种版本的驱动而不产生冲突；元数据采集网关200可根据传去的驱动类型和版本，动态生成元数据格式转换代码，再加载至程序中；通过元数据采集网关200实现了异构以及不同版本数据库的元数据采集，并以通用的Rest接口返回标准的规范格式给到开发者，从而降低数据治理程序的复杂度。
上述的一种基于驱动动态加载的元数据采集系统，其中，元数据采集网关200内置有数据处理模块201、驱动动态加载模块202、连接检测模块203、存储模块204；
数据处理模块201用于接收数据库连接与认证信息数据并解析得到数据库类型数据、数据库驱动路径数据，还用于根据数据库类型数据得到需要连接的数据库，还用于根据数据库驱动路径数据动态加载驱动，还用于根据驱动的版本动态加载该数据库内元数据采集的字节码文件或生成元数据采集的字节码文件并传输至驱动动态加载模块202；
驱动动态加载模块202用于加载字节码文件并与数据库创建连接；
连接检测模块203用于测试驱动动态加载模块202与数据库的连通性，还用于生成传输至客户端100的反馈数据；
数据处理模块201还用于获取数据库内的元数据；
数据处理模块201内置有对元数据进行转换的格式转换器；
数据处理模块201还用于将转换的元数据传输至存储模块204进行储存。
上述的一种基于驱动动态加载的元数据采集系统，其中，还包含JDBC数据库接口，数据库端300由MySQL数据库、PostgreSQL数据库、Oracle数据库组成，驱动动态加载模块202通过JDBC数据库接口分别与MySQL数据库、PostgreSQL数据库、Oracle数据库创建连接。
上述的一种基于驱动动态加载的元数据采集系统，其中，客户端100发送调取请求数据至数据处理模块201；
数据处理模块201判断调取请求数据是否为及时状态请求；
若为否，数据处理模块201调取存储模块204存储的转化后的元数据并传输至客户端100；
若为是，则接收最新的数据库连接与认证信息数据获取最新的转换后的元数据并传输至客户端100。
上述的一种基于驱动动态加载的元数据采集系统，其中，元数据采集网关200内置有外接接口，采用插件式框架设计模式，用户可根据自己的需求来实现不同的方式和内容。
本发明旨在提供一种基于驱动动态加载的异构数据库元数据采集网关200，提供统一的注册和开放跨语言的Rest(英文：Representational State Transfer，简称REST)接口，来完成多种数据库适配、元数据采集和访问，从而解放数据治理复杂度，该方法具体的业务流程如下：
1.开发者根据不同数据库的连接和认证参数，调用元数据采集网关200的注册接口，来注册数据库信息；
2.元数据采集网关200根据接收到的参数，判断数据库的类型和版本，再动态生成或者加载该类型数据库的元数据采集和封装元数据格式的代码，这里使用Java类加载器隔离技术，隔离不同驱动不同版本之间的干扰；
3.连接相应的数据库，异步采集该数据库的元数据，并采用线程池和缓存技术来加速元数据信息采集和对外访问支持，线程池是既能重复使用提高利用率，也能控制元数据采集网关200对数据库的连接压力，缓存既能缓解数据库的访问压力，也可以提高元数据采集网关200对外的接口响应速度；
4.开发者调用元数据采集接口，元数据网关根据要求从缓存或者实时的从数据库中采集元数据并封装成约定的结构化格式，返回给开发者，开发者获得元数据。
第三方面，一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的方法的步骤。
例如，存储器可以包括随机存储器、闪存、只读存储器、可编程只读存储器、非易失性存储器或寄存器等；
处理器可以是中央处理器(Central Processing Unit，CPU)等，或者是图像处理器(Graphic Processing Unit,GPU)存储器可以存储可执行指令；
处理器可以执行在存储器中存储的执行指令，从而实现本文描述的各个过程。
可以理解，本实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者；
其中，非易失性存储器可以是ROM(Read-OnlyMemory，只读存储器)、PROM(ProgrammableROM，可编程只读存储器)、EPROM(ErasablePROM，可擦除可编程只读存储器)、EEPROM(ElectricallyEPROM，电可擦除可编程只读存储器)或闪存。
易失性存储器可以是RAM(RandomAccessMemory，随机存取存储器)，其用作外部高速缓存；
通过示例性但不是限制性说明，许多形式的RAM可用，例如SRAM(StaticRAM，静态随机存取存储器)、DRAM(DynamicRAM，动态随机存取存储器)、SDRAM(SynchronousDRAM，同步动态随机存取存储器)、DDRSDRAM(DoubleDataRate SDRAM，双倍数据速率同步动态随机存取存储器)、ESDRAM(Enhanced SDRAM，增强型同步动态随机存取存储器)、SLDRAM(SynchlinkDRAM，同步连接动态随机存取存储器)和DRRAM(DirectRambusRAM，直接内存总线随机存取存储器)。本文描述的存储器205旨在包括但不限于这些和任意其它适合类型的存储器205。
在一些实施方式中，存储器存储了如下的元素，升级包、可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序；
其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
应用程序，包含各种应用程序，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序中。
本领域技术人员可以明白的是，结合本文中所公开的实施例描述的各示例的单元及算法步骤能够以电子硬件、或者软件和电子硬件的结合来实现；
这些功能是以硬件还是软件方式来实现，取决于技术方案的特定应用和设计约束条件；
本领域技术人员可以针对每个特定的应用，使用不同的方式来实现所描述的功能，但是这种实现并不应认为超出本申请的范围。
在本申请实施例中，所公开的系统、装置和方法可以通过其它方式来实现；
例如，单元或模块的划分仅仅为一种逻辑功能划分，在实际实现时还可以有另外的划分方式；
例如，多个单元或模块或组件可以进行组合或者可以集成到另一个系统中；
另外，在本申请实施例中的各功能单元或模块可以集成在一个处理单元或模块中，也可以是单独的物理存在等等。
应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在机器可读存储介质中；
因此，本申请的技术方案可以以软件产品的形式来体现，该软件产品可以存储在机器可读存储介质中，其可以包括若干指令用以使得电子设备执行本申请实施例所描述的技术方案的全部或部分过程；
上述存储介质可以包括ROM、RAM、可移动盘、硬盘、磁盘或者光盘等各种可以存储程序代码的介质。
综上，本发明的一种基于驱动动态加载的元数据采集方法与系统，驱动管理普适性，元数据采集网关使用插件式框架与类加载器隔离机制技术开发并结合Java的反射技术，动态支持各类数据库驱动以及不同驱动版本，可以应对多种异构环境而无需变更代码；元数据格式统一化，元数据采集网关内部自动封装从各类数据库采集的元数据信息，返回约定好的结构化信息，保持数据格式统一，外部开发者无需做额外格式转换；元数据采集加速，元数据采集网关内部使用连接池和缓存技术，可有效控制采集频率，并能快速响应接口调用；开发协议跨平台，元数据采集网关提供跨语言的Rest接口，可与任意编程语言集成，方便开发者对接。
以上对发明的具体实施例进行了描述。需要理解的是，发明并不局限于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；本领域技术人员可以在权利要求的范围内做出各种变形或修改做出若干简单推演、变形或替换，这并不影响发明的实质内容。
Claims (9)
1.一种基于驱动动态加载的元数据采集方法，其特征在于，包含以下步骤：
步骤A1：获取数据库连接与认证信息数据；
步骤A2：解析数据库连接与认证信息数据得到数据库类型数据、数据库驱动路径数据；
步骤A3：根据数据库类型数据得到需要连接的数据库，根据数据库驱动路径数据动态加载驱动，根据驱动的版本动态加载该数据库内元数据采集的字节码文件或生成元数据采集的字节码文件，并加载该字节码文件；
步骤A4：初始化字节码文件后与数据库创建连接，并测试与数据库的连通性；
若与数据库连通失败，则反馈连接失败；
若与数据库连通成功，则开始采集数据库内的元数据；
步骤A5：将获取的元数据进行格式转换后存储；
步骤A6：调取转换后的元数据。
2.如权利要求1所述的一种基于驱动动态加载的元数据采集方法，其特征在于，步骤A6中调取转换后元数据的具体步骤如下：
步骤B1：获取调取请求数据；
步骤B2：判断调取请求数据是否为及时状态请求；
若为否，则直接调取存储的转化后元数据；
若为是，则执行步骤A1-步骤A5，直接调取步骤A5得到的转换后元数据。
3.如权利要求1或2所述的一种基于驱动动态加载的元数据采集方法，其特征在于，所述数据库为MySQL数据库或PostgreSQL数据库或Oracle数据库。
4.一种基于驱动动态加载的元数据采集系统，其特征在于，包含客户端、元数据采集网关、数据库端，所述数据库端由多个不同类型的数据库组成；
所述客户端用于发送数据库连接与认证信息数据至所述元数据采集网关；
所述元数据采集网关用于接收所述数据库连接与认证信息数据并解析得到数据库类型数据、数据库驱动路径数据，还用于根据所述数据库类型数据得到需要连接的数据库，还用于根据数据库驱动路径数据动态加载驱动，还用于根据驱动的版本动态加载该数据库内元数据采集的字节码文件或生成元数据采集的字节码文件，还用于加载所述字节码文件与所述数据库创建连接，还用于测试与所述数据库的连通性，还用于生成传输至所述客户端的反馈数据，还用于获取数据库内的元数据，还用于对元数据进行转换并存储；
所述客户端还用于接收所述反馈数据，还用于调取转换后的元数据。
5.如权利要求4所述的一种基于驱动动态加载的元数据采集系统，其特征在于，所述元数据采集网关内置有数据处理模块、驱动动态加载模块、连接检测模块、存储模块；
所述数据处理模块用于接收所述数据库连接与认证信息数据并解析得到数据库类型数据、数据库驱动路径数据，还用于根据所述数据库类型数据得到需要连接的数据库，还用于根据数据库驱动路径数据动态加载驱动，还用于根据驱动的版本动态加载该数据库内元数据采集的字节码文件或生成元数据采集的字节码文件并传输至所述驱动动态加载模块；
所述驱动动态加载模块用于加载所述字节码文件并与所述数据库创建连接；
所述连接检测模块用于测试所述驱动动态加载模块与所述数据库的连通性，还用于生成传输至所述客户端的反馈数据；
所述数据处理模块还用于获取数据库内的元数据；
所述数据处理模块内置有对所述元数据进行转换的格式转换器；
所述数据处理模块还用于将转换的所述元数据传输至所述存储模块进行储存。
6.如权利要求5所述的一种基于驱动动态加载的元数据采集系统，其特征在于，还包含JDBC数据库接口，所述数据库端由MySQL数据库、PostgreSQL数据库、Oracle数据库组成，所述驱动动态加载模块通过所述JDBC数据库接口分别与所述MySQL数据库、所述PostgreSQL数据库、所述Oracle数据库创建连接。
7.如权利要求4-6任一项所述的一种基于驱动动态加载的元数据采集系统，其特征在于，所述客户端发送调取请求数据至所述数据处理模块；
所述数据处理模块判断所述调取请求数据是否为及时状态请求；
若为否，所述数据处理模块调取所述存储模块存储的转化后的元数据并传输至所述客户端；
若为是，则接收最新的所述数据库连接与认证信息数据获取最新的转换后的元数据并传输至所述客户端。
8.如权利要求7所述的一种基于驱动动态加载的元数据采集系统，其特征在于，所述元数据采集网关内置有外接接口。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110988919.6A CN113704337A (zh) | 2021-08-26 | 2021-08-26 | 一种基于驱动动态加载的元数据采集方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110988919.6A CN113704337A (zh) | 2021-08-26 | 2021-08-26 | 一种基于驱动动态加载的元数据采集方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113704337A true CN113704337A (zh) | 2021-11-26 |
Family
ID=78655274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110988919.6A Pending CN113704337A (zh) | 2021-08-26 | 2021-08-26 | 一种基于驱动动态加载的元数据采集方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113704337A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115202763A (zh) * | 2022-09-19 | 2022-10-18 | 大方智造(天津)科技有限公司 | 一种基于驱动的采集动态加载与调用方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107766526A (zh) * | 2017-10-26 | 2018-03-06 | 中国人民银行清算总中心 | 数据库访问方法、装置及系统 |
| CN109284327A (zh) * | 2018-11-26 | 2019-01-29 | 杭州安恒信息技术股份有限公司 | 通过模拟数据库连接驱动包扫描数据库类型的方法及装置 |
| CN110704417A (zh) * | 2019-10-10 | 2020-01-17 | 南方电网数字电网研究院有限公司 | 一种元数据管理方法、设备及存储介质 |
| CN110968592A (zh) * | 2019-12-06 | 2020-04-07 | 深圳前海环融联易信息科技服务有限公司 | 元数据采集方法、装置、计算机设备及计算机可读存储介质 |
| CN112559079A (zh) * | 2020-12-22 | 2021-03-26 | 新华三大数据技术有限公司 | 数据源连接驱动自适应加载方法、装置及电子设备 |
-
2021
- 2021-08-26 CN CN202110988919.6A patent/CN113704337A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107766526A (zh) * | 2017-10-26 | 2018-03-06 | 中国人民银行清算总中心 | 数据库访问方法、装置及系统 |
| CN109284327A (zh) * | 2018-11-26 | 2019-01-29 | 杭州安恒信息技术股份有限公司 | 通过模拟数据库连接驱动包扫描数据库类型的方法及装置 |
| CN110704417A (zh) * | 2019-10-10 | 2020-01-17 | 南方电网数字电网研究院有限公司 | 一种元数据管理方法、设备及存储介质 |
| CN110968592A (zh) * | 2019-12-06 | 2020-04-07 | 深圳前海环融联易信息科技服务有限公司 | 元数据采集方法、装置、计算机设备及计算机可读存储介质 |
| CN112559079A (zh) * | 2020-12-22 | 2021-03-26 | 新华三大数据技术有限公司 | 数据源连接驱动自适应加载方法、装置及电子设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115202763A (zh) * | 2022-09-19 | 2022-10-18 | 大方智造(天津)科技有限公司 | 一种基于驱动的采集动态加载与调用方法 |
| CN115202763B (zh) * | 2022-09-19 | 2022-12-09 | 大方智造(天津)科技有限公司 | 一种基于驱动的采集动态加载与调用方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8321450B2 (en) | Standardized database connectivity support for an event processing server in an embedded context | |
| US5613148A (en) | Method and apparatus for activating and executing remote objects | |
| US8387076B2 (en) | Standardized database connectivity support for an event processing server | |
| EP0483037A2 (en) | Remote and batch processing in an object oriented programming system | |
| JP3179513B2 (ja) | 異種ネットワーク環境における適用業務プログラムの統合システム | |
| US7152090B2 (en) | Metadata-aware enterprise application integration framework for application server environment | |
| US7886278B2 (en) | Object reference monitoring | |
| US7752598B2 (en) | Generating executable objects implementing methods for an information model | |
| EP3030969A1 (en) | Automated application test system | |
| US20070124451A1 (en) | Embedded system and method for controlling, monitoring of instruments or devices and processing their data via control and data protocols that can be combined or interchanged | |
| JPH07281974A (ja) | ネットワーク内のコンピュータ間でデータを交換するための通信システム | |
| US20070198705A1 (en) | System and method for integrating resources in a network | |
| JPH0283627A (ja) | インタプリタ | |
| US20030055862A1 (en) | Methods, systems, and articles of manufacture for managing systems using operation objects | |
| US6473759B1 (en) | Method and system for accessing java applications | |
| US10747588B2 (en) | Method for updating instance-based message maps using metadata | |
| US7831955B2 (en) | Development and execution platform | |
| CN113704337A (zh) | 一种基于驱动动态加载的元数据采集方法与系统 | |
| CN113660307B (zh) | 一种算法综合集成服务系统 | |
| CN101183306A (zh) | 一种具有跨平台和可移植性的通用Tuxedo配置方法 | |
| US7076489B2 (en) | System and method for enabling efficient multi-protocol database transaction processing | |
| CN112035270A (zh) | 接口适配方法、系统、装置、计算机可读介质及电子设备 | |
| CN113094429B (zh) | 数据处理方法、数据查询方法、计算机设备和存储介质 | |
| US20050240616A1 (en) | Container-managed method support for container-managed entity beans | |
| TWI414995B (zh) | 開發及執行平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |