CN115033764A - 一种元数据采集方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请公开了一种元数据采集方法、装置、存储介质及电子设备，其中方法包括：确定用于进行元数据采集的目标数据库的数据库类型；基于所述目标数据库的数据库类型，利用与所述数据库类型对应的目标监测方式对所述目标数据库的变更情况进行监测，以获得变更信息；对所述变更信息进行解析处理，以采集获得目标元数据。本申请中通过利用与数据库类型对应的监测方式来对目标数据库进行监测，由此能够及时、准确的获取到目标数据库的变更信息，进而能够基于变更信息及时准确的采集到变更后的元数据。解决了现有技术中目标数据库中的元数据在变更之后，只能在下次元数据采集时获取到该变更信息，无法及时的采集到变更后的元数据的问题。

Description

一种元数据采集方法、装置、存储介质及电子设备

技术领域

本发明涉及计算机领域，特别涉及一种元数据采集方法、装置、存储介质及电子设备。

背景技术

元数据是指描述数据的数据，主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。在大数据领域，通过对元数据进行采集，能够了解元数据的变更情况。

但是现有的元数据采集方式是采用定时采集的方式，即每日执行采集任务，来获取全量元数据。在采集任务完成后，存储的元数据发生变更时，只能在下一次采集任务启动时，才能获取到变更后的元数据，时效性差。并且当存储的元数据发生多次变更时，只能采集到最后一次变更信息，而无法获取历史变更信息。

由此，亟需一种元数据采集方法，以解决现有技术中无法及时获取元数据变更情况、造成元数据采集时效性差的问题。

发明内容

有鉴于此，本发明提供了一种元数据采集方法、装置、存储介质及电子设备，主要目的在于解决目前存在无法及时获取元数据变更情况、造成元数据采集时效性差的问题。

为解决上述问题，本申请提供一种元数据采集方法，包括：

确定用于进行元数据采集的目标数据库的数据库类型；

基于所述目标数据库的数据库类型，利用与所述数据库类型对应的目标监测方式对所述目标数据库的变更情况进行监测，以获得变更信息；

对所述变更信息进行解析处理，以采集获得目标元数据。

可选的，所述数据库类型包括如下任意一种：源端关系型、非关系型以及数据仓型；

所述基于所述目标数据库的数据库类型，利用与所述数据库类型对应的目标监测方式对所述目标数据库的变更情况进行监测，以获得变更信息，具体包括：

基于所述源端关系型，利用与所述源端关系型对应的数据库日志监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息；

或者，基于所述非关系型，利用与所述非关系型对应的第一目标接口监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息；

或者，基于所述数据仓型，利用与所述数据仓型对应的第二目标接口监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息。

可选的，所述基于所述源端关系型，利用与所述源端关系型对应的数据库日志监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息，具体包括：

基于所述源端关系型，利用预定的日志监听工具对所述目标数据库的日志文件进行监听，以从所述日志文件中获取所述目标数据数据库的修改信息，以获得所述变更信息。

可选的，所述基于所述非关系型，利用与所述非关系型对应的第一目标接口监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息，具体包括：

基于所述非关系型，利用第一观察者程序通过第一目标接口对目标数据库的服务进行加载，以加载至第一目标服务；

基于所述第一目标服务获取所述目标数据库的修改信息，以获得所述变更信息。

可选的，所述基于所述数据仓型，利用与所述数据仓型对应的第二目标接口监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息，具体包括：

基于所述数据仓型，利用第二观察者程序通过第二目标接口对所述目标数据库的服务进加载，以加载至第二目标服务；

基于所述第二目标服务获取所述目标数据库的修改信息，以获得所述变更信息。

可选的，在对所述变更信息进行解析处理之后，所述元数据采集方法还包括：

确定所述变更信息对应的修改操作类型；

基于所述修改操作类型对解析获得数据进行筛选，以在所述修改操作类型满足预设操作类型的情况下，得到用于获得所述目标元数据的目标解析数据。

可选的，所述元数据采集方法还包括：

确定所述变更信息对应的修改操作类型；

基于所述修改操作类型对解析获得数据进行筛选，以在所述修改操作类型满足预设操作类型的情况下，基于所述解析获得数据获得所述目标元数据。

为解决上述问题，本申请提供一种元数据采集装置，包括：

确定模块，用于确定用于进行元数据采集的目标数据库的数据库类型；

监测模块，用于基于所述目标数据库的数据库类型，利用与所述数据库类型对应的目标监测方式对所述目标数据库的变更情况进行监测，以获得变更信息；

获得模块，用于对所述变更信息进行解析处理，以采集获得目标元数据。

为解决上述问题，本申请提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述元数据采集方法的步骤。

为解决上述问题，本申请提供一种电子设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述任一项所述元数据采集方法的步骤。

本申请通过利用与数据库类型对应的监测方式，来对目标数据库进行监测，由此能够及时、准确的获取到目标数据库的变更信息，进而能够基于变更信息及时准确的采集到变更后的元数据。解决了现有技术中目标数据库中的元数据在变更之后，只能在下次元数据采集时获取到该变更信息，无法及时的采集到变更后的元数据的问题。解决了应用端等电子设备定时从目标数据库获取元数据，而造成的元数据采集不及时的问题。提高了元数据的采集速率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请实施例一种元数据采集方法的方法流程图；

图2为本申请又一实施例一种元数据采集方法的流程图；

图3为本申请又一实施例一种元数据采集方法的流程图；

图4为本申请另一实施例一种元数据采集装置的结构框图；

图5为本申请另一实施例一种电子设备的结构框图。

具体实施方式

此处参考附图描述本申请的各种方案以及特征。

应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。

包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式。

当结合附图时，鉴于以下详细说明，本申请的上述和其他方面、特征和优势将变得更为显而易见。

此后参照附图描述本申请的具体实施例；然而，应当理解，所申请的实施例仅仅是本申请的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本申请的相同或不同实施例中的一个或多个。

本申请实施例提供一种元数据采集方法，具体可以应用于终端、服务器等电子设备，如图1所示，本实施例中的方法包括如下步骤：

步骤S101，确定用于进行元数据采集的目标数据库的数据库类型；

本步骤中数据库的类型具体包括如下任意一种：源端关系型、非关系型以及数据仓型。也就是目标数据库可以为如下任意一种数据库：源端关系型数据库、非关系型数据库以及数据仓库。本实施例中，由于元数据可以存储在上述任意一种类型的数据库中，各数据库的类型不同，对应的监测方式也不同相同，由此需要先确定出存储元数据的目标数据库的类型，以此为后续对目标数据库进行监测奠定基础。

步骤S102，基于所述目标数据库的数据库类型，利用与所述数据库类型对应的目标监测方式对所述目标数据库的变更情况进行监测，以获得变更信息；

本步骤在具体实施过程中，具体可以预先建立各种数据库类型与各种监测方式的映射关系，由此在确定与目标数据库的数据库类型后，就可以根据数据库类型查找该映射关系，以此来快速的确定对应的目标监测方式。为后续准确的对目标数据库进行监测、获取到目标数据库的变更信息提供了保障。本实施例中监测方式包括如下任意一种：数据库日志监测方式、第一目标接口监测方式以及第一目标接口监测方式。

本步骤在具体实施过程中，可以将变更信息存储至预定的消息队列中。

步骤S103，对所述变更信息进行解析处理，以采集获得目标元数据。

本步骤在具体实施过程中，具体可以基于预定的数据解析方式，实时的对变更信息进行解析，以此来从变更信息中获得元数据信息。

本实施例通过利用与数据库类型对应的监测方式，来对目标数据库进行监测，由此能够及时、准确的获取到目标数据库的变更信息，进而能够基于变更信息及时准确的采集到变更后的元数据。解决了现有技术中目标数据库中的元数据在变更之后，只能在下次元数据采集时获取到该变更信息，无法及时的采集到变更后的元数据。进而解决了应用端等电子设备定时从目标数据库获取元数据，而造成的元数据采集不及时的问题。提高了元数据的采集速率。

本申请又一实施例提供一种元数据采集方法，如图2所示，包括如下步骤：

步骤S201，确定用于进行元数据采集的目标数据库的数据库类型；

本步骤中，所述数据库类型包括如下任意一种：源端关系型、非关系型以及数据仓型。也就是说目标数据库可以为源端关系数据库、非关系型数据库或者数据仓库。

步骤S202，基于所述源端关系型，利用与所述源端关系型对应的数据库日志监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息；或者，基于所述非关系型，利用与所述非关系型对应的第一目标接口监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息；或者，基于所述数据仓型，利用与所述数据仓型对应的第二目标接口监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息；

本步骤中，在对不同类型的数据库进行监测时，所采用的具体监测方式不同。具体可以结合图2和图3，本实施例中不同类型的数据库的监测过程为：

一、在针对源端关系型的目标数据库进行监测时，即针对源端关系型数据库进行监测时所采用的具体方式为：基于所述源端关系型，利用预定的日志监听工具对所述目标数据库的日志文件进行监听，以从所述日志文件中获取所述目标数据数据库的修改信息，以获得所述变更信息。也就是说，源端关系型数据库采用监控数据库日志形式，获取修改语句，并做相关解析，解析后拼接报文发送到预定消息队列进行存储。具体的，在源端关系型数据库为oracle数据库时，是通过日志读取工具ogg来获取日志文件redo log的。在源端关系型数据库为mysql数据库时，是通过日志读取工具canal来获取日志文件binlog所记录数据库的修改信息的。通过读取日志文件，能够及时准确的获取数据库操作，并通过解析sql进行变更还原，然后拼接成报文，即获得变更信息，为后续及时将变更信息异步发送到消息队列进行存储奠定了基础。

二、在针对非关系型的目标数据库进行监测时，即针对非关系型数据库进行监测时所采用的具体方式为：基于所述非关系型，利用第一观察者程序通过第一目标接口对目标数据库的服务进行加载，以加载至第一目标服务；基于所述第一目标服务获取所述目标数据库的修改信息，以获得所述变更信息。也就是说，非关系型数据库是调用观察者程序对非关系型数据库的变更情况进行监测，当执行数据修改时，获取修改点，拼接报文，即获得变更信息，为后续将变更信息发送至预定的消息队列奠定了基础。

本实施例中，由于非关系型数据库，可以直接添加字段信息，因此需要在写入时根据语句进行相关字段信息获取。写入是通过Hbase Master服务转发到hbase regionserver进行数据写入。因此通过加载至Hbase Master服务内，能够获取到Hbase Master服务在对目标数据库进行修改时的语句，进而获取到修改信息。本实施中目标服务具体可以为Hbase Master服务或regionserver服务。第一目标接口可以为如下任意一种接口：MasterCoprocessor主处理器接口、MasterObserver主观察者接口、RegionObserver区域观察者接口、RegionServerObserver区域服务器观察者接口、RegionCoprocessor接口等等。本实施例中的方法能够实现RegionCoprocessor接口和RegionObserver接口，动态加载到所有的regionserver服务中。本实施例中，当获取到region分裂的事件后，即获得变更信息，后续就可以拼接消息并发送到预定的消息队列进行存储；当获取到写入数据后，即获得变更信息，后续就可以过滤表字段信息并发送到预定的消息队列进行存储。

三、在针对数据仓型的目标数据库进行监测时，即针对数据仓库进行监测时所采用的具体方式为：基于所述数据仓型，利用第二观察者程序通过第二目标接口对所述目标数据库的服务进加载，以加载至第二目标服务；基于所述第二目标服务获取所述目标数据库的修改信息，以获得所述变更信息。也就是说，数据仓库通过集成观察者程序/第二观察者程序，获取针对数据仓库所执行的修改语句，解析拼接报文，即获得变更信息，为后续将该变更信息发送至预定的消息队列奠定了基础。具体的，以Hive为例，利用ExecuteHookContext接口、通过配置加载实现类到Hive服务；由此在数据仓库中的元数据发生变更时，能够通过事件感知，获取操作后的操作语句；即获得变更信息。本实施例中的第二观察者程序能够实现基于ExecuteHookContext接口获取变更信息。为后续及时将变更信息异步发送到消息队列奠定了基础。

通过采用本实施例中的方法，当确定有多个不同类型的目标数据库时，可以分别基于各监测方式对相应的目标数据库进行监测，为实现元数据的并行采集提供了保障，有利于提升元数据的采集效率。

步骤S203，将所述变更信息存储至预定的消息队列；

本实施例中通过将，通过将变更信息存储至消息队列，能够在同时对多个不同类型目标数据库进行监测、获得多个变更信息时，对各变更信息进行缓存，防止变更信息丢失，为后续基于变更信息采集获得目标元数据提供了保障。

步骤S204，基于预定的数据解析方式，分别对所述消息队列中的各变更信息进行解析，以获得与各所述变更信息对应的目标元数据；

本步骤在具体实施过程中，在对变更信息进行解析时，具体可以利用预设的元数据解析程序进行数据解析，以此来获得用于获得目标元数据的目标解析数据。在具体实施过程中，具体可以根据各变更信息存储至所述消息队列的存储时间，按照存储时间的先后顺序来分别的对各更改信息进行解析。在多个变更信息存储时间相同的情况下，可以根据各变更信息所对应的目标数据库的数据库类型，按照各数据库类型所对应的解析顺序分别对各变更信息进行解析。在具体实施过程中，可以预先确定不同数据库类型所对应的解析顺序或解析优先级。例如，可以预先设定非关系型数据库的解析顺序/解析优先级高于数据仓库，数据仓库的解析顺序/解析优先级高于源端关系型数据库。

本实施例在具体实施过程中，在对所述变更信息进行解析处理之后，所述方法还包括：确定所述变更信息对应的修改操作类型；基于所述修改操作类型对解析获得的解析数据进行筛选，以在所述修改操作类型满足预设操作类型的情况下，得到用于获得所述目标元数据的目标解析数据。本步骤中，通过基于修改操作类型对解析获得的数据进行筛选，能够筛选获得符合预设变更操作的元数据，使得元数据的采集更加合理、准确。例如，针对数据读取、查询、写入等操作，可以对这些操作所对应的元数据进行丢弃，而针对修改元数据结构的操作，则可以进行保留，即获得目标元数据。

本实施例中，在获得目标元数据之后，就可以将其存入到元数据数据库中，以此来为后续从该元数据数据库中进行应用查询奠定了基础。

本实施例中的元数据采集方法，能够使得对变更的元数据的获取更加及时高效，由现有技术中的T+1到分钟级(T表示预定采集时间间隔)，提升至实时获取，时效提升几十倍；本实施例中的方法能够确保重点数据表多个关联方可以及时获取变更信息，及时进行业务处理，避免业务出错。

本申请另一实施例提供一种元数据采集装置，如图4所示，包括：

确定模块11，用于确定用于进行元数据采集的目标数据库的数据库类型；

监测模块12，用于基于所述目标数据库的数据库类型，利用与所述数据库类型对应的目标监测方式对所述目标数据库的变更情况进行监测，以获得变更信息；

获得模块13，用于对所述变更信息进行解析处理，以采集获得目标元数据。

本实施例在具体实施过程中，所述数据库类型包括如下任意一种：源端关系型、非关系型以及数据仓型；所述监测模块，具体用于：基于所述源端关系型，利用与所述源端关系型对应的数据库日志监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息；或者，基于所述非关系型，利用与所述非关系型对应的第一目标接口监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息；或者，基于所述数据仓型，利用与所述数据仓型对应的第二目标接口监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息。

本实施例再具体实施过程中，所述监测模块具体用于：基于所述源端关系型，利用预定的日志监听工具对所述目标数据库的日志文件进行监听，以从所述日志文件中获取所述目标数据数据库的修改信息，以获得所述变更信息。

本实施例在具体实施过程中，所述所述监测模块具体用于：基于所述非关系型，利用第一观察者程序通过第一目标接口对目标数据库的服务进行加载，以加载至第一目标服务；基于所述第一目标服务获取所述目标数据库的修改信息，以获得所述变更信息。

本实施例在具体实施过程中，所述监测模块具体用于：基于所述数据仓型，利用第二观察者程序通过第二目标接口对所述目标数据库的服务进加载，以加载至第二目标服务；基于所述第二目标服务获取所述目标数据库的修改信息，以获得所述变更信息。

本实施例在具体实施过程中，所述元数据采集装置还包括存储模块，所述存储模块用于：在获得所述变更信息之后，将所述变更信息存储至预定的消息队列；所述获得模块具体用于：基于预定的数据解析方式，分别对所述消息队列中的各变更信息进行解析，以获得与各所述变更信息对应的目标元数据。

本实施例在具体实施过程中，所述元数据采集装置还包括筛选模块，所述筛选模块用于，在对所述变更信息进行解析处理之后，确定所述变更信息对应的修改操作类型；基于所述修改操作类型对解析获得数据进行筛选，以在所述修改操作类型满足预设操作类型的情况下，得到用于获得所述目标元数据的目标解析数据。

本实施例通过利用与数据库类型对应的监测方式，来对目标数据库进行监测，由此能够及时、准确的获取到目标数据库的变更信息，进而能够基于变更信息及时准确的采集到变更后的元数据。解决了现有技术中目标数据库中的元数据在变更之后，只能在下次元数据采集时获取到该变更信息，无法及时的采集到变更后的元数据。进而解决了应用端等电子设备定时从目标数据库获取元数据，而造成的元数据采集不及时的问题。提高了元数据的采集速率。

本申请另一实施例提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如下方法步骤：

步骤一、确定用于进行元数据采集的目标数据库的数据库类型；

步骤二、基于所述目标数据库的数据库类型，利用与所述数据库类型对应的目标监测方式对所述目标数据库的变更情况进行监测，以获得变更信息；

步骤三、对所述变更信息进行解析处理，以采集获得目标元数据

上述方法步骤的具体实施过程可参见上述任意元数据采集方法的实施例，本实施例在此不再重复赘述。

具体的，所述数据库类型包括如下任意一种：源端关系型、非关系型以及数据仓型；所述基于所述目标数据库的数据库类型，利用与所述数据库类型对应的目标监测方式对所述目标数据库的变更情况进行监测，以获得变更信息，具体包括：基于所述源端关系型，利用与所述源端关系型对应的数据库日志监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息；或者，基于所述非关系型，利用与所述非关系型对应的第一目标接口监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息；或者，基于所述数据仓型，利用与所述数据仓型对应的第二目标接口监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息。

具体的，所述基于所述源端关系型，利用与所述源端关系型对应的数据库日志监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息，具体包括：基于所述源端关系型，利用预定的日志监听工具对所述目标数据库的日志文件进行监听，以从所述日志文件中获取所述目标数据数据库的修改信息，以获得所述变更信息。

具体的，所述基于所述非关系型，利用与所述非关系型对应的第一目标接口监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息，具体包括：基于所述非关系型，利用第一观察者程序通过第一目标接口对目标数据库的服务进行加载，以加载至第一目标服务；基于所述第一目标服务获取所述目标数据库的修改信息，以获得所述变更信息。

具体的，所述基于所述数据仓型，利用与所述数据仓型对应的第二目标接口监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息，具体包括：基于所述数据仓型，利用第二观察者程序通过第二目标接口对所述目标数据库的服务进加载，以加载至第二目标服务；基于所述第二目标服务获取所述目标数据库的修改信息，以获得所述变更信息。

具体的，在获得所述变更信息之后，所述计算机程序被处理器执行时还实现：将所述变更信息存储至预定的消息队列；

所述对所述变更信息进行解析处理，以采集获得元数据信息，具体包括：基于预定的数据解析方式，分别对所述消息队列中的各变更信息进行解析，以获得与各所述变更信息对应的目标元数据。

具体的，在对所述变更信息进行解析处理之后，所述计算机程序被处理器执行时还实现：确定所述变更信息对应的修改操作类型；基于所述修改操作类型对解析获得数据进行筛选，以在所述修改操作类型满足预设操作类型的情况下，得到用于获得所述目标元数据的目标解析数据。

本实施例通过利用与数据库类型对应的监测方式，来对目标数据库进行监测，由此能够及时、准确的获取到目标数据库的变更信息，进而能够基于变更信息及时准确的采集到变更后的元数据。解决了现有技术中目标数据库中的元数据在变更之后，只能在下次元数据采集时获取到该变更信息，无法及时的采集到变更后的元数据。进而解决了应用端等电子设备定时从目标数据库获取元数据，而造成的元数据采集不及时的问题。提高了元数据的采集速率。

本申请另一实施例提供一种电子设备，如图5所示，至少包括存储器1、处理器2，所述存储器1上存储有计算机程序，所述处理器2在执行所述存储器1上的计算机程序时实现如下方法步骤：

步骤一、确定用于进行元数据采集的目标数据库的数据库类型；

步骤二、基于所述目标数据库的数据库类型，利用与所述数据库类型对应的目标监测方式对所述目标数据库的变更情况进行监测，以获得变更信息；

步骤三、对所述变更信息进行解析处理，以采集获得目标元数据

具体的，所述数据库类型包括如下任意一种：源端关系型、非关系型以及数据仓型；所述基于所述目标数据库的数据库类型，利用与所述数据库类型对应的目标监测方式对所述目标数据库的变更情况进行监测，以获得变更信息，具体包括：基于所述源端关系型，利用与所述源端关系型对应的数据库日志监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息；或者，基于所述非关系型，利用与所述非关系型对应的第一目标接口监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息；或者，基于所述数据仓型，利用与所述数据仓型对应的第二目标接口监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息。

具体的，所述基于所述源端关系型，利用与所述源端关系型对应的数据库日志监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息，具体包括：基于所述源端关系型，利用预定的日志监听工具对所述目标数据库的日志文件进行监听，以从所述日志文件中获取所述目标数据数据库的修改信息，以获得所述变更信息。

具体的，所述基于所述非关系型，利用与所述非关系型对应的第一目标接口监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息，具体包括：基于所述非关系型，利用第一观察者程序通过第一目标接口对目标数据库的服务进行加载，以加载至第一目标服务；基于所述第一目标服务获取所述目标数据库的修改信息，以获得所述变更信息。

具体的，所述基于所述数据仓型，利用与所述数据仓型对应的第二目标接口监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息，具体包括：基于所述数据仓型，利用第二观察者程序通过第二目标接口对所述目标数据库的服务进加载，以加载至第二目标服务；基于所述第二目标服务获取所述目标数据库的修改信息，以获得所述变更信息。

具体的，在获得所述变更信息之后，所述处理器在执行所述存储器上的计算机程序时还实现：将所述变更信息存储至预定的消息队列；

所述对所述变更信息进行解析处理，以采集获得元数据信息，具体包括：基于预定的数据解析方式，分别对所述消息队列中的各变更信息进行解析，以获得与各所述变更信息对应的目标元数据。

具体的，在对所述变更信息进行解析处理之后，所述处理器在执行所述存储器上的计算机程序时还实现：确定所述变更信息对应的修改操作类型；基于所述修改操作类型对解析获得数据进行筛选，以在所述修改操作类型满足预设操作类型的情况下，得到用于获得所述目标元数据的目标解析数据。

本实施例通过利用与数据库类型对应的监测方式，来对目标数据库进行监测，由此能够及时、准确的获取到目标数据库的变更信息，进而能够基于变更信息及时准确的采集到变更后的元数据。解决了现有技术中目标数据库中的元数据在变更之后，只能在下次元数据采集时获取到该变更信息，无法及时、准确的采集到变更后的元数据。进而解决了应用端等电子设备定时从目标数据库获取元数据，而造成的元数据采集不及时的问题。提高了元数据的采集速率。

以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (10)

1.一种元数据采集方法，其特征在于，包括：

确定用于进行元数据采集的目标数据库的数据库类型；

基于所述目标数据库的数据库类型，利用与所述数据库类型对应的目标监测方式对所述目标数据库的变更情况进行监测，以获得变更信息；

对所述变更信息进行解析处理，以采集获得目标元数据。

2.如权利要求1所述的方法，其特征在于，所述数据库类型包括如下任意一种：源端关系型、非关系型以及数据仓型；

所述基于所述目标数据库的数据库类型，利用与所述数据库类型对应的目标监测方式对所述目标数据库的变更情况进行监测，以获得变更信息，具体包括：

基于所述源端关系型，利用与所述源端关系型对应的数据库日志监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息；

或者，基于所述非关系型，利用与所述非关系型对应的第一目标接口监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息；

或者，基于所述数据仓型，利用与所述数据仓型对应的第二目标接口监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息。

3.如权利要求2所述的方法，其特征在于，所述基于所述源端关系型，利用与所述源端关系型对应的数据库日志监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息，具体包括：

基于所述源端关系型，利用预定的日志监听工具对所述目标数据库的日志文件进行监听，以从所述日志文件中获取所述目标数据数据库的修改信息，以获得所述变更信息。

4.如权利要求2所述的方法，其特征在于，所述基于所述非关系型，利用与所述非关系型对应的第一目标接口监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息，具体包括：

基于所述非关系型，利用第一观察者程序通过第一目标接口对目标数据库的服务进行加载，以加载至第一目标服务；

基于所述第一目标服务获取所述目标数据库的修改信息，以获得所述变更信息。

5.如权利要求2所述的方法，其特征在于，所述基于所述数据仓型，利用与所述数据仓型对应的第二目标接口监测方式对所述目标数据库的变更情况进行监测，以获得所述变更信息，具体包括：

基于所述数据仓型，利用第二观察者程序通过第二目标接口对所述目标数据库的服务进加载，以加载至第二目标服务；

基于所述第二目标服务获取所述目标数据库的修改信息，以获得所述变更信息。

6.如权利要求3-5任意一项所述的方法，其特征在于，在获得所述变更信息之后，所述方法还包括：将所述变更信息存储至预定的消息队列；

所述对所述变更信息进行解析处理，以采集获得元数据信息，具体包括：

基于预定的数据解析方式，分别对所述消息队列中的各变更信息进行解析，以获得与各所述变更信息对应的目标元数据。

7.如权利要求6所述的方法，其特征在于，在对所述变更信息进行解析处理之后，所述方法还包括：

确定所述变更信息对应的修改操作类型；

基于所述修改操作类型对解析获得数据进行筛选，以在所述修改操作类型满足预设操作类型的情况下，得到用于获得所述目标元数据的目标解析数据。

8.一种元数据采集装置，其特征在于，包括：

确定模块，用于确定用于进行元数据采集的目标数据库的数据库类型；

监测模块，用于基于所述目标数据库的数据库类型，利用与所述数据库类型对应的目标监测方式对所述目标数据库的变更情况进行监测，以获得变更信息；

获得模块，用于对所述变更信息进行解析处理，以采集获得目标元数据。

9.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-7任一项所述元数据采集方法的步骤。

10.一种电子设备，其特征在于，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述权利要求1-7任一项所述元数据采集方法的步骤。

Images