CN115168363B - 元数据的处理方法、装置、电子设备及存储介质 - Google Patents

元数据的处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115168363B
CN115168363B CN202210905140.8A CN202210905140A CN115168363B CN 115168363 B CN115168363 B CN 115168363B CN 202210905140 A CN202210905140 A CN 202210905140A CN 115168363 B CN115168363 B CN 115168363B
Authority
CN
China
Prior art keywords
metadata
information
analysis
data source
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210905140.8A
Other languages
English (en)
Other versions
CN115168363A (zh
Inventor
李小龙
洪挺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yuanshan Intelligent Technology Co Ltd
Original Assignee
Beijing Yuanshan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yuanshan Intelligent Technology Co Ltd filed Critical Beijing Yuanshan Intelligent Technology Co Ltd
Priority to CN202210905140.8A priority Critical patent/CN115168363B/zh
Publication of CN115168363A publication Critical patent/CN115168363A/zh
Application granted granted Critical
Publication of CN115168363B publication Critical patent/CN115168363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2428Query predicate definition using graphical user interfaces, including menus and forms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing

Abstract

本申请提供了一种元数据的处理方法、装置、电子设备及存储介质,该方法包括:接收用户在配置界面输入的数据源;获取在数据源对应位置存储的元数据信息、数据源对应的元模型标识;在配置界面输出元数据信息;并响应于用户针对元数据信息,在用户输入界面输入的解析配置信息;通过与元模型标识对应元模型中的适配器,从元数据信息中解析出与解析配置信息对应的解析元数据信息、与解析元数据信息对应的关系信息和血缘信息;将解析元数据标识、解析元数据信息、与解析元数据信息对应的关系信息和血缘信息对应存储到数据库中。通过本申请的方式,能够统一数据标准,规范数据解析过程,节省时间。

Description

元数据的处理方法、装置、电子设备及存储介质
技术领域
本发明涉及数据处理技术领域,具体而言,涉及元数据的处理方法、装置、电子设备及存储介质。
背景技术
随着数据的增多,对元数据进行统一存储管理已经变得越来越重要,元数据的存储、来源是多种多样的。
目前,对元数据进行管理时,由于不同数据源,需要采集解析的元数据不同、数据源的配置不同,因此,需要对不同的数据源的元数据单独设计采集方式和解析方式,这浪费了大量的时间。
发明内容
有鉴于此,本申请的目的在于提供一种元数据的处理方法、装置、电子设备及存储介质,能够降低采集难度,统一数据标准,规范数据解析过程。高可扩展的适配解析方式解决企业复杂多变的数据环境工具的元数据采集和解析标准化问题,对各种数据源进行统一解析,节省时间。
第一方面,本申请实施例提供了一种元数据的处理方法,该元数据的处理方法包括:
接收用户在配置界面输入的数据源;
通过数据源对应的采集器,获取在数据源对应位置存储的元数据信息、数据源对应的元模型;
在配置界面输出元数据信息;并响应于用户针对元数据信息,在用户输入界面输入的解析配置信息;
通过元模型中的适配器,从元数据信息中解析出与解析配置信息对应的解析元数据信息、与解析元数据信息对应的关系信息和血缘信息;解析元数据信息对应唯一的解析元数据标识;
将解析元数据标识、解析元数据信息、与解析元数据信息对应的关系信息和血缘信息对应存储到数据库中。
在一种可能的实施方式中,将解析元数据标识、解析元数据信息、与解析元数据信息对应的关系信息和血缘信息对应存储到数据库中,包括:
判断数据库中是否存在解析元数据标识;
若数据库中存在解析元数据标识,根据解析元数据信息、与解析元数据信息对应的关系信息和血缘信息,对数据库中与解析元数据标识对应的数据进行更新;
若数据库中不存在解析元数据标识,将解析元数据标识、解析元数据信息、与解析元数据信息对应的关系信息和血缘信息对应存储到数据库中。
在一种可能的实施方式中,该方法还包括:
接收用户在用户输入界面输入的数据源、新增解析元数据信息;
在与数据源对应适配器的解析配置信息中增加新增解析元数据信息。
在一种可能的实施方式中,该方法还包括:
接收用户在用户输入界面输入的插入元数据、插入元数据对应的关系信息、血缘信息;
将插入元数据、插入元数据对应的关系信息、血缘信息对应存储到数据库中。
在一种可能的实施方式中,该方法还包括:
接收用户在用户输入界面输入的数据源、周期元数据标识、获取周期;
按照获取周期,获取在数据源对应位置存储的与周期元数据标识对应的数据。
在一种可能的实施方式中,该方法还包括:
获取用户在配置界面输入的数据源,与数据源对应的元数据类型和数据库类型;
根据元数据类型确定数据源的采集器;采集器用于获取在数据源对应位置存储的元数据信息;
根据数据库类型确定数据源的元模型;元模型用于从数据源对应位置获取的元数据信息中,解析出元数据的关系信息和血缘信息。
第二方面,本申请实施例还提供了一种元数据的处理装置,该元数据的处理装置包括:
接收模块,用于接收用户在配置界面输入的数据源;
获取模块,用于通过数据源对应的采集器,获取在数据源对应位置存储的元数据信息、数据源对应的元模型;
输出模块,用于在配置界面输出元数据信息;
响应模块,用于响应于用户针对元数据信息,在用户输入界面输入的解析元配置信息;
解析模块,用于通过元模型中的适配器,从元数据信息中解析出与解析元配置信息对应的解析元数据信息、与解析元数据信息对应的关系信息和血缘信息;解析元数据信息对应唯一的解析元数据标识;
存储模块,用于将解析元数据标识、解析元数据信息、与解析元数据信息对应的关系信息和血缘信息对应存储到数据库中。
在一种可能的实施方式中,存储模块,具体用于判断数据库中是否存在解析元数据标识;若数据库中存在解析元数据标识,根据解析元数据信息、与解析元数据信息对应的关系信息和血缘信息,对数据库中与解析元数据标识对应的数据进行更新;若数据库中不存在解析元数据标识,将解析元数据标识、解析元数据信息、与解析元数据信息对应的关系信息和血缘信息对应存储到数据库中。
在一种可能的实施方式中,该装置还包括:增加模块;
接收模块,还用于接收用户在用户输入界面输入的数据源、新增解析元数据信息;
增加模块,用于在与数据源对应适配器的解析配置信息中增加新增解析元数据信息。
在一种可能的实施方式中,接收模块,还用于接收用户在用户输入界面输入的插入元数据、插入元数据对应的关系信息、血缘信息;
存储模块,还用于将插入元数据、插入元数据对应的关系信息、血缘信息对应存储到数据库中。
在一种可能的实施方式中,接收模块,还用于接收用户在用户输入界面输入的数据源、周期元数据标识、获取周期;
获取模块,还用于按照获取周期,获取在数据源对应位置存储的与周期元数据标识对应的数据。
在一种可能的实施方式中,该装置还包括:确定模块;
获取模块,还用于获取用户在配置界面输入的数据源,与数据源对应的元数据类型和数据库类型;
确定模块,用于根据元数据类型确定数据源的采集器;采集器用于获取在数据源对应位置存储的元数据信息;
确定模块,还用于根据数据库类型确定数据源的元模型;元模型用于从数据源对应位置获取的元数据信息中,解析出元数据的关系信息和血缘信息。
第三方面,本申请实施例还提供了一种电子设备,包括:处理器、存储介质和总线,存储介质存储有处理器可执行的机器可读指令,当电子设备运行时,处理器与存储介质之间通过总线通信,处理器执行机器可读指令,以执行如第一方面任一项元数据的处理方法的步骤。
第四方面,本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行如第一方面任一项元数据的处理方法的步骤。
本申请实施例提供了一种元数据的处理方法、装置、电子设备及存储介质,该元数据的处理方法包括:接收用户在配置界面输入的数据源;获取在数据源对应位置存储的元数据信息、数据源对应的元模型标识;在配置界面输出元数据信息;并响应于用户针对元数据信息,在用户输入界面输入的解析配置信息;通过元模型中的适配器,从数据元信息中解析出与解析配置信息对应的解析元数据信息、与解析元数据信息对应的关系信息和血缘信息;将解析元数据标识、解析元数据信息、与解析元数据信息对应的关系信息和血缘信息对应存储到数据库中。本申请通过元模型标识对应元模型中的适配器,从元数据信息中解析出的与解析配置信息对应的解析元数据信息、与解析元数据信息对应的关系信息和血缘信息存储到数据库中,可以对各种数据源进行统一解析,节省时间。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种元数据的处理方法的流程图;
图2示出了本申请实施例提供的另一种元数据的处理方法的流程图;
图3示出了本申请实施例提供的另一种元数据的处理方法的流程图;
图4示出了本申请实施例提供的一种元数据的处理装置的结构示意图;
图5示出了本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容,结合特定应用场景“数据处理技术领域”,给出以下实施方式。对于本领域技术人员来说,在不脱离本申请的精神和范围的情况下,可以将这里定义的一般原理应用于其他实施例和应用场景。虽然本申请主要围绕“数据处理技术领域”进行描述,但是应该理解,这仅是一个示例性实施例。
下面对本申请实施例提供的一种元数据的处理方法进行详细说明。
参照图1所示,为本申请实施例提供的一种元数据的处理方法的流程示意图,下面对本申请实施例示例性的各步骤进行说明:
S101、接收用户在配置界面输入的数据源。
在本申请实施方式中,首先调研用户需要采集的数据源中的元数据信息,根据元数据信息为用户配置相应的采集器,根据数据源类型、需要提取的元数据信息及其关系信息,为用户提供初始适配器。根据该元数据信息、初始适配器确定该数据源的元模型,且元模型对应唯一元模型标识。
本申请实施例将现有所有类型的数据采用四种采集器进行采集,采集器包括Agent采集器、SDK采集器、http接口采集器、离线采集器等,根据采集的元数据信息选择适合的采集器,并将采集器部署到数据源对应的位置,以采集数据源中的数据。
其中,Agent采集器用于采集服务器的运行资源,组件运行配置等元数据。SDK采集器用于采集指标、任务等配置信息的元数据。http接口采集器用于采集指标、任务等配置信息的元数据。离线采集器用于采集平台数据库,kafka等元数据的采集。
此外,本申请通过通用适配器、DIPE适配器、SQL适配器等多种适配器,进行多种组合,是本申请可以对各种类型的数据源的元数据进行解析,本申请实施例中,具体提供的元模型包括PostgreSQL元模型、MySQL元模型、Kafka元模型、Hive元模型、Kafka元模型、Minio元模型、任务元模型、指标元模型、服务元模型、BI元模型、方案元模型等,具体采用哪一种元模型根据实际情况而定。
进一步地,在获取用户的元数据之前,需要获取用户在配置界面输入的数据源,与数据源对应的元数据类型和数据库类型;根据元数据类型确定数据源的采集器;采集器用于获取在数据源对应位置存储的元数据信息;根据数据库类型确定所述数据源的元模型;元模型用于从数据源对应位置获取的元数据信息中,解析出元数据的关系信息和血缘信息。
这里,在为用户采集元数据之前,本申请实施例首先根据元数据类型选取采集器,然后根据数据库类型,也就是不同类型的数据源,从多种元模型中选取所述数据源的元模型,这样,就可以使本申请统一采集并解析多种数据源的元数据。
S102、通过数据源对应的采集器,获取在数据源对应位置存储的元数据信息、数据源对应的元模型标识。
在本申请实施方式中,在数据源存储表中确定与数据源对应的元模型标识,数据源存储表中存储有数据源和元模型标识的对应关系,并获取在数据源对应位置存储的元数据信息。
这里,按照默认的获取周期获取在数据源对应位置存储的元数据信息。
进一步地,接收用户在用户输入界面输入的数据源、周期元数据标识、获取周期;按照所述获取周期,获取在所述数据源对应位置存储的与所述周期元数据标识对应的数据。
在本申请实施方式中,用户还可以输入获取周期,然后按照获取周期获取在数据源对应位置存储的与所述周期元数据标识对应的元数据。
S103、在配置界面输出元数据信息;并响应于用户针对元数据信息,在用户输入界面输入的解析配置信息。
在本申请实施方式中,将所有获取的元数据信息输出到配置界面,用户从获取到的元数据信息中确定需要解析的元数据、元数据的关系信息、血缘信息,也就是解析配置信息。
S104、通过元模型中的适配器,从元数据信息中解析出与解析配置信息对应的解析元数据信息、与解析元数据信息对应的关系信息和血缘信息。
在本申请实施方式中,元模型中的适配器根据解析配置信息,从元数据信息中解析出与解析配置信息对应的解析元数据信息、与解析元数据信息对应的关系信息和血缘信息。
其中,解析元数据信息对应唯一的解析元数据标识;元模型用于根据解析配置信息,解析元数据信息。关系信息包括元数据的归属信息等,归属关系表示元数据来源于那个表。或者是某个表来源于哪一个数据源。血缘关系表示元数据来源于哪个表中的哪个元数据。
S105、将解析元数据标识、解析元数据信息、与解析元数据信息对应的关系信息和血缘信息对应存储到数据库中。
具体地,判断数据库中是否存在解析元数据标识;若数据库中存在解析元数据标识,根据解析元数据信息、与解析元数据信息对应的关系信息和血缘信息,对数据库中与解析元数据标识对应的元数据进行更新;若数据库中不存在解析元数据标识,将解析元数据标识、解析元数据信息、与解析元数据信息对应的关系信息和血缘信息对应存储到数据库中。
在本申请实施方式中,将发生变化的元数据进行更新,没有发生变化的元数据不进行更新,没有存储过的数据进行添加。
本申请实施例提供了一种元数据的处理方法,该元数据的处理方法包括:接收用户在配置界面输入的数据源;获取在数据源对应位置存储的元数据信息、数据源对应的元模型标识;在配置界面输出元数据信息;并响应于用户针对元数据信息,在用户输入界面输入的解析配置信息;通过元模型中的适配器,从数据元信息中解析出与解析配置信息对应的解析元数据信息、与解析元数据信息对应的关系信息和血缘信息;将解析元数据标识、解析元数据信息、与解析元数据信息对应的关系信息和血缘信息对应存储到数据库中。本申请通过元模型标识对应元模型中的适配器,从元数据信息中解析出的与解析配置信息对应的解析元数据信息、与解析元数据信息对应的关系信息和血缘信息存储到数据库中,可以对各种数据源进行统一解析,节省时间。
参照图2所示,为本申请实施例提供的另一种元数据的处理方法的流程示意图,下面对本申请实施例示例性的各步骤进行说明:
S201、接收用户在用户输入界面输入的数据源、新增解析元数据信息。
S202、在与数据源对应适配器的解析配置信息中增加新增解析元数据信息。
在本申请实施方式中,可以动态修改用户对数据源的解析配置信息,然后使与数据源对应适配器的解析配置信息中增加新增解析元数据信息。
参照图3所示,为本申请实施例提供的另一种元数据的处理方法的流程示意图,下面对本申请实施例示例性的各步骤进行说明:
S301、接收用户在用户输入界面输入的插入元数据、插入元数据对应的关系信息、血缘信息。
S302、将插入元数据、插入元数据对应的关系信息、血缘信息对应存储到数据库中。
在本申请实施方式中,仅仅通过自动解析数据进行存储是不足以对所有的元数据信息进行全面的管理的,因此,本申请提供了用户自动上传数据的功能,直接将插入元数据、所述插入元数据对应的关系信息、血缘信息存储到数据库中。
参照图4所示,为本申请实施例提供的一种元数据的处理装置的示意图,所述元数据的处理装置包括:
接收模块401,用于接收用户在配置界面输入的数据源;
获取模块402,用于通过数据源对应的采集器,获取在数据源对应位置存储的元数据信息、数据源对应的元模型;
输出模块403,用于在配置界面输出元数据信息;
响应模块404,用于响应于用户针对元数据信息,在用户输入界面输入的解析元配置信息;
解析模块405,用于通过元模型中的适配器,从元数据信息中解析出与解析元配置信息对应的解析元数据信息、与解析元数据信息对应的关系信息和血缘信息;解析元数据信息对应唯一的解析元数据标识;
存储模块406,用于将解析元数据标识、解析元数据信息、与解析元数据信息对应的关系信息和血缘信息对应存储到数据库中。
在一种可能的实施方式中,存储模块406,具体用于判断数据库中是否存在解析元数据标识;若数据库中存在解析元数据标识,根据解析元数据信息、与解析元数据信息对应的关系信息和血缘信息,对数据库中与解析元数据标识对应的数据进行更新;若数据库中不存在解析元数据标识,将解析元数据标识、解析元数据信息、与解析元数据信息对应的关系信息和血缘信息对应存储到数据库中。
在一种可能的实施方式中,该装置还包括:增加模块407;
接收模块401,还用于接收用户在用户输入界面输入的数据源、新增解析元数据信息;
增加模块407,用于在与数据源对应适配器的解析配置信息中增加新增解析元数据信息。
在一种可能的实施方式中,接收模块401,还用于接收用户在用户输入界面输入的插入元数据、插入元数据对应的关系信息、血缘信息;
存储模块406,还用于将插入元数据、插入元数据对应的关系信息、血缘信息对应存储到数据库中。
在一种可能的实施方式中,接收模块401,还用于接收用户在用户输入界面输入的数据源、周期元数据标识、获取周期;
获取模块402,还用于按照获取周期,获取在数据源对应位置存储的与周期元数据标识对应的数据。
在一种可能的实施方式中,该装置还包括:确定模块408;
获取模块402,还用于获取用户在配置界面输入的数据源,与数据源对应的元数据类型和数据库类型;
确定模块408,用于根据元数据类型确定数据源的采集器;采集器用于获取在数据源对应位置存储的元数据信息;
确定模块408,还用于根据数据库类型确定数据源的元模型;元模型用于从数据源对应位置获取的元数据信息中,解析出元数据的关系信息和血缘信息。
本申请实施例提供了一种元数据的处理装置,该元数据的处理装置包括:接收模块401,用于接收用户在配置界面输入的数据源;获取模块402,用于通过数据源对应的采集器,获取在数据源对应位置存储的元数据信息、数据源对应的元模型;输出模块403,用于在配置界面输出元数据信息;响应模块404,用于响应于用户针对元数据信息,在用户输入界面输入的解析元配置信息;解析模块405,用于通过元模型中的适配器,从元数据信息中解析出与解析元配置信息对应的解析元数据信息、与解析元数据信息对应的关系信息和血缘信息;解析元数据信息对应唯一的解析元数据标识;存储模块406,用于将解析元数据标识、解析元数据信息、与解析元数据信息对应的关系信息和血缘信息对应存储到数据库中。本申请通过元模型标识对应元模型中的适配器,从元数据信息中解析出的与解析配置信息对应的解析元数据信息、与解析元数据信息对应的关系信息和血缘信息存储到数据库中,可以对各种数据源进行统一解析,节省时间。
如图5所示,本申请实施例提供的一种电子设备,包括:处理器501、存储器502和总线,存储器502存储有处理器501可执行的机器可读指令,当电子设备运行时,处理器501与存储器502之间通过总线通信,处理器501执行机器可读指令,以执行如上述元数据的处理方法的步骤。
具体地,上述存储器502和处理器501能够为通用的存储器和处理器,这里不做具体限定,当处理器501运行存储器502存储的计算机程序时,能够执行上述元数据的处理方法。
对应于上述元数据的处理方法,本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述元数据的处理方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考方法实施例中的对应过程,本申请中不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述信息处理方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种元数据的处理方法,其特征在于,所述元数据的处理方法包括:
接收用户在配置界面输入的数据源;
通过所述数据源对应的采集器,获取在所述数据源对应位置存储的元数据信息、所述数据源对应的元模型;
在所述配置界面输出所述元数据信息;并响应于所述用户针对所述元数据信息,在用户输入界面输入的解析配置信息;
通过所述元模型中的适配器,从所述元数据信息中解析出与所述解析配置信息对应的解析元数据信息、与所述解析元数据信息对应的关系信息和血缘信息;所述解析元数据信息对应唯一的解析元数据标识;所述关系信息表示所述解析元数据信息的归属信息;所述血缘关系表示所述解析元数据信息的来源;
将所述解析元数据标识、所述解析元数据信息、与所述解析元数据信息对应的关系信息和血缘信息对应存储到数据库中。
2.根据权利要求1所述的元数据的处理方法,其特征在于,所述将所述解析元数据标识、所述解析元数据信息、与所述解析元数据信息对应的关系信息和血缘信息对应存储到数据库中,包括:
判断所述数据库中是否存在所述解析元数据标识;
若所述数据库中存在所述解析元数据标识,根据所述解析元数据信息、与所述解析元数据信息对应的关系信息和血缘信息,对所述数据库中与所述解析元数据标识对应的数据进行更新;
若所述数据库中不存在所述解析元数据标识,将所述解析元数据标识、所述解析元数据信息、与所述解析元数据信息对应的关系信息和血缘信息对应存储到数据库中。
3.根据权利要求1或2所述的元数据的处理方法,其特征在于,所述方法还包括:
接收用户在所述用户输入界面输入的数据源、新增解析元数据信息;
在与所述数据源对应适配器的解析配置信息中增加所述新增解析元数据信息。
4.根据权利要求1或2所述的元数据的处理方法,其特征在于,所述方法还包括:
接收用户在所述用户输入界面输入的插入元数据、所述插入元数据对应的关系信息、血缘信息;
将所述插入元数据、所述插入元数据对应的关系信息、血缘信息对应存储到所述数据库中。
5.根据权利要求1所述的元数据的处理方法,其特征在于,所述方法还包括:
接收用户在用户输入界面输入的数据源、周期元数据标识、获取周期;
按照所述获取周期,获取在所述数据源对应位置存储的与所述周期元数据标识对应的数据。
6.根据权利要求1所述的元数据的处理方法,其特征在于,所述方法还包括:
获取用户在配置界面输入的数据源,与所述数据源对应的元数据类型和数据库类型;
根据所述元数据类型确定所述数据源的采集器;所述采集器用于获取在所述数据源对应位置存储的元数据信息;
根据所述数据库类型确定所述数据源的元模型;所述元模型用于从所述数据源对应位置获取的元数据信息中,解析出元数据的关系信息和血缘信息。
7.一种元数据的处理装置,其特征在于,所述元数据的处理装置包括:
接收模块,用于接收用户在配置界面输入的数据源;
获取模块,用于通过所述数据源对应的采集器,获取在所述数据源对应位置存储的元数据信息、所述数据源对应的元模型;
输出模块,用于在所述配置界面输出所述元数据信息;
响应模块,用于响应于所述用户针对所述元数据信息,在用户输入界面输入的解析配置信息;
解析模块,用于通过所述元模型中的适配器,从所述元数据信息中解析出与所述解析配置信息对应的解析元数据信息、与所述解析元数据信息对应的关系信息和血缘信息;所述解析元数据信息对应唯一的解析元数据标识;所述关系信息表示所述解析元数据信息的归属信息;所述血缘关系表示所述解析元数据信息的来源;
存储模块,用于将所述解析元数据标识、所述解析元数据信息、与所述解析元数据信息对应的关系信息和血缘信息对应存储到数据库中。
8.根据权利要求7所述的元数据的处理装置,其特征在于,所述存储模块,具体用于:
判断所述数据库中是否存在所述解析元数据标识;
若所述数据库中存在所述解析元数据标识,根据所述解析元数据信息、与所述解析元数据信息对应的关系信息和血缘信息,对所述数据库中与所述解析元数据标识对应的数据进行更新;
若所述数据库中不存在所述解析元数据标识,将所述解析元数据标识、所述解析元数据信息、与所述解析元数据信息对应的关系信息和血缘信息对应存储到数据库中。
9.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1至6任一项所述的元数据的处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至6任一项所述的元数据的处理方法的步骤。
CN202210905140.8A 2022-07-29 2022-07-29 元数据的处理方法、装置、电子设备及存储介质 Active CN115168363B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210905140.8A CN115168363B (zh) 2022-07-29 2022-07-29 元数据的处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210905140.8A CN115168363B (zh) 2022-07-29 2022-07-29 元数据的处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115168363A CN115168363A (zh) 2022-10-11
CN115168363B true CN115168363B (zh) 2023-04-18

Family

ID=83478249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210905140.8A Active CN115168363B (zh) 2022-07-29 2022-07-29 元数据的处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115168363B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109947739B (zh) * 2018-05-31 2021-10-15 新华三大数据技术有限公司 数据源管理方法及装置
CN109739893B (zh) * 2018-12-28 2022-04-22 上海尚往网络科技有限公司 一种元数据管理方法、设备及计算机可读介质
CN109739867B (zh) * 2018-12-29 2021-01-12 北京航天数据股份有限公司 一种工业元数据管理方法及系统
CN112131289A (zh) * 2020-08-17 2020-12-25 武汉旷视金智科技有限公司 数据处理方法、装置、电子设备及存储介质
CN114691786A (zh) * 2020-12-30 2022-07-01 中兴通讯股份有限公司 数据血缘关系的确定方法及装置、存储介质、电子装置

Also Published As

Publication number Publication date
CN115168363A (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN111367760B (zh) 日志采集方法及装置、计算机设备、存储介质
CN108009296B (zh) 一种基于Hbase的SQL查询方法、系统及相关装置
CN107273369B (zh) 一种表数据修改方法和装置
CN112084270A (zh) 一种数据血缘处理方法、装置、存储介质及设备
CN113608969A (zh) 业务系统运行监控系统及方法
CN110968592B (zh) 元数据采集方法、装置、计算机设备及计算机可读存储介质
CN109493928B (zh) 基于条件树的患者数据筛选方法、系统、设备及存储介质
CN111221698A (zh) 任务数据采集方法与装置
CN107368500B (zh) 数据抽取方法及系统
CN111125213A (zh) 数据采集的方法、装置及其系统
CN110704417A (zh) 一种元数据管理方法、设备及存储介质
CN115168363B (zh) 元数据的处理方法、装置、电子设备及存储介质
CN111026796B (zh) 多源异构数据采集方法、装置、系统、介质和设备
CN104331517A (zh) 一种检索方法及装置
CN110727565B (zh) 一种网络设备平台信息收集方法及系统
CN115328928B (zh) kudu表更新方法、装置、设备及存储介质
KR101508068B1 (ko) 데이터 중복성 제거 장치 및 그 방법
US8856152B2 (en) Apparatus and method for visualizing data
CN116360787A (zh) 表格代码自动生成方法、装置、电子设备及存储介质
CN113138974B (zh) 数据库合规检测的方法和装置
CN110955709B (zh) 一种数据的处理方法、装置及电子设备
CN113722296A (zh) 一种农业信息处理方法、装置、电子设备及存储介质
CN113094088A (zh) 数据库配置信息采集方法、装置、计算机设备及存储介质
CN111813749A (zh) 文件过滤方法及装置、电子设备、存储介质
CN109582534B (zh) 系统的操作入口的确定方法、装置和服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant