CN111427902A - 基于轻量型数据库的元数据管理方法、装置、设备及介质 - Google Patents

基于轻量型数据库的元数据管理方法、装置、设备及介质 Download PDF

Info

Publication number
CN111427902A
CN111427902A CN202010212245.6A CN202010212245A CN111427902A CN 111427902 A CN111427902 A CN 111427902A CN 202010212245 A CN202010212245 A CN 202010212245A CN 111427902 A CN111427902 A CN 111427902A
Authority
CN
China
Prior art keywords
data
target
target data
relationship
record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010212245.6A
Other languages
English (en)
Other versions
CN111427902B (zh
Inventor
宋大伟
丁静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Yige Network Technology Co ltd
Original Assignee
Suzhou Yige Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Yige Network Technology Co ltd filed Critical Suzhou Yige Network Technology Co ltd
Priority to CN202010212245.6A priority Critical patent/CN111427902B/zh
Priority claimed from CN202010212245.6A external-priority patent/CN111427902B/zh
Publication of CN111427902A publication Critical patent/CN111427902A/zh
Application granted granted Critical
Publication of CN111427902B publication Critical patent/CN111427902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24573Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases

Abstract

本发明实施例公开了一种基于轻量型数据库的元数据管理方法、装置、设备及介质。所述基于轻量型数据库的元数据管理方法包括:获取目标数据;通过目标代理反向查找所述目标数据的至少一条数据使用记录;根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系。上述技术方案,是基于轻量型数据库实现的,达到了在大数据治理初步阶段快速地搭建数据血缘关系的效果。

Description

基于轻量型数据库的元数据管理方法、装置、设备及介质
技术领域
本发明实施例涉及数据库技术领域,尤其涉及一种基于轻量型数据库的元数据管理方法、装置、设备及介质。
背景技术
在数字化时代,企业需要新一代系统架构提升业务创新能力。在新一代系统架构中,大数据是核心要素。业务应用能否自主发现与自助获得高质量的大数据,就成为业务创新成败的关键。这就要求企业在搭建大数据平台时着手大数据治理的相关建设。企业大数据治理架构需要以元数据为核心,让大数据平台变得更易使用。因此,如何进行元数据管理是搭建企业大数据治理架构的关键。
发明内容
本发明实施例提供一种基于轻量型数据库的元数据管理方法、装置、设备及介质,以实现在大数据治理初步阶段快速地搭建数据血缘关系。
第一方面,本发明实施例提供了一种基于轻量型数据库的元数据管理方法,包括:
获取目标数据;
通过目标代理反向查找所述目标数据的至少一条数据使用记录;
根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系。
进一步的,所述通过目标代理反向查找所述目标数据的至少一条数据使用记录,包括:
通过目标代理根据所述目标数据的关键字反向查找所述目标数据的至少一条使用记录。
进一步的,所述根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系,包括:
根据所述至少一条数据使用记录分析所述目标数据与至少一个其他数据的使用关系;
根据所述目标数据与至少一个其他数据的使用关系,生成所述目标数据的数据血缘关系。
进一步的,在根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系之后,还包括:
对根据所述至少一条数据使用记录建立的所述目标数据的数据血缘关系进行校验。
进一步的,所述对根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系进行校验,包括:
根据目标数据的字段类型对根据所述至少一条数据使用记录建立的所述目标数据的数据血缘关系进行校验。
进一步的,在根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系之后,还包括:
如果通过所述目标代理反向查找到所述目标数据的一条新的数据使用记录,则使用所述新的数据使用记录对所述目标数据的数据血缘关系进行更新。
进一步的,所述轻量型数据库为SQLite。
第二方面,本发明实施例还提供了一种基于轻量型数据库的元数据管理装置,包括:
目标数据获取模块,用于获取目标数据;
数据使用记录反向查找模块,用于通过目标代理反向查找所述目标数据的至少一条数据使用记录;
数据血缘关系建立模块,用于根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系。
进一步的,所述数据使用记录反向查找模块,用于通过目标代理根据所述目标数据的关键字反向查找所述目标数据的至少一条使用记录。
进一步的,所述数据血缘关系建立模块,包括:数据使用关系分析单元和数据血缘关系生成单元,其中,
所述数据使用关系分析单元,用于根据所述至少一条数据使用记录分析所述目标数据与至少一个其他数据的使用关系;
所述数据血缘关系生成单元,用于根据所述目标数据与至少一个其他数据的使用关系,生成所述目标数据的数据血缘关系。
进一步的,所述基于轻量型数据库的元数据管理装置还包括:数据血缘关系校验模块,用于在根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系之后,对根据所述至少一条数据使用记录建立的所述目标数据的数据血缘关系进行校验。
进一步的,所述数据血缘关系校验模块,用于根据目标数据的字段类型对根据所述至少一条数据使用记录建立的所述目标数据的数据血缘关系进行校验。
进一步的,所述基于轻量型数据库的元数据管理装置还包括:数据血缘关系更新模块,用于在根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系之后,如果通过所述目标代理反向查找到所述目标数据的一条新的数据使用记录,则使用所述新的数据使用记录对所述目标数据的数据血缘关系进行更新。
进一步的,所述轻量型数据库为SQLite。
第三方面,本发明实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明任意实施例所述的基于轻量型数据库的元数据管理方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任意实施例所述的基于轻量型数据库的元数据管理方法。
本发明实施例提供的技术方案,在获取到目标数据之后,首先通过一段目标代理反向查找所述目标数据的所有数据使用记录,然后根据查找到的数据使用记录建立所述目标数据的数据血缘关系。上述技术方案,是基于轻量型数据库实现的,达到了在大数据治理初步阶段快速地搭建数据血缘关系的效果。
附图说明
图1是本发明实施例一中的一种基于轻量型数据库的元数据管理方法的流程图;
图2是本发明实施例一中的一种数据血缘关系的示例图;
图3是本发明实施例二中的一种基于轻量型数据库的元数据管理方法的流程图;
图4是本发明实施例三中的一种基于轻量型数据库的元数据管理方法的流程图;
图5是本发明实施例四中的一种基于轻量型数据库的元数据管理装置的结构示意图;
图6是本发明实施例五中的一种计算机设备的硬件结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1是本发明实施例一提供的一种基于轻量型数据库的元数据管理方法的流程图,可适用于在大数据治理初步阶段快速完成数据血缘关系建立的情况,该方法可以由本发明实施例提供的基于轻量型数据库的元数据管理装置来执行,该装置可采用软件和/或硬件的方式实现,并一般可集成在处理器中。
其中,轻量型数据库,是相对于重量型数据库(例如Oracle、SQL Server等)而言的,例如,My SQL、SQLite等。本发明实施例提供的技术方案可以基于任意一种轻量型数据库实现,本实施例对此不做具体限定。
作为一种具体的实施方式,轻量型数据库可以选用SQLite。SQLite是轻量级的、嵌入式的、关系型数据库,可移植性好、高效且可靠性高,故而得到了广泛使用。例如ios、Android等手机系统中使用的轻量型数据库就是SQLite。
SQLite可以快速地搭建数据库开发环境,提供轻松、自容器、无配置、无独立服务的数据库环境,所有数据保存在一个文件里。基于SQLite实现本发明实施例提供的技术方案可以极大地提高数据处理效率,达到在大数据治理初步阶段快速地搭建数据血缘关系的效果。
如图1所示,本实施例提供的基于轻量型数据库的元数据管理方法,具体包括:
S110、获取目标数据。
目标数据,指的是大数据平台接收到的用于进行数据血缘关系分析的数据,其具体可以是设定业务场景的业务数据,例如是与某款游戏对应的业务数据。
所谓数据血缘关系,指的是数据之间由于产生、加工融合、流转流通和最终消亡等形成的路径。例如,数据A产生了数据B,数据B产生了数据C,以此类推会产生数据父子关系。
在一种可选的实施方式中,目标数据可以被具体为目标数据表,例如是设定业务场景的业务数据表。
在另一种可选的实施方式中,目标数据还可以被具体为目标数据记录,数据记录是指对应于数据源中一行信息的一组完整的相关信息,例如,某游戏注册用户列表中的有关某位注册用户的所有信息为一条数据记录。
S120、通过目标代理反向查找所述目标数据的至少一条数据使用记录。
其中,所述目标数据的数据使用记录包括两种:一种是,关于所述目标数据被什么数据使用过或者被什么应用调用过的数据使用记录,另一种是,关于所述目标数据使用过什么数据的记录。
以所述目标数据为数据B为例,数据B的数据使用记录可以包括关于“数据B被数据C使用”的数据使用记录,也可以包括关于“数据B使用过数据A”的数据使用记录。
目标代理,指的是预先开发的一段代理(Agent)程序,用于反向查找数据使用记录。在本实施例中,无需专门对数据使用记录进行保存,而是使用预先开发的代理程序反向去查找所述目标数据的数据使用记录,例如是使用该代理程序在系统已有的常规记录(例如是日志)中去搜索与所述目标数据有关的记录,进而分析得到所述目标数据的至少一条数据使用记录。
作为一种可选的实施方式,可以将通过目标代理反向查找所述目标数据的至少一条数据使用记录,具体为:通过目标代理根据所述目标数据的关键字反向查找所述目标数据的至少一条使用记录。
其中,关键字是用于唯一标识数据(数据记录或数据表等)的数据项。以关键字唯一标识数据记录为例进行解释说明,在数据库中一个表或一个文件中可能存储着很多数据记录,为了能唯一地标识一个数据记录,必须在一个数据记录的各个数据项中,确定出一个或几个数据项,把它们的集合称为关键字。通常,只需用一个数据项作为关键字,但是为了将数据之间的关系连续起来,数据记录可以有多个关键字。
目标代理程序根据所述目标数据的关键字去反向查找,即可得到所述目标数据的所有记录,进而可以分析得到所述目标数据的所有数据使用记录。
进一步的,作为一种可选的实施方式,目标数据的所有记录,不仅包括与目标数据具有直接联系的记录,还包括与目标数据具有间接关系的记录,例如,目标数据使用过数据1,数据1使用过数据2,则记录“目标数据使用过数据1”是与目标数据具有直接联系的记录,记录“数据1使用过数据2”是与目标数据具有间接关系的记录,再例如,目标数据被数据3使用,数据3被数据4使用,则记录“目标数据被数据3使用”是与目标数据具有直接联系的记录,记录“数据3被数据4使用”是与目标数据具有间接关系的记录。因此,目标代理程序反向查找所述目标数据的至少一条数据使用记录时,可以查找到目标数据最深层次的数据使用记录,也即查找到数据使用记录的根节点以及最末端的叶子节点。
S130、根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系。
在得到目标数据的所有数据使用记录之后,将这些数据使用记录进行融合即可得到所述目标数据的数据血缘关系。
以数据B为例,数据B的数据使用记录为“数据B被数据C使用”以及“数据B使用过数据A”,将这两条数据使用记录融合起来,即可得到“数据A产生了数据B,数据B产生了数据C”这一数据血缘关系。
再以数据d为例,其所有的数据使用记录为:例如,数据d是根据数据b和数据c一起加工得到的,同时数据d被用来做成报表或者报告展示,也通过API(ApplicationProgramming Interface,应用程序接口)被应用到的产品上的某些功能上,数据b是根据数据a加工得到的,数据a和数据c为原始数据,数据c被用户查询过。在得到数据d的这些数据使用记录之后,将这些数据使用记录进行融合即可得到数据d的数据血缘关系,对应的数据血缘图如图2所示。
作为一种可选的实施方式,可以将根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系,具体为:根据所述至少一条数据使用记录分析所述目标数据与至少一个其他数据的使用关系;根据所述目标数据与至少一个其他数据的使用关系,生成所述目标数据的数据血缘关系。
在获取到目标数据的数据使用记录之后,根据每一条数据使用记录分析目标数据与其他数据的使用关系,也即分析目标数据是被其他数据使用,还是使用其他数据,也即分析是哪个数据是上游数据,哪个数据是下游数据。例如,“数据B被数据C使用”,则数据C为下游数据,数据B为上游数据;再例如,“数据B使用过数据A”,则数据B为下游数据,数据A为上游数据。进而,在确定出目标数据与所有其他数据的使用关系之后,即可按照这些数据彼此之间的使用逻辑得到目标数据的数据血缘关系,即“数据A产生了数据B,数据B产生了数据C”这一链式血缘关系。
进一步的,当目标数据的所有记录,不仅包括与目标数据具有直接联系的记录,还包括与目标数据具有间接关系的记录时,针对每条数据使用记录进行分析,得到与每条数据使用记录对应的二者之间的使用关系,也即在二者之间区分出上游数据和下游数据(或下游应用等),进而根据所有数据或应用之间的使用逻辑得到目标数据的数据血缘关系。
本发明实施例提供的技术方案,在获取到目标数据之后,首先通过一段目标代理反向查找所述目标数据的所有数据使用记录,然后根据查找到的数据使用记录建立所述目标数据的数据血缘关系。上述技术方案,是基于轻量型数据库实现的,达到了在大数据治理初步阶段快速地搭建数据血缘关系的效果。
实施例二
图3是本发明实施例二提供的一种基于轻量型数据库的元数据管理方法的流程图,本实施例以上述实施例为基础进行优化,其中,在根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系之后,还包括:对根据所述至少一条数据使用记录建立的所述目标数据的数据血缘关系进行校验。
如图3所示,本实施例提供的基于轻量型数据库的元数据管理方法,具体包括:
S210、获取目标数据。
S220、通过目标代理根据所述目标数据的关键字反向查找所述目标数据的至少一条数据使用记录。
S230、根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系。
S240、对根据所述至少一条数据使用记录建立的所述目标数据的数据血缘关系进行校验。
在得到的所述目标数据的数据血缘关系之后,对数据血缘关系中包括的每一个具体的子关系进行校验。以如图2所示的数据血缘关系为例,数据a与数据之间的关系,数据b与数据d之间的关系,数据c与数据d之间的关系,数据c与应用“用户查询”之间的关系,数据d与应用“报表或报告”之间的关系,以及数据d与应用“产品功能”之间的关系,均是图2所述的数据血缘关系中的一个具体的子关系。分别对建立的数据血缘关系中的每个具体的子关系进行校验,即可实现对整个数据血缘关系的校验。
作为一种具体的实施方式,可以将对根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系进行校验,具体为:
根据目标数据的字段类型对根据所述至少一条数据使用记录建立的所述目标数据的数据血缘关系进行校验。
其中,基础的字段类型包括布尔型(boolean)、整型(integer)、浮点型(float)、字符串(char)、文本、日期、时间以及二进制类型等。
具体的,在校验数据与数据之间的血缘关系时,可以判断两种数据字段类型是否一致。例如,“数据B使用过数据A”,则数据B与数据A的字段类型应该一致,如果数据B与数据A的字段类型不一致,则表明数据B与数据A之间的血缘关系存在问题,此时可以通过人工介入的方式进行纠错。
具体的,在校验数据与应用之间的血缘关系时,可以判断数据的字段类型与应用所需数据的字段类型是否一致,若不一致,则表明数据与应用之间的血缘关系存在问题,此时可以通过人工介入的方式进行纠错。
本实施例未尽详细解释之处请参见前述实施例,在此不再赘述。
在上述技术方案中,在获取到目标数据之后,首先通过一段目标代理反向查找所述目标数据的所有数据使用记录,然后根据查找到的数据使用记录建立所述目标数据的数据血缘关系,最后对所述目标数据的数据血缘关系进行校验,基于轻量型数据库实现了在大数据治理初步阶段快速地搭建数据血缘关系,还提高了搭建的数据血缘关系的准确率。
实施例三
图4是本发明实施例三提供的一种基于轻量型数据库的元数据管理方法的流程图,本实施例以上述实施例为基础进行优化,其中,在根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系之后,还包括:
如果通过所述目标代理反向查找到所述目标数据的一条新的数据使用记录,则使用所述新的数据使用记录对所述目标数据的数据血缘关系进行更新。
如图4所示,本实施例提供的基于轻量型数据库的元数据管理方法,具体包括:
S310、获取目标数据。
S320、通过目标代理根据所述目标数据的关键字反向查找所述目标数据的至少一条数据使用记录。
S330、根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系。
其中,在根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系之后,还可以对根据所述至少一条数据使用记录建立的所述目标数据的数据血缘关系进行校验,例如,根据目标数据的字段类型对根据所述至少一条数据使用记录建立的所述目标数据的数据血缘关系进行校验。
S340、定时通过目标代理继续根据所述目标数据的关键字反向查找所述目标数据的至少一条数据使用记录。
数据血缘关系,并非是一成不变的,新的数据使用记录的出现,会使数据血缘关系在原有基础上扩展新的子关系,故而需要定时查找所述目标数据是否存在的新的数据使用记录,例如是每隔五分钟查找一次。
S350、如果通过所述目标代理反向查找到所述目标数据的一条新的数据使用记录,则使用所述新的数据使用记录对所述目标数据的数据血缘关系进行更新。
如果查找到所述目标数据的一条新的数据使用记录,以所述目标数据为图2中的数据d为例,查找到的新的数据使用记录为“数据e使用数据d”,则在如图2所示的数据血缘关系上添加数据d与数据e的子关系,以达到对数据d的数据血缘关系进行更新的效果。
其中,在使用所述新的数据使用记录对所述目标数据的数据血缘关系进行更新之后,还可以对所述目标数据更新后的数据血缘关系进行校验,例如,根据目标数据的字段类型对所述目标数据的数据血缘关系中的更新部分(也即新增的血缘子关系)进行校验。
本实施例未尽详细解释之处请参见前述实施例,在此不再赘述。
在上述技术方案中,根据查找到的数据使用记录建立目标数据的数据血缘关系之后,依旧定时通过目标代理继续根据所述目标数据的关键字反向查找所述目标数据是否存在一条新的数据使用记录,并在查找到新的数据使用记录时,对建立的数据血缘关系进行更新,进一步提高了数据血缘关系的准确率。
实施例四
图5是本发明实施例四提供的一种基于轻量型数据库的元数据管理装置的结构示意图,可适用于在大数据治理初步阶段快速完成数据血缘关系建立的情况,该装置可采用软件和/或硬件的方式实现,并一般可集成在处理器中。
如图5所示,该基于轻量型数据库的元数据管理装置具体包括:目标数据获取模块410、数据使用记录反向查找模块420和数据血缘关系建立模块430,其中,
目标数据获取模块410,用于获取目标数据;
数据使用记录反向查找模块420,用于通过目标代理反向查找所述目标数据的至少一条数据使用记录;
数据血缘关系建立模块430,用于根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系。
本发明实施例提供的技术方案,在获取到目标数据之后,首先通过一段目标代理反向查找所述目标数据的所有数据使用记录,然后根据查找到的数据使用记录建立所述目标数据的数据血缘关系。上述技术方案,是基于轻量型数据库实现的,达到了在大数据治理初步阶段快速地搭建数据血缘关系的效果。
进一步的,所述数据使用记录反向查找模块,用于通过目标代理根据所述目标数据的关键字反向查找所述目标数据的至少一条使用记录。
进一步的,所述数据血缘关系建立模块,包括:数据使用关系分析单元和数据血缘关系生成单元,其中,
所述数据使用关系分析单元,用于根据所述至少一条数据使用记录分析所述目标数据与至少一个其他数据的使用关系;
所述数据血缘关系生成单元,用于根据所述目标数据与至少一个其他数据的使用关系,生成所述目标数据的数据血缘关系。
进一步的,所述基于轻量型数据库的元数据管理装置还包括:数据血缘关系校验模块,用于在根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系之后,对根据所述至少一条数据使用记录建立的所述目标数据的数据血缘关系进行校验。
进一步的,所述数据血缘关系校验模块,用于根据目标数据的字段类型对根据所述至少一条数据使用记录建立的所述目标数据的数据血缘关系进行校验。
进一步的,所述基于轻量型数据库的元数据管理装置还包括:数据血缘关系更新模块,用于在根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系之后,如果通过所述目标代理反向查找到所述目标数据的一条新的数据使用记录,则使用所述新的数据使用记录对所述目标数据的数据血缘关系进行更新。
进一步的,所述轻量型数据库为SQLite。
上述基于轻量型数据库的元数据管理装置可执行本发明任意实施例所提供的基于轻量型数据库的元数据管理方法,具备执行基于轻量型数据库的元数据管理方法相应的功能模块和有益效果。
实施例五
图6为本发明实施例五提供的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图6显示的计算机设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示,通常称为“硬盘驱动器”)。尽管图6中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如系统存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图6中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的一种基于轻量型数据库的元数据管理方法。也即,所述处理单元执行所述程序时实现:获取目标数据;通过目标代理反向查找所述目标数据的至少一条数据使用记录;根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系。
实施例六
本发明实施例六提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请所有发明实施例提供的一种基于轻量型数据库的元数据管理方法:也即,该程序被处理器执行时实现:获取目标数据;通过目标代理反向查找所述目标数据的至少一条数据使用记录;根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种基于轻量型数据库的元数据管理方法,其特征在于,包括:
获取目标数据;
通过目标代理反向查找所述目标数据的至少一条数据使用记录;
根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系。
2.根据权利要求1所述的方法,其特征在于,所述通过目标代理反向查找所述目标数据的至少一条数据使用记录,包括:
通过目标代理根据所述目标数据的关键字反向查找所述目标数据的至少一条使用记录。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系,包括:
根据所述至少一条数据使用记录分析所述目标数据与至少一个其他数据的使用关系;
根据所述目标数据与至少一个其他数据的使用关系,生成所述目标数据的数据血缘关系。
4.根据权利要求1或2所述的方法,其特征碍于,在根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系之后,还包括:
对根据所述至少一条数据使用记录建立的所述目标数据的数据血缘关系进行校验。
5.根据权利要求4所述的方法,其特征在于,所述对根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系进行校验,包括:
根据目标数据的字段类型对根据所述至少一条数据使用记录建立的所述目标数据的数据血缘关系进行校验。
6.根据权利要求1所述的方法,其特征在于,在根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系之后,还包括:
如果通过所述目标代理反向查找到所述目标数据的一条新的数据使用记录,则使用所述新的数据使用记录对所述目标数据的数据血缘关系进行更新。
7.根据权利要求1所述的方法,其特征在于,所述轻量型数据库为SQLite。
8.一种基于轻量型数据库的元数据管理装置,其特征在于,包括:
目标数据获取模块,用于获取目标数据;
数据使用记录反向查找模块,用于通过目标代理反向查找所述目标数据的至少一条数据使用记录;
数据血缘关系建立模块,用于根据所述至少一条数据使用记录建立所述目标数据的数据血缘关系。
9.根据权利要求8所述的装置,其特征在于,所述数据使用记录反向查找模块,用于通过目标代理根据所述目标数据的关键字反向查找所述目标数据的至少一条使用记录。
10.根据权利要求8或9所述的装置,其特征在于,所述数据血缘关系建立模块,包括:数据使用关系分析单元和数据血缘关系生成单元,其中,
所述数据使用关系分析单元,用于根据所述至少一条数据使用记录分析所述目标数据与至少一个其他数据的使用关系;
所述数据血缘关系生成单元,用于根据所述目标数据与至少一个其他数据的使用关系,生成所述目标数据的数据血缘关系。
11.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一所述的方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202010212245.6A 2020-03-24 基于轻量型数据库的元数据管理方法、装置、设备及介质 Active CN111427902B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010212245.6A CN111427902B (zh) 2020-03-24 基于轻量型数据库的元数据管理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010212245.6A CN111427902B (zh) 2020-03-24 基于轻量型数据库的元数据管理方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111427902A true CN111427902A (zh) 2020-07-17
CN111427902B CN111427902B (zh) 2024-05-07

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11841833B2 (en) 2022-01-19 2023-12-12 Kyndryl, Inc. File reorganization

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109582660A (zh) * 2018-12-06 2019-04-05 深圳前海微众银行股份有限公司 数据血缘分析方法、装置、设备、系统及可读存储介质
CN109684402A (zh) * 2018-12-21 2019-04-26 福建南威软件有限公司 一种基于大数据平台元数据血缘关系实现方法
CN110795509A (zh) * 2019-09-29 2020-02-14 北京淇瑀信息科技有限公司 一种数据仓库的指标血缘关系图的构建方法、装置和电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109582660A (zh) * 2018-12-06 2019-04-05 深圳前海微众银行股份有限公司 数据血缘分析方法、装置、设备、系统及可读存储介质
CN109684402A (zh) * 2018-12-21 2019-04-26 福建南威软件有限公司 一种基于大数据平台元数据血缘关系实现方法
CN110795509A (zh) * 2019-09-29 2020-02-14 北京淇瑀信息科技有限公司 一种数据仓库的指标血缘关系图的构建方法、装置和电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11841833B2 (en) 2022-01-19 2023-12-12 Kyndryl, Inc. File reorganization

Similar Documents

Publication Publication Date Title
CN107391653B (zh) 一种分布式NewSQL数据库系统及图片数据储存方法
US7822710B1 (en) System and method for data collection
US8260824B2 (en) Object-relational based data access for nested relational and hierarchical databases
US20080295085A1 (en) Integrated code review tool
US10866973B2 (en) Test data management
US20170212945A1 (en) Branchable graph databases
CN109471851B (zh) 数据处理方法、装置、服务器和存储介质
US20180089331A1 (en) Pattern-based searching of log-based representations of graph databases
CN114925084B (zh) 分布式事务处理方法、系统、设备及可读存储介质
US20170212930A1 (en) Hybrid architecture for processing graph-based queries
US11487742B2 (en) Consistency checks between database systems
JP2012113706A (ja) データベース・クエリ最適化のためのコンピュータで実装される方法、コンピュータ・プログラム、およびデータ処理システム
US20170140032A1 (en) Method & apparatus for asynchroinzed de-serialization of e-r model in a huge data trunk
US10083192B2 (en) Deleted database record reuse
CN113094625B (zh) 页面元素定位方法、装置、电子设备及存储介质
US9201937B2 (en) Rapid provisioning of information for business analytics
US10942892B2 (en) Transport handling of foreign key checks
US9280582B2 (en) Optimization of join queries for related data
CN111427902B (zh) 基于轻量型数据库的元数据管理方法、装置、设备及介质
US8862544B2 (en) Grid based replication
CN111427902A (zh) 基于轻量型数据库的元数据管理方法、装置、设备及介质
CN114116907A (zh) 一种数据库的同步方法、装置、电子设备和存储介质
US20170161359A1 (en) Pattern-driven data generator
US10025818B2 (en) Customize column sequence in projection list of select queries
US20240078221A1 (en) Systems and methods of modeling and querying dynamic temporal graph on massive parallel graph processing and storage engine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant