CN117312331A - 一种元数据血缘分析方法、装置、设备及存储介质 - Google Patents
一种元数据血缘分析方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117312331A CN117312331A CN202311630286.7A CN202311630286A CN117312331A CN 117312331 A CN117312331 A CN 117312331A CN 202311630286 A CN202311630286 A CN 202311630286A CN 117312331 A CN117312331 A CN 117312331A
- Authority
- CN
- China
- Prior art keywords
- blood
- edge
- metadata
- data
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 246
- 238000000034 method Methods 0.000 claims abstract description 43
- 239000008280 blood Substances 0.000 claims description 81
- 210000004369 blood Anatomy 0.000 claims description 81
- 238000010586 diagram Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 24
- 230000010354 integration Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 238000011161 development Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 14
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 238000011144 upstream manufacturing Methods 0.000 claims description 6
- 238000010219 correlation analysis Methods 0.000 claims 1
- 235000019580 granularity Nutrition 0.000 abstract description 83
- 230000008569 process Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000013523 data management Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005111 flow chemistry technique Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种元数据血缘分析方法、装置、设备及存储介质，涉及计算机技术领域，包括：获取多方分别推送的基于多种数据任务生成的若干元数据血缘关系信息并通过不同粒度元数据的血缘关系信息进行存储；确定与目标用户的身份信息对应的目标血缘关系信息并显示在当前界面上；当获取到目标用户选择的目标粒度元数据时，基于多种分析方法分别从目标血缘关系信息中读取对应的血缘数据，对血缘数据进行分析以得到分析结果；将基于分析结果选取指令从多种分析结果中确定的目标分析结果以关系图的形式显示在当前界面上。本申请通过对元数据血缘关系信息进行生成、存储、分析和可视化显示，提供高质量的血缘关系信息，满足用户直观查看血缘关系的需求。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种元数据血缘分析方法、装置、设备及存储介质。
背景技术
在大数据时代，庞杂的数据在快速产生，这些海量复杂的数据通过各种加工融合、转换，又会生成新的数据，这些数据之间存在着天然的联系，称之为数据血缘。现有技术中，在许多业务场景中都需要数据血缘关系图谱，例如，数据溯源、数据质量评估等，因此，获得高质量的数据血缘迫在眉睫。其中，数据血缘分析建立在元数据整合的基础上，是在数据溯源的过程中找到相关数据之间的联系，记录数据治理过程中的血缘关系，实现数据融合处理的可追溯性。基于这些血缘关系信息，可以进行以数据流向为主线的血缘追溯功能，可以一直追溯到数据的产生。血缘分析的输出结果包括回溯过程中所找到的所有相关元数据对象，以及这些元数据对象之间的关系。因此，如何实现个性化的血缘分析也是目前有待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种元数据血缘分析方法、装置、设备及存储介质，能够通过对元数据血缘关系信息进行生成、存储、分析和可视化显示，提供高质量的血缘关系信息，满足用户直观查看血缘关系的需求。其具体方案如下：
第一方面，本申请提供了一种元数据血缘分析方法，包括：
获取若干用户终端分别推送的基于若干种数据任务生成的若干元数据血缘关系信息，以及基于所述若干元数据血缘关系信息确定若干不同粒度元数据的血缘关系信息并存储至分布式搜索和分析引擎中；
确定目标用户的身份属性信息，以及从所述若干不同粒度元数据的血缘关系信息中确定与所述身份属性信息对应的若干目标血缘关系信息并显示在当前界面上；
当获取到所述目标用户选择的目标粒度元数据时，通过所述分布式搜索和分析引擎基于若干种分析方法分别从所述若干目标血缘关系信息中读取与所述目标粒度元数据对应的血缘数据，并对与所述目标粒度元数据对应的血缘数据分别进行分析以得到若干种分析结果；
基于分析结果选取指令从所述若干种分析结果中确定目标分析结果，并将所述目标分析结果以关系图的形式显示在当前界面上。
可选的，所述获取若干用户终端分别推送的基于若干种数据任务生成的若干元数据血缘关系信息，包括：
获取若干用户终端分别推送的基于数据集成同步任务、数据开发流程任务、数据服务接口配置任务和结构化查询语句加工任务生成的若干元数据血缘关系信息。
可选的，基于数据集成同步任务、数据开发流程任务、数据服务接口配置任务和结构化查询语句加工任务生成若干元数据血缘关系信息，包括：
获取与所述数据集成同步任务对应的包含数据来源、数据流向和字段映射的数据同步信息，并对所述数据同步信息进行解析，以得到统一数据结构的第一元数据血缘关系信息；
获取与所述数据开发流程任务对应的用于存储数据流信息的存储文件，并确定与所述存储文件对应的包含数据来源、数据流向和字段映射的存储属性信息，然后对所述存储属性信息进行分析，以得到统一数据结构的第二元数据血缘关系信息；
获取与所述数据服务接口配置任务对应的包含接口发布、接口下线和接口修改的数据服务接口配置信息，并对所述数据服务接口配置信息进行解析，以得到统一数据结构的第三元数据血缘关系信息；
获取与所述结构化查询语句加工任务对应的结构化查询语句，并对所述结构化查询语句进行词法分析以生成抽象语法树，遍历所述抽象语法树以对所述结构化查询语句进行语法分析，以得到统一数据结构的第四元数据血缘关系信息。
可选的，所述若干不同粒度元数据的血缘关系信息包括数据库级元数据的血缘关系信息、数据表级元数据的血缘关系信息和数据字段级元数据的血缘关系信息。
可选的，所述若干种分析方法包括全链分析方法、影响分析方法、血缘分析方法和关联度分析方法；
相应的，所述基于若干种分析方法分别从所述若干目标血缘关系信息中读取与所述目标粒度元数据对应的血缘数据，包括：
基于所述全链分析方法从所述若干目标血缘关系信息中读取与所述目标粒度元数据存在关联关系的所有血缘数据；
基于所述影响分析方法从所述若干目标血缘关系信息中读取与所述目标粒度元数据存在关联关系的下游血缘数据；
基于所述血缘分析方法从所述若干目标血缘关系信息中读取与所述目标粒度元数据存在关联关系的上游血缘数据；
基于所述关联度分析方法从所述若干目标血缘关系信息中读取与所述目标粒度元数据存在关联关系的所有血缘数据，以便利用基于所述所有血缘数据的数量确定的关联次数对所述目标粒度元数据进行关联度分析得到关联度分析结果。
可选的，所述将所述目标分析结果以关系图的形式显示在当前界面上，包括：
基于所述目标分析结果中的所述目标粒度元数据以及对应的所述血缘数据确定关系节点，并基于所述目标分析结果中的所述目标粒度元数据与所述血缘数据之间的关系信息以及各所述血缘数据之间的关系信息确定各所述关系节点之间的边信息；
基于各所述关系节点以及各所述关系节点之间的边信息确定关系图，并将所述关系图显示在当前界面上。
可选的，所述将所述目标分析结果以关系图的形式显示在当前界面上之后，还包括：
获取所述目标用户在当前界面上针对所述关系图中关系节点的点击操作，并将被点击的关系节点进行高亮显示，以及将与所述被点击的关系节点对应的节点属性信息显示在预设窗口中；
获取所述目标用户在当前界面上针对所述关系图中目标边的点击操作，并将与所述目标边对应的边属性信息显示在所述预设窗口中；所述目标边为所述关系图中的任意一条边。
第二方面，本申请提供了一种元数据血缘分析装置，包括：
血缘信息生成模块，用于获取若干用户终端分别推送的基于若干种数据任务生成的若干元数据血缘关系信息，以及基于所述若干元数据血缘关系信息确定若干不同粒度元数据的血缘关系信息并存储至分布式搜索和分析引擎中；
目标信息确定模块，用于确定目标用户的身份属性信息，以及从所述若干不同粒度元数据的血缘关系信息中确定与所述身份属性信息对应的若干目标血缘关系信息并显示在当前界面上；
血缘数据分析模块，用于当获取到所述目标用户选择的目标粒度元数据时，通过所述分布式搜索和分析引擎基于若干种分析方法分别从所述若干目标血缘关系信息中读取与所述目标粒度元数据对应的血缘数据，并对与所述目标粒度元数据对应的血缘数据分别进行分析以得到若干种分析结果；
关系图显示模块，用于基于分析结果选取指令从所述若干种分析结果中确定目标分析结果，并将所述目标分析结果以关系图的形式显示在当前界面上。
第三方面，本申请提供了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序以实现前述的元数据血缘分析方法。
第四方面，本申请提供了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的元数据血缘分析方法。
本申请中，获取若干用户终端分别推送的基于若干种数据任务生成的若干元数据血缘关系信息，以及基于所述若干元数据血缘关系信息确定若干不同粒度元数据的血缘关系信息并存储至分布式搜索和分析引擎中；确定目标用户的身份属性信息，以及从所述若干不同粒度元数据的血缘关系信息中确定与所述身份属性信息对应的若干目标血缘关系信息并显示在当前界面上；当获取到所述目标用户选择的目标粒度元数据时，通过所述分布式搜索和分析引擎基于若干种分析方法分别从所述若干目标血缘关系信息中读取与所述目标粒度元数据对应的血缘数据，并对与所述目标粒度元数据对应的血缘数据分别进行分析以得到若干种分析结果；基于分析结果选取指令从所述若干种分析结果中确定目标分析结果，并将所述目标分析结果以关系图的形式显示在当前界面上。由此可见，本申请支持多方对基于多种数据任务生成的元数据血缘关系信息进行推送，整体打通数据治理平台的数据流向；并提供不同粒度元数据的血缘关系信息，以及提供不同种类的分析方法，从而可以提供更高质量的血缘关系信息，实现对元数据血缘关系信息从粗粒度至细粒度地进行多维度的分析，满足不同用户对不同粒度元数据的追溯；进一步的，基于用户的身份属性信息可以对元数据血缘关系信息进行权限控制，实现不同身份属性信息的用户在当前界面上对血缘关系信息的个性化查看，并且可以根据用户从不同种类的分析方法对应的分析结果中选择的目标分析结果，以关系图的形式对与目标粒度元数据对应的血缘关系进行可视化显示，不仅确保了元数据血缘分析的独立性和安全性，而且满足用户直观查看血缘关系的需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种元数据血缘分析方法流程图；
图2为本申请公开的一种具体的元数据血缘分析方法流程图；
图3为本申请公开的一种元数据血缘分析装置结构示意图；
图4为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中，在许多业务场景中都需要数据血缘关系图谱，例如，数据溯源、数据质量评估等，因此，获得高质量的数据血缘迫在眉睫。为此，本申请提供了一种元数据血缘分析方法，通过对元数据血缘关系信息进行生成、存储、分析和可视化显示，提供高质量的血缘关系信息，满足用户直观查看血缘关系的需求。
参见图1所示，本发明实施例公开了一种元数据血缘分析方法，包括：
步骤S11、获取若干用户终端分别推送的基于若干种数据任务生成的若干元数据血缘关系信息，以及基于所述若干元数据血缘关系信息确定若干不同粒度元数据的血缘关系信息并存储至分布式搜索和分析引擎中。
本实施例中，获取若干用户终端分别推送的基于数据集成同步任务、数据开发流程任务、数据服务接口配置任务和结构化查询语句加工任务生成的若干元数据血缘关系信息。也即，元数据血缘关系信息的形成主要由数据集成同步任务、数据开发流程任务、数据服务接口配置任务和结构化查询语句加工任务生成，并按照统一数据结构的形式将元数据血缘关系信息推送至数据血缘模块中的分布式搜索和分析引擎进行存储。
对于数据集成同步任务，获取与数据集成同步任务对应的包含数据来源、数据流向和字段映射的数据同步信息，并对数据同步信息进行解析，以得到统一数据结构的第一元数据血缘关系信息。其中，数据集成同步主要提供数据库数据同步、整库同步、文件同步、半结构化数据同步等，将数据集成同步过程中形成的数据来源、数据去向、字段映射等信息进行解析，以得到统一规范的数据结构的元数据血缘关系信息。
对于数据开发流程任务，获取与数据开发流程任务对应的用于存储数据流信息的存储文件，并确定与存储文件对应的包含数据来源、数据流向和字段映射的存储属性信息，然后对存储属性信息进行分析，以得到统一数据结构的第二元数据血缘关系信息。其中，对于数据开发流程中的数据来源和数据去向，对其内部处理器进行操作，以flowfile（用于存储数据流信息的存储文件）为载体，在每个flowfile的属性信息中添加该条数据流转链路的数据处理信息，以及在每个flowfile的属性信息中添加数据来源、数据去向以及字段映射。加载的内部处理器获取流入flowfile的属性信息中的sourceId（来源标识符）并记录，以及获取该flowfile的属性信息，对属性信息进行分析，以得到统一规范的数据结构的元数据血缘关系信息。
对于数据服务接口配置任务，获取与数据服务接口配置任务对应的包含接口发布、接口下线和接口修改的数据服务接口配置信息，并对数据服务接口配置信息进行解析，以得到统一数据结构的第三元数据血缘关系信息。可以理解的是，对于数据服务接口创建完并点击发布服务后，会形成统一数据结构的元数据血缘关系信息，并将元数据血缘关系信息推送至血缘模块进行存储；如果对发布完成的数据服务接口进行其他操作，如下线、修改、再发布后，需要重新进行元数据血缘关系信息的形成、推送和存储。
对于结构化查询语句加工任务，获取与结构化查询语句加工任务对应的结构化查询语句，并对结构化查询语句进行词法分析以生成抽象语法树，遍历抽象语法树以对结构化查询语句进行语法分析，以得到统一数据结构的第四元数据血缘关系信息。其中，对结构化查询语句（SQL，Structured Query Language）进行词法分析并生成抽象语法树，然后遍历抽象语法树对SQL语句通过解码器进行句法解析，以得到统一数据结构的元数据血缘关系信息。
本实施例中，为了满足海量数据情况下元数据血缘关系信息的存储、读取、查询及分析，将血缘关系信息存储至分布式搜索和分析引擎（elasticsearch）中；主要是基于多方推送的多种元数据血缘关系信息确定不同粒度元数据的血缘关系信息并存储至分布式搜索和分析引擎中；其中，不同粒度元数据的血缘关系信息包括数据库级元数据的血缘关系信息、数据表级元数据的血缘关系信息和数据字段级元数据的血缘关系信息。基于分布式搜索和分析引擎对数据执行操作的快速性，为后续血缘关系信息的查询及分析提供了便利，提高了数据处理速度。分布式搜索和分析引擎以面向文档的形式对元数据血缘关系信息进行存储，极大满足了对血缘数据结构JSON形式的要求。
其中，数据库级元数据的血缘关系信息主要展现库与库之间的数据流向与处理过程，包括数据库之间的直接数据流向处理、数据库中数据表或数据字段间的流向处理，都能反映数据库之间存在血缘关系。数据表级元数据的血缘关系信息主要展现表与表之间的数据流向与处理过程，包括数据表之间的直接数据流向处理、数据表中数据字段间的映射关系，都能反映数据表之间存在血缘关系。例如，数据表B是由数据表A加工处理得到的，数据表C又是通过数据表B加工处理得到的，则表明数据表A、B、C间存在数据表级血缘关系；这种一对一的单一流向或一对多流向，都能说明数据表之间存在血缘关系。数据字段级元数据的血缘关系信息主要展现字段与字段之间存在映射关系，例如，数据表D中字段a与数据表E中字段b存在映射关系，数据表E中字段b与数据表F中字段c存在映射关系，则表明字段a、b、c存在字段级血缘关系，同时也表明数据表D、E、F间存在数据表级血缘关系。
需要说明的是，数据库级元数据可以向下钻取，以获取指定数据库下的各个数据表的血缘关系信息，以及各个数据表下各个数据字段的血缘关系信息；数据表级元数据向下钻取可以获取各个数据字段的血缘关系信息，向上钻取可以获取相关数据库的血缘关系信息；数据字段级元数据可以向上钻取，获取相关数据表的血缘关系信息以及相关数据库的血缘关系信息。
步骤S12、确定目标用户的身份属性信息，以及从所述若干不同粒度元数据的血缘关系信息中确定与所述身份属性信息对应的若干目标血缘关系信息并显示在当前界面上。
本实施例中，确定目标用户的身份属性信息，如果目标用户的身份属性信息为普通成员，则可以从所有用户推送并存储的若干不同粒度元数据的血缘关系信息中确定目标用户推送的目标血缘关系信息以及管理员授权给普通成员的目标血缘关系信息，并显示在当前界面上以便目标用户直观查看。如果目标用户的身份属性信息为管理员，则可以将所有用户推送并存储的若干不同粒度元数据的血缘关系信息确定为目标血缘关系信息，并显示在当前界面上以便目标用户直观查看。需要说明的是，如果目标用户的身份属性信息为管理员，则可以对血缘关系信息进行发布和授权等操作，并对指定身份属性信息的用户进行血缘关系信息的显示或隐藏等设置，保证了不同身份属性信息的用户对元数据血缘关系信息的分析具有独立性。
步骤S13、当获取到所述目标用户选择的目标粒度元数据时，通过所述分布式搜索和分析引擎基于若干种分析方法分别从所述若干目标血缘关系信息中读取与所述目标粒度元数据对应的血缘数据，并对与所述目标粒度元数据对应的血缘数据分别进行分析以得到若干种分析结果。
本实施例中，当目标用户从数据库级元数据、数据表级元数据和数据字段级元数据中选取目标粒度元数据，也即当获取到目标用户选择的目标粒度元数据时，通过分布式搜索和分析引擎基于全链分析方法、影响分析方法、血缘分析方法和关联度分析方法分别从若干目标血缘关系信息中读取与目标粒度元数据对应的血缘数据，并分别对与目标粒度元数据对应的血缘数据进行分析，以得到与全链分析方法、影响分析方法、血缘分析方法和关联度分析方法分别对应的分析结果。
对于全链分析方法，基于全链分析方法从若干目标血缘关系信息中读取与目标粒度元数据存在关联关系的所有血缘数据，并对所有血缘数据进行分析以得到分析结果。可以理解的是，全链分析主要获取了指定元数据前后与其有关系的所有血缘数据，指定元数据可以为数据库级元数据、数据表级元数据和数据字段级元数据，这样一来，不仅反应了指定元数据的来源与加工过程，也反应了指定元数据的使用情况，使用全链分析可以清晰地了解指定元数据的来龙去脉。
对于影响分析方法，基于影响分析方法从若干目标血缘关系信息中读取与目标粒度元数据存在关联关系的下游血缘数据，并对下游血缘数据进行分析以得到分析结果。其中，影响分析主要获取与指定元数据存在血缘关系的下游数据信息，从而快速掌握指定元数据发生变更可能造成的影响，以便更有效的评估变更该指定元数据带来的风险，帮助用户高效准确的对数据资产进行清理、维护与使用。
对于血缘分析方法，基于血缘分析方法从若干目标血缘关系信息中读取与目标粒度元数据存在关联关系的上游血缘数据，并对上游血缘数据进行分析以得到分析结果。需要说明的是，血缘分析是对指定元数据的起源及其推移位置的分析，因此获取的是与指定元数据存在关联关系的上游血缘数据，不仅可以反应指定元数据的来源与加工过程，描述指定元数据在不同来源与加工过程中发生的情况，而且可以追踪用于特定用途的关键信息位。
对于关联度分析方法，基于关联度分析方法从若干目标血缘关系信息中读取与目标粒度元数据存在关联关系的所有血缘数据，以便利用基于所有血缘数据的数量确定的关联次数对目标粒度元数据进行关联度分析得到关联度分析结果。其中，关联度分析主要是从关联次数的角度对指定元数据进行分析，体现该指定元数据在系统中依赖程度的高低，关联次数越多，依赖程度越高。主要提供指定数据库下所有数据表的关联度分析结果、指定数据表下所有字段的关联度分析结果。
步骤S14、基于分析结果选取指令从所述若干种分析结果中确定目标分析结果，并将所述目标分析结果以关系图的形式显示在当前界面上。
本实施例中，目标用户从与全链分析方法、影响分析方法、血缘分析方法和关联度分析方法分别对应的四种分析结果中选取某种目标分析结果，也即基于目标用户的分析结果选取指令从四种分析结果中确定对应的目标分析结果，然后基于目标分析结果中的目标用户选取的目标粒度元数据以及与目标粒度元数据对应的血缘数据确定关系节点，并基于目标分析结果中的目标粒度元数据与血缘数据之间的关系信息以及各血缘数据之间的关系信息确定各关系节点之间的边信息；基于各关系节点以及各关系节点之间的边信息确定关系图，并将关系图显示在当前界面上。
进一步的，获取目标用户在当前界面上针对关系图中关系节点的点击操作，并将被点击的关系节点进行高亮显示，以及将与被点击的关系节点对应的节点属性信息显示在预设窗口中；获取目标用户在当前界面上针对关系图中任意一条边，也即目标边的点击操作，并将与目标边对应的边属性信息显示在预设窗口中。这样一来，不仅可以可视化展现指定数据库级元数据、数据表级元数据、数据字段级元数据分别对应的关系图，而且可以由用户指定想要查看的某种类型分析结果，以便为用户提供更直观的血缘数据流向，清晰掌握数据的来龙去脉，精准追踪数据的来源以及追踪数据的处理过程。
由此可见，本申请支持多方对基于多种数据任务生成的元数据血缘关系信息进行推送，整体打通数据治理平台的数据流向；并提供不同粒度元数据的血缘关系信息，以及提供不同种类的分析方法，从而可以提供更高质量的血缘关系信息，实现对元数据血缘关系信息从粗粒度至细粒度地进行多维度的分析，满足不同用户对不同粒度元数据的追溯；进一步的，基于用户的身份属性信息可以对元数据血缘关系信息进行权限控制，实现不同身份属性信息的用户在当前界面上对血缘关系信息的个性化查看，并且可以根据用户从不同种类的分析方法对应的分析结果中选择的目标分析结果，以关系图的形式对与目标粒度元数据对应的血缘关系进行可视化显示，不仅确保了元数据血缘分析的独立性和安全性，而且满足用户直观查看血缘关系的需求。
参见图2所示，本发明实施例公开了一种元数据血缘分析方法，包括：
获取多方分别推送的基于数据集成同步任务、数据开发流程任务、数据服务接口配置任务和结构化查询语句加工任务生成的若干元数据血缘关系信息，基于若干元数据血缘关系信息确定若干不同粒度元数据的血缘关系信息，也即数据库级元数据的血缘关系信息、数据表级元数据的血缘关系信息和数据字段级元数据的血缘关系信息，并将若干不同粒度元数据的血缘关系信息存储至分布式搜索和分析引擎中。
确定目标用户的身份属性信息，如果目标用户的身份属性信息为普通成员，则可以从所有用户推送并存储的若干不同粒度元数据的血缘关系信息中确定目标用户推送的目标血缘关系信息以及管理员授权给普通成员的目标血缘关系信息，并显示在当前界面上以便目标用户直观查看。当目标用户从数据库级元数据、数据表级元数据和数据字段级元数据中选取指定数据表级元数据时，通过分布式搜索和分析引擎基于全链分析方法、影响分析方法、血缘分析方法和关联度分析方法分别从若干目标血缘关系信息中读取与指定数据表级元数据对应的血缘数据，并分别对与指定数据表级元数据对应的血缘数据进行分析，以得到与全链分析方法、影响分析方法、血缘分析方法和关联度分析方法分别对应的四种分析结果。
目标用户从与全链分析方法、影响分析方法、血缘分析方法和关联度分析方法分别对应的四种分析结果中选取某种目标分析结果，并将目标分析结果以关系图的形式显示在当前界面上。其中，关系图中的关系节点表示指定数据表级元数据或与指定数据表级元数据对应的血缘数据，关系图中的边表示相应两个关系节点的具体加工过程。若目标用户在当前界面上对关系图中的某个关系节点进行点击操作，则将被点击的关系节点进行高亮重点显示，并将与被点击的关系节点对应的节点属性信息显示在右侧属性窗口中；若目标用户在当前界面上对关系图中某条边进行点击操作，则将与被点击的边对应的边属性信息显示在右侧属性窗口中。
例如，当目标用户从不同粒度元数据中选取指定数据字段级元数据CERT_NO时，目标用户从与全链分析方法、影响分析方法、血缘分析方法和关联度分析方法分别对应的四种分析结果中选取与血缘分析方法对应的目标分析结果，以将目标分析结果以关系图的形式显示在当前界面上。其中，关系图中的关系节点表示与指定数据字段级元数据CERT_NO相关的数据表血缘数据，关系图中的边表示相应两个关系节点是基于数据集成同步任务加工生成的。并且，关系节点中包括数据表的表名称和业务名称，当目标用户点击某一个关系节点时，会相应的在右侧窗口中显示被点击关系节点对应的数据库类型、数据库名称、IP（Internet Protocol，网际互连协议）地址、端口信息、表名称、业务名称、字段名称以及字段业务名称等属性信息，以便目标用户查看数据的详细信息。
由此可见，本申请支持多方对基于多种数据任务生成的元数据血缘关系信息进行推送，整体打通数据治理平台的数据流向；并提供不同粒度元数据的血缘关系信息，以及提供不同种类的分析方法，从而可以提供更高质量的血缘关系信息，实现对元数据血缘关系信息从粗粒度至细粒度地进行多维度的分析，满足不同用户对不同粒度元数据的追溯；进一步的，基于用户的身份属性信息可以对元数据血缘关系信息进行权限控制，实现不同身份属性信息的用户在当前界面上对血缘关系信息的个性化查看，并且可以根据用户从不同种类的分析方法对应的分析结果中选择的目标分析结果，以关系图的形式对与目标粒度元数据对应的血缘关系进行可视化显示，不仅确保了元数据血缘分析的独立性和安全性，而且满足用户直观查看血缘关系的需求。
参见图3所示，本发明实施例公开了一种元数据血缘分析装置，包括：
血缘信息生成模块11，用于获取若干用户终端分别推送的基于若干种数据任务生成的若干元数据血缘关系信息，以及基于所述若干元数据血缘关系信息确定若干不同粒度元数据的血缘关系信息并存储至分布式搜索和分析引擎中；
目标信息确定模块12，用于确定目标用户的身份属性信息，以及从所述若干不同粒度元数据的血缘关系信息中确定与所述身份属性信息对应的若干目标血缘关系信息并显示在当前界面上；
血缘数据分析模块13，用于当获取到所述目标用户选择的目标粒度元数据时，通过所述分布式搜索和分析引擎基于若干种分析方法分别从所述若干目标血缘关系信息中读取与所述目标粒度元数据对应的血缘数据，并对与所述目标粒度元数据对应的血缘数据分别进行分析以得到若干种分析结果；
关系图显示模块14，用于基于分析结果选取指令从所述若干种分析结果中确定目标分析结果，并将所述目标分析结果以关系图的形式显示在当前界面上。
由此可见，本申请支持多方对基于多种数据任务生成的元数据血缘关系信息进行推送，整体打通数据治理平台的数据流向；并提供不同粒度元数据的血缘关系信息，以及提供不同种类的分析方法，从而可以提供更高质量的血缘关系信息，实现对元数据血缘关系信息从粗粒度至细粒度地进行多维度的分析，满足不同用户对不同粒度元数据的追溯；进一步的，基于用户的身份属性信息可以对元数据血缘关系信息进行权限控制，实现不同身份属性信息的用户在当前界面上对血缘关系信息的个性化查看，并且可以根据用户从不同种类的分析方法对应的分析结果中选择的目标分析结果，以关系图的形式对与目标粒度元数据对应的血缘关系进行可视化显示，不仅确保了元数据血缘分析的独立性和安全性，而且满足用户直观查看血缘关系的需求。
在一些具体实施例中，所述血缘信息生成模块11，包括：
血缘关系信息生成子模块，用于获取若干用户终端分别推送的基于数据集成同步任务、数据开发流程任务、数据服务接口配置任务和结构化查询语句加工任务生成的若干元数据血缘关系信息。
在一些具体实施例中，所述血缘关系信息生成子模块，包括：
第一血缘关系信息生成单元，用于获取与所述数据集成同步任务对应的包含数据来源、数据流向和字段映射的数据同步信息，并对所述数据同步信息进行解析，以得到统一数据结构的第一元数据血缘关系信息；
第二血缘关系信息生成单元，用于获取与所述数据开发流程任务对应的用于存储数据流信息的存储文件，并确定与所述存储文件对应的包含数据来源、数据流向和字段映射的存储属性信息，然后对所述存储属性信息进行分析，以得到统一数据结构的第二元数据血缘关系信息；
第三血缘关系信息生成单元，用于获取与所述数据服务接口配置任务对应的包含接口发布、接口下线和接口修改的数据服务接口配置信息，并对所述数据服务接口配置信息进行解析，以得到统一数据结构的第三元数据血缘关系信息；
第四血缘关系信息生成单元，用于获取与所述结构化查询语句加工任务对应的结构化查询语句，并对所述结构化查询语句进行词法分析以生成抽象语法树，遍历所述抽象语法树以对所述结构化查询语句进行语法分析，以得到统一数据结构的第四元数据血缘关系信息。
在一些具体实施例中，所述血缘信息生成模块11中若干不同粒度元数据的血缘关系信息包括数据库级元数据的血缘关系信息、数据表级元数据的血缘关系信息和数据字段级元数据的血缘关系信息。
在一些具体实施例中，所述若干种分析方法包括全链分析方法、影响分析方法、血缘分析方法和关联度分析方法；
相应的，所述血缘数据分析模块13，包括：
第一血缘数据读取单元，用于基于所述全链分析方法从所述若干目标血缘关系信息中读取与所述目标粒度元数据存在关联关系的所有血缘数据；
第二血缘数据读取单元，用于基于所述影响分析方法从所述若干目标血缘关系信息中读取与所述目标粒度元数据存在关联关系的下游血缘数据；
第三血缘数据读取单元，用于基于所述血缘分析方法从所述若干目标血缘关系信息中读取与所述目标粒度元数据存在关联关系的上游血缘数据；
第四血缘数据读取单元，用于基于所述关联度分析方法从所述若干目标血缘关系信息中读取与所述目标粒度元数据存在关联关系的所有血缘数据，以便利用基于所述所有血缘数据的数量确定的关联次数对所述目标粒度元数据进行关联度分析得到关联度分析结果。
在一些具体实施例中，所述关系图显示模块14，包括：
关系节点确定单元，用于基于所述目标分析结果中的所述目标粒度元数据以及对应的所述血缘数据确定关系节点；
边信息确定单元，用于基于所述目标分析结果中的所述目标粒度元数据与所述血缘数据之间的关系信息以及各所述血缘数据之间的关系信息确定各所述关系节点之间的边信息；
关系图确定单元，用于基于各所述关系节点以及各所述关系节点之间的边信息确定关系图，并将所述关系图显示在当前界面上。
在一些具体实施例中，所述元数据血缘分析装置，还包括：
节点属性显示单元，用于获取所述目标用户在当前界面上针对所述关系图中关系节点的点击操作，并将被点击的关系节点进行高亮显示，以及将与所述被点击的关系节点对应的节点属性信息显示在预设窗口中；
边属性显示单元，用于获取所述目标用户在当前界面上针对所述关系图中目标边的点击操作，并将与所述目标边对应的边属性信息显示在所述预设窗口中；所述目标边为所述关系图中的任意一条边。
进一步的，本申请实施例还公开了一种电子设备，图4是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图4为本申请实施例提供的一种电子设备20的结构示意图。该电子设备 20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的元数据血缘分析方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵 循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进 行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、 磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222 等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算 机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的元数据血缘分析方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的元数据血缘分析方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的技术方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种元数据血缘分析方法，其特征在于，包括：
获取若干用户终端分别推送的基于若干种数据任务生成的若干元数据血缘关系信息，以及基于所述若干元数据血缘关系信息确定若干不同粒度元数据的血缘关系信息并存储至分布式搜索和分析引擎中；
确定目标用户的身份属性信息，以及从所述若干不同粒度元数据的血缘关系信息中确定与所述身份属性信息对应的若干目标血缘关系信息并显示在当前界面上；
当获取到所述目标用户选择的目标粒度元数据时，通过所述分布式搜索和分析引擎基于若干种分析方法分别从所述若干目标血缘关系信息中读取与所述目标粒度元数据对应的血缘数据，并对与所述目标粒度元数据对应的血缘数据分别进行分析以得到若干种分析结果；
基于分析结果选取指令从所述若干种分析结果中确定目标分析结果，并将所述目标分析结果以关系图的形式显示在当前界面上。
2.根据权利要求1所述的元数据血缘分析方法，其特征在于，所述获取若干用户终端分别推送的基于若干种数据任务生成的若干元数据血缘关系信息，包括：
获取若干用户终端分别推送的基于数据集成同步任务、数据开发流程任务、数据服务接口配置任务和结构化查询语句加工任务生成的若干元数据血缘关系信息。
3.根据权利要求2所述的元数据血缘分析方法，其特征在于，基于数据集成同步任务、数据开发流程任务、数据服务接口配置任务和结构化查询语句加工任务生成若干元数据血缘关系信息，包括：
获取与所述数据集成同步任务对应的包含数据来源、数据流向和字段映射的数据同步信息，并对所述数据同步信息进行解析，以得到统一数据结构的第一元数据血缘关系信息；
获取与所述数据开发流程任务对应的用于存储数据流信息的存储文件，并确定与所述存储文件对应的包含数据来源、数据流向和字段映射的存储属性信息，然后对所述存储属性信息进行分析，以得到统一数据结构的第二元数据血缘关系信息；
获取与所述数据服务接口配置任务对应的包含接口发布、接口下线和接口修改的数据服务接口配置信息，并对所述数据服务接口配置信息进行解析，以得到统一数据结构的第三元数据血缘关系信息；
获取与所述结构化查询语句加工任务对应的结构化查询语句，并对所述结构化查询语句进行词法分析以生成抽象语法树，遍历所述抽象语法树以对所述结构化查询语句进行语法分析，以得到统一数据结构的第四元数据血缘关系信息。
4.根据权利要求1所述的元数据血缘分析方法，其特征在于，所述若干不同粒度元数据的血缘关系信息包括数据库级元数据的血缘关系信息、数据表级元数据的血缘关系信息和数据字段级元数据的血缘关系信息。
5.根据权利要求1所述的元数据血缘分析方法，其特征在于，所述若干种分析方法包括全链分析方法、影响分析方法、血缘分析方法和关联度分析方法；
相应的，所述基于若干种分析方法分别从所述若干目标血缘关系信息中读取与所述目标粒度元数据对应的血缘数据，包括：
基于所述全链分析方法从所述若干目标血缘关系信息中读取与所述目标粒度元数据存在关联关系的所有血缘数据；
基于所述影响分析方法从所述若干目标血缘关系信息中读取与所述目标粒度元数据存在关联关系的下游血缘数据；
基于所述血缘分析方法从所述若干目标血缘关系信息中读取与所述目标粒度元数据存在关联关系的上游血缘数据；
基于所述关联度分析方法从所述若干目标血缘关系信息中读取与所述目标粒度元数据存在关联关系的所有血缘数据，以便利用基于所述所有血缘数据的数量确定的关联次数对所述目标粒度元数据进行关联度分析得到关联度分析结果。
6.根据权利要求1至5任一项所述的元数据血缘分析方法，其特征在于，所述将所述目标分析结果以关系图的形式显示在当前界面上，包括：
基于所述目标分析结果中的所述目标粒度元数据以及对应的所述血缘数据确定关系节点，并基于所述目标分析结果中的所述目标粒度元数据与所述血缘数据之间的关系信息以及各所述血缘数据之间的关系信息确定各所述关系节点之间的边信息；
基于各所述关系节点以及各所述关系节点之间的边信息确定关系图，并将所述关系图显示在当前界面上。
7.根据权利要求6所述的元数据血缘分析方法，其特征在于，所述将所述目标分析结果以关系图的形式显示在当前界面上之后，还包括：
获取所述目标用户在当前界面上针对所述关系图中关系节点的点击操作，并将被点击的关系节点进行高亮显示，以及将与所述被点击的关系节点对应的节点属性信息显示在预设窗口中；
获取所述目标用户在当前界面上针对所述关系图中目标边的点击操作，并将与所述目标边对应的边属性信息显示在所述预设窗口中；所述目标边为所述关系图中的任意一条边。
8.一种元数据血缘分析装置，其特征在于，包括：
血缘信息生成模块，用于获取若干用户终端分别推送的基于若干种数据任务生成的若干元数据血缘关系信息，以及基于所述若干元数据血缘关系信息确定若干不同粒度元数据的血缘关系信息并存储至分布式搜索和分析引擎中；
目标信息确定模块，用于确定目标用户的身份属性信息，以及从所述若干不同粒度元数据的血缘关系信息中确定与所述身份属性信息对应的若干目标血缘关系信息并显示在当前界面上；
血缘数据分析模块，用于当获取到所述目标用户选择的目标粒度元数据时，通过所述分布式搜索和分析引擎基于若干种分析方法分别从所述若干目标血缘关系信息中读取与所述目标粒度元数据对应的血缘数据，并对与所述目标粒度元数据对应的血缘数据分别进行分析以得到若干种分析结果；
关系图显示模块，用于基于分析结果选取指令从所述若干种分析结果中确定目标分析结果，并将所述目标分析结果以关系图的形式显示在当前界面上。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的元数据血缘分析方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的元数据血缘分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311630286.7A CN117312331B (zh) | 2023-12-01 | 2023-12-01 | 一种元数据血缘分析方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311630286.7A CN117312331B (zh) | 2023-12-01 | 2023-12-01 | 一种元数据血缘分析方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117312331A true CN117312331A (zh) | 2023-12-29 |
| CN117312331B CN117312331B (zh) | 2024-03-29 |
Family
ID=89287063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311630286.7A Active CN117312331B (zh) | 2023-12-01 | 2023-12-01 | 一种元数据血缘分析方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117312331B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140189218A1 (en) * | 2013-01-02 | 2014-07-03 | Samsung Electronics Co., Ltd. | Method of programming data into nonvolatile memory and method of reading data from nonvolatile memory |
| US20140320896A1 (en) * | 2013-04-30 | 2014-10-30 | Hewlett-Packard Development Company, L.P. | Printing content over a network |
| CN109857822A (zh) * | 2018-12-29 | 2019-06-07 | 国家开发银行 | 基于图数据库的元模型转换方法及管理系统 |
| CN112416923A (zh) * | 2019-08-22 | 2021-02-26 | 中兴通讯股份有限公司 | 一种元数据管理方法及装置、设备、存储介质 |
| CN113612766A (zh) * | 2021-07-30 | 2021-11-05 | 北京锐安科技有限公司 | 数据治理装置、方法、计算机设备及存储介质 |
| CN114020769A (zh) * | 2021-10-22 | 2022-02-08 | 中国联合网络通信集团有限公司 | 一种数据血缘分析方法、装置和存储介质 |
| CN114385763A (zh) * | 2020-10-22 | 2022-04-22 | 北京鸿享技术服务有限公司 | 数据血缘分析方法、装置、系统及可读存储介质 |
| CN114510611A (zh) * | 2022-04-20 | 2022-05-17 | 中信证券股份有限公司 | 一种构建元数据血缘图谱的方法、装置及相关设备 |
| WO2022116425A1 (zh) * | 2020-12-03 | 2022-06-09 | 平安科技（深圳）有限公司 | 数据血缘关系解析方法、系统、计算机设备及存储介质 |
| CN115238009A (zh) * | 2022-08-05 | 2022-10-25 | 中国平安财产保险股份有限公司 | 基于血缘分析的元数据管理方法、装置、设备及存储介质 |
| CN116431668A (zh) * | 2023-04-20 | 2023-07-14 | 河钢数字技术股份有限公司 | 基于元数据采集的数据血缘分析方法、装置及电子设备 |
| CN116662441A (zh) * | 2023-03-13 | 2023-08-29 | 中国人民解放军国防科技大学 | 一种分布式数据血缘构建及展现方法 |
-
2023
- 2023-12-01 CN CN202311630286.7A patent/CN117312331B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140189218A1 (en) * | 2013-01-02 | 2014-07-03 | Samsung Electronics Co., Ltd. | Method of programming data into nonvolatile memory and method of reading data from nonvolatile memory |
| US20140320896A1 (en) * | 2013-04-30 | 2014-10-30 | Hewlett-Packard Development Company, L.P. | Printing content over a network |
| CN109857822A (zh) * | 2018-12-29 | 2019-06-07 | 国家开发银行 | 基于图数据库的元模型转换方法及管理系统 |
| CN112416923A (zh) * | 2019-08-22 | 2021-02-26 | 中兴通讯股份有限公司 | 一种元数据管理方法及装置、设备、存储介质 |
| CN114385763A (zh) * | 2020-10-22 | 2022-04-22 | 北京鸿享技术服务有限公司 | 数据血缘分析方法、装置、系统及可读存储介质 |
| WO2022116425A1 (zh) * | 2020-12-03 | 2022-06-09 | 平安科技（深圳）有限公司 | 数据血缘关系解析方法、系统、计算机设备及存储介质 |
| CN113612766A (zh) * | 2021-07-30 | 2021-11-05 | 北京锐安科技有限公司 | 数据治理装置、方法、计算机设备及存储介质 |
| CN114020769A (zh) * | 2021-10-22 | 2022-02-08 | 中国联合网络通信集团有限公司 | 一种数据血缘分析方法、装置和存储介质 |
| CN114510611A (zh) * | 2022-04-20 | 2022-05-17 | 中信证券股份有限公司 | 一种构建元数据血缘图谱的方法、装置及相关设备 |
| CN115238009A (zh) * | 2022-08-05 | 2022-10-25 | 中国平安财产保险股份有限公司 | 基于血缘分析的元数据管理方法、装置、设备及存储介质 |
| CN116662441A (zh) * | 2023-03-13 | 2023-08-29 | 中国人民解放军国防科技大学 | 一种分布式数据血缘构建及展现方法 |
| CN116431668A (zh) * | 2023-04-20 | 2023-07-14 | 河钢数字技术股份有限公司 | 基于元数据采集的数据血缘分析方法、装置及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| 唐雪飞，樊治强, 现代电子技术, vol. 45, no. 16, 15 August 2022 (2022-08-15), pages 67 - 70 * |
| 李春梅等, 互联网+技术, 31 October 2020 (2020-10-31), pages 50 - 51 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117312331B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10984031B2 (en) | Text analyzing method and device, server and computer-readable storage medium | |
| US10033714B2 (en) | Contextual navigation facets panel | |
| US10169471B2 (en) | Generating and executing query language statements from natural language | |
| US9026901B2 (en) | Viewing annotations across multiple applications | |
| US7865815B2 (en) | Integration and presentation of current and historic versions of document and annotations thereon | |
| Van Veen | Wikidata: from “an” identifier to “the” identifier | |
| US20080059539A1 (en) | Document Collaboration System and Method | |
| US10296505B2 (en) | Framework for joining datasets | |
| JP2005302029A (ja) | パラメータ化照会を提示するための方法、システム及びコンピュータ可読媒体 | |
| US20140337361A1 (en) | User-specific feed generation system | |
| US10599654B2 (en) | Method and system for determining unique events from a stream of events | |
| EP3732587B1 (en) | Systems and methods for context-independent database search paths | |
| US20140250040A1 (en) | Correlating data from multiple business processes to a business process scenario | |
| Machado et al. | Semantic web or web of data? a diachronic study (1999 to 2017) of the publications of tim berners‐lee and the world wide web consortium | |
| US8515962B2 (en) | Phased importing of objects | |
| CN111221785A (zh) | 一种多源异构数据的语义数据湖构建方法 | |
| CN106682210B (zh) | 日志文件查询方法及装置 | |
| US11676345B1 (en) | Automated adaptive workflows in an extended reality environment | |
| US10409832B2 (en) | Probing linear and non-linear relationships between entities in a network | |
| CN117312331B (zh) | 一种元数据血缘分析方法、装置、设备及存储介质 | |
| US20150331875A1 (en) | System and method for validating integrated data recasting objects | |
| CN113568923A (zh) | 数据库中数据的查询方法和装置、存储介质及电子设备 | |
| US20230185647A1 (en) | Systems and methods for query troubleshooting | |
| CN116467433A (zh) | 面向多源数据的知识图谱可视化方法、装置、设备及介质 | |
| US9256644B1 (en) | System for identifying and investigating shared and derived content |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |