CN109815378A - 一种基于元数据链路的数据追踪方法及系统 - Google Patents

Abstract

本发明公开了一种基于元数据链路的数据追踪方法，包括：收集数据传输日志；根据数据传输日志生成字段级元数据链路；根据上传的查询条件，追踪到与查询条件匹配的字段级元数据链路；对字段级元数据链路进行可视化处理以生成图形界面。本发明还公开了一种基于元数据链路的数据追踪系统，包括收集模块，用于收集数据传输日志；生成模块，用于生成字段级元数据链路；追踪模块，用于根据上传的查询条件追踪与查询条件相匹配的字段级元数据链路；可视化模块，用于对字段级元数据链路进行可视化处理以生成图形界面。采用本发明，通过字段级元数据链路，能够快速追踪到具体的数据。

Description

一种基于元数据链路的数据追踪方法及系统

技术领域

本发明涉及数据追踪领域，尤其涉及一种基于元数据链路的数据追踪方法及系统。

背景技术

在信息化领域，每一个行业或领域都要依赖于信息化系统去帮助解决问题、提高效率。随着计算机软件行业的逐渐兴起，每个领域中的软件也越来越多。如果拿人做比喻，软件相当于人的器官，每一个都有其相应的价值；而数据相当于人的血液，器官更好的互通，需要血液在其中做流转。而数据治理就是解决血液不通的问题。在数据治理相关行业内，关于数据链路的研究很多，通常有通过数据的血缘分析去做数据的关系做可视化呈现。针对数据的血缘分析类的也就研究也很多。

例如：搜狐网上公开了一篇《数据之间有血缘关系-数据治理不得不懂的血缘关系梳理方法》，其公开了一种数据血缘关系的可视化展示系统，在该系统中，包括信息节点、数据流转线路、清洗规则节点、转换规则节点和数据归档销毁规则节点，能够清晰的展示出数据血缘关系。还有，数据治理中的数据血缘关系可视化图形系统(专利名称：数据治理中的数据血缘关系可视化图形系统；申请专利号：CN201711383801.0)，提供了一种数据治理中的数据血缘关系可视化图形系统通过不同层级的血缘关系，可以很清楚的了解数据的迁徙流转，为数据价值的评估、数据的管理提供了依据。设定了详细的规则，以方便对数据进行更好的梳理。

无论是网上的公开的文章，还是数据治理中的数据血缘关系可视化图形系统的专利，其实都在从更深、更全面的技术方式去描述，数据的血缘关系。网上公开的《数据之间有血缘关系-数据治理不得不懂的血缘关系梳理方法》，该发明一方面缺少对于各种规则的设定，使得清洗、转换和销毁的判断容易出现问题，另外一方面缺少对数据的抽取方法和加载策略的描述，容易使数据血缘关系的可视化图形产生偏差。数据治理中的数据血缘关系可视化图形系统专利，虽然能从数据抽取方法、数据加载策略、数据清洗、数据转换、数据销毁等方面对数据进行全生命周期的流程梳理，但是其也是对数据的血缘关系的呈现，并没有突出对数据链路的定位、追踪、数据影响的分析。

发明内容

本发明所要解决的技术问题在于，提供一种基于元数据链路的数据追踪方法及系统，通过元数据链路能够对数据全链路进行追踪、定位以及数据影响分析。

为了解决上述技术问题，本发明提供了一种基于元数据链路的数据追踪方法，包括：

收集数据传输日志；

根据数据传输日志生成字段级元数据链路；

根据上传的查询条件，追踪到与查询条件匹配的字段级元数据链路；

对字段级元数据链路进行可视化处理以生成图形界面。

优选地，在所述根据上传的查询条件，追踪到与查询条件匹配的字段级元数据链路的步骤之后，还包括：

获取整个数据链路中每个流转节点的数据值；

比较每个流转节点的数据值，定位出有问题的流转节点。

优选地，在所述比较每个流转节点的数据值，定位出有问题的流转节点步骤之后，还包括：

通过数据链路追踪，来判断该流转节点造成的影响范围。

优选地，在所述通过数据链路追踪，来判断该流转节点造成的影响范围的步骤之后，还包括：

通过字段级元数据链路对整个数据链路的数据质量情况进行反馈。

优选地，所述根据数据传输日志生成字段级元数据链路的步骤包括：根据数据传输日志，通过数据库交换、流交换两种模式动态生成字段级数据链路。

相应地，本发明还提供一种基于元数据链路的数据追踪系统，包括：

收集模块，用于收集数据传输日志；

生成模块，用于生成字段级元数据链路；

追踪模块，用于根据上传的查询条件追踪与查询条件相匹配的字段级元数据链路；

可视化模块，用于对字段级元数据链路进行可视化处理以生成图形界面。

优选地，还包括：

获取模块，用于根据追踪到的字段级元数据链路，获取整个数据链路中每个流转节点的数据值；

比较模块，用于比较每个流转节点的数据值，定位出有问题的流转节点。

优选地，还包括：

范围判断模块，用于在定位出有问题的流转节点后，通过数据链路追踪，来判断该流转节点造成的影响范围。

优选地，还包括：

质量反馈模块，用于通过字段级元数据链路对整个数据链路的数据质量情况进行反馈。

优选地，所述生成模块还用于根据数据传输日志，通过数据库交换、流交换两种模式动态生成字段级数据链路。

实施本发明的有益效果在于：

本发明通过收集数据传输日志，进一步生成字段级元数据链路，并可视化显示，通过元数据链路，能够快速追踪到具体的数据。本发明通过获取模块能够获取到整个数据链路中每个流转节点的数据值，并且清晰展现，通过比较模块比较整个数据链路中每个流转节点的数据值，可以定位出有问题的流转节点及其数据值。本发明通过范围判断模块，在定位出问题流转节点后，通过数据链路追踪，能够判断出哪些流转节点会受影响，哪些数据链路会受影响，从而能够及时发现问题，补救问题，减少损失。本发明通过质量反馈模块，对数据质量情况反馈，能够获悉数据传输过程中数据质量的变化，从而实现对整条数据链路的数据质量进行监控。

附图说明

图1是本发明提供的基于元数据链路的数据追踪方法第一实施例流程示意图；

图2是本发明提供的字段级元数据链路可视化示意图；

图3是本发明提供的基于元数据链路的数据追踪方法第二实施例流程示意图；

图4是本发明提供的基于元数据链路的数据追踪方法第三实施例流程示意图；

图5是本发明提供的基于元数据链路的数据追踪方法第四实施例流程示意图；

图6是本发明提供的基于元数据链路的数据追踪系统示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。仅此声明，本发明在文中出现或即将出现的上、下、左、右、前、后、内、外等方位用词，仅以本发明的附图为基准，其并不是对本发明的具体限定。

如图1所示，本发明提供的基于元数据链路的数据追踪方法第一实施例，包括：

S101，收集数据传输日志；

需要收集并记录具体数据的传输日志，而不仅仅是批次的日志，数据传输日志需包含数据采集、数据清洗、数据转换、数据标准化、数据集成、数据消亡等能追踪的数据全链路，从而为后续对数据全流程的追踪提供基础，实现从数据采集到数据提供出去的全过程追踪；

S102，根据数据传输日志生成字段级元数据链路；

S103，根据上传的查询条件，追踪到与查询条件匹配的字段级元数据链路；

S104，对字段级元数据链路进行可视化处理以生成图形界面；

结合数据的血缘分析以及数据传输日志，将字段级元数据链路相关联的流转节点节点和字段数据以图形化界面展示。

例如，如图2所示，本发明根据数据传输日志，通过数据库交换、流交换两种模式动态生成字段级数据链路，照片采集信息表与人事基本信息表集成人事统一视图表，人事统一视图表与校园卡信息表集成保卫处所需信息表，结合查询工具，上传查询条件，就能追踪到字段级元数据的数据流转链路(由“交换平台业务系统数据”经“基础库”至“共享库”形成流转链路)和相对应的流转节点(“交换平台业务系统数据”、“基础库”、“共享库”)，具体的，比如上传“职工号”，就能展现该数据的流转链路(由“人事基本信息”经“人事统一视图”至“保卫处所需信息”形成流转链路)和相对应的流转节点(“人事基本信息”、“人事统一视图”、“保卫处所需信息”)，追踪到与“职工号”相关的数据全链路内容。相同原理，“身份证件号”与“物理卡ID”等数据链路也可以被追踪到，并在图形界面显示。

如图3所示，本发明提供的基于元数据链路的数据追踪方法第二实施例，包括：

S201，收集数据传输日志；

S202，根据数据传输日志生成字段级元数据链路；

S203，根据上传的查询条件，追踪到与查询条件匹配的字段级元数据链路；

S204，对字段级元数据链路进行可视化处理以生成图形界面；

S205，根据追踪到的字段级元数据链路，获取整个数据链路中每个流转节点的数据值；比较每个流转节点的数据值，定位出有问题的流转节点。

比如，上述例子中，在追踪到姓名为李明的数据内容时，获取整个数据链路中每个流转节点的数据值，即获取人事统一视图流转节点中姓名为李明的数据值以及人事基本信息表流转节点中姓名为李明的数据值，通过获取每个流转节点的数据值，能够在整条数据链路展示出要追踪数据的数据值，数据流转过程中的问题就清晰可见。通过比较整个数据链路中每个流转节点的数据值，得出有问题的流转节点，例如，在获取到每个流转节点处对应姓名为李明的数据值后，将每个流转节点处的数据值进行比较，找出整条数据链路中有问题的流转节点及其数据值。

如图4所示，本发明提供的基于元数据链路的数据追踪方法第三实施例，包括：

S301，收集数据传输日志；

S302，根据数据传输日志生成字段级元数据链路；

S303，根据上传的查询条件，追踪到与查询条件匹配的字段级元数据链路；

S304，对字段级元数据链路进行可视化处理以生成图形界面；

S305，根据追踪到的字段级元数据链路，获取整个数据链路中每个流转节点的数据值；比较每个流转节点的数据值，定位出有问题的流转节点。

S306，定位出有问题的流转节点后，通过数据链路追踪，来判断该流转节点造成的影响范围。

由于数据在各个流转节点流通，形成许多不同的数据链路，流入节点处的数据值影响流出节点流处的数据值，进而，某一数据链路会影响相关联的其他数据链路。在发现问题流转节点后，通过数据链路追踪，能够判断出哪些流转节点会受影响，哪些数据链路会受影响，从而能够及时发现问题，补救问题，减少损失。

如图5所示，本发明提供的基于元数据链路的数据追踪方法第四实施例，包括：

S401，收集数据传输日志；

S402，生成字段级元数据链路；

S403，根据上传的查询条件，追踪到与查询条件匹配的字段级元数据链路；

S404，对字段级元数据链路进行可视化处理以生成图形界面；

S405，根据追踪到的相关数据内容，获取整个数据链路中每个流转节点的数据值；比较整个数据链路中每个流转节点的数据值，得出有问题的流转节点；

S406，发现问题流转节点后，通过数据链路追踪，来判断数据链路造成的影响范围；

S407，通过字段级元数据链路对整个数据链路的数据质量情况进行反馈，通过字段级元数据链路，能够快速追踪到具体的数据，并且能够获取到整条数据链路中各个流转节点的数据值，通过比较各个流转节点的数据值找出有问题的节点，进一步确定该问题节点产生的影响范围。这个过程中，数据的质量都体现在数据值中，通过对比能够发现质量有问题的节点，通过对数据质量情况反馈，能够获悉数据传输过程中数据质量的变化，从而实现对整条数据链路的数据质量进行监控。

如图6所示，本发明提供的基于元数据链路的数据追踪系统，包括：

收集模块1，用于收集数据传输日志，收集数据传输日志，需要收集并记录具体数据的传输日志，而不仅仅是批次的日志，数据传输日志需包含数据采集、数据清洗、数据转换、数据标准化、数据集成、数据消亡等能追踪的数据全链路，从而为后续对数据全流程的追踪提供基础，实现从数据采集到数据提供出去的全过程追踪；

生成模块2，用于生成字段级元数据链路；

追踪模块3，用于根据上传的查询条件追踪与查询条件相匹配的字段级元数据链路；

可视化模块4，用于对字段级元数据链路进行可视化处理以生成图形界面。

本发明提供的基于元数据链路的数据追踪系统，通过收集模块1收集数据传输日志，进一步通过生成模块2生成字段级元数据链路，根据查询条件，通过追踪模块3追踪到与与查询条件相匹配的字段级元数据链路，并由可视化模块4显示图形界面，

优选地，基于元数据链路的数据追踪系统还包括：

获取模块5，用于根据追踪到的相关数据内容，获取整个数据链路中每个流转节点的数据值。根据追踪到的相关数据内容，获取整个数据链路中每个流转节点的数据值，通过每个流转节点的数据值，数据流转过程中的问题清晰可见。比如，上述例子中，在追踪到姓名为李明的数据内容时，所述获取模块5获取整个数据链路中每个流转节点的数据值，即获取人事统一视图流转节点中姓名为李明的数据值以及人事基本信息表流转节点中姓名为李明的数据值，通过获取每个流转节点的数据值，能够在整条数据链路展示出要追踪数据的数据值，数据流转过程中的问题就清晰可见。比较模块6，用于比较整个数据链路中每个流转节点的数据值，得出有问题的流转节点。所述比较模块6比较整个数据链路中每个流转节点的数据值，得出有问题的流转节点，例如，在获取到每个流转节点处对应姓名为李明的数据值后，将每个流转节点处的数据值进行比较，找出整条数据链路中有问题的流转节点及其数据值。

更佳地，基于元数据链路的数据追踪系统还包括：

范围判断模块7，用于发现问题流转节点后，通过数据链路追踪，来判断数据链路造成的影响范围。发现问题流转节点后，通过数据链路追踪，来判断数据链路造成的影响范围，由于数据在各个流转节点流通，形成许多不同的数据链路，流入节点处的数据值影响流出节点流处的数据值，进而，某一数据链路会影响相关联的其他数据链路。在发现问题流转节点后，通过数据链路追踪，能够判断出哪些流转节点会受影响，哪些数据链路会受影响，从而能够及时发现问题，补救问题，减少损失。

较优地，基于元数据链路的数据追踪系统还包括：

质量反馈模块8，用于通过字段级元数据链路对整个数据链路的数据质量情况进行反馈。所述质量反馈模块8通过字段级元数据链路对整个数据链路的数据质量情况进行反馈，通过字段级元数据链路，能够快速追踪到具体的数据，并且能够获取到整条数据链路中各个流转节点的数据值，通过比较各个流转节点的数据值找出有问题的节点，进一步确定该问题节点产生的影响范围。这个过程中，数据的质量都体现在数据值中，通过对比能够发现质量有问题的节点，通过对数据质量情况反馈，能够获悉数据传输过程中数据质量的变化，从而实现对整条数据链路的数据质量进行监控。

优选地，所述生成模块根据数据传输日志，通过数据库交换、流交换两种模式动态生成字段级数据链路。

综上所述，本发明通过收集数据传输日志，进一步生成字段级元数据链路，并可视化显示，通过元数据链路，能够快速追踪到具体的数据。本发明通过获取模块能够获取到整个数据链路中每个流转节点的数据值，并且清晰展现，通过比较模块比较整个数据链路中每个流转节点的数据值，可以找出有问题的流转节点及其数据值。本发明通过范围判断模块，在发现问题流转节点后，通过数据链路追踪，能够判断出哪些流转节点会受影响，哪些数据链路会受影响，从而能够及时发现问题，补救问题，减少损失。本发明通过质量反馈模块，对数据质量情况反馈，能够获悉数据传输过程中数据质量的变化，从而实现对整条数据链路的数据质量进行监控。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于元数据链路的数据追踪方法，其特征在于，包括：

收集数据传输日志；

根据数据传输日志生成字段级元数据链路；

根据上传的查询条件，追踪到与查询条件匹配的字段级元数据链路；

对字段级元数据链路进行可视化处理以生成图形界面。

2.如权利要求1所述的基于元数据链路的数据追踪方法，其特征在于，在所述根据上传的查询条件，追踪到与查询条件匹配的字段级元数据链路的步骤之后，还包括：

获取整个数据链路中每个流转节点的数据值；

比较每个流转节点的数据值，定位出有问题的流转节点。

3.如权利要求2所述的基于元数据链路的数据追踪方法，其特征在于，在所述比较每个流转节点的数据值，定位出有问题的流转节点步骤之后，还包括：

通过数据链路追踪，来判断该流转节点造成的影响范围。

4.如权利要求3所述的基于元数据链路的数据追踪方法，其特征在于，在所述通过数据链路追踪，来判断该流转节点造成的影响范围的步骤之后，还包括：

通过字段级元数据链路对整个数据链路的数据质量情况进行反馈。

5.如权利要求1所述的基于元数据链路的数据追踪方法，其特征在于，所述根据数据传输日志生成字段级元数据链路的步骤包括：根据数据传输日志，通过数据库交换、流交换两种模式动态生成字段级数据链路。

6.一种基于元数据链路的数据追踪系统，其特征在于，包括：

收集模块，用于收集数据传输日志；

生成模块，用于生成字段级元数据链路；

追踪模块，用于根据上传的查询条件追踪与查询条件相匹配的字段级元数据链路；

可视化模块，用于对字段级元数据链路进行可视化处理以生成图形界面。

7.如权利要求6所述的基于元数据链路的数据追踪系统，其特征在于，还包括：

获取模块，用于根据追踪到的字段级元数据链路，获取整个数据链路中每个流转节点的数据值；

比较模块，用于比较每个流转节点的数据值，定位出有问题的流转节点。

8.如权利要求7所述的基于元数据链路的数据追踪系统，其特征在于，还包括：

范围判断模块，用于在定位出有问题的流转节点后，通过数据链路追踪，来判断该流转节点造成的影响范围。

9.如权利要求6所述的基于元数据链路的数据追踪系统，其特征在于，还包括：

质量反馈模块，用于通过字段级元数据链路对整个数据链路的数据质量情况进行反馈。

10.如权利要求6所述的基于元数据链路的数据追踪系统，其特征在于，所述生成模块还用于根据数据传输日志，通过数据库交换、流交换两种模式动态生成字段级数据链路。