CN109815378A - 一种基于元数据链路的数据追踪方法及系统 - Google Patents
一种基于元数据链路的数据追踪方法及系统 Download PDFInfo
- Publication number
- CN109815378A CN109815378A CN201910095599.4A CN201910095599A CN109815378A CN 109815378 A CN109815378 A CN 109815378A CN 201910095599 A CN201910095599 A CN 201910095599A CN 109815378 A CN109815378 A CN 109815378A
- Authority
- CN
- China
- Prior art keywords
- data
- link
- field level
- metadata link
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于元数据链路的数据追踪方法,包括:收集数据传输日志;根据数据传输日志生成字段级元数据链路;根据上传的查询条件,追踪到与查询条件匹配的字段级元数据链路;对字段级元数据链路进行可视化处理以生成图形界面。本发明还公开了一种基于元数据链路的数据追踪系统,包括收集模块,用于收集数据传输日志;生成模块,用于生成字段级元数据链路;追踪模块,用于根据上传的查询条件追踪与查询条件相匹配的字段级元数据链路;可视化模块,用于对字段级元数据链路进行可视化处理以生成图形界面。采用本发明,通过字段级元数据链路,能够快速追踪到具体的数据。
Description
技术领域
本发明涉及数据追踪领域,尤其涉及一种基于元数据链路的数据追踪方法及系统。
背景技术
在信息化领域,每一个行业或领域都要依赖于信息化系统去帮助解决问题、提高效率。随着计算机软件行业的逐渐兴起,每个领域中的软件也越来越多。如果拿人做比喻,软件相当于人的器官,每一个都有其相应的价值;而数据相当于人的血液,器官更好的互通,需要血液在其中做流转。而数据治理就是解决血液不通的问题。在数据治理相关行业内,关于数据链路的研究很多,通常有通过数据的血缘分析去做数据的关系做可视化呈现。针对数据的血缘分析类的也就研究也很多。
例如:搜狐网上公开了一篇《数据之间有血缘关系-数据治理不得不懂的血缘关系梳理方法》,其公开了一种数据血缘关系的可视化展示系统,在该系统中,包括信息节点、数据流转线路、清洗规则节点、转换规则节点和数据归档销毁规则节点,能够清晰的展示出数据血缘关系。还有,数据治理中的数据血缘关系可视化图形系统(专利名称:数据治理中的数据血缘关系可视化图形系统;申请专利号:CN201711383801.0),提供了一种数据治理中的数据血缘关系可视化图形系统通过不同层级的血缘关系,可以很清楚的了解数据的迁徙流转,为数据价值的评估、数据的管理提供了依据。设定了详细的规则,以方便对数据进行更好的梳理。
无论是网上的公开的文章,还是数据治理中的数据血缘关系可视化图形系统的专利,其实都在从更深、更全面的技术方式去描述,数据的血缘关系。网上公开的《数据之间有血缘关系-数据治理不得不懂的血缘关系梳理方法》,该发明一方面缺少对于各种规则的设定,使得清洗、转换和销毁的判断容易出现问题,另外一方面缺少对数据的抽取方法和加载策略的描述,容易使数据血缘关系的可视化图形产生偏差。数据治理中的数据血缘关系可视化图形系统专利,虽然能从数据抽取方法、数据加载策略、数据清洗、数据转换、数据销毁等方面对数据进行全生命周期的流程梳理,但是其也是对数据的血缘关系的呈现,并没有突出对数据链路的定位、追踪、数据影响的分析。
发明内容
本发明所要解决的技术问题在于,提供一种基于元数据链路的数据追踪方法及系统,通过元数据链路能够对数据全链路进行追踪、定位以及数据影响分析。
为了解决上述技术问题,本发明提供了一种基于元数据链路的数据追踪方法,包括:
收集数据传输日志;
根据数据传输日志生成字段级元数据链路;
根据上传的查询条件,追踪到与查询条件匹配的字段级元数据链路;
对字段级元数据链路进行可视化处理以生成图形界面。
优选地,在所述根据上传的查询条件,追踪到与查询条件匹配的字段级元数据链路的步骤之后,还包括:
获取整个数据链路中每个流转节点的数据值;
比较每个流转节点的数据值,定位出有问题的流转节点。
优选地,在所述比较每个流转节点的数据值,定位出有问题的流转节点步骤之后,还包括:
通过数据链路追踪,来判断该流转节点造成的影响范围。
优选地,在所述通过数据链路追踪,来判断该流转节点造成的影响范围的步骤之后,还包括:
通过字段级元数据链路对整个数据链路的数据质量情况进行反馈。
优选地,所述根据数据传输日志生成字段级元数据链路的步骤包括:根据数据传输日志,通过数据库交换、流交换两种模式动态生成字段级数据链路。
相应地,本发明还提供一种基于元数据链路的数据追踪系统,包括:
收集模块,用于收集数据传输日志;
生成模块,用于生成字段级元数据链路;
追踪模块,用于根据上传的查询条件追踪与查询条件相匹配的字段级元数据链路;
可视化模块,用于对字段级元数据链路进行可视化处理以生成图形界面。
优选地,还包括:
获取模块,用于根据追踪到的字段级元数据链路,获取整个数据链路中每个流转节点的数据值;
比较模块,用于比较每个流转节点的数据值,定位出有问题的流转节点。
优选地,还包括:
范围判断模块,用于在定位出有问题的流转节点后,通过数据链路追踪,来判断该流转节点造成的影响范围。
优选地,还包括:
质量反馈模块,用于通过字段级元数据链路对整个数据链路的数据质量情况进行反馈。
优选地,所述生成模块还用于根据数据传输日志,通过数据库交换、流交换两种模式动态生成字段级数据链路。
实施本发明的有益效果在于:
本发明通过收集数据传输日志,进一步生成字段级元数据链路,并可视化显示,通过元数据链路,能够快速追踪到具体的数据。本发明通过获取模块能够获取到整个数据链路中每个流转节点的数据值,并且清晰展现,通过比较模块比较整个数据链路中每个流转节点的数据值,可以定位出有问题的流转节点及其数据值。本发明通过范围判断模块,在定位出问题流转节点后,通过数据链路追踪,能够判断出哪些流转节点会受影响,哪些数据链路会受影响,从而能够及时发现问题,补救问题,减少损失。本发明通过质量反馈模块,对数据质量情况反馈,能够获悉数据传输过程中数据质量的变化,从而实现对整条数据链路的数据质量进行监控。
附图说明
图1是本发明提供的基于元数据链路的数据追踪方法第一实施例流程示意图;
图2是本发明提供的字段级元数据链路可视化示意图;
图3是本发明提供的基于元数据链路的数据追踪方法第二实施例流程示意图;
图4是本发明提供的基于元数据链路的数据追踪方法第三实施例流程示意图;
图5是本发明提供的基于元数据链路的数据追踪方法第四实施例流程示意图;
图6是本发明提供的基于元数据链路的数据追踪系统示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述。仅此声明,本发明在文中出现或即将出现的上、下、左、右、前、后、内、外等方位用词,仅以本发明的附图为基准,其并不是对本发明的具体限定。
如图1所示,本发明提供的基于元数据链路的数据追踪方法第一实施例,包括:
S101,收集数据传输日志;
需要收集并记录具体数据的传输日志,而不仅仅是批次的日志,数据传输日志需包含数据采集、数据清洗、数据转换、数据标准化、数据集成、数据消亡等能追踪的数据全链路,从而为后续对数据全流程的追踪提供基础,实现从数据采集到数据提供出去的全过程追踪;
S102,根据数据传输日志生成字段级元数据链路;
S103,根据上传的查询条件,追踪到与查询条件匹配的字段级元数据链路;
S104,对字段级元数据链路进行可视化处理以生成图形界面;
结合数据的血缘分析以及数据传输日志,将字段级元数据链路相关联的流转节点节点和字段数据以图形化界面展示。
例如,如图2所示,本发明根据数据传输日志,通过数据库交换、流交换两种模式动态生成字段级数据链路,照片采集信息表与人事基本信息表集成人事统一视图表,人事统一视图表与校园卡信息表集成保卫处所需信息表,结合查询工具,上传查询条件,就能追踪到字段级元数据的数据流转链路(由“交换平台业务系统数据”经“基础库”至“共享库”形成流转链路)和相对应的流转节点(“交换平台业务系统数据”、“基础库”、“共享库”),具体的,比如上传“职工号”,就能展现该数据的流转链路(由“人事基本信息”经“人事统一视图”至“保卫处所需信息”形成流转链路)和相对应的流转节点(“人事基本信息”、“人事统一视图”、“保卫处所需信息”),追踪到与“职工号”相关的数据全链路内容。相同原理,“身份证件号”与“物理卡ID”等数据链路也可以被追踪到,并在图形界面显示。
如图3所示,本发明提供的基于元数据链路的数据追踪方法第二实施例,包括:
S201,收集数据传输日志;
S202,根据数据传输日志生成字段级元数据链路;
S203,根据上传的查询条件,追踪到与查询条件匹配的字段级元数据链路;
S204,对字段级元数据链路进行可视化处理以生成图形界面;
S205,根据追踪到的字段级元数据链路,获取整个数据链路中每个流转节点的数据值;比较每个流转节点的数据值,定位出有问题的流转节点。
比如,上述例子中,在追踪到姓名为李明的数据内容时,获取整个数据链路中每个流转节点的数据值,即获取人事统一视图流转节点中姓名为李明的数据值以及人事基本信息表流转节点中姓名为李明的数据值,通过获取每个流转节点的数据值,能够在整条数据链路展示出要追踪数据的数据值,数据流转过程中的问题就清晰可见。通过比较整个数据链路中每个流转节点的数据值,得出有问题的流转节点,例如,在获取到每个流转节点处对应姓名为李明的数据值后,将每个流转节点处的数据值进行比较,找出整条数据链路中有问题的流转节点及其数据值。
如图4所示,本发明提供的基于元数据链路的数据追踪方法第三实施例,包括:
S301,收集数据传输日志;
S302,根据数据传输日志生成字段级元数据链路;
S303,根据上传的查询条件,追踪到与查询条件匹配的字段级元数据链路;
S304,对字段级元数据链路进行可视化处理以生成图形界面;
S305,根据追踪到的字段级元数据链路,获取整个数据链路中每个流转节点的数据值;比较每个流转节点的数据值,定位出有问题的流转节点。
S306,定位出有问题的流转节点后,通过数据链路追踪,来判断该流转节点造成的影响范围。
由于数据在各个流转节点流通,形成许多不同的数据链路,流入节点处的数据值影响流出节点流处的数据值,进而,某一数据链路会影响相关联的其他数据链路。在发现问题流转节点后,通过数据链路追踪,能够判断出哪些流转节点会受影响,哪些数据链路会受影响,从而能够及时发现问题,补救问题,减少损失。
如图5所示,本发明提供的基于元数据链路的数据追踪方法第四实施例,包括:
S401,收集数据传输日志;
S402,生成字段级元数据链路;
S403,根据上传的查询条件,追踪到与查询条件匹配的字段级元数据链路;
S404,对字段级元数据链路进行可视化处理以生成图形界面;
S405,根据追踪到的相关数据内容,获取整个数据链路中每个流转节点的数据值;比较整个数据链路中每个流转节点的数据值,得出有问题的流转节点;
S406,发现问题流转节点后,通过数据链路追踪,来判断数据链路造成的影响范围;
S407,通过字段级元数据链路对整个数据链路的数据质量情况进行反馈,通过字段级元数据链路,能够快速追踪到具体的数据,并且能够获取到整条数据链路中各个流转节点的数据值,通过比较各个流转节点的数据值找出有问题的节点,进一步确定该问题节点产生的影响范围。这个过程中,数据的质量都体现在数据值中,通过对比能够发现质量有问题的节点,通过对数据质量情况反馈,能够获悉数据传输过程中数据质量的变化,从而实现对整条数据链路的数据质量进行监控。
如图6所示,本发明提供的基于元数据链路的数据追踪系统,包括:
收集模块1,用于收集数据传输日志,收集数据传输日志,需要收集并记录具体数据的传输日志,而不仅仅是批次的日志,数据传输日志需包含数据采集、数据清洗、数据转换、数据标准化、数据集成、数据消亡等能追踪的数据全链路,从而为后续对数据全流程的追踪提供基础,实现从数据采集到数据提供出去的全过程追踪;
生成模块2,用于生成字段级元数据链路;
追踪模块3,用于根据上传的查询条件追踪与查询条件相匹配的字段级元数据链路;
可视化模块4,用于对字段级元数据链路进行可视化处理以生成图形界面。
本发明提供的基于元数据链路的数据追踪系统,通过收集模块1收集数据传输日志,进一步通过生成模块2生成字段级元数据链路,根据查询条件,通过追踪模块3追踪到与与查询条件相匹配的字段级元数据链路,并由可视化模块4显示图形界面,
优选地,基于元数据链路的数据追踪系统还包括:
获取模块5,用于根据追踪到的相关数据内容,获取整个数据链路中每个流转节点的数据值。根据追踪到的相关数据内容,获取整个数据链路中每个流转节点的数据值,通过每个流转节点的数据值,数据流转过程中的问题清晰可见。比如,上述例子中,在追踪到姓名为李明的数据内容时,所述获取模块5获取整个数据链路中每个流转节点的数据值,即获取人事统一视图流转节点中姓名为李明的数据值以及人事基本信息表流转节点中姓名为李明的数据值,通过获取每个流转节点的数据值,能够在整条数据链路展示出要追踪数据的数据值,数据流转过程中的问题就清晰可见。比较模块6,用于比较整个数据链路中每个流转节点的数据值,得出有问题的流转节点。所述比较模块6比较整个数据链路中每个流转节点的数据值,得出有问题的流转节点,例如,在获取到每个流转节点处对应姓名为李明的数据值后,将每个流转节点处的数据值进行比较,找出整条数据链路中有问题的流转节点及其数据值。
更佳地,基于元数据链路的数据追踪系统还包括:
范围判断模块7,用于发现问题流转节点后,通过数据链路追踪,来判断数据链路造成的影响范围。发现问题流转节点后,通过数据链路追踪,来判断数据链路造成的影响范围,由于数据在各个流转节点流通,形成许多不同的数据链路,流入节点处的数据值影响流出节点流处的数据值,进而,某一数据链路会影响相关联的其他数据链路。在发现问题流转节点后,通过数据链路追踪,能够判断出哪些流转节点会受影响,哪些数据链路会受影响,从而能够及时发现问题,补救问题,减少损失。
较优地,基于元数据链路的数据追踪系统还包括:
质量反馈模块8,用于通过字段级元数据链路对整个数据链路的数据质量情况进行反馈。所述质量反馈模块8通过字段级元数据链路对整个数据链路的数据质量情况进行反馈,通过字段级元数据链路,能够快速追踪到具体的数据,并且能够获取到整条数据链路中各个流转节点的数据值,通过比较各个流转节点的数据值找出有问题的节点,进一步确定该问题节点产生的影响范围。这个过程中,数据的质量都体现在数据值中,通过对比能够发现质量有问题的节点,通过对数据质量情况反馈,能够获悉数据传输过程中数据质量的变化,从而实现对整条数据链路的数据质量进行监控。
优选地,所述生成模块根据数据传输日志,通过数据库交换、流交换两种模式动态生成字段级数据链路。
综上所述,本发明通过收集数据传输日志,进一步生成字段级元数据链路,并可视化显示,通过元数据链路,能够快速追踪到具体的数据。本发明通过获取模块能够获取到整个数据链路中每个流转节点的数据值,并且清晰展现,通过比较模块比较整个数据链路中每个流转节点的数据值,可以找出有问题的流转节点及其数据值。本发明通过范围判断模块,在发现问题流转节点后,通过数据链路追踪,能够判断出哪些流转节点会受影响,哪些数据链路会受影响,从而能够及时发现问题,补救问题,减少损失。本发明通过质量反馈模块,对数据质量情况反馈,能够获悉数据传输过程中数据质量的变化,从而实现对整条数据链路的数据质量进行监控。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种基于元数据链路的数据追踪方法,其特征在于,包括:
收集数据传输日志;
根据数据传输日志生成字段级元数据链路;
根据上传的查询条件,追踪到与查询条件匹配的字段级元数据链路;
对字段级元数据链路进行可视化处理以生成图形界面。
2.如权利要求1所述的基于元数据链路的数据追踪方法,其特征在于,在所述根据上传的查询条件,追踪到与查询条件匹配的字段级元数据链路的步骤之后,还包括:
获取整个数据链路中每个流转节点的数据值;
比较每个流转节点的数据值,定位出有问题的流转节点。
3.如权利要求2所述的基于元数据链路的数据追踪方法,其特征在于,在所述比较每个流转节点的数据值,定位出有问题的流转节点步骤之后,还包括:
通过数据链路追踪,来判断该流转节点造成的影响范围。
4.如权利要求3所述的基于元数据链路的数据追踪方法,其特征在于,在所述通过数据链路追踪,来判断该流转节点造成的影响范围的步骤之后,还包括:
通过字段级元数据链路对整个数据链路的数据质量情况进行反馈。
5.如权利要求1所述的基于元数据链路的数据追踪方法,其特征在于,所述根据数据传输日志生成字段级元数据链路的步骤包括:根据数据传输日志,通过数据库交换、流交换两种模式动态生成字段级数据链路。
6.一种基于元数据链路的数据追踪系统,其特征在于,包括:
收集模块,用于收集数据传输日志;
生成模块,用于生成字段级元数据链路;
追踪模块,用于根据上传的查询条件追踪与查询条件相匹配的字段级元数据链路;
可视化模块,用于对字段级元数据链路进行可视化处理以生成图形界面。
7.如权利要求6所述的基于元数据链路的数据追踪系统,其特征在于,还包括:
获取模块,用于根据追踪到的字段级元数据链路,获取整个数据链路中每个流转节点的数据值;
比较模块,用于比较每个流转节点的数据值,定位出有问题的流转节点。
8.如权利要求7所述的基于元数据链路的数据追踪系统,其特征在于,还包括:
范围判断模块,用于在定位出有问题的流转节点后,通过数据链路追踪,来判断该流转节点造成的影响范围。
9.如权利要求6所述的基于元数据链路的数据追踪系统,其特征在于,还包括:
质量反馈模块,用于通过字段级元数据链路对整个数据链路的数据质量情况进行反馈。
10.如权利要求6所述的基于元数据链路的数据追踪系统,其特征在于,所述生成模块还用于根据数据传输日志,通过数据库交换、流交换两种模式动态生成字段级数据链路。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910095599.4A CN109815378A (zh) | 2019-01-31 | 2019-01-31 | 一种基于元数据链路的数据追踪方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910095599.4A CN109815378A (zh) | 2019-01-31 | 2019-01-31 | 一种基于元数据链路的数据追踪方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109815378A true CN109815378A (zh) | 2019-05-28 |
Family
ID=66606114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910095599.4A Pending CN109815378A (zh) | 2019-01-31 | 2019-01-31 | 一种基于元数据链路的数据追踪方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109815378A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110764738A (zh) * | 2019-10-21 | 2020-02-07 | 普元信息技术股份有限公司 | DevOps中基于元数据技术实现研发过程全链路追踪处理的系统及其方法 |
CN110851663A (zh) * | 2019-11-05 | 2020-02-28 | 北京明略软件系统有限公司 | 管理元数据的方法和装置 |
CN111245672A (zh) * | 2019-12-30 | 2020-06-05 | 青岛特来电云科技有限公司 | 一种通用可扩展的追踪业务全链路的监控方法及系统 |
CN114860847A (zh) * | 2022-06-29 | 2022-08-05 | 深圳红途科技有限公司 | 应用于大数据平台的数据链路处理方法、系统及介质 |
CN117614723A (zh) * | 2023-12-05 | 2024-02-27 | 广州汇通国信科技有限公司 | 一种智能数据血缘追踪方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6708297B1 (en) * | 2000-12-29 | 2004-03-16 | Emc Corporation | Method and system for monitoring errors on field replaceable units |
CN102339295A (zh) * | 2010-07-23 | 2012-02-01 | 中国移动通信集团公司 | Sql脚本的结构化元数据生成方法及数据地图生成方法 |
CN105893603A (zh) * | 2016-04-22 | 2016-08-24 | 广州精点计算机科技有限公司 | 一种基于etl的字段级别血统分析方法及装置 |
CN106709024A (zh) * | 2016-12-28 | 2017-05-24 | 深圳市华傲数据技术有限公司 | 基于血缘分析进行数据表溯源的方法及装置 |
CN107229619A (zh) * | 2016-03-23 | 2017-10-03 | 阿里巴巴集团控股有限公司 | 互联网业务链路调用情况的统计、展示方法及装置 |
CN107506451A (zh) * | 2017-08-28 | 2017-12-22 | 泰康保险集团股份有限公司 | 用于数据交互的异常信息监控方法及装置 |
CN107562768A (zh) * | 2016-09-14 | 2018-01-09 | 彩讯科技股份有限公司 | 一种数据处理过程动态回溯追踪方法 |
CN107644073A (zh) * | 2017-09-18 | 2018-01-30 | 广东中标数据科技股份有限公司 | 一种基于深度优先遍历的字段血缘分析方法、系统及装置 |
CN108123889A (zh) * | 2016-11-30 | 2018-06-05 | 阿里巴巴集团控股有限公司 | 一种流计算数据链路保障方法及系统 |
CN108228747A (zh) * | 2017-12-20 | 2018-06-29 | 江苏数加数据科技有限责任公司 | 数据治理中的数据血缘关系可视化图形系统 |
CN109241142A (zh) * | 2018-09-07 | 2019-01-18 | 南京中新赛克科技有限责任公司 | 基于流程引擎的数据血缘关系计算方法 |
-
2019
- 2019-01-31 CN CN201910095599.4A patent/CN109815378A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6708297B1 (en) * | 2000-12-29 | 2004-03-16 | Emc Corporation | Method and system for monitoring errors on field replaceable units |
CN102339295A (zh) * | 2010-07-23 | 2012-02-01 | 中国移动通信集团公司 | Sql脚本的结构化元数据生成方法及数据地图生成方法 |
CN107229619A (zh) * | 2016-03-23 | 2017-10-03 | 阿里巴巴集团控股有限公司 | 互联网业务链路调用情况的统计、展示方法及装置 |
CN105893603A (zh) * | 2016-04-22 | 2016-08-24 | 广州精点计算机科技有限公司 | 一种基于etl的字段级别血统分析方法及装置 |
CN107562768A (zh) * | 2016-09-14 | 2018-01-09 | 彩讯科技股份有限公司 | 一种数据处理过程动态回溯追踪方法 |
CN108123889A (zh) * | 2016-11-30 | 2018-06-05 | 阿里巴巴集团控股有限公司 | 一种流计算数据链路保障方法及系统 |
CN106709024A (zh) * | 2016-12-28 | 2017-05-24 | 深圳市华傲数据技术有限公司 | 基于血缘分析进行数据表溯源的方法及装置 |
CN107506451A (zh) * | 2017-08-28 | 2017-12-22 | 泰康保险集团股份有限公司 | 用于数据交互的异常信息监控方法及装置 |
CN107644073A (zh) * | 2017-09-18 | 2018-01-30 | 广东中标数据科技股份有限公司 | 一种基于深度优先遍历的字段血缘分析方法、系统及装置 |
CN108228747A (zh) * | 2017-12-20 | 2018-06-29 | 江苏数加数据科技有限责任公司 | 数据治理中的数据血缘关系可视化图形系统 |
CN109241142A (zh) * | 2018-09-07 | 2019-01-18 | 南京中新赛克科技有限责任公司 | 基于流程引擎的数据血缘关系计算方法 |
Non-Patent Citations (2)
Title |
---|
YWM041004: "数据治理的血缘分析", 《HTTPS://BLOG.CSDN.NET/YWM041004/JAVA/ARTICLE/DETAILS/84261811》 * |
李旭风等: "面向数据字段的血缘关系分析", 《中国金融电脑》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110764738A (zh) * | 2019-10-21 | 2020-02-07 | 普元信息技术股份有限公司 | DevOps中基于元数据技术实现研发过程全链路追踪处理的系统及其方法 |
CN110764738B (zh) * | 2019-10-21 | 2024-02-23 | 普元信息技术股份有限公司 | DevOps中基于元数据技术实现研发过程全链路追踪处理的系统及其方法 |
CN110851663A (zh) * | 2019-11-05 | 2020-02-28 | 北京明略软件系统有限公司 | 管理元数据的方法和装置 |
CN111245672A (zh) * | 2019-12-30 | 2020-06-05 | 青岛特来电云科技有限公司 | 一种通用可扩展的追踪业务全链路的监控方法及系统 |
CN114860847A (zh) * | 2022-06-29 | 2022-08-05 | 深圳红途科技有限公司 | 应用于大数据平台的数据链路处理方法、系统及介质 |
CN114860847B (zh) * | 2022-06-29 | 2022-09-27 | 深圳红途科技有限公司 | 应用于大数据平台的数据链路处理方法、系统及介质 |
CN117614723A (zh) * | 2023-12-05 | 2024-02-27 | 广州汇通国信科技有限公司 | 一种智能数据血缘追踪方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109815378A (zh) | 一种基于元数据链路的数据追踪方法及系统 | |
EP3477906A1 (en) | Systems and methods for identifying and mitigating outlier network activity | |
DE102004039237B4 (de) | Lüfter-Steuerungssystem | |
US10140472B2 (en) | Multi-level privacy evaluation | |
CN110351307A (zh) | 基于集成学习的异常用户检测方法及系统 | |
CN111081337B (zh) | 一种协同任务预测方法及计算机可读存储介质 | |
WO2007095997A1 (de) | System und verfahren zur benutzergesteuerten multidimensionalen navigation und/oder themenbasierten aggregation und/oder überwachung von multimediadaten | |
CN104021195B (zh) | 基于知识库的告警关联分析方法 | |
Spiliopoulou et al. | Higher order mining: Modelling and mining the results of knowledge discovery | |
Abel et al. | Spatial join strategies in distributed spatial DBMS | |
CN110198347B (zh) | 一种基于区块链的预警方法及分控服务器 | |
CN109817339A (zh) | 基于大数据的患者分组方法和装置 | |
CN105556517A (zh) | 智能搜索精细化 | |
DE102020110034A1 (de) | Überwachungssystem mit mehrstufiger Anfrageprüfung | |
CN107508809A (zh) | 识别网址类型的方法及装置 | |
CN108710644A (zh) | 一种关于政务大数据处理方法 | |
Sun et al. | Heterogeneous network-based chronic disease progression mining | |
CN111831715A (zh) | 一种基于人工智能大数据智慧接访及存证系统及方法 | |
CN105975616A (zh) | 基于公共卫生精细化管理的数据质量控制系统 | |
EP3816833A1 (de) | Verfahren und datenverarbeitungssystem zum sichern von daten gegen unautorisierten zugriff | |
CN106326317A (zh) | 数据处理方法及装置 | |
Koetsier et al. | Federated cooperative detection of anomalous vehicle trajectories at intersections | |
CN109241179A (zh) | 基于数据空间的数据治理方法、系统及计算机设备 | |
CN111291625B (zh) | 一种基于人脸检索的好友推荐方法及系统 | |
DE112020004688T5 (de) | Debuggen und erstellen von profilen von maschinenlernmodelltraining |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190528 |
|
RJ01 | Rejection of invention patent application after publication |