CN115544156A - 一种实现数据溯源可视化的方法 - Google Patents

一种实现数据溯源可视化的方法 Download PDF

Info

Publication number
CN115544156A
CN115544156A CN202211251218.5A CN202211251218A CN115544156A CN 115544156 A CN115544156 A CN 115544156A CN 202211251218 A CN202211251218 A CN 202211251218A CN 115544156 A CN115544156 A CN 115544156A
Authority
CN
China
Prior art keywords
data
target
field
source
traceability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211251218.5A
Other languages
English (en)
Inventor
陈超
马良
张莉
宗娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Langchao Intelligent Medical Technology Co ltd
Original Assignee
Shandong Langchao Intelligent Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Langchao Intelligent Medical Technology Co ltd filed Critical Shandong Langchao Intelligent Medical Technology Co ltd
Priority to CN202211251218.5A priority Critical patent/CN115544156A/zh
Publication of CN115544156A publication Critical patent/CN115544156A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种实现数据溯源可视化的方法，属于数据管理领域，本发明通过对数据采集、治理过程中的SQL脚本进行解析，提取出各数据表之间的关联关系，再将数据表关联关系以可视化的图表形式展现给用户，实现对数据流转的可视化溯源分析。本发明能够提高数据的管理效率，通过数据溯源图，可以在出现数据异常时快速追踪定位异常原因，提高异常分析的效率，也可以在进行业务变更时快速分析出各表之间业务关系确定变更范围，降低业务变更带来的数据风险。

Description

一种实现数据溯源可视化的方法
技术领域
本发明涉及数据管理领域，尤其涉及一种实现数据溯源可视化的方法。
背景技术
随着数字经济的快速发展，数据已成为重要生产因素。企业进行分析处理的数据，实际大多是经过多次数据处理后的衍生数据，其原始数据来源非常广泛，有可能来自内部的各类信息系统，有可能来自互联网公开信息，有可能通过数据采购由第三方获取。在使用这些海量的数据时，需要对其来源进行有效的管理，便于在数据异常时快速追踪定位异常原因，在业务变更时快速确定变更范围，及时做出响应解决问题。
发明内容
为了解决以上技术问题，本发明提供了一种实现数据溯源可视化的方法。可以在出现数据异常时快速追踪定位异常原因，提高异常分析的效率，也可以在进行业务变更时快速分析出各表之间业务关系确定变更范围，降低业务变更带来的数据风险。
本发明的技术方案是：
一种实现数据溯源可视化的方法，
把数据采集、治理过程中使用的SQL脚本解析出数据表关联关系，然后以可视化的图表形式进行展示。
进一步的，
记录数据采集、治理过程中用到的SQL脚本，脚本信息包括：
来源表、目标表、来源字段、目标字段、表映射关系。
其中：
来源表：存储原始数据的数据表；
目标表：存储转换后数据的数据表；
来源字段：数据转换用到的原始数据表中的数据字段；
目标字段：数据转换后落入目标数据表中的数据字段。
表映射关系：来源表来源字段到目标表目标字段的转换关系。
再进一步的，
通过解析SQL脚本，提取出来源表、目标表、来源字段、目标字段、表映射关系信息。
再进一步的，
将提取出的来源表、目标表、来源字段、目标字段、表映射关系信息，生成数据溯源JSON。
再进一步的，
对数据溯源JSON进行解析，以可视化的图表形式展现给用户，实现对数据流转的可视化溯源分析。
本发明的有益效果是
本发明所提出的数据溯源可视化的方法能充分利用数据采集、治理过程中用到的SQL脚本生成可视化数据溯源图表，可以在出现数据异常时快速追踪定位异常原因，提高异常分析的效率，也可以在进行业务变更时快速分析出各表之间业务关系确定变更范围，降低业务变更带来的数据风险，减少数据管理工作复杂度，提高数据的管理效率。
附图说明
图1是本发明的处理流程图；
图2数据溯源可视化示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种数据溯源可视化的方法，旨在辅助数据管理工作，减少数据管理的复杂度，提高数据的管理效率，降低业务变更带来的数据风险。
本发明通过对数据采集、治理过程中的SQL脚本进行解析，提取出各数据表之间的关联关系，再将数据表关联关系以可视化的图表形式展现给用户，实现对数据流转的可视化溯源分析。
整个数据溯源可视化的流程示意图如图1所示，该方案的技术主要实现数据表关联关系可视化。具体过程如下：
(1)记录数据采集、治理过程中用到的SQL脚本，脚本信息主要包括：
来源表：存储原始数据的数据表。
目标表：存储转换后数据的数据表。
来源字段：数据转换用到的原始数据表中的数据字段。
目标字段：数据转换后落入目标数据表中的数据字段。
表映射关系：来源表来源字段到目标表目标字段的转换关系。
举例数据如下：
表1脚本信息表
Figure BDA0003888068820000041
(2)对(1)中的SQL脚本进行解析，提取来源表、目标表、来源字段、目标字段、表映射关系。举例数据如下：
表2SQL脚本解析信息
Figure BDA0003888068820000042
(3)使用(2)解析出的来源表、目标表、来源字段、目标字段、表映射关系，生成易于可视化图表展示的JSON格式数据溯源关系。举例数据如下：
表3数据溯源关系JSON
Figure BDA0003888068820000051
(4)根据(3)中生成的数据溯源关系JSON，生成可视化的数据溯源图。如图2。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种实现数据溯源可视化的方法，其特征在于，
把数据采集、治理过程中使用的SQL脚本解析出数据表关联关系，然后以可视化的图表形式进行展示。
2.根据权利要求1所述的方法，其特征在于，
记录数据采集、治理过程中用到的SQL脚本，脚本信息包括：
来源表、目标表、来源字段、目标字段、表映射关系。
3.根据权利要求2所述的方法，其特征在于，
来源表：存储原始数据的数据表；
目标表：存储转换后数据的数据表。
4.根据权利要求3所述的方法，其特征在于，
来源字段：数据转换用到的原始数据表中的数据字段；
目标字段：数据转换后落入目标数据表中的数据字段。
5.根据权利要求4所述的方法，其特征在于，
表映射关系：来源表来源字段到目标表目标字段的转换关系。
6.根据权利要求2所述的方法，其特征在于，
通过解析SQL脚本，提取出来源表、目标表、来源字段、目标字段、表映射关系信息。
7.根据权利要求6所述的方法，其特征在于，
将提取出的来源表、目标表、来源字段、目标字段、表映射关系信息，生成数据溯源JSON。
8.根据权利要求7所述的方法，其特征在于，
对数据溯源JSON进行解析，以可视化的图表形式展现给用户，实现对数据流转的可视化溯源分析。
CN202211251218.5A 2022-10-13 2022-10-13 一种实现数据溯源可视化的方法 Pending CN115544156A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211251218.5A CN115544156A (zh) 2022-10-13 2022-10-13 一种实现数据溯源可视化的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211251218.5A CN115544156A (zh) 2022-10-13 2022-10-13 一种实现数据溯源可视化的方法

Publications (1)

Publication Number Publication Date
CN115544156A true CN115544156A (zh) 2022-12-30

Family

ID=84734542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211251218.5A Pending CN115544156A (zh) 2022-10-13 2022-10-13 一种实现数据溯源可视化的方法

Country Status (1)

Country Link
CN (1) CN115544156A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116383777A (zh) * 2023-03-28 2023-07-04 云启智慧科技有限公司 一种数据治理平台和面向数据治理的数据确权方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116383777A (zh) * 2023-03-28 2023-07-04 云启智慧科技有限公司 一种数据治理平台和面向数据治理的数据确权方法
CN116383777B (zh) * 2023-03-28 2024-02-27 云启智慧科技有限公司 一种数据治理平台和面向数据治理的数据确权方法

Similar Documents

Publication Publication Date Title
CN109753502B (zh) 一种基于NiFi的数据采集方法
CN104778241A (zh) 一种报表生成方法及系统
CN110851667B (zh) 一种多源头大量数据的整合分析方法及工具
CN106547918B (zh) 一种统计数据的整合方法及系统
WO2022027943A1 (zh) 一种基于污染要素源解析的水污染溯源系统及方法
CN115544156A (zh) 一种实现数据溯源可视化的方法
CN111125284A (zh) 一种一体化时空大数据与地理信息公共服务云平台
CN111143468A (zh) 基于mpp分布式技术的多数据库数据管理方法
CN112598142A (zh) 一种风电机组检修工作质量审查辅助方法与系统
CN115330420B (zh) 基于标准的宝玉石追溯方法及系统
CN115543976A (zh) 一种大数据处理系统
CN111160923A (zh) 一种用于食品溯源和分析的图数据库构建系统
CN114840519A (zh) 一种数据打标签的方法、设备及存储介质
CN114064920A (zh) 基于人工智能的非结构化文档监管方法及存储介质
CN111324625A (zh) 一种上位机数据报表应用方法
CN110781237A (zh) 一种基于人工智能的信息可视化分析系统
CN111414291A (zh) 一种风控系统完备性监控方法和系统
CN111930746A (zh) 基于离线数据处理的风险交易管控方法、装置及系统
CN106897099A (zh) 一种Maya（MAYA）场景检测方法
CN111258865B (zh) 处理器、多信息化系统的告警数据管理系统及方法
CN116205751A (zh) 智能财务分析实现新方法
CN116795950A (zh) 基于人工智能的数据挖掘分析自动生成报告方法及系统
CN117391440A (zh) 一种企业信息侦察平台及方法
Wang A Study on Corporate Culture, Intellectual Capital and Corporate Performance
CN105468725B (zh) 一种关系型数据库中表分段抽取系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination