CN113220945B - 一种用于数据血缘的字段检索和路径展示的方法及系统 - Google Patents

一种用于数据血缘的字段检索和路径展示的方法及系统 Download PDF

Info

Publication number
CN113220945B
CN113220945B CN202110469207.3A CN202110469207A CN113220945B CN 113220945 B CN113220945 B CN 113220945B CN 202110469207 A CN202110469207 A CN 202110469207A CN 113220945 B CN113220945 B CN 113220945B
Authority
CN
China
Prior art keywords
shortest path
database
node
path
fields
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110469207.3A
Other languages
English (en)
Other versions
CN113220945A (zh
Inventor
陈家亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Chenqi Travel Technology Co Ltd
Original Assignee
Guangzhou Chenqi Travel Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Chenqi Travel Technology Co Ltd filed Critical Guangzhou Chenqi Travel Technology Co Ltd
Priority to CN202110469207.3A priority Critical patent/CN113220945B/zh
Publication of CN113220945A publication Critical patent/CN113220945A/zh
Application granted granted Critical
Publication of CN113220945B publication Critical patent/CN113220945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/904Browsing; Visualisation therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据处理技术领域,具体涉及一种用于数据血缘的字段检索和路径展示的方法及系统。包括:监测数据库状态,在存有修改时更新基础信息表;遍历数据库,计算根节点到各节点的最短路径;生成路径索引表,将最短路径信息保存到路径索引表;批量输入待检索字段,筛选数据库中存在的字段;通过路径索引表获得待检索字段的最短路径信息;汇总最短路径信息并高亮展示。该用于数据血缘的字段检索和路径展示的方法及系统具有检索展示速度快和降低数据库负担的优点,使用路径索引表的内容快速获得最短路径信息,加快了检索展示的速度,解决了现有的数据血缘技术存有的检索展示耗时长和重复工作增加开销的问题,满足了数据血缘的维护需要。

Description

一种用于数据血缘的字段检索和路径展示的方法及系统
技术领域
本发明涉及数据处理技术领域,具体涉及一种用于数据血缘的字段检索和路径展示的方法及系统。
背景技术
数据血缘是指数据在产生、处理、流转到消亡的过程中,数据之间形成的一种类似于人类社会血缘的数据关系,通常来讲,对于业务过程中获取和产生的数据,需要对原始数据进行多个步骤的加工,并产生出新的数据,在该过程中会产生很多相互关联的数据表,数据在数据表之间的链路关系即称为数据血缘,通过将数据血缘的路径进行标识并展示,可以快速理清数据的流转逻辑和相互关系,便于进行常态化维护。
现有的数据血缘技术在检索时,需要对数据库中的数据进行遍历,即,当用户需要检索报表字段或需求字段时,在字段存在于数据库的情况下,需要查找出最短路径,并使用有向图来展示数据血缘,由于数据库中的数据量通常比较大,因此待检索的字段和数据血缘的字段节点数量众多,每次实时进行遍历效率很低,导致检索工作耗时比较长,难以快速展示结果,降低了用户体验,且相同的字段检索工作每次都要重复进行遍历,增加了额外的检索开销和读写负担,因此需要一种新的用于数据血缘的字段检索和路径展示的方法及系统。
发明内容
为了克服上述现有的数据血缘技术存有的检索展示耗时长和重复工作增加开销的技术缺陷,本发明提供一种检索展示速度快和降低数据库负担的用于数据血缘的字段检索和路径展示的方法及系统。
为了解决上述问题,本发明按以下技术方案予以实现的:
本发明所述的一种用于数据血缘的字段检索和路径展示的方法,其特征在于,该方法包括:
监测数据库状态,在存有修改时更新基础信息表;
遍历数据库,计算根节点到各节点的最短路径;
生成路径索引表,将最短路径信息保存到路径索引表;
批量输入待检索字段,筛选数据库中存在的字段;
通过路径索引表获得待检索字段的最短路径信息;
汇总最短路径信息并高亮展示。
所述的基础信息表用于存储数据,包括但不限于数据库中的报表字段和需求字段的信息。
所述的遍历数据库,计算根节点到各节点的最短路径,具体为:从数据库的根节点出发,遍历根节点,通过最短路径搜索算法,依次计算根节点到数据库中的各个节点的最短路径,直到获得数据库中的各个节点的最短路径信息。
所述的最短路径搜索算法为广度优先搜索算法。
所述的最短路径搜索算法以异步计算模式进行。
所述的生成路径索引表,将最短路径信息保存到路径索引表,具体为:生成并初始化路径索引表,对于数据库中的每一个节点,以键值对的方式,将节点和对应的最短路径信息保存到路径索引表中。
所述的批量输入待检索字段,筛选数据库中存在的字段,具体为:批量输入待检索字段,遍历待检索字段,依次检索字段是否存在于基础信息表中,若基础信息表中存有相应的字段,则保留该部分字段。
所述的通过路径索引表获得待检索字段的最短路径信息,具体为:输入待检索字段,遍历待检索字段,通过基础信息表解析出字段对应的节点,然后查找路径索引表,获得对应的最短路径信息。
所述的汇总最短路径信息并高亮展示,具体为:将各个待检索字段的最短路径信息进行汇总,合并最短路径中的共同节点,然后统计字段对应的节点和最短路径信息的数据,在显示终端上以高亮的方式进行绘制。
一种用于数据血缘的字段检索和路径展示的系统,其特征在于,该系统包括:
更新模块,用于监测数据库状态,在存有修改时更新基础信息表;
计算模块,用于遍历数据库,计算根节点到各节点的最短路径;
保存模块,用于生成路径索引表,将最短路径信息保存到路径索引表;
筛选模块,用于批量输入待检索字段,筛选数据库中存在的字段;
检索模块,用于通过路径索引表获得待检索字段的最短路径信息;
展示模块,用于汇总最短路径信息并高亮展示。
与现有技术相比,本发明的有益效果是:
本发明所述的一种用于数据血缘的字段检索和路径展示的方法及系统具有检索展示速度快和降低数据库负担的优点,通过在数据库修改更新时,生成路径索引表,即可在后续进行字段检索时直接使用路径索引表的内容,快速获得最短路径信息,显著加快了检索展示的速度,通过预先分配空间来储存路径索引表,即可实现以空间换时间的目的,且在路径索引表的数据可进行复用,对于相同的字段,无需反复进行检索,降低了数据库的读写负担,解决了现有的数据血缘技术存有的检索展示耗时长和重复工作增加开销的问题,满足了数据血缘的维护需要。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明,其中:
图1是本发明的方法流程示意图;
图2是本发明的系统结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
如图1~图2所示,本发明所述的一种用于数据血缘的字段检索和路径展示的方法,其特征在于,该方法包括:
101、监测数据库状态,在存有修改时更新基础信息表;
具体的,每当数据库中的数据出现增减或移动,即会使数据血缘关系出现变动,因此对基础信息表进行更新,以使基础信息表能跟随数据进行更新,所述的基础信息表用于存储数据,包括但不限于数据库中的报表字段和需求字段的信息。
102、遍历数据库,计算根节点到各节点的最短路径。
所述的遍历数据库,计算根节点到各节点的最短路径,具体为:从数据库的根节点出发,遍历根节点,通过最短路径搜索算法,依次计算根节点到数据库中的各个节点的最短路径,作为本发明一种较佳的实施方式,所述的最短路径搜索算法为广度优先搜索算法,具体的,其步骤为:初始化一个任务队列,将数据库中的根节点加入到任务队列中,若任务队列不为空,则将任务队列的第一个节点弹出,获取该节点的所有子节点,对子节点进行遍历,获取各节点的最短路径,并将子节点放进队列中;若任务队列为空,则表明最短路径搜索工作已完成,即获得数据库中的各个节点的最短路径信息。进一步的,所述的最短路径搜索算法以异步计算模式进行,以降低对数据库的实时影响,使数据库的增删改查工作正常进行。
103、生成路径索引表,将最短路径信息保存到路径索引表;
所述的生成路径索引表,将最短路径信息保存到路径索引表,具体为:生成并初始化路径索引表,对于数据库中的每一个节点,以键值对的方式,将节点和对应的最短路径信息保存到路径索引表中。
104、批量输入待检索字段,筛选数据库中存在的字段;
所述的批量输入待检索字段,筛选数据库中存在的字段,具体为:批量输入待检索字段,遍历待检索字段,依次检索字段是否存在于基础信息表中,若基础信息表中存有相应的字段,则保留该部分字段。
105、通过路径索引表获得待检索字段的最短路径信息;
所述的通过路径索引表获得待检索字段的最短路径信息,具体为:输入待检索字段,遍历待检索字段,通过基础信息表解析出字段对应的节点,然后查找路径索引表,获得对应的最短路径信息。
106、汇总最短路径信息并高亮展示。
所述的汇总最短路径信息并高亮展示,具体为:将各个待检索字段的最短路径信息进行汇总,合并最短路径中的共同节点,然后统计字段对应的节点和最短路径信息的数据,在显示终端上以高亮的方式进行绘制。
一种用于数据血缘的字段检索和路径展示的系统,其特征在于,该系统包括:
更新模块1,用于监测数据库状态,在存有修改时更新基础信息表;
计算模块2,用于遍历数据库,计算根节点到各节点的最短路径;
保存模块3,用于生成路径索引表,将最短路径信息保存到路径索引表;
筛选模块4,用于批量输入待检索字段,筛选数据库中存在的字段;
检索模块5,用于通过路径索引表获得待检索字段的最短路径信息;
展示模块6,用于汇总最短路径信息并高亮展示。
该用于数据血缘的字段检索和路径展示的方法及系统具有检索展示速度快和降低数据库负担的优点,通过在数据库修改更新时,生成路径索引表,即可在后续进行字段检索时直接使用路径索引表的内容,快速获得最短路径信息,显著加快了检索展示的速度,通过预先分配空间来储存路径索引表,即可实现以空间换时间的目的,且在路径索引表的数据可进行复用,对于相同的字段,无需反复进行检索,降低了数据库的读写负担,解决了现有的数据血缘技术存有的检索展示耗时长和重复工作增加开销的问题,满足了数据血缘的维护需要。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,故凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何修改、等同变化与修饰,均仍属于本发明技术方案的范围内。

Claims (7)

1.一种用于数据血缘的字段检索和路径展示的方法,其特征在于,该方法包括:
监测数据库状态,在存有修改时更新基础信息表;
遍历数据库,计算根节点到各节点的最短路径,具体为:从数据库的根节点出发,遍历根节点,通过最短路径搜索算法,依次计算根节点到数据库中的各个节点的最短路径,直到获得数据库中的各个节点的最短路径信息;所述的最短路径搜索算法为广度优先搜索算法,所述的最短路径搜索算法以异步计算模式进行;
其中,所述的最短路径搜索算法为广度优先搜索算法,具体步骤为:初始化一个任务队列,将数据库中的根节点加入到任务队列中,若任务队列不为空,则将任务队列的第一个节点弹出,获取该节点的所有子节点,对子节点进行遍历,获取各节点的最短路径,并将子节点放进队列中;若任务队列为空,则表明最短路径搜索工作已完成,即获得数据库中的各个节点的最短路径信息;
生成路径索引表,将最短路径信息保存到路径索引表;
批量输入待检索字段,筛选数据库中存在的字段;
通过路径索引表获得待检索字段的最短路径信息;
汇总最短路径信息并高亮展示。
2.根据权利要求1所述的一种用于数据血缘的字段检索和路径展示的方法,其特征在于:所述的基础信息表用于存储数据,包括但不限于数据库中的报表字段和需求字段的信息。
3.根据权利要求1所述的一种用于数据血缘的字段检索和路径展示的方法,其特征在于:所述的生成路径索引表,将最短路径信息保存到路径索引表,具体为:生成并初始化路径索引表,对于数据库中的每一个节点,以键值对的方式,将节点和对应的最短路径信息保存到路径索引表中。
4.根据权利要求1所述的一种用于数据血缘的字段检索和路径展示的方法,其特征在于:所述的批量输入待检索字段,筛选数据库中存在的字段,具体为:批量输入待检索字段,遍历待检索字段,依次检索字段是否存在于基础信息表中,若基础信息表中存有相应的字段,则保留该部分字段。
5.根据权利要求1所述的一种用于数据血缘的字段检索和路径展示的方法,其特征在于:所述的通过路径索引表获得待检索字段的最短路径信息,具体为:输入待检索字段,遍历待检索字段,通过基础信息表解析出字段对应的节点,然后查找路径索引表,获得对应的最短路径信息。
6.根据权利要求1所述的一种用于数据血缘的字段检索和路径展示的方法,其特征在于:所述的汇总最短路径信息并高亮展示,具体为:将各个待检索字段的最短路径信息进行汇总,合并最短路径中的共同节点,然后统计字段对应的节点和最短路径信息的数据,在显示终端上以高亮的方式进行绘制。
7.一种用于数据血缘的字段检索和路径展示的系统,其特征在于,该系统包括:
更新模块,用于监测数据库状态,在存有修改时更新基础信息表;
计算模块,用于遍历数据库,计算根节点到各节点的最短路径,具体为:从数据库的根节点出发,遍历根节点,通过最短路径搜索算法,依次计算根节点到数据库中的各个节点的最短路径,直到获得数据库中的各个节点的最短路径信息;所述的最短路径搜索算法为广度优先搜索算法,所述的最短路径搜索算法以异步计算模式进行;
其中,所述的最短路径搜索算法为广度优先搜索算法,具体步骤为:初始化一个任务队列,将数据库中的根节点加入到任务队列中,若任务队列不为空,则将任务队列的第一个节点弹出,获取该节点的所有子节点,对子节点进行遍历,获取各节点的最短路径,并将子节点放进队列中;若任务队列为空,则表明最短路径搜索工作已完成,即获得数据库中的各个节点的最短路径信息;
保存模块,用于生成路径索引表,将最短路径信息保存到路径索引表;
筛选模块,用于批量输入待检索字段,筛选数据库中存在的字段;
检索模块,用于通过路径索引表获得待检索字段的最短路径信息;
展示模块,用于汇总最短路径信息并高亮展示。
CN202110469207.3A 2021-04-28 2021-04-28 一种用于数据血缘的字段检索和路径展示的方法及系统 Active CN113220945B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110469207.3A CN113220945B (zh) 2021-04-28 2021-04-28 一种用于数据血缘的字段检索和路径展示的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110469207.3A CN113220945B (zh) 2021-04-28 2021-04-28 一种用于数据血缘的字段检索和路径展示的方法及系统

Publications (2)

Publication Number Publication Date
CN113220945A CN113220945A (zh) 2021-08-06
CN113220945B true CN113220945B (zh) 2024-05-31

Family

ID=77089905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110469207.3A Active CN113220945B (zh) 2021-04-28 2021-04-28 一种用于数据血缘的字段检索和路径展示的方法及系统

Country Status (1)

Country Link
CN (1) CN113220945B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840416A (zh) * 2010-03-16 2010-09-22 中国科学院计算技术研究所 一种跨区域路径搜索方法及装置
CN103226581A (zh) * 2013-04-02 2013-07-31 浙江大学 一种基于方向寻优的启发式最短路径搜索方法
CN103994769A (zh) * 2013-02-19 2014-08-20 腾讯科技(深圳)有限公司 地图导航路线获取方法和终端
CN105447105A (zh) * 2015-11-13 2016-03-30 福建农林大学 基于NoSQL的分布式物联网数据的单字段区间索引查询方式
CN105677826A (zh) * 2016-01-04 2016-06-15 博康智能网络科技股份有限公司 一种针对海量非结构化数据的资源管理方法
CN106709024A (zh) * 2016-12-28 2017-05-24 深圳市华傲数据技术有限公司 基于血缘分析进行数据表溯源的方法及装置
CN106777260A (zh) * 2016-12-28 2017-05-31 安徽云未科技有限公司 一种基于索引二叉树的查询方法和系统
CN106931971A (zh) * 2015-12-30 2017-07-07 沈阳美行科技有限公司 一种提供参考路线信息的方法及装置和设备
CN110717003A (zh) * 2019-09-27 2020-01-21 四川长虹电器股份有限公司 基于路径规划的智能购物车自主导航与自动跟随方法
CN111309989A (zh) * 2020-02-13 2020-06-19 平安科技(深圳)有限公司 基于图数据库的最短路径查询方法及相关设备
CN111538866A (zh) * 2020-04-03 2020-08-14 北京天元创新科技有限公司 一种用于获取等距无向图最短路径集合的方法及系统
CN111640218A (zh) * 2020-05-28 2020-09-08 广东电网有限责任公司 一种无人机巡检路线规划方法、装置、终端及存储介质
CN112115171A (zh) * 2020-09-28 2020-12-22 广州华多网络科技有限公司 数据聚合方法、装置、终端设备和计算机可读存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840416A (zh) * 2010-03-16 2010-09-22 中国科学院计算技术研究所 一种跨区域路径搜索方法及装置
CN103994769A (zh) * 2013-02-19 2014-08-20 腾讯科技(深圳)有限公司 地图导航路线获取方法和终端
CN103226581A (zh) * 2013-04-02 2013-07-31 浙江大学 一种基于方向寻优的启发式最短路径搜索方法
CN105447105A (zh) * 2015-11-13 2016-03-30 福建农林大学 基于NoSQL的分布式物联网数据的单字段区间索引查询方式
CN106931971A (zh) * 2015-12-30 2017-07-07 沈阳美行科技有限公司 一种提供参考路线信息的方法及装置和设备
CN105677826A (zh) * 2016-01-04 2016-06-15 博康智能网络科技股份有限公司 一种针对海量非结构化数据的资源管理方法
CN106777260A (zh) * 2016-12-28 2017-05-31 安徽云未科技有限公司 一种基于索引二叉树的查询方法和系统
CN106709024A (zh) * 2016-12-28 2017-05-24 深圳市华傲数据技术有限公司 基于血缘分析进行数据表溯源的方法及装置
CN110717003A (zh) * 2019-09-27 2020-01-21 四川长虹电器股份有限公司 基于路径规划的智能购物车自主导航与自动跟随方法
CN111309989A (zh) * 2020-02-13 2020-06-19 平安科技(深圳)有限公司 基于图数据库的最短路径查询方法及相关设备
CN111538866A (zh) * 2020-04-03 2020-08-14 北京天元创新科技有限公司 一种用于获取等距无向图最短路径集合的方法及系统
CN111640218A (zh) * 2020-05-28 2020-09-08 广东电网有限责任公司 一种无人机巡检路线规划方法、装置、终端及存储介质
CN112115171A (zh) * 2020-09-28 2020-12-22 广州华多网络科技有限公司 数据聚合方法、装置、终端设备和计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Shortest path computing in relational DBMSs;Jun Gao et al.;IEEE transactions on knowledge and data engineering;20140430;第26卷(第4期);全文 *
最优路径选择在配电网信息管理系统中的应用研究;叶显熠;中国优秀硕士学位论文全文数据库;20070515;C042-264 *

Also Published As

Publication number Publication date
CN113220945A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
EP1393206B1 (en) Data structure for information systems
CN108228817A (zh) 数据处理方法、装置和系统
CN106991141B (zh) 一种基于深度剪枝策略的关联规则挖掘方法
CN110297853B (zh) 频繁集挖掘方法和装置
CN114168608B (zh) 一种用于更新知识图谱的数据处理系统
CN113918733B (zh) 一种获取目标知识图谱的数据处理系统
Zhang et al. A survey of key technologies for high utility patterns mining
CN113987139A (zh) 一种基于知识图谱的航空发动机fadec系统软件缺陷案例可视化查询管理系统
US10896163B1 (en) Method and apparatus for query formulation
Cheng et al. ETKDS: An efficient algorithm of Top-K high utility itemsets mining over data streams under sliding window model
Le-Phuoc Operator-aware approach for boosting performance in RDF stream processing
CN110874366A (zh) 数据处理、查询方法和装置
CN113220945B (zh) 一种用于数据血缘的字段检索和路径展示的方法及系统
KR101955376B1 (ko) 비공유 아키텍처 기반의 분산 스트림 처리 엔진에서 관계형 질의를 처리하는 방법, 이를 수행하기 위한 기록 매체 및 장치
RU2433467C1 (ru) Способ формирования структуры агрегированных данных и способ поиска данных посредством структуры агрегированных данных в системе управления базами данных
CN116955856A (zh) 信息展示方法、装置、电子设备以及存储介质
CN107609110B (zh) 基于分类树的最大多样频繁模式的挖掘方法及装置
CN115329150A (zh) 生成搜索条件树的方法、装置、电子设备及存储介质
CN106682107B (zh) 数据库表关联关系确定方法及装置
CN114564914A (zh) 表格数据的展示方法、装置、电子设备及介质
CN113342844A (zh) 工业智能搜索系统
CN109241098B (zh) 一种分布式数据库的查询优化方法
CN106776704A (zh) 统计信息收集方法和装置
CN113076322A (zh) 一种商品搜索处理方法及装置
Chen et al. Incremental high average-utility itemset mining: survey and challenges

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant