CN113220945A - 一种用于数据血缘的字段检索和路径展示的方法及系统 - Google Patents
一种用于数据血缘的字段检索和路径展示的方法及系统 Download PDFInfo
- Publication number
- CN113220945A CN113220945A CN202110469207.3A CN202110469207A CN113220945A CN 113220945 A CN113220945 A CN 113220945A CN 202110469207 A CN202110469207 A CN 202110469207A CN 113220945 A CN113220945 A CN 113220945A
- Authority
- CN
- China
- Prior art keywords
- shortest path
- database
- path
- fields
- index table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 239000008280 blood Substances 0.000 title abstract description 11
- 210000004369 blood Anatomy 0.000 title abstract description 11
- 238000012216 screening Methods 0.000 claims abstract description 13
- 238000012986 modification Methods 0.000 claims abstract description 9
- 230000004048 modification Effects 0.000 claims abstract description 9
- 238000012544 monitoring process Methods 0.000 claims abstract description 7
- 238000010845 search algorithm Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
Abstract
本发明涉及数据处理技术领域，具体涉及一种用于数据血缘的字段检索和路径展示的方法及系统。包括：监测数据库状态，在存有修改时更新基础信息表；遍历数据库，计算根节点到各节点的最短路径；生成路径索引表，将最短路径信息保存到路径索引表；批量输入待检索字段，筛选数据库中存在的字段；通过路径索引表获得待检索字段的最短路径信息；汇总最短路径信息并高亮展示。该用于数据血缘的字段检索和路径展示的方法及系统具有检索展示速度快和降低数据库负担的优点，使用路径索引表的内容快速获得最短路径信息，加快了检索展示的速度，解决了现有的数据血缘技术存有的检索展示耗时长和重复工作增加开销的问题，满足了数据血缘的维护需要。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及一种用于数据血缘的字段检索和路径展示的方法及系统。
背景技术
数据血缘是指数据在产生、处理、流转到消亡的过程中，数据之间形成的一种类似于人类社会血缘的数据关系，通常来讲，对于业务过程中获取和产生的数据，需要对原始数据进行多个步骤的加工，并产生出新的数据，在该过程中会产生很多相互关联的数据表，数据在数据表之间的链路关系即称为数据血缘，通过将数据血缘的路径进行标识并展示，可以快速理清数据的流转逻辑和相互关系，便于进行常态化维护。
现有的数据血缘技术在检索时，需要对数据库中的数据进行遍历，即，当用户需要检索报表字段或需求字段时，在字段存在于数据库的情况下，需要查找出最短路径，并使用有向图来展示数据血缘，由于数据库中的数据量通常比较大，因此待检索的字段和数据血缘的字段节点数量众多，每次实时进行遍历效率很低，导致检索工作耗时比较长，难以快速展示结果，降低了用户体验，且相同的字段检索工作每次都要重复进行遍历，增加了额外的检索开销和读写负担，因此需要一种新的用于数据血缘的字段检索和路径展示的方法及系统。
发明内容
为了克服上述现有的数据血缘技术存有的检索展示耗时长和重复工作增加开销的技术缺陷，本发明提供一种检索展示速度快和降低数据库负担的用于数据血缘的字段检索和路径展示的方法及系统。
为了解决上述问题，本发明按以下技术方案予以实现的：
本发明所述的一种用于数据血缘的字段检索和路径展示的方法，其特征在于，该方法包括：
监测数据库状态，在存有修改时更新基础信息表；
遍历数据库，计算根节点到各节点的最短路径；
生成路径索引表，将最短路径信息保存到路径索引表；
批量输入待检索字段，筛选数据库中存在的字段；
通过路径索引表获得待检索字段的最短路径信息；
汇总最短路径信息并高亮展示。
所述的基础信息表用于存储数据，包括但不限于数据库中的报表字段和需求字段的信息。
所述的遍历数据库，计算根节点到各节点的最短路径，具体为：从数据库的根节点出发，遍历根节点，通过最短路径搜索算法，依次计算根节点到数据库中的各个节点的最短路径，直到获得数据库中的各个节点的最短路径信息。
所述的最短路径搜索算法为广度优先搜索算法。
所述的最短路径搜索算法以异步计算模式进行。
所述的生成路径索引表，将最短路径信息保存到路径索引表，具体为：生成并初始化路径索引表，对于数据库中的每一个节点，以键值对的方式，将节点和对应的最短路径信息保存到路径索引表中。
所述的批量输入待检索字段，筛选数据库中存在的字段，具体为：批量输入待检索字段，遍历待检索字段，依次检索字段是否存在于基础信息表中，若基础信息表中存有相应的字段，则保留该部分字段。
所述的通过路径索引表获得待检索字段的最短路径信息，具体为：输入待检索字段，遍历待检索字段，通过基础信息表解析出字段对应的节点，然后查找路径索引表，获得对应的最短路径信息。
所述的汇总最短路径信息并高亮展示，具体为：将各个待检索字段的最短路径信息进行汇总，合并最短路径中的共同节点，然后统计字段对应的节点和最短路径信息的数据，在显示终端上以高亮的方式进行绘制。
一种用于数据血缘的字段检索和路径展示的系统，其特征在于，该系统包括：
更新模块，用于监测数据库状态，在存有修改时更新基础信息表；
计算模块，用于遍历数据库，计算根节点到各节点的最短路径；
保存模块，用于生成路径索引表，将最短路径信息保存到路径索引表；
筛选模块，用于批量输入待检索字段，筛选数据库中存在的字段；
检索模块，用于通过路径索引表获得待检索字段的最短路径信息；
展示模块，用于汇总最短路径信息并高亮展示。
与现有技术相比，本发明的有益效果是：
本发明所述的一种用于数据血缘的字段检索和路径展示的方法及系统具有检索展示速度快和降低数据库负担的优点，通过在数据库修改更新时，生成路径索引表，即可在后续进行字段检索时直接使用路径索引表的内容，快速获得最短路径信息，显著加快了检索展示的速度，通过预先分配空间来储存路径索引表，即可实现以空间换时间的目的，且在路径索引表的数据可进行复用，对于相同的字段，无需反复进行检索，降低了数据库的读写负担，解决了现有的数据血缘技术存有的检索展示耗时长和重复工作增加开销的问题，满足了数据血缘的维护需要。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明，其中：
图1是本发明的方法流程示意图；
图2是本发明的系统结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1～图2所示，本发明所述的一种用于数据血缘的字段检索和路径展示的方法，其特征在于，该方法包括：
101、监测数据库状态，在存有修改时更新基础信息表；
具体的，每当数据库中的数据出现增减或移动，即会使数据血缘关系出现变动，因此对基础信息表进行更新，以使基础信息表能跟随数据进行更新，所述的基础信息表用于存储数据，包括但不限于数据库中的报表字段和需求字段的信息。
102、遍历数据库，计算根节点到各节点的最短路径。
所述的遍历数据库，计算根节点到各节点的最短路径，具体为：从数据库的根节点出发，遍历根节点，通过最短路径搜索算法，依次计算根节点到数据库中的各个节点的最短路径，作为本发明一种较佳的实施方式，所述的最短路径搜索算法为广度优先搜索算法，具体的，其步骤为：初始化一个任务队列，将数据库中的根节点加入到任务队列中，若任务队列不为空，则将任务队列的第一个节点弹出，获取该节点的所有子节点，对子节点进行遍历，获取各节点的最短路径，并将子节点放进队列中；若任务队列为空，则表明最短路径搜索工作已完成，即获得数据库中的各个节点的最短路径信息。进一步的，所述的最短路径搜索算法以异步计算模式进行，以降低对数据库的实时影响，使数据库的增删改查工作正常进行。
103、生成路径索引表，将最短路径信息保存到路径索引表；
所述的生成路径索引表，将最短路径信息保存到路径索引表，具体为：生成并初始化路径索引表，对于数据库中的每一个节点，以键值对的方式，将节点和对应的最短路径信息保存到路径索引表中。
104、批量输入待检索字段，筛选数据库中存在的字段；
所述的批量输入待检索字段，筛选数据库中存在的字段，具体为：批量输入待检索字段，遍历待检索字段，依次检索字段是否存在于基础信息表中，若基础信息表中存有相应的字段，则保留该部分字段。
105、通过路径索引表获得待检索字段的最短路径信息；
所述的通过路径索引表获得待检索字段的最短路径信息，具体为：输入待检索字段，遍历待检索字段，通过基础信息表解析出字段对应的节点，然后查找路径索引表，获得对应的最短路径信息。
106、汇总最短路径信息并高亮展示。
所述的汇总最短路径信息并高亮展示，具体为：将各个待检索字段的最短路径信息进行汇总，合并最短路径中的共同节点，然后统计字段对应的节点和最短路径信息的数据，在显示终端上以高亮的方式进行绘制。
一种用于数据血缘的字段检索和路径展示的系统，其特征在于，该系统包括：
更新模块1，用于监测数据库状态，在存有修改时更新基础信息表；
计算模块2，用于遍历数据库，计算根节点到各节点的最短路径；
保存模块3，用于生成路径索引表，将最短路径信息保存到路径索引表；
筛选模块4，用于批量输入待检索字段，筛选数据库中存在的字段；
检索模块5，用于通过路径索引表获得待检索字段的最短路径信息；
展示模块6，用于汇总最短路径信息并高亮展示。
该用于数据血缘的字段检索和路径展示的方法及系统具有检索展示速度快和降低数据库负担的优点，通过在数据库修改更新时，生成路径索引表，即可在后续进行字段检索时直接使用路径索引表的内容，快速获得最短路径信息，显著加快了检索展示的速度，通过预先分配空间来储存路径索引表，即可实现以空间换时间的目的，且在路径索引表的数据可进行复用，对于相同的字段，无需反复进行检索，降低了数据库的读写负担，解决了现有的数据血缘技术存有的检索展示耗时长和重复工作增加开销的问题，满足了数据血缘的维护需要。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，故凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (10)
1.一种用于数据血缘的字段检索和路径展示的方法，其特征在于，该方法包括：
监测数据库状态，在存有修改时更新基础信息表；
遍历数据库，计算根节点到各节点的最短路径；
生成路径索引表，将最短路径信息保存到路径索引表；
批量输入待检索字段，筛选数据库中存在的字段；
通过路径索引表获得待检索字段的最短路径信息；
汇总最短路径信息并高亮展示。
2.根据权利要求1所述的一种用于数据血缘的字段检索和路径展示的方法，其特征在于：所述的基础信息表用于存储数据，包括但不限于数据库中的报表字段和需求字段的信息。
3.根据权利要求1所述的一种用于数据血缘的字段检索和路径展示的方法，其特征在于：所述的遍历数据库，计算根节点到各节点的最短路径，具体为：从数据库的根节点出发，遍历根节点，通过最短路径搜索算法，依次计算根节点到数据库中的各个节点的最短路径，直到获得数据库中的各个节点的最短路径信息。
4.根据权利要求3所述的一种用于数据血缘的字段检索和路径展示的方法，其特征在于：所述的最短路径搜索算法为广度优先搜索算法。
5.根据权利要求3所述的一种用于数据血缘的字段检索和路径展示的方法，其特征在于：所述的最短路径搜索算法以异步计算模式进行。
6.根据权利要求1所述的一种用于数据血缘的字段检索和路径展示的方法，其特征在于：所述的生成路径索引表，将最短路径信息保存到路径索引表，具体为：生成并初始化路径索引表，对于数据库中的每一个节点，以键值对的方式，将节点和对应的最短路径信息保存到路径索引表中。
7.根据权利要求1所述的一种用于数据血缘的字段检索和路径展示的方法，其特征在于：所述的批量输入待检索字段，筛选数据库中存在的字段，具体为：批量输入待检索字段，遍历待检索字段，依次检索字段是否存在于基础信息表中，若基础信息表中存有相应的字段，则保留该部分字段。
8.根据权利要求1所述的一种用于数据血缘的字段检索和路径展示的方法，其特征在于：所述的通过路径索引表获得待检索字段的最短路径信息，具体为：输入待检索字段，遍历待检索字段，通过基础信息表解析出字段对应的节点，然后查找路径索引表，获得对应的最短路径信息。
9.根据权利要求1所述的一种用于数据血缘的字段检索和路径展示的方法，其特征在于：所述的汇总最短路径信息并高亮展示，具体为：将各个待检索字段的最短路径信息进行汇总，合并最短路径中的共同节点，然后统计字段对应的节点和最短路径信息的数据，在显示终端上以高亮的方式进行绘制。
10.一种用于数据血缘的字段检索和路径展示的系统，其特征在于，该系统包括：
更新模块，用于监测数据库状态，在存有修改时更新基础信息表；
计算模块，用于遍历数据库，计算根节点到各节点的最短路径；
保存模块，用于生成路径索引表，将最短路径信息保存到路径索引表；
筛选模块，用于批量输入待检索字段，筛选数据库中存在的字段；
检索模块，用于通过路径索引表获得待检索字段的最短路径信息；
展示模块，用于汇总最短路径信息并高亮展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110469207.3A CN113220945A (zh) | 2021-04-28 | 2021-04-28 | 一种用于数据血缘的字段检索和路径展示的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110469207.3A CN113220945A (zh) | 2021-04-28 | 2021-04-28 | 一种用于数据血缘的字段检索和路径展示的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113220945A true CN113220945A (zh) | 2021-08-06 |
Family
ID=77089905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110469207.3A Pending CN113220945A (zh) | 2021-04-28 | 2021-04-28 | 一种用于数据血缘的字段检索和路径展示的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113220945A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103994769A (zh) * | 2013-02-19 | 2014-08-20 | 腾讯科技（深圳）有限公司 | 地图导航路线获取方法和终端 |
| CN105447105A (zh) * | 2015-11-13 | 2016-03-30 | 福建农林大学 | 基于NoSQL的分布式物联网数据的单字段区间索引查询方式 |
| CN105677826A (zh) * | 2016-01-04 | 2016-06-15 | 博康智能网络科技股份有限公司 | 一种针对海量非结构化数据的资源管理方法 |
| CN106709024A (zh) * | 2016-12-28 | 2017-05-24 | 深圳市华傲数据技术有限公司 | 基于血缘分析进行数据表溯源的方法及装置 |
| CN106777260A (zh) * | 2016-12-28 | 2017-05-31 | 安徽云未科技有限公司 | 一种基于索引二叉树的查询方法和系统 |
| CN106931971A (zh) * | 2015-12-30 | 2017-07-07 | 沈阳美行科技有限公司 | 一种提供参考路线信息的方法及装置和设备 |
| CN110717003A (zh) * | 2019-09-27 | 2020-01-21 | 四川长虹电器股份有限公司 | 基于路径规划的智能购物车自主导航与自动跟随方法 |
| CN111309989A (zh) * | 2020-02-13 | 2020-06-19 | 平安科技（深圳）有限公司 | 基于图数据库的最短路径查询方法及相关设备 |
| CN111538866A (zh) * | 2020-04-03 | 2020-08-14 | 北京天元创新科技有限公司 | 一种用于获取等距无向图最短路径集合的方法及系统 |
| CN111640218A (zh) * | 2020-05-28 | 2020-09-08 | 广东电网有限责任公司 | 一种无人机巡检路线规划方法、装置、终端及存储介质 |
| CN112115171A (zh) * | 2020-09-28 | 2020-12-22 | 广州华多网络科技有限公司 | 数据聚合方法、装置、终端设备和计算机可读存储介质 |
-
2021
- 2021-04-28 CN CN202110469207.3A patent/CN113220945A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103994769A (zh) * | 2013-02-19 | 2014-08-20 | 腾讯科技（深圳）有限公司 | 地图导航路线获取方法和终端 |
| CN105447105A (zh) * | 2015-11-13 | 2016-03-30 | 福建农林大学 | 基于NoSQL的分布式物联网数据的单字段区间索引查询方式 |
| CN106931971A (zh) * | 2015-12-30 | 2017-07-07 | 沈阳美行科技有限公司 | 一种提供参考路线信息的方法及装置和设备 |
| CN105677826A (zh) * | 2016-01-04 | 2016-06-15 | 博康智能网络科技股份有限公司 | 一种针对海量非结构化数据的资源管理方法 |
| CN106709024A (zh) * | 2016-12-28 | 2017-05-24 | 深圳市华傲数据技术有限公司 | 基于血缘分析进行数据表溯源的方法及装置 |
| CN106777260A (zh) * | 2016-12-28 | 2017-05-31 | 安徽云未科技有限公司 | 一种基于索引二叉树的查询方法和系统 |
| CN110717003A (zh) * | 2019-09-27 | 2020-01-21 | 四川长虹电器股份有限公司 | 基于路径规划的智能购物车自主导航与自动跟随方法 |
| CN111309989A (zh) * | 2020-02-13 | 2020-06-19 | 平安科技（深圳）有限公司 | 基于图数据库的最短路径查询方法及相关设备 |
| CN111538866A (zh) * | 2020-04-03 | 2020-08-14 | 北京天元创新科技有限公司 | 一种用于获取等距无向图最短路径集合的方法及系统 |
| CN111640218A (zh) * | 2020-05-28 | 2020-09-08 | 广东电网有限责任公司 | 一种无人机巡检路线规划方法、装置、终端及存储介质 |
| CN112115171A (zh) * | 2020-09-28 | 2020-12-22 | 广州华多网络科技有限公司 | 数据聚合方法、装置、终端设备和计算机可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| JUN GAO ET AL.: "Shortest path computing in relational DBMSs", IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, vol. 26, no. 4, 30 April 2014 (2014-04-30), XP011543792, DOI: 10.1109/TKDE.2013.43 * |
| 叶显熠: "最优路径选择在配电网信息管理系统中的应用研究", 中国优秀硕士学位论文全文数据库, 15 May 2007 (2007-05-15), pages 042 - 264 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10061841B2 (en) | Fast path traversal in a relational database-based graph structure | |
| WO2021164382A1 (zh) | 针对用户分类模型进行特征处理的方法及装置 | |
| JP4676498B2 (ja) | 相関ルールを抽出する方法及びシステム | |
| US20090300043A1 (en) | Text based schema discovery and information extraction | |
| JP2013149277A (ja) | 圧縮データの構造を問い合わせる方法 | |
| CN111159184B (zh) | 元数据追溯方法、装置及服务器 | |
| JPH11328186A (ja) | 相関ルール生成方法および相関ルール生成装置 | |
| JP2006309446A (ja) | 分類辞書更新装置、分類辞書更新プログラムおよび分類辞書更新方法 | |
| CN109062936B (zh) | 一种数据查询方法、计算机可读存储介质及终端设备 | |
| CN108052542B (zh) | 一种基于presto的数据的多维数据的分析方法 | |
| CN112507133A (zh) | 基于金融产品知识图谱实现关联搜索的方法、装置、处理器及其存储介质 | |
| CN108288228B (zh) | 社交网络信息获取方法和装置 | |
| CN113220945A (zh) | 一种用于数据血缘的字段检索和路径展示的方法及系统 | |
| CN116955856A (zh) | 信息展示方法、装置、电子设备以及存储介质 | |
| CN115309789B (zh) | 一种基于业务对象智能动态化实时生成关联数据图的方法 | |
| CN115328366A (zh) | 基于全路径计算的千万级树形节点搜索展示方法和系统 | |
| CN114564501A (zh) | 一种数据库数据存储、查询方法、装置、设备及介质 | |
| CN113641705A (zh) | 一种基于计算引擎的营销处置规则引擎方法 | |
| Ni et al. | ARTAR: Temporal association rule mining algorithm based on attribute reduction | |
| CN105912404A (zh) | 一种基于磁盘的大规模图数据中寻找强连通分量的方法 | |
| CN111782658A (zh) | 交叉表处理方法、装置、电子设备及存储介质 | |
| CN110678854B (zh) | 数据查询的方法和装置 | |
| US10977294B2 (en) | Cognitive visual and ontological mapping of tabular data based on a distribution of a measure of interest | |
| CN108073712A (zh) | 信息系统中的主数据删除方法、装置和计算机设备 | |
| CN114265848A (zh) | 一种数据对比检索方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |