CN117688217A - 基于有向图实现数据血缘关系结构的系统、方法及介质 - Google Patents
基于有向图实现数据血缘关系结构的系统、方法及介质 Download PDFInfo
- Publication number
- CN117688217A CN117688217A CN202410145761.XA CN202410145761A CN117688217A CN 117688217 A CN117688217 A CN 117688217A CN 202410145761 A CN202410145761 A CN 202410145761A CN 117688217 A CN117688217 A CN 117688217A
- Authority
- CN
- China
- Prior art keywords
- data
- preset
- directed graph
- node
- relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 239000008280 blood Substances 0.000 title claims description 21
- 210000004369 blood Anatomy 0.000 title claims description 21
- 238000004458 analytical method Methods 0.000 claims abstract description 19
- 238000013524 data verification Methods 0.000 claims description 25
- 238000010586 diagram Methods 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 230000005856 abnormality Effects 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 241001282153 Scopelogadus mizolepis Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
- G06N5/025—Extracting rules from data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种基于有向图实现数据血缘关系结构的系统、方法及介质，主要涉及数据血缘关系技术领域，用以解决现有的方法主要侧重于整条记录的血缘关系分析，不具有数据内部数据血缘关系的提取采集的功能。包括：基于给定数据的内容，将给定数据切分为节点数据结构的节点数据、关系数据，以及预设节点逻辑规则和预设关系逻辑规则；在操作指令对应新建有向图时，将节点数据、预设节点逻辑规则的运行结果和预设关系逻辑规则的运行结果作为节点；将关系数据、预设节点逻辑规则和预设关系逻辑规则作为边；在操作指令对应打开现有有向图时，基于预设解析引擎，将存在的数据更新至现有有向图中，将不存在数据添加至现有有向图中。
Description
技术领域
本申请涉及数据血缘关系技术领域，尤其涉及一种基于有向图实现数据血缘关系结构的系统、方法及介质。
背景技术
随着大数据时代的到来，数据量呈现指数爆炸性增长，数据的复杂性和多样性也日益增强，数据之间的关系变得越来越复杂，在这些大规模数据中，数据之间的血缘关系对于数据的质量，可信度及可解释性等，起着正要作用，数据血缘的追踪变得尤为重要。
数据血缘关系是指数据在产生，处理，流转到消亡过程中，数据之间形成的一种类似于人类社会血缘关系的关系.这种情况可以用于描述数据的来源和流向，即数据的血缘关系可以表示数据是如何从原始数据经过一系列的处理和转换，最终形成我们得到的结果数据的过程。
现有的，查询数据血缘关系的方法有：一种基于语法分析的获取数据血缘关系的系统及方法，包括数据血缘关系分析服务器；数据血缘关系分析服务器主要由原始操作信息输入模块、框架分析模块、词法分析模块、语法分析模块、中间结果信息生成模块、数据血缘关系逻辑分析模块和查询接口；还包括血缘关系代理插件。
但是，上述方案主要侧重于整条记录的血缘关系分析，不具有拆分整条记录数据，进行数据内部数据血缘关系的提取采集的功能。
发明内容
针对现有技术的上述不足，本申请提供一种基于有向图实现数据血缘关系结构的系统、方法及介质，以解决现有的方法主要侧重于整条记录的血缘关系分析，不具有拆分整条记录数据，进行数据内部数据血缘关系的提取采集的功能。
第一方面，本申请提供了一种基于有向图实现数据血缘关系结构的方法，有向图包括节点和边，方法包括：获取向量图中节点对应的节点数据结构、向量图中边对应的关系数据结构、节点与节点之间预设节点逻辑规则、关系与关系之间的预设关系逻辑规则；其中，节点数据结构至少包括节点唯一标识、节点类型、数据类型、预设节点扩展数据，关系数据结构至少包括关系唯一标识、起点节点数据、终点节点数据、关系类型、预设关系扩展数据，预设节点逻辑规则至少包括预设节点运算公式和节点逻辑唯一标识，预设关系逻辑规则至少包括预设关系运算公式和关系逻辑唯一标识；读取给定数据，基于给定数据的内容，将给定数据切分为节点数据结构的节点数据和/或关系数据结构的关系数据，以及获得给定数据的内容中的预设节点逻辑规则和预设关系逻辑规则；获取操作指令，以新建有向图或打开现有有向图；在操作指令对应新建有向图时，将节点数据作为新建有向图的节点；将预设节点逻辑规则的第一预设运行结果和预设关系逻辑规则的第二预设运行结果作为新建有向图的节点；将关系数据、预设节点逻辑规则和预设关系逻辑规则作为新建有向图的边，以完成新建有向图；在操作指令对应打开现有有向图时，基于唯一标识，确定给定数据对应的节点数据、关系数据、预设节点逻辑规则和预设关系逻辑规则是否存在于现有有向图中；基于预设解析引擎，将存在的数据更新至现有有向图中，将不存在数据添加至现有有向图中。
进一步地，在基于给定数据的内容，将给定数据切分为节点数据结构的节点数据和/或关系数据结构的关系数据，以及获得给定数据的内容中的预设节点逻辑规则和预设关系逻辑规则之后，方法还包括：获取加密方法以及待加密数据；其中，待加密数据至少包括以下任意一项或多项：节点数据、关系数据、预设节点逻辑规则和预设关系逻辑规则；基于加密方法，对待加密数据进行加密处理；在后续接收到待加密数据的查询操作时，调用预设解密处理器，将加密处理的数据进行解密。
进一步地，在将存在的数据更新至现有有向图中之前，方法还包括：将现有有向图中的数据存储至预设历史数据库中。
进一步地，在完成新建有向图之后和在基于预设解析引擎，将存在的数据更新至现有有向图中，将不存在数据添加至现有有向图中之后，方法还包括：基于预设数据校验规则，对新建有向图和现有有向图进行数据校验，在不满足预设数据校验规则时，进行有向图异常告警。
进一步地，初始第一预设运行结果和初始第二预设运行结果为空值。
第二方面，本申请提供了一种基于有向图实现数据血缘关系结构的系统，系统包括：获取模块，用于获取向量图中节点对应的节点数据结构、向量图中边对应的关系数据结构、节点与节点之间预设节点逻辑规则、关系与关系之间的预设关系逻辑规则；其中，节点数据结构至少包括节点唯一标识、节点类型、数据类型、预设节点扩展数据，关系数据结构至少包括关系唯一标识、起点节点数据、终点节点数据、关系类型、预设关系扩展数据，预设节点逻辑规则至少包括预设节点运算公式和节点逻辑唯一标识，预设关系逻辑规则至少包括预设关系运算公式和关系逻辑唯一标识；获得模块，与获取模块相连，用于读取给定数据，基于给定数据的内容，将给定数据切分为节点数据结构的节点数据和/或关系数据结构的关系数据，以及获得给定数据的内容中的预设节点逻辑规则和预设关系逻辑规则；有向图模块，用于获取操作指令，以新建有向图或打开现有有向图；新建有向图模块，分别与获得模块和有向图模块相连，用于在操作指令对应新建有向图时，将节点数据作为新建有向图的节点；将预设节点逻辑规则的第一预设运行结果和预设关系逻辑规则的第二预设运行结果作为新建有向图的节点；将关系数据、预设节点逻辑规则和预设关系逻辑规则作为新建有向图的边，以完成新建有向图；更新有向图模块，分别与获得模块和有向图模块相连，用于在操作指令对应打开现有有向图时，基于唯一标识，确定给定数据对应的节点数据、关系数据、预设节点逻辑规则和预设关系逻辑规则是否存在于现有有向图中；基于预设解析引擎，将存在的数据更新至现有有向图中，将不存在数据添加至现有有向图中。
进一步地，获得模块包括加密处理单元，用于获取加密方法以及待加密数据；其中，待加密数据至少包括以下任意一项或多项：节点数据、关系数据、预设节点逻辑规则和预设关系逻辑规则；基于加密方法，对待加密数据进行加密处理；在后续接收到待加密数据的查询操作时，调用预设解密处理器，将加密处理的数据进行解密。
进一步地，更新有向图模块包括存储单元，用于将现有有向图中的数据存储至预设历史数据库中。
进一步地，系统还包括数据校验模块，分别与新建有向图模块和更新有向图模块相连，用于基于预设数据校验规则，对新建有向图和现有有向图进行数据校验，在不满足预设数据校验规则时，进行有向图异常告警。
第三方面，本申请提供了一种非易失性计算机存储介质，其上存储有计算机指令，计算机指令在被执行时实现如上述任一项的一种基于有向图实现数据血缘关系结构的方法。
本领域技术人员能够理解的是，本申请至少具有如下有益效果：
本申请将给定数据切分为节点数据结构的节点数据和/或关系数据结构的关系数据，以及获得给定数据的内容中的预设节点逻辑规则和预设关系逻辑规则，将节点数据作为新建有向图的节点；将预设节点逻辑规则的第一预设运行结果和预设关系逻辑规则的第二预设运行结果作为新建有向图的节点；将关系数据、预设节点逻辑规则和预设关系逻辑规则作为新建有向图的边，以完成将血缘数据转换成有向图（解决了现有的方法主要侧重于整条记录的血缘关系分析，不具有拆分整条记录数据，无法进行数据内部数据血缘关系的提取采集的问题）。且本申请能够利用有向图的特性，实现高效的数据存储和查询， 支持大规模数据的处理，可实现快速的数据分析和决策。且本申请对于扩展数据中较大存储空间的扩展数据节点，可进行节点复用，能够有效节省数据存储空间。
另外，本申请还可以对数据进行加密和解码，确保了数据的机密性和完整性。
附图说明
下面参照附图来描述本公开的部分实施例，附图中：
图1是本申请实施例提供的一种基于有向图实现数据血缘关系结构的方法流程图。
图2是本申请实施例提供的一种基于有向图实现数据血缘关系结构的系统内部结构示意图。
具体实施方式
本领域技术人员应当理解的是，下文所描述的实施例仅仅是本公开的优选实施例，并不表示本公开仅能通过该优选实施例实现，该优选实施例仅仅是用于解释本公开的技术原理，并非用于限制本公开的保护范围。基于本公开提供的优选实施例，本领域普通技术人员在没有付出创造性劳动的情况下所获得的其它所有实施例，仍应落入到本公开的保护范围之内。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
下面通过附图对本申请实施例提出的技术方案进行详细的说明。
本申请实施例提供了一种基于有向图实现数据血缘关系结构的方法，如图1所示，本申请实施例提供的方法，主要包括以下步骤：
步骤110、获取向量图中节点对应的节点数据结构、向量图中边对应的关系数据结构、节点与节点之间预设节点逻辑规则、关系与关系之间的预设关系逻辑规则。
需要说明的是，节点数据结构至少包括节点唯一标识、节点类型、数据类型、预设节点扩展数据，关系数据结构至少包括关系唯一标识、起点节点数据、终点节点数据、关系类型、预设关系扩展数据，预设节点逻辑规则至少包括预设节点运算公式和节点逻辑唯一标识，预设关系逻辑规则至少包括预设关系运算公式和关系逻辑唯一标识。
另外，节点数据结构、关系数据结构、预设节点逻辑规则、预设关系逻辑规则的具体内容可由本领域技术人员根据实际情况确定。
作为示例一地，节点数据结构为：小明同学的节点信息：{节点唯一标识：10001，节点类型：Student，预设节点扩展数据：[{预设节点扩展数据的编号：10001-1，标签：预设节点扩展数据，关键字：name,value：小明，数据类型：string},{预设节点扩展数据的编号：10001-2，标签：预设节点扩展数据，关键字：age,value:18，数据类型：number}]}。
作为示例二地，关系数据结构为：小明和小离是朋友关系：{关系唯一标识：R10001-10002，起点节点数据：[小明]，终点节点数据：[小离]，关系类型l:Friend，预设关系扩展数据：NULL}。
步骤120、读取给定数据，基于给定数据的内容，将给定数据切分为节点数据结构的节点数据和/或关系数据结构的关系数据，以及获得给定数据的内容中的预设节点逻辑规则和预设关系逻辑规则。
需要说明的是，给定数据为存在血缘关系的数据。将数据进行切分的方法可由现有技术实现，本申请不作限定。
另外，在基于给定数据的内容，将给定数据切分为节点数据结构的节点数据和/或关系数据结构的关系数据，以及获得给定数据的内容中的预设节点逻辑规则和预设关系逻辑规则之后，本申请还可以对数据进行加密处理，具体过程可以为：
获取加密方法以及待加密数据；其中，待加密数据至少包括以下任意一项或多项：节点数据、关系数据、预设节点逻辑规则和预设关系逻辑规则；基于加密方法，对待加密数据进行加密处理；在后续接收到待加密数据的查询操作时，调用预设解密处理器，将加密处理的数据进行解密。
步骤130、获取操作指令，以新建有向图或打开现有有向图。
需要说明的是，基于用户触发操作指令，在操作指令为新建有向图时，新建有向图；在操作指令为打开现有有向图，打开现有有向图。
步骤140、在操作指令对应新建有向图时，将节点数据作为新建有向图的节点；将预设节点逻辑规则的第一预设运行结果和预设关系逻辑规则的第二预设运行结果作为新建有向图的节点；将关系数据、预设节点逻辑规则和预设关系逻辑规则作为新建有向图的边，以完成新建有向图。
需要说明的是，初始第一预设运行结果和初始第二预设运行结果为空值。在设节点逻辑规则或预设关系逻辑规则被具体数据调用时，进行具体数值的计算。
其中，本申请能够对异常数据进行检测，在完成新建有向图之后，本申请还可以：基于预设数据校验规则，对新建有向图和现有有向图进行数据校验，在不满足预设数据校验规则时，进行有向图异常告警。
需要补充说明的是，预设数据校验规则可由本领域技术人员根据实际情况确定。
步骤150、在操作指令对应打开现有有向图时，基于唯一标识，确定给定数据对应的节点数据、关系数据、预设节点逻辑规则和预设关系逻辑规则是否存在于现有有向图中；基于预设解析引擎，将存在的数据更新至现有有向图中，将不存在数据添加至现有有向图中。
需要说明的是，预设解析引擎可以具体为SQL解析引擎、CSV解析引擎、Rest接口解析引擎等。将不存在数据添加至现有有向图中的方法和对新建有向图的方法一致，本申请在此不作赘述。
另外，在将存在的数据更新至现有有向图中之前，方法还包括：
将现有有向图中的数据存储至预设历史数据库中。
另外，本申请能够对异常数据进行检测，在基于预设解析引擎，将存在的数据更新至现有有向图中，将不存在数据添加至现有有向图中之后，本申请还可以：基于预设数据校验规则，对新建有向图和现有有向图进行数据校验，在不满足预设数据校验规则时，进行有向图异常告警。
除此之外，图2为本申请实施例提供的一种基于有向图实现数据血缘关系结构的系统。如图2所示，本申请实施例提供的系统，主要包括：获取模块210、获得模块220、有向图模块230、新建有向图模块240、更新有向图模块250。
获取模块210，用于获取向量图中节点对应的节点数据结构、向量图中边对应的关系数据结构、节点与节点之间预设节点逻辑规则、关系与关系之间的预设关系逻辑规则。
其中，节点数据结构至少包括节点唯一标识、节点类型、数据类型、预设节点扩展数据，关系数据结构至少包括关系唯一标识、起点节点数据、终点节点数据、关系类型、预设关系扩展数据，预设节点逻辑规则至少包括预设节点运算公式和节点逻辑唯一标识，预设关系逻辑规则至少包括预设关系运算公式和关系逻辑唯一标识。
获得模块220，与获取模块210相连，用于读取给定数据，基于给定数据的内容，将给定数据切分为节点数据结构的节点数据和/或关系数据结构的关系数据，以及获得给定数据的内容中的预设节点逻辑规则和预设关系逻辑规则。
获得模块220包括加密处理单元221，用于获取加密方法以及待加密数据；其中，待加密数据至少包括以下任意一项或多项：节点数据、关系数据、预设节点逻辑规则和预设关系逻辑规则；基于加密方法，对待加密数据进行加密处理；在后续接收到待加密数据的查询操作时，调用预设解密处理器，将加密处理的数据进行解密。
有向图模块230，用于获取操作指令，以新建有向图或打开现有有向图。
新建有向图模块240，分别与获得模块220和有向图模块230相连，用于在操作指令对应新建有向图时，将节点数据作为新建有向图的节点；将预设节点逻辑规则的第一预设运行结果和预设关系逻辑规则的第二预设运行结果作为新建有向图的节点；将关系数据、预设节点逻辑规则和预设关系逻辑规则作为新建有向图的边，以完成新建有向图。
更新有向图模块250，分别与获得模块220和有向图模块230相连，用于在操作指令对应打开现有有向图时，基于唯一标识，确定给定数据对应的节点数据、关系数据、预设节点逻辑规则和预设关系逻辑规则是否存在于现有有向图中；基于预设解析引擎，将存在的数据更新至现有有向图中，将不存在数据添加至现有有向图中。
更新有向图模块250包括存储单元251，用于将现有有向图中的数据存储至预设历史数据库中。
系统还包括数据校验模块260，分别与新建有向图模块240和更新有向图模块250相连，用于基于预设数据校验规则，对新建有向图和现有有向图进行数据校验，在不满足预设数据校验规则时，进行有向图异常告警。
除此之外，本申请实施例还提供了一种非易失性计算机存储介质，其上存储有可执行指令，在该可执行指令被执行时，实现如上述的一种基于有向图实现数据血缘关系结构的方法。
至此，已经结合前文的多个实施例描述了本公开的技术方案，但是，本领域技术人员容易理解的是，本公开的保护范围并不仅限于这些具体实施例。在不偏离本公开技术原理的前提下，本领域技术人员可以对上述各个实施例中的技术方案进行拆分和组合，也可以对相关技术特征作出等同的更改或替换，凡在本公开的技术构思和/或技术原理之内所做的任何更改、等同替换、改进等都将落入本公开的保护范围之内。
Claims (10)
1.一种基于有向图实现数据血缘关系结构的方法，其特征在于，有向图包括节点和边，所述方法包括：
获取向量图中节点对应的节点数据结构、向量图中边对应的关系数据结构、节点与节点之间预设节点逻辑规则、关系与关系之间的预设关系逻辑规则；其中，节点数据结构至少包括节点唯一标识、节点类型、数据类型、预设节点扩展数据，关系数据结构至少包括关系唯一标识、起点节点数据、终点节点数据、关系类型、预设关系扩展数据，预设节点逻辑规则至少包括预设节点运算公式和节点逻辑唯一标识，预设关系逻辑规则至少包括预设关系运算公式和关系逻辑唯一标识；
读取给定数据，基于给定数据的内容，将给定数据切分为节点数据结构的节点数据和/或关系数据结构的关系数据，以及获得给定数据的内容中的预设节点逻辑规则和预设关系逻辑规则；
获取操作指令，以新建有向图或打开现有有向图；
在操作指令对应新建有向图时，将节点数据作为新建有向图的节点；将预设节点逻辑规则的第一预设运行结果和预设关系逻辑规则的第二预设运行结果作为新建有向图的节点；将关系数据、预设节点逻辑规则和预设关系逻辑规则作为新建有向图的边，以完成新建有向图；
在操作指令对应打开现有有向图时，基于唯一标识，确定给定数据对应的节点数据、关系数据、预设节点逻辑规则和预设关系逻辑规则是否存在于现有有向图中；基于预设解析引擎，将存在的数据更新至现有有向图中，将不存在数据添加至现有有向图中。
2.根据权利要求1所述的基于有向图实现数据血缘关系结构的方法，其特征在于，在基于给定数据的内容，将给定数据切分为节点数据结构的节点数据和/或关系数据结构的关系数据，以及获得给定数据的内容中的预设节点逻辑规则和预设关系逻辑规则之后，所述方法还包括：
获取加密方法以及待加密数据；其中，待加密数据至少包括以下任意一项或多项：节点数据、关系数据、预设节点逻辑规则和预设关系逻辑规则；
基于加密方法，对待加密数据进行加密处理；
在后续接收到待加密数据的查询操作时，调用预设解密处理器，将加密处理的数据进行解密。
3.根据权利要求1所述的基于有向图实现数据血缘关系结构的方法，其特征在于，在将存在的数据更新至现有有向图中之前，所述方法还包括：
将现有有向图中的数据存储至预设历史数据库中。
4.根据权利要求1所述的基于有向图实现数据血缘关系结构的方法，其特征在于，
在完成新建有向图之后和在基于预设解析引擎，将存在的数据更新至现有有向图中，将不存在数据添加至现有有向图中之后，所述方法还包括：
基于预设数据校验规则，对新建有向图和现有有向图进行数据校验，在不满足预设数据校验规则时，进行有向图异常告警。
5.根据权利要求1所述的基于有向图实现数据血缘关系结构的方法，其特征在于，初始第一预设运行结果和初始第二预设运行结果为空值。
6.一种基于有向图实现数据血缘关系结构的系统，其特征在于，所述系统包括：
获取模块，用于获取向量图中节点对应的节点数据结构、向量图中边对应的关系数据结构、节点与节点之间预设节点逻辑规则、关系与关系之间的预设关系逻辑规则；其中，节点数据结构至少包括节点唯一标识、节点类型、数据类型、预设节点扩展数据，关系数据结构至少包括关系唯一标识、起点节点数据、终点节点数据、关系类型、预设关系扩展数据，预设节点逻辑规则至少包括预设节点运算公式和节点逻辑唯一标识，预设关系逻辑规则至少包括预设关系运算公式和关系逻辑唯一标识；
获得模块，与获取模块相连，用于读取给定数据，基于给定数据的内容，将给定数据切分为节点数据结构的节点数据和/或关系数据结构的关系数据，以及获得给定数据的内容中的预设节点逻辑规则和预设关系逻辑规则；
有向图模块，用于获取操作指令，以新建有向图或打开现有有向图；
新建有向图模块，分别与获得模块和有向图模块相连，用于在操作指令对应新建有向图时，将节点数据作为新建有向图的节点；将预设节点逻辑规则的第一预设运行结果和预设关系逻辑规则的第二预设运行结果作为新建有向图的节点；将关系数据、预设节点逻辑规则和预设关系逻辑规则作为新建有向图的边，以完成新建有向图；
更新有向图模块，分别与获得模块和有向图模块相连，用于在操作指令对应打开现有有向图时，基于唯一标识，确定给定数据对应的节点数据、关系数据、预设节点逻辑规则和预设关系逻辑规则是否存在于现有有向图中；基于预设解析引擎，将存在的数据更新至现有有向图中，将不存在数据添加至现有有向图中。
7.根据权利要求6所述的基于有向图实现数据血缘关系结构的系统，其特征在于，获得模块包括加密处理单元，
用于获取加密方法以及待加密数据；其中，待加密数据至少包括以下任意一项或多项：节点数据、关系数据、预设节点逻辑规则和预设关系逻辑规则；基于加密方法，对待加密数据进行加密处理；在后续接收到待加密数据的查询操作时，调用预设解密处理器，将加密处理的数据进行解密。
8.根据权利要求6所述的基于有向图实现数据血缘关系结构的系统，其特征在于，更新有向图模块包括存储单元，
用于将现有有向图中的数据存储至预设历史数据库中。
9.根据权利要求6所述的基于有向图实现数据血缘关系结构的系统，其特征在于，所述系统还包括数据校验模块，
分别与新建有向图模块和更新有向图模块相连，用于基于预设数据校验规则，对新建有向图和现有有向图进行数据校验，在不满足预设数据校验规则时，进行有向图异常告警。
10.一种非易失性计算机存储介质，其特征在于，其上存储有计算机指令，所述计算机指令在被执行时实现如权利要求1-5任一项所述的一种基于有向图实现数据血缘关系结构的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410145761.XA CN117688217B (zh) | 2024-02-02 | 2024-02-02 | 基于有向图实现数据血缘关系结构的系统、方法及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410145761.XA CN117688217B (zh) | 2024-02-02 | 2024-02-02 | 基于有向图实现数据血缘关系结构的系统、方法及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117688217A true CN117688217A (zh) | 2024-03-12 |
| CN117688217B CN117688217B (zh) | 2024-07-05 |
Family
ID=90133714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410145761.XA Active CN117688217B (zh) | 2024-02-02 | 2024-02-02 | 基于有向图实现数据血缘关系结构的系统、方法及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117688217B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170364582A1 (en) * | 2016-06-17 | 2017-12-21 | Alibaba Group Holding Limited | Method, apparatus, and system for identifying data tables |
| CN107633005A (zh) * | 2017-08-09 | 2018-01-26 | 广州思涵信息科技有限公司 | 一种基于课堂教学内容的知识图谱构建、对比系统及方法 |
| CN109582660A (zh) * | 2018-12-06 | 2019-04-05 | 深圳前海微众银行股份有限公司 | 数据血缘分析方法、装置、设备、系统及可读存储介质 |
| CN110245270A (zh) * | 2019-05-09 | 2019-09-17 | 重庆天蓬网络有限公司 | 基于图模型的数据血缘关系存储方法、系统、介质和设备 |
| CN111144570A (zh) * | 2019-12-27 | 2020-05-12 | 福州大学 | 一种联合逻辑规则和置信度的知识表示方法 |
| CN111694858A (zh) * | 2020-04-28 | 2020-09-22 | 平安科技（深圳）有限公司 | 数据血缘分析方法、装置、设备及计算机可读存储介质 |
| CN112115315A (zh) * | 2020-09-25 | 2020-12-22 | 平安国际智慧城市科技股份有限公司 | 血缘数据查询方法、装置、计算机设备及存储介质 |
| CN112989151A (zh) * | 2021-03-11 | 2021-06-18 | 北京锐安科技有限公司 | 数据血缘关系展示方法、装置、电子设备及存储介质 |
| CN115129753A (zh) * | 2022-06-29 | 2022-09-30 | 平安银行股份有限公司 | 数据血缘关系分析方法、装置、电子设备及存储介质 |
| CN115345152A (zh) * | 2022-10-19 | 2022-11-15 | 北方健康医疗大数据科技有限公司 | 模板库更新方法、报告解析方法、装置、设备及介质 |
| CN115458178A (zh) * | 2022-09-13 | 2022-12-09 | 北方健康医疗大数据科技有限公司 | 医疗数据对应的检索条件树获取方法、装置、设备及介质 |
| CN116126904A (zh) * | 2022-08-01 | 2023-05-16 | 马上消费金融股份有限公司 | 数据血缘解析方法及装置、数据血缘解析系统、电子设备 |
| CN116166718A (zh) * | 2023-04-25 | 2023-05-26 | 北京捷泰云际信息技术有限公司 | 一种数据血缘获取方法和装置 |
| CN116303380A (zh) * | 2023-01-10 | 2023-06-23 | 浪潮智慧科技有限公司 | 一种监测业务中的数据质量校验方法、设备及介质 |
-
2024
- 2024-02-02 CN CN202410145761.XA patent/CN117688217B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170364582A1 (en) * | 2016-06-17 | 2017-12-21 | Alibaba Group Holding Limited | Method, apparatus, and system for identifying data tables |
| CN107633005A (zh) * | 2017-08-09 | 2018-01-26 | 广州思涵信息科技有限公司 | 一种基于课堂教学内容的知识图谱构建、对比系统及方法 |
| CN109582660A (zh) * | 2018-12-06 | 2019-04-05 | 深圳前海微众银行股份有限公司 | 数据血缘分析方法、装置、设备、系统及可读存储介质 |
| CN110245270A (zh) * | 2019-05-09 | 2019-09-17 | 重庆天蓬网络有限公司 | 基于图模型的数据血缘关系存储方法、系统、介质和设备 |
| CN111144570A (zh) * | 2019-12-27 | 2020-05-12 | 福州大学 | 一种联合逻辑规则和置信度的知识表示方法 |
| WO2021218021A1 (zh) * | 2020-04-28 | 2021-11-04 | 平安科技（深圳）有限公司 | 数据血缘分析方法、装置、设备及计算机可读存储介质 |
| CN111694858A (zh) * | 2020-04-28 | 2020-09-22 | 平安科技（深圳）有限公司 | 数据血缘分析方法、装置、设备及计算机可读存储介质 |
| CN112115315A (zh) * | 2020-09-25 | 2020-12-22 | 平安国际智慧城市科技股份有限公司 | 血缘数据查询方法、装置、计算机设备及存储介质 |
| CN112989151A (zh) * | 2021-03-11 | 2021-06-18 | 北京锐安科技有限公司 | 数据血缘关系展示方法、装置、电子设备及存储介质 |
| WO2022188331A1 (zh) * | 2021-03-11 | 2022-09-15 | 北京锐安科技有限公司 | 数据血缘关系展示方法、装置、电子设备及存储介质 |
| CN115129753A (zh) * | 2022-06-29 | 2022-09-30 | 平安银行股份有限公司 | 数据血缘关系分析方法、装置、电子设备及存储介质 |
| CN116126904A (zh) * | 2022-08-01 | 2023-05-16 | 马上消费金融股份有限公司 | 数据血缘解析方法及装置、数据血缘解析系统、电子设备 |
| CN115458178A (zh) * | 2022-09-13 | 2022-12-09 | 北方健康医疗大数据科技有限公司 | 医疗数据对应的检索条件树获取方法、装置、设备及介质 |
| CN115345152A (zh) * | 2022-10-19 | 2022-11-15 | 北方健康医疗大数据科技有限公司 | 模板库更新方法、报告解析方法、装置、设备及介质 |
| CN116303380A (zh) * | 2023-01-10 | 2023-06-23 | 浪潮智慧科技有限公司 | 一种监测业务中的数据质量校验方法、设备及介质 |
| CN116166718A (zh) * | 2023-04-25 | 2023-05-26 | 北京捷泰云际信息技术有限公司 | 一种数据血缘获取方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 金泳;: "基于数据仓库的数据血缘管理研究", 轻工科技, no. 04, 15 April 2019 (2019-04-15), pages 86 - 87 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117688217B (zh) | 2024-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106815350B (zh) | 一种云环境中动态的密文多关键词模糊搜索方法 | |
| US10693652B2 (en) | Secret sharing via blockchain distribution | |
| Fu et al. | Toward efficient multi-keyword fuzzy search over encrypted outsourced data with accuracy improvement | |
| US20210406320A1 (en) | Document processing and response generation system | |
| US12026280B2 (en) | Automated data anonymization | |
| CN110689349B (zh) | 一种区块链中的交易哈希值存储和搜索方法及装置 | |
| US11379670B1 (en) | Automatically populating responses using artificial intelligence | |
| CN109522328B (zh) | 一种数据处理方法及其装置、介质、终端 | |
| WO2012178072A1 (en) | Extracting incremental data | |
| EP2778953A1 (en) | Encoded-search database device, method for adding and deleting data for encoded search, and addition/deletion program | |
| CN109213731B (zh) | 云环境中基于迭代加密的多关键词密文检索方法 | |
| US11977657B1 (en) | Method and system for confidential repository searching and retrieval | |
| Moia et al. | Similarity digest search: A survey and comparative analysis of strategies to perform known file filtering using approximate matching | |
| CN113111082A (zh) | 结构化查询语句重写方法、装置、设备和介质 | |
| CN113076562A (zh) | 基于gcm加密模式的数据库加密字段模糊检索方法 | |
| CN111984732A (zh) | 在区块链上实现去中心化检索的方法、节点及区块链网络 | |
| US20200409981A1 (en) | Mail room intent analyzer | |
| Alves et al. | Leveraging BERT's Power to Classify TTP from Unstructured Text | |
| CN117688217B (zh) | 基于有向图实现数据血缘关系结构的系统、方法及介质 | |
| Liu et al. | Analysis of RIPEMD-160: new collision attacks and finding characteristics with MILP | |
| CN117763077A (zh) | 数据查询方法及装置 | |
| US20240056427A1 (en) | Private search service | |
| CN110019295B (zh) | 数据库检索方法、装置、系统以及存储介质 | |
| CN116244453A (zh) | 一种基于神经网络的高效加密图像检索方法 | |
| US20220043934A1 (en) | System and method for entity resolution of a data element |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |