CN114817270A - 一种基于知识图谱的表字段血缘关系可视化方法及装置 - Google Patents

Abstract

本申请实施例提供了一种基于知识图谱的表字段血缘关系可视化方法及装置，用于生成字段级别的可视化血缘关系视图，该方法具体包括：获取本地数据库信息，本地数据库信息包括：多个数据库，每个数据库包括多个表，每个表包括多个字段，提取各个表中的所有字段，生成字段文件，确定各个字段之间的字段关系，生成关系文件，将字段文件和关系文件导入至第三方数据库中，通过第三方数据库生成字段血缘关系图。

Description

一种基于知识图谱的表字段血缘关系可视化方法及装置

技术领域

本发明涉及计算机技术领域，特别是一种基于知识图谱的表字段血缘关系可视化方法及装置。

背景技术

当前随着我国金融行业的繁荣发展，监管机构为了监测各金融机构业务经营等数据需要，而建设了许多监管数据分析系统。商业银行等金融机构为了实现将金融相关数据报送至监管数据分析系统而建设了相应的监管报送系统，每个系统中的报送数据往往来源于多个系统的数据表，越来越多的数据通过大数据技术聚合在一起，这些复杂数据之间的关联十分密切。字段血缘关系作为大数据处理过程中数据梳理的依据，对数据加工处理有着至关重要的作用，因此，如何将字段血缘关系溯源并将关系可视化，成为当下需要解决的技术问题。

发明内容

鉴于上述问题，本发明的目的在于提供一种基于知识图谱的表字段血缘关系可视化方法，以便克服上述问题或至少部分地解决上述问题，具体方案如下：

第一方面，本发明实时例公开了一种基于知识图谱的表字段血缘关系可视化方法，所述方法包括：

获取本地数据库信息；所述本地数据库信息包括：多个数据库，每个数据库包括多个表，每个表包括多个字段；

提取各个表中的所有字段，生成字段文件；

确定各个字段之间的字段关系，生成关系文件；

将所述字段文件和所述关系文件导入至第三方数据库中，通过所述第三方数据库生成字段血缘关系图。

可选的，所述确定各个字段之间的字段关系包括：

确定所述各个字段的实体；

根据所述各个字段的实体，确定所述各个字段之间的字段关系。

可选的，所述将所述字段文件和所述关系文件导入至第三方数据库中，包括：

通过python命令将所述字段文件和所述关系文件批量导入至所述第三方数据库中。

可选的，在所述将所述字段文件和所述关系文件导入至第三方数据库中，通过所述第三方数据库生成字段血缘关系图之后，所述方法还包括：

检测所述字段血缘关系图是否存在错误；

若存在，则对所述字段血缘关系图进行校正。

可选的，在所述将所述字段文件和所述关系文件导入至第三方数据库中，通过所述第三方数据库生成字段血缘关系图之后，所述方法还包括：

获取输入的待查询字段；

根据所述待查询字段，显示与所述待查询字段关联的所有血缘关系。

第二方面，本发明实时例公开了一种基于知识图谱的表字段血缘关系可视化装置，所述装置包括：

获取单元，用于获取本地数据库信息；所述本地数据库信息包括：多个数据库，每个数据库包括多个表，每个表包括多个字段；

提取单元，用于提取各个表中的所有字段，生成字段文件；

确定单元，用于确定各个字段之间的字段关系，生成关系文件；

导入单元，用于将所述字段文件和所述关系文件导入至第三方数据库中，通过所述第三方数据库生成字段血缘关系图。

可选的，所述确定单元具体用于：

确定所述各个字段的实体；

根据所述各个字段的实体，确定所述各个字段之间的字段关系。

可选的，所述导入单元具体用于：

通过python命令将所述字段文件和所述关系文件批量导入至所述第三方数据库中。

可选的，所述装置还包括校正单元：

所述校正单元用于检测所述字段血缘关系图是否存在错误；

若存在，则对所述字段血缘关系图进行校正。

可选的，所述装置还包括显示单元：

所述显示单元用于获取输入的待查询字段；

根据所述待查询字段，显示与所述待查询字段关联的所有血缘关系。

相较于现有技术，本发明具有以下有益效果：

本发明通过提取数据库中的各个表以及，表中的各个字段，生成包括所有字段的字段文件，并确定所有字段间的字段关系，生成关系文件，通过将生成的字段文件和关系文件导入至第三方数据库中，生成字段血缘关系图，从而使数据自动生成字段级别的可视化血缘关系视图，满足非专业人员查询复杂逻辑关系的高效性和易用性，提高时效性，解决数据较多时，数据之间的关系难以梳理的问题。并且由于本发明全程只使用了软件进行处理，使得仅通过较的低成本便能直观清晰地表述字段之间的血缘关系。

附图说明

图1为本申请实施例中基于知识图谱的表字段血缘关系可视化方法的流程示意图；

图2为第三方数据库生成的字段血缘关系图；

图3为本申请实施例中基于知识图谱的表字段血缘关系可视化方法的一个应用例示意图；

图4为本申请实施例中基于知识图谱的表字段血缘关系可视化装置的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

由背景技术可知，现有技术中并没有将字段间的血缘关系进行图像可视化，无法直接清晰地表述血缘关系，本发明的目的是克服上述背景技术中不足，提出一种监管报送领域表间字段血缘关系溯源的实现方案，引入人工智能技术领域的知识图谱技术，通过可视化的技术描述字段实体及字段实体之间的相互关系，提出一种基于知识图谱的表字段血缘关系可视化方法，下面对本申请实施例提供的具体实现方案进行详细介绍。

图1为本申请实施例提供的一种基于知识图谱的表字段血缘关系可视化方法的流程示意图，该方法具体可以包括：

数据库表间字段血缘关系没有结构化或者半结构化数据供使用，只存在于文本形式的SQL(Structured Query Language，结构化查询语言)文件中。通过对监管报送领域相关文件的读取，提取字段与字段之间的血缘逻辑关系。

S101：获取本地数据库信息；所述本地数据库信息包括：多个数据库，每个数据库包括多个表，每个表包括多个字段。

本地数据库由多个数据库组成，每个数据库中包括多个表，每个表中包括多个字段。通过获取数据库信息，从而得到数据库，数据库中的表和表中的字段之间的包含关系，以及各个字段所在的位置。

S102：提取各个表中的所有字段，生成字段文件。

不同的表具有不同的字段，比如货币代码字段，机构代码字段，日期字段，合约编号字段，账户类型字段，账户介质字段等。将不同的表按照字段进行提取，生成一个总的字段文件，生成的字段文件可以为csv(Comma Separated value，逗号分隔值)文件，从而对本地数据库中的字段数据进行整合，使后续步骤中的第三方数据库能够根据字段文件得到本地数据库中的字段数据。

S103：确定各个字段之间的字段关系，生成关系文件。

通过数据表结构确定表与自身字段间的关系，以及字段与字段间的关系，从而直观的表现不同字段之间的逻辑关系。对不同字段间的逻辑关系进行提取，生成多个关系文件，生成的关系文件可以为csv文件，使后续步骤中的第三方数据库能够根据关系文件得到本地数据库中字段之间的逻辑关系。

需要说明的是，本申请实施例适用于所有监管报送领域，支持多种数据库表关系提取，通用性较高。

在一种实施例中，步骤S103具体包括：

确定各个字段的实体，根据各个字段的实体，确定各个字段之间的字段关系。从而将各个相同实体的字段的字段关系进行融合，使得到的字段关系更加直观。

S104：将所述字段文件和所述关系文件导入至第三方数据库中，通过所述第三方数据库生成字段血缘关系图。

将提取出的字段文件和关系文件导入至第三方数据库中，第三方数据库可以为Neo4j图数据库，第三方数据库根据导入的字段文件和关系文件，生成本地数据库的字段血缘关系图。第三方数据库生成的字段血缘关系图如图2所示，生成的字段血缘关系图中明确显示了数据库、表、字段之间的逻辑关系。

需要说明的是，将字段文件和关系文件导入第三方数据库的导入顺序可以为，先将字段文件导入至第三方数据库，再将关系文件导入第三方数据库，或在字段文件和关系文件都已生成后，同时将字段文件和关系文件导入至第三方数据库中。

在一种实施例中，步骤S104具体包括：

通过python命令将字段文件和关系文件批量导入至第三方数据库中。

在一种实施例中，在步骤S104之后，还包括：

检测所述字段血缘关系图是否存在错误；

若存在，则对所述字段血缘关系图进行校正。

具体为，对步骤S104中生成的字段血缘关系进行质量评估，检测字段血缘关系图是否存在错误，在存在错误时，对字段血缘关系图进行校正。其中，对字段血缘关系图进行校正具体可以为，通过人工对字段血缘关系图进行校正，从而避免由于软件故障或其他原因所导致的字段血缘关系图生成错误，提高字段血缘关系图中血缘关系的准确率。

为便于理解，本申请实施例提供了一个基于知识图谱的表字段血缘关系可视化方法的应用例示意图，参见图3，具体方法如下：

获取本地数据库中的结构化数据，对结构化数据进行字段提取，并对提取到的字段进行实体对齐，得到各个字段的实体，确定出字段实体之间的关系，并将字段实体与字段实体之间的关系导入至第三方数据库中，由第三方数据库生成预览知识图谱，并对生成后的预览知识图谱进行质量评估，将生成后的预览知识图谱中的错误进行校正，输出校正后的知识图谱，从而得到准确、直观的字段血缘关系图。

在一种实施例中，在步骤S104之后，还包括：

获取输入的待查询字段；

根据所述待查询字段，显示与所述待查询字段关联的所有血缘关系。

当用户想要对某个字段的血缘关系进行查询时，获取用户输入的待查询字段，根据待查询字段，显示与待查询字段关联的所有血缘关系。从而使用户不需要了解数据库操作语言，只需简单操作即可对字段的血缘关系进行查询。

在一种实施例中，在步骤S104之后，还包括：

实时检测本地数据库信息是否发生变化，当本地数据库信息发生变化时，重新执行上述步骤S101-S104，从而实现在血缘关系发生变动时，快速定位并更新字段血缘关系图，使字段血缘关系图实时根据字段血缘关系发生变动。

需要说明的是，检测本地数据库信息是否发生变化还可以为，当接收到用户输入的待查询字段时，再对本地数据库信息是否发生变化进行检测，并在本地数据库信息发生变化时重新执行上述步骤S101-S104，若本地数据库信息未发生变化，则不对字段血缘关系图进行更新，从而在保证字段血缘关系图的准确率的同时，降低更新字段血缘关系图对资源的消耗。

本发明通过提取数据库中的各个表以及，表中的各个字段，生成包括所有字段的字段文件，并确定所有字段间的字段关系，生成关系文件，通过将生成的字段文件和关系文件导入至第三方数据库中，生成字段血缘关系图，从而使数据自动生成字段级别的可视化血缘关系视图，满足非专业人员查询复杂逻辑关系的高效性和易用性，提高时效性，解决数据较多时，数据之间的关系难以梳理的问题。并且由于本发明全程只使用了软件进行处理，使得仅通过较的低成本便能直观清晰地表述字段之间的血缘关系。

以上是对本申请实施例中基于知识图谱的表字段血缘关系可视化的方法进行的详细说明，以下将对本申请实施例基于知识图谱的表字段血缘关系可视化的装置进行介绍，参见图4，本发明实施例提供了一种基于知识图谱的表字段血缘关系可视化装置，所述装置具体包括以下单元：

获取单元401，用于获取本地数据库信息；所述本地数据库信息包括：多个数据库，每个数据库包括多个表，每个表包括多个字段；

提取单元402，用于提取各个表中的所有字段，生成字段文件；

确定单元403，用于确定各个字段之间的字段关系，生成关系文件；

导入单元404，用于将所述字段文件和所述关系文件导入至第三方数据库中，通过所述第三方数据库生成字段血缘关系图。

确定单元403，具体用于：

确定所述各个字段的实体；

根据所述各个字段的实体，确定所述各个字段之间的字段关系。

导入单元404，具体用于：

通过python命令将所述字段文件和所述关系文件批量导入至所述第三方数据库中。

所述装置还包括校正单元：

所述校正单元用于检测所述字段血缘关系图是否存在错误；

若存在，则对所述字段血缘关系图进行校正。

所述装置还包括显示单元：

所述显示单元用于获取输入的待查询字段；

根据所述待查询字段，显示与所述待查询字段关联的所有血缘关系。

所述装置还包括检测单元：

所述检测单元，用于实时检测本地数据库信息是否发生变化，当本地数据库信息发生变化时，重新执行401至404中的功能，生成更新后的字段血缘关系图。或，用于当接收到用户输入的待查询字段时，再对本地数据库信息是否发生变化进行检测，并在本地数据库信息发生变化时重新执行重新执行401至404中的功能，若本地数据库信息未发生变化，则不对字段血缘关系图进行更新。

本发明通过提取数据库中的各个表以及，表中的各个字段，生成包括所有字段的字段文件，并确定所有字段间的字段关系，生成关系文件，通过将生成的字段文件和关系文件导入至第三方数据库中，生成字段血缘关系图，从而使数据自动生成字段级别的可视化血缘关系视图，满足非专业人员查询复杂逻辑关系的高效性和易用性，提高时效性，解决数据较多时，数据之间的关系难以梳理的问题。并且由于本发明全程只使用了软件进行处理，使得仅通过较的低成本便能直观清晰地表述字段之间的血缘关系。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述基于知识图谱的表字段血缘关系可视化的方法。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、装置或计算机程序产品。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于知识图谱的表字段血缘关系可视化方法，其特征在于，所述方法包括：

获取本地数据库信息；所述本地数据库信息包括：多个数据库，每个数据库包括多个表，每个表包括多个字段；

提取各个表中的所有字段，生成字段文件；

确定各个字段之间的字段关系，生成关系文件；

将所述字段文件和所述关系文件导入至第三方数据库中，通过所述第三方数据库生成字段血缘关系图。

2.根据权利要求1所述的方法，其特征在于，所述确定各个字段之间的字段关系包括：

确定所述各个字段的实体；

根据所述各个字段的实体，确定所述各个字段之间的字段关系。

3.根据权利要求1所述的方法，其特征在于，所述将所述字段文件和所述关系文件导入至第三方数据库中，包括：

通过python命令将所述字段文件和所述关系文件批量导入至所述第三方数据库中。

4.根据权利要求1所述的方法，其特征在于，在所述将所述字段文件和所述关系文件导入至第三方数据库中，通过所述第三方数据库生成字段血缘关系图之后，所述方法还包括：

检测所述字段血缘关系图是否存在错误；

若存在，则对所述字段血缘关系图进行校正。

5.根据权利要求1所述的方法，其特征在于，在所述将所述字段文件和所述关系文件导入至第三方数据库中，通过所述第三方数据库生成字段血缘关系图之后，所述方法还包括：

获取输入的待查询字段；

根据所述待查询字段，显示与所述待查询字段关联的所有血缘关系。

6.一种基于知识图谱的表字段血缘关系可视化装置，其特征在于，所述装置包括：

获取单元，用于获取本地数据库信息；所述本地数据库信息包括：多个数据库，每个数据库包括多个表，每个表包括多个字段；

提取单元，用于提取各个表中的所有字段，生成字段文件；

确定单元，用于确定各个字段之间的字段关系，生成关系文件；

导入单元，用于将所述字段文件和所述关系文件导入至第三方数据库中，通过所述第三方数据库生成字段血缘关系图。

7.根据权利要求6所述的装置，其特征在于，所述确定单元具体用于：

确定所述各个字段的实体；

根据所述各个字段的实体，确定所述各个字段之间的字段关系。

8.根据权利要求6所述的装置，其特征在于，所述导入单元具体用于：

通过python命令将所述字段文件和所述关系文件批量导入至所述第三方数据库中。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括校正单元：

所述校正单元用于检测所述字段血缘关系图是否存在错误；

若存在，则对所述字段血缘关系图进行校正。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括显示单元：

所述显示单元用于获取输入的待查询字段；

根据所述待查询字段，显示与所述待查询字段关联的所有血缘关系。

Images