CN112685572A - 一种基于联邦计算的异构数据融合方法及装置 - Google Patents

Abstract

本公开涉及一种基于联邦计算的异构数据融合方法及装置，该方法应用于具有用户界面的终端设备，方法包括：获取预先构建的知识图谱；其中，知识图谱包括异构元数据和元数据之间的关系，且元数据包括数据表、主题和字段；响应于针对主题的检索操作，从知识图谱的数据表中检索主题下的目标数据表；响应于针对字段的融合操作，提取目标数据表中字段对应的目标数据，并融合输出目标数据。本公开实现异构数据源的数据融合的操作方式简单，降低了数据运维人员的介入成本、维护难度。

Description

一种基于联邦计算的异构数据融合方法及装置

技术领域

本公开涉及数据处理技术领域，尤其涉及一种基于联邦计算的异构数据融合方法及装置。

背景技术

随着大数据时代的发展，数据资产已经成为提高产业竞争力的关键要素。企业为了给人们提供更多更优质的服务，构建了各种业务系统。不同的业务系统，由于来自不同的软件供应商与数据库厂商，数据标准和业务系统规则存在很大的差异性。随着时间的推移，很多业务系统的维护难度变得很大，各系统间相互独立，数据无法共享和融合，在各自内部逐渐形成了“信息孤岛”。为了数据的流动共享，以及进一步深加工提升数据价值，异构数据源的数据融合成为了一种迫切的需求。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种基于联邦计算的异构数据融合方法及装置。

本公开提供了一种基于联邦计算的异构数据融合方法，所述方法应用于具有用户界面的终端设备，所述方法包括：获取预先构建的知识图谱；其中，所述知识图谱包括异构元数据和所述元数据之间的关系，且所述元数据包括数据表、主题和字段；响应于针对主题的检索操作，从所述知识图谱的数据表中检索所述主题下的目标数据表；响应于针对字段的融合操作，提取所述目标数据表中所述字段对应的目标数据，并融合输出所述目标数据。

进一步，所述提取所述目标数据表中所述字段对应的目标数据，包括：基于数据库内核算法，确定所述目标数据表之间的关联强度；从所述目标数据表中选取关联强度高于预设强度阈值的数据表；在选取的数据表中提取所述字段对应的目标数据。

进一步，所述数据库内核算法包括以下中的一种或多种：路径查找算法、中心度算法、社区发现算法和谱聚类算法。

进一步，所述方法还包括：基于不同的数据库ip获取数据库结构；其中，所述数据库结构为存放相关联的有结构的数据库的结构；基于数据库内核算法解析所述数据库结构中各数据库的数据定义信息、数据之间的关联关系、数据血缘关系和/或元数据分组信息；根据解析结果构建所述数据库结构对应的所述知识图谱。

进一步，所述知识图谱中的所述元数据还包括：数据库、系统目录、主题域、对象；所述知识图谱中的所述关系包括：拥有、创建、包含、关联、流向、指向、业务关联、业务拥有、业务连接。

进一步，所述融合操作包括选取操作和输出操作；所述响应于针对字段的融合操作，提取所述目标数据表中所述字段对应的目标数据，并融合输出所述目标数据，包括：响应于所述选取操作，确定所述主题下的至少一个目标字段；响应于所述输出操作，提取所述目标数据表中所述目标字段对应的目标数据，并融合输出所述目标数据。

本公开还提供了一种基于联邦计算的异构数据融合装置，所述装置应用于具有用户界面的终端设备，所述装置包括：知识图谱获取模块，用于获取预先构建的知识图谱；其中，所述知识图谱包括异构元数据和所述元数据之间的关系，且所述元数据包括数据表、主题和字段；检索模块，用于响应于针对主题的检索操作，从所述知识图谱的数据表中检索所述主题下的目标数据表；融合输出模块，用于响应于针对字段的融合操作，提取所述目标数据表中所述字段对应的目标数据，并融合输出所述目标数据。

进一步，所述融合输出模块还用于：基于数据库内核算法，确定所述目标数据表之间的关联强度；从所述目标数据表中选取关联强度高于预设强度阈值的数据表；在选取的数据表中提取所述字段对应的目标数据。

进一步，所述装置还包括知识图谱构建模块；所述知识图谱构建模块用于：基于不同的数据库ip获取数据库结构；其中，所述数据库结构为存放相关联的有结构的数据库的结构；基于数据库内核算法解析所述数据库结构中各数据库的数据定义信息、数据之间的关联关系、数据血缘关系和/或元数据分组信息；根据解析结果构建所述数据库结构对应的所述知识图谱。

进一步，所述融合操作包括选取操作和输出操作；所述融合输出模块还用于：响应于所述选取操作，确定所述主题下的至少一个目标字段；响应于所述输出操作，提取所述目标数据表中所述目标字段对应的目标数据，并融合输出所述目标数据。

本公开实施例提供的技术方案与现有技术相比具有如下优点：

本公开实施例提供了一种基于联邦计算的异构数据融合方法及装置，该方法首先获取包括数据表、主题和字段等异构元数据以及元数据之间关系的知识图谱；然后响应于针对主题的检索操作，从知识图谱的数据表中检索主题下的目标数据表；最后响应于针对字段的融合操作，提取目标数据表中字段对应的目标数据，并融合输出目标数据。本公开提供的异构数据融合方式，利用知识图谱的高维度表达方式，能够直观地展示异构元数据和元数据之间的关系，为异构数据源的数据融合提供了基础的技术支撑，降低了数据融合的基础操作难度。而且，相比于传统ETL(Extract-Transform-Load，抽取清洗转换装置)数据融合所需要的大量工程开发工作，本公开通过用户界面的良好人机交互操作：检索操作和融合操作，即可实现异构数据源的数据融合，操作方式简单，降低了数据运维人员的介入成本、维护难度。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例所述基于联邦计算的异构数据融合方法流程图；

图2为本公开实施例所述知识图谱的构建方法流程图；

图3为本公开实施例所述基于联邦计算的异构数据融合装置的结构框图；

图4为本公开实施例所述电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

实施例一：

本公开实施例提供一种基于联邦计算的异构数据融合方法，该方法可以应用于具有用户界面的终端设备，如电脑、手机等终端设备。参照图1所示的基于联邦计算的异构数据融合方法流程图，该方法包括：

步骤S102，获取预先构建的知识图谱；其中，知识图谱包括异构元数据和元数据之间的关系。异构元数据即为异构数据源的元数据。该元数据可以包括：系统目录、数据库、数据表、主题域、主题、字段和对象等；元数据之间的关系可以包括：拥有、创建、包含、关联、流向、指向、业务关联、业务拥有和业务连接等。

知识图谱的高维度表达方式，能够直观地展示异构元数据以及元数据之间的关系，为异构数据源的数据融合提供了基础技术支撑。利用知识图谱的特性和优势，能够降低后续数据融合的基础操作难度

步骤S104，响应于针对主题的检索操作，从知识图谱的数据表中检索主题下的目标数据表。

在本实施例中，用户可以在终端设备的用户界面上设置待检索的主题，并发起针对主题的检索操作；终端设备通过响应用户的检索操作，从知识图谱中多个数据库包含的数据表中进行主题检索，得到与主题对应的目标数据表。可以理解，每个数据库中包含的数据表至少一个，相应的，目标数据表的数量为至少一个。

步骤S106，响应于针对字段的融合操作，提取目标数据表中字段对应的目标数据，并融合输出目标数据。

在本实施例中，用户可以根据业务需求，在终端设备的用户界面上选取待融合的字段，并发起针对字段的融合操作；终端设备通过响应用户的融合操作，从目标数据表中获取字段对应的目标数据；目标数据表所属的数据库不同，相应的，目标数据的数据源也不同，也即为异构数据源。而后，可以将获取的异构数据源的目标数据融合输出。

本公开实施例提供的基于联邦计算的异构数据融合方法，利用知识图谱的高维度表达方式，能够直观地展示异构元数据和元数据之间的关系，为异构数据源的数据融合提供了基础的技术支撑，降低了数据融合的基础操作难度。然后，通过用户界面的良好人机交互操作：检索操作和融合操作，即可实现异构数据源的数据融合，操作方式简单，降低了数据运维人员的介入成本、维护难度。

为了便于理解基于联邦计算的异构数据融合方法，本公开实施例提供一种可能的应用场景。

在本实施例中，可以利用终端设备上部署的元数据管理系统实现基于联邦计算的异构数据融合方法。该元数据管理系统首先用于管理知识图谱，该知识图谱的构建过程可参照图2所示，包括如下步骤：

步骤S202，基于不同的数据库ip获取数据库结构；其中，数据库结构为存放相关联的有结构的数据库的结构。

在具体实现时，元数据管理系统通过获取数据库ip、用户名和密码等信息，建立与不同数据库的连接，从而获取数据库结构。上述数据库可以包括：诸如MySQL、Oracle、DB2、Informix、MariaDB、DB2、H2等传统数据库，以及诸如Hive、Hbase、Elasticsearch等主流的分布式大数据仓库。

步骤S204，基于数据库内核算法解析数据库结构中各数据库的数据定义信息、数据之间的关联关系、数据血缘关系和/或元数据分组信息。其中，数据库内核算法可以包括以下中的一种或多种：路径查找算法、中心度算法、社区发现算法和谱聚类算法。

具体的，通过诸如路径查找算法、中心度算法等数据库内核算法，可以解析上述传统数据库与主流的分布式大数据仓库等数据库的基本数据定义信息，解析数据之间的关联关系，发现数据血缘关系，以及解析元数据分组信息等数据库信息。

步骤S206，根据解析结果构建数据库结构对应的知识图谱。本实施例可以根据步骤S205得到的解析结果生成知识图谱，通过生成的知识图谱对异构数据源的元数据以及元数据之间的关系进行可视化展示。

在获取到知识图谱后，可以将知识图谱作为元数据管理系统的底层技术支撑，将知识图谱中包含的不同业务系统的数据库、数据表、字段等元数据纳入元数据管理系统，以后后续异构数据的融合使用。

基于知识图谱，元数据管理系统主要用于通过快速的全文元数据检索，对不同数据源的数据表进行检索和数据融合。元数据管理系统的用户界面可以包括数据检索面板和数据融合面板。用户可以通过数据检索面板发起针对主题的检索操作，以得到目标数据表。将目标数据表添加到数据融合面板中，用户通过数据融合面板针对字段的融合操作，以融合输出目标数据。

在一种实施例中，融合操作包括选取操作和输出操作；基于此，根据融合操作融合输出目标数据的实现方式包括：

(1)响应于选取操作，确定主题下的至少一个目标字段。该选取操作诸如用户针对字段的勾选、输入等操作，通过响应选取操作确定用户选取的一个或多个目标字段。

(2)响应于输出操作，提取目标数据表中目标字段对应的目标数据，并融合输出目标数据。

在一种具体实施例中，提取目标数据表中字段对应的目标数据的实现过程可以参照如下所示：

首先基于上述诸如路径查找算法、中心度算法等数据库内核算法，确定目标数据表之间的关联强度；然后从目标数据表中选取关联强度高于预设强度阈值的数据表；最后在选取的数据表中提取字段对应的目标数据，以及融合输出目标数据。

在该提取目标数据的实施例中，通过在关联强度较高的数据表中提取目标数据，能够提升在业务层面融合的目标数据的准确性。

综上，相对于传统ETL数据融合所需要的大量工程开发工作，上述实施例提供的基于联邦计算的异构数据融合方法，无需采用代码的方式，在用户界面通过良好人机交互操作，即可实现异构数据源的数据融合，操作方式简单，降低了数据运维人员的介入成本、维护难度；进一步结合数据库内核算法对关联强度较高的目标数据表的筛选，提升了目标数据的准确性。

实施例二：

本实施例提供一种基于联邦计算的异构数据融合装置，该装置应用于具有用户界面的终端设备。参照图3所示的基于联邦计算的异构数据融合装置的结构框图，该装置包括：

知识图谱获取模块302，用于获取预先构建的知识图谱；其中，知识图谱包括异构元数据和元数据之间的关系，且元数据包括数据表、主题和字段；

检索模块304，用于响应于针对主题的检索操作，从知识图谱的数据表中检索主题下的目标数据表；

融合输出模块306，用于响应于针对字段的融合操作，提取目标数据表中字段对应的目标数据，并融合输出目标数据。

在一种实施例中，融合输出模块306还用于：基于数据库内核算法，确定目标数据表之间的关联强度；从目标数据表中选取关联强度高于预设强度阈值的数据表；在选取的数据表中提取字段对应的目标数据。

在一种实施例中，上述装置还包括知识图谱构建模块(图中未示出)；该知识图谱构建模块用于：基于不同的数据库ip获取数据库结构；其中，数据库结构为存放相关联的有结构的数据库的结构；基于数据库内核算法解析数据库结构中各数据库的数据定义信息、数据之间的关联关系、数据血缘关系和/或元数据分组信息；根据解析结果构建数据库结构对应的知识图谱。

在一种实施例中，融合操作包括选取操作和输出操作；融合输出模块306还用于：响应于选取操作，确定主题下的至少一个目标字段；响应于输出操作，提取目标数据表中目标字段对应的目标数据，并融合输出目标数据。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例一相同，为简要描述，本实施例部分未提及之处，可参考前述实施例一中相应内容。

实施例三：

基于前述实施例，本实施例还给出了一种电子设备，该电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述基于联邦计算的异构数据融合方法。

图4为本公开实施例提供的一种电子设备的结构示意图。如图4所示，电子设备400包括一个或多个处理器401和存储器402。

处理器401可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备400中的其他组件以执行期望的功能。

存储器402可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器401可以运行所述程序指令，以实现上文所述的本公开的实施例的基于联邦计算的异构数据融合方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备400还可以包括：输入装置403和输出装置404，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

此外，该输入装置403还可以包括例如键盘、鼠标等等。

该输出装置404可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置404可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图4中仅示出了该电子设备400中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备400还可以包括任何其他适当的组件。

进一步，本实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述基于联邦计算的异构数据融合方法。

本公开实施例所提供的一种基于联邦计算的异构数据融合方法、装置、电子设备及介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于联邦计算的异构数据融合方法，其特征在于，所述方法应用于具有用户界面的终端设备，所述方法包括：

获取预先构建的知识图谱；其中，所述知识图谱包括异构元数据和所述元数据之间的关系，且所述元数据包括数据表、主题和字段；

响应于针对主题的检索操作，从所述知识图谱的数据表中检索所述主题下的目标数据表；

响应于针对字段的融合操作，提取所述目标数据表中所述字段对应的目标数据，并融合输出所述目标数据。

2.根据权利要求1所述的方法，其特征在于，所述提取所述目标数据表中所述字段对应的目标数据，包括：

基于数据库内核算法，确定所述目标数据表之间的关联强度；

从所述目标数据表中选取关联强度高于预设强度阈值的数据表；

在选取的数据表中提取所述字段对应的目标数据。

3.根据权利要求2所述的方法，其特征在于，所述数据库内核算法包括以下中的一种或多种：路径查找算法、中心度算法、社区发现算法和谱聚类算法。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于不同的数据库ip获取数据库结构；其中，所述数据库结构为存放相关联的有结构的数据库的结构；

基于数据库内核算法解析所述数据库结构中各数据库的数据定义信息、数据之间的关联关系、数据血缘关系和/或元数据分组信息；

根据解析结果构建所述数据库结构对应的所述知识图谱。

5.根据权利要求1或4所述的方法，其特征在于，所述知识图谱中的所述元数据还包括：数据库、系统目录、主题域、对象；

所述知识图谱中的所述关系包括：拥有、创建、包含、关联、流向、指向、业务关联、业务拥有、业务连接。

6.根据权利要求1所述的方法，其特征在于，所述融合操作包括选取操作和输出操作；所述响应于针对字段的融合操作，提取所述目标数据表中所述字段对应的目标数据，并融合输出所述目标数据，包括：

响应于所述选取操作，确定所述主题下的至少一个目标字段；

响应于所述输出操作，提取所述目标数据表中所述目标字段对应的目标数据，并融合输出所述目标数据。

7.一种基于联邦计算的异构数据融合装置，其特征在于，所述装置应用于具有用户界面的终端设备，所述装置包括：

知识图谱获取模块，用于获取预先构建的知识图谱；其中，所述知识图谱包括异构元数据和所述元数据之间的关系，且所述元数据包括数据表、主题和字段；

检索模块，用于响应于针对主题的检索操作，从所述知识图谱的数据表中检索所述主题下的目标数据表；

融合输出模块，用于响应于针对字段的融合操作，提取所述目标数据表中所述字段对应的目标数据，并融合输出所述目标数据。

8.根据权利要求7所述的装置，其特征在于，所述融合输出模块还用于：

基于数据库内核算法，确定所述目标数据表之间的关联强度；

从所述目标数据表中选取关联强度高于预设强度阈值的数据表；

在选取的数据表中提取所述字段对应的目标数据。

9.根据权利要求7所述的装置，其特征在于，所述装置还包括知识图谱构建模块；所述知识图谱构建模块用于：

基于不同的数据库ip获取数据库结构；其中，所述数据库结构为存放相关联的有结构的数据库的结构；

基于数据库内核算法解析所述数据库结构中各数据库的数据定义信息、数据之间的关联关系、数据血缘关系和/或元数据分组信息；

根据解析结果构建所述数据库结构对应的所述知识图谱。

10.根据权利要求7所述的装置，其特征在于，所述融合操作包括选取操作和输出操作；所述融合输出模块还用于：

响应于所述选取操作，确定所述主题下的至少一个目标字段；

响应于所述输出操作，提取所述目标数据表中所述目标字段对应的目标数据，并融合输出所述目标数据。

Images