CN112364046A - 一种基于知识图谱的异构环境下主数据管理方法 - Google Patents

Abstract

本发明公开了一种基于知识图谱的异构环境下主数据管理方法，包括基于知识图谱的主数据管理架构、主数据到知识图谱的映射方法和主数据同步更新方法,通过基于知识图谱的主数据管理架构，确立了以知识图谱为核心的主数据管理方法，能够有效地解决面向异构数据的主数据管理与同步问题；本发明将知识图谱概念引入主数据管理中，提出了由结构数据库到知识图谱的映射方法，构建了基于知识图谱的主数据管理工具，以实现主数据知识图谱管理，主数据模型管理，主数据同步功能。

Description

一种基于知识图谱的异构环境下主数据管理方法

技术领域

本发明涉及主数据管理技术相关技术领域，具体的说是一种基于知识图谱的异构环境下主数据管理方法。

背景技术

目前而言，主数据管理技术是企业数据管理的重要技术之一，主数据管理是一个可以创建和维护可信赖的、可靠的、能够长期使用的、准确的和安全的数据环境为目的的一套业务流程、应用程序和技术的综合，主数据管理不会创建新的数据或新的数据纵向结构，相反，它提供了一种方法，使企业能够有效地管理存储在分布系统中的数据，因此主数据管理使用现有的系统，它从这些系统中获取最新信息，并提供了先进的技术和流程，用于自动、准确、及时地分发和分析整个企业中的数据，并对数据进行验证。

而本体是一种概念之间关系的技术，本体的目的在于克服计算机系统之间的“语义鸿沟”，其概念来源于哲学，即“对世界上客观存在的事物的系统地描述”，其中被引用的最广泛的定义是：“本体是概念模型的明确的规范说明”，近几年本体的应用研究主要集中于信息检索、信息抽取、异构信息系统的互操作和集成、语义Web四个领域应用。

而知识图谱从数据组成上定义为：本体+由本体约束的实例，是一种结构化的语义知识库,用于以符号形式描述物理世界中的概念及其相互关系。其基本组成单位是“实体-关系- 实体”三元组,以及实体及其相关属性-值对,实体间通过关系相互联结,构成网状的知识结构。

目前，现有主数据管理技术面临企业数据量急速增长、应用要求逐渐复杂等诸多情况，存在以下技术问题：对于异构数据源缺乏统一描述，主数据间缺乏语义关联，难以识别管理，且由于企业数据量大、结构复杂，主数据模型整合周期过长，难以应对数据变化，缺乏重用性。

为此，我们提出一种基于知识图谱的异构环境下主数据管理方法，用以克服以上问题。

发明内容

针对现有技术中存在的主数据管理中语义关系缺乏，可重用性差的不足之处，本发明目的是提供一种基于知识图谱的异构环境下主数据管理方法，将知识图谱概念引入主数据管理中，提出了由结构数据库到语义本体的映射方法，构建了基于知识图谱的主数据管理工具，通过构建主数据知识图谱，以实现主数据知识图谱管理，主数据模型管理，主数据同步功能。

本发明为实现上述目的所采用的技术方案是：一种基于知识图谱的异构环境下主数据管理方法，包括基于知识图谱的主数据管理架构、主数据到知识图谱的映射方法和主数据同步更新方法；所述基于知识图谱的主数据管理架构包括：

1)数据层：

数据层主要负责获取企业数据管理过程中的多源异构数据，形成统一接口。本方法中通过将关系型数据库的存储结构以XML文件的格式进行导出，输出至知识图谱层进行进一步的知识图谱管理。

2)知识图谱层

知识图谱层接收数据层获取的数据存储结构，并从中提取主数据，进行主数据到本体的映射，为本体注入语义关联，构建企业主数据知识图谱，实现主数据可视化展示，并为企业提供知识图谱版本管理功能。

3)管理层

管理层主要负责主数据模板管理和主数据同步更新两大模块。其中主数据模板管理模块负责从主数据知识图谱中提取主数据模板，管理数据库连接权限，进行企业主数据管理，为企业提供主数据的删除、修改、查询功能。

主数据同步更新模块主要负责主数据与数据源之间的同步更新，保证主数据的实时性。通过从主数据知识图谱中提取语义信息，建立主数据和数据源之间的关联，连接数据库，进行主数据同步更新。

4)服务应用层

服务应用层为企业主数据管理提供一个宏观服务，主要包含：主数据整合，主数据管理，主数据调用，主数据视图功能。

所述主数据到知识图谱的映射方法包括两个步骤：1)关系数据库到本体的映射；2)构成知识图谱所需本体间语义关联属性的建立；所述步骤1)：由于不同数据库之间的异构性，我们在进行数据抽取时，需要将元数据以XML形式从数据库导出，得到描述数据库数据模式的XML文件，建立关系数据库到本体的映射法则，丰富关系数据库中缺乏的语义语法，从而将关系数据库转化为本体的表达形式；首先要进行简单的1：1映射，将关系数据库中表 (Table)、字段(Field)与本体中Class进行一对一映射，保留关系数据库中完整的数据存储结构，而Field中本身信息将作为本体Class中属性信息进行存储；

所述步骤2)：对于更为复杂的语义信息的映射，本方法建立了一套自动生成加手动修改的半自动知识图谱映射方法；

利用概念相似度的方法，计算本体之间的概念关联，从而确定数据字段(Field)之间的匹配度，从而自动添加本体语义关联属性，构建主数据知识图谱。

概念距离相似度：综合考虑概念距离和层次对概念相似度的影响，主要受概念所处节点深度，本体树最大深度，两概念间最小本体树最短距离等因素影响。

概念结构相似度：知识图谱中概念的属性、实例和其他自定义关系都能以集合的形式表示，所以对概念的集合计算其笛卡尔乘积，得到配对集。当两个元素进行比较时，用布尔数表示两个元素的异同。

字段匹配度即概念语义相似度的计算是对以上4种相似度取加权平均计算得出，根据概念之间的匹配度，对相匹配本体字段类之间添加相应的语义关联属性，在本方法中主要是 EquivalentClass，用于描述字段之间的关联性，以便进行后续主数据同步更新。在初始映射过程完成后，再经专家验证，手动修正，最终构成标准化主数据知识图谱。

所述主数据同步更新方法包括：对于主数据管理过程中数据源不断增长变化带来的主数据滞后问题，需要高效的主数据同步方法进行支撑管理，通过分析知识图谱中各概念之间的关系，确定各异构数据之间的联系，从而实现主数据同步；

上述更新方法主要包含两个部分：知识图谱中语义描述信息的提取和数据同步sql语句的生成；具体步骤如下：

步骤一：知识图谱中语义描述信息的提取

本方法中的知识图谱以RDFS文件的形式存储，内容主要包含数据库类，字段类，以及二者之间的子类从属关系，字段之间的等价关系等通过解析RDFS文件中各条字段的存储信息，判断其是否含有EquivalentClass，并将其中系信息，以{数据库类#字段类：数据库类# 相关字段类}的字典格式存储为数据同步关联列表，以便后续读取生成sql语句。

步骤二：数据同步sql语句的生成

通过读取数据同步关联列表，获取需要建立关联的数据信息，根据其中存储内容，生成数据同步sql语句，从分布数据源向主数据发起数据同步更新；

而以数据库主键ID为关联，分三种情况进行更新：

(1)当数据源行数等于主数据列数

此时主数据数据量等同于数据源数据量，只需通过update语句，以主键ID为关联以数据源为准向主数据发起同步更新。将数据同步列表中信息，写为sql语句以string格式存储在列表中，定期执行sql列表进行数据同步更新。

(2)当数据源行数大于主数据列数

此时主数据数据量少于数据源数据量，对于数据源多出数据部分，需通过insert语句在主数据中插入新行，使二者数据量相同。之后继续采取(1)中方法，定期执行update语句进行数据更新。

(3)当数据源行数小于主数据列数

此时主数据数据量大于数据源数据量，需要通过delete语句删除多出的数据行，使二者数据量相同。之后采取(1)中方法，定期执行update语句进行数据更新。

作为本发明的一种优选技术方案，所述关系数据库转化为知识图谱的表达形式为RDFS 或OWL。

而Field中本身信息(如Type，Null，Key，Extra，Comment等)将作为知识图谱Class中属性信息进行存储。

本发明的有益效果：

与传统主数据管理系统相比，本方法在主数据管理系统中引入了知识图谱概念，构建了一套基于知识图谱的主数据管理架构，通过构建主数据知识图谱，有效解决了主数据管理系统中，数据源的异构性给主数据管理带来的不便，为企业提供了一套统一的主数据管理方案，大大降低了数据管理工作的工作量。

通过建立主数据到知识图谱的映射方法，解决了企业主数据缺乏语义描述，缺乏解释性的问题，并利用半自动知识图谱构成方法，减少手动构建知识图谱的工作量的同时，充分结合领域专家知识，增加了构建知识图谱的可信性，为企业主数据整合提供了高效的解决方案，缩短主数据整合周期，提高主数据模板的可重用性。

通过建立基于知识图谱的主数据同步更新方法，将知识图谱中语义属性充分应用，保证了企业数据飞速增长同时主数据的准确性，能够更快速地适应数据源变动。

附图说明

图1为本发明的基于知识图谱的主数据管理构架的流程示意图；

图2为本发明的基于知识图谱的主数据管理构架的匹配度计算方式；

图3为本发明的基于知识图谱的主数据管理构架的主数据到知识图谱的映射方法；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本方法可应用于企业供应链主数据管理，由于供应链协同所涉及的制造业业务域众多，复杂多源、标准不一的各类所需数据汇聚至主数据时，仍难以做到统一高效的融合管控。例如：企业中不同部门都有各自的数据库管理体系，各部门间使用的数据库、数据存储结构、语义描述方面都有可能存在着差异，在部分企业应用，例如：销售预测、供应商推荐、精准排产、研发计划管理、质量分析等场景时，需调用来自不同部门的主数据，此时部门数据之间的异构性便会给企业应用带来很大不便性。利用本方法将知识图谱概念引入企业供应链主数据管理中，将有效解决制造业主数据缺乏统一语义的问题，实现企业供应链主数据的高效管控。

使用步骤如下：

1)例如对于企业销售预测应用场景，所需数据可能来源于销售部门、生产部门、售后部门等多个部门所使用的不同数据库中。需从企业异构数据库中提取所需数据存储结构，以 XML文件的格式导出，为后续销售预测场景主数据知识图谱提取提供统一的接口。

2)解析从数据库中提取的存储结构XML文件，获取数据库存储结构信息(如数据库名、表单名、字段名以及对应从属关`系)，使用本方法中知识图谱映射方法，生成销售预测主数据知识图谱。

3)读取主数据知识图谱，解析知识图谱中语义信息，生成主数据模板，加以管理，生成销售预测场景主数据库。

4)根据主数据知识图谱中语义关联信息，建立主数据和数据源之间的关联关系，通过主数据实时更新技术，获取企业销售预测所需的主数据，以便进行实时销售预测，实现主数据调用，保证主数据的实时性。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种基于知识图谱的异构环境下主数据管理方法，其特征在于：包括基于知识图谱的主数据管理架构、主数据到知识图谱的映射方法和主数据同步更新方法；所述基于知识图谱的主数据管理架构包括：服务应用层、管理层、本体层和数据层；所述主数据到知识图谱的映射方法包括两个步骤：1)关系数据库到本体的映射；2)构成知识图谱所需本体间语义关联属性的建立；所述主数据同步更新方法包括：对于主数据管理过程中数据源不断增长变化带来的主数据滞后问题，需要高效的主数据同步方法进行支撑管理，通过分析知识图谱中各概念之间的关系，确定各异构数据之间的联系，从而实现主数据同步。

2.如权利要求1所述的一种基于知识图谱的异构环境下主数据管理方法，其特征在于：所述数据层负责获取企业数据管理过程中的多源异构数据，形成统一接口；在所述管理方法中是通过将关系型数据库的存储结构以XML文件的格式进行导出，输出至知识图谱层进行进一步的知识图谱管理；所述知识图谱层用来接收数据层获取的数据存储结构，并从中提取主数据，进行主数据到本体的映射，为本体注入语义关联，构建企业主数据知识图谱，实现主数据可视化展示，并为企业提供知识图谱版本管理功能；所述管理层负责主数据模板管理和主数据同步更新两大模块，其中主数据模板管理模块负责从主数据知识图谱中提取主数据模板，管理数据库连接权限，进行企业主数据管理，为企业提供主数据的删除、修改、查询功能；主数据同步更新模块主要负责主数据与数据源之间的同步更新，保证主数据的实时性。通过从主数据知识图谱中提取语义信息，建立主数据和数据源之间的关联，连接数据库，进行主数据同步更新；服务应用层为企业主数据管理提供一个宏观服务，主要包含：主数据整合，主数据管理，主数据调用，主数据视图功能。

3.如权利要求2所述的一种基于知识图谱的异构环境下主数据管理方法，其特征在于：所述主数据到知识图谱的映射方法的步骤1)：由于不同数据库之间的异构性，我们在进行数据抽取时，需要将元数据以XML形式从数据库导出，得到描述数据库数据模式的XML文件，建立关系数据库到本体的映射法则，丰富关系数据库中缺乏的语义语法，从而将关系数据库转化为本体的表达形式；首先要进行简单的1：1映射，将关系数据库中表(Table)、字段(Field)与本体中Class进行一对一映射，保留关系数据库中完整的数据存储结构，而Field中本身信息将作为本体Class中属性信息进行存储；

所述主数据到知识图谱的映射方法的步骤2)：对于更为复杂的语义信息的映射，本方法建立了一套自动生成加手动修改的半自动知识图谱映射方法；利用概念相似度的方法，计算本体之间的概念关联，从而确定数据字段(Field)之间的匹配度，从而自动添加本体语义关联属性，构建主数据知识图谱；概念距离相似度：综合考虑概念距离和层次对概念相似度的影响，主要受下列因素影响：概念所处节点深度，本体树最大深度，两概念间最小本体树最短距离；

概念结构相似度：知识图谱中概念的属性、实例和其他自定义关系都能以集合的形式表示，所以对概念的集合计算其笛卡尔乘积，得到配对集。当两个元素进行比较时，用布尔数表示两个元素的异同；字段匹配度即概念语义相似度的计算是对以上4种相似度取加权平均计算得出，根据概念之间的匹配度，对相匹配本体字段类之间添加相应的语义关联属性，在本方法中主要是EquivalentClass，用于描述字段之间的关联性，以便进行后续主数据同步更新。在初始映射过程完成后，再经专家验证，手动修正，最终构成标准化主数据知识图谱。

4.如权利要求3所述的一种基于知识图谱的异构环境下主数据管理方法，其特征在于：所述主数据同步更新方法包括：对于主数据管理过程中数据源不断增长变化带来的主数据滞后问题，需要高效的主数据同步方法进行支撑管理，通过分析知识图谱中各概念之间的关系，确定各异构数据之间的联系，从而实现主数据同步；上述更新方法主要包含两个部分：知识图谱中语义描述信息的提取和数据同步sql语句的生成；具体步骤如下：步骤一：知识图谱中语义描述信息的提取；所述更新方法中的知识图谱以RDFS文件的形式存储，内容主要包含数据库类，字段类，以及二者之间的子类从属关系，字段之间的等价关系等通过解析RDFS文件中各条字段的存储信息，判断其是否含有EquivalentClass，并将其中系信息，以{数据库类#字段类：数据库类#相关字段类}的字典格式存储为数据同步关联列表，以便后续读取生成sql语句。

步骤二：数据同步sql语句的生成

通过读取数据同步关联列表，获取需要建立关联的数据信息，根据其中存储内容，生成数据同步sql语句，从分布数据源向主数据发起数据同步更新；

而以数据库主键ID为关联，分三种情况进行更新：

(1)当数据源行数等于主数据列数

此时主数据数据量等同于数据源数据量，只需通过update语句，以主键ID为关联以数据源为准向主数据发起同步更新。将数据同步列表中信息，写为sql语句以string格式存储在列表中，定期执行sql列表进行数据同步更新。

(2)当数据源行数大于主数据列数

此时主数据数据量少于数据源数据量，对于数据源多出数据部分，需通过insert语句在主数据中插入新行，使二者数据量相同。之后继续采取(1)中方法，定期执行update语句进行数据更新。

(3)当数据源行数小于主数据列数

此时主数据数据量大于数据源数据量，需要通过delete语句删除多出的数据行，使二者数据量相同。之后采取(1)中方法，定期执行update语句进行数据更新。

5.如权利要求4所述的一种基于知识图谱的异构环境下主数据管理方法，其特征在于：所述关系数据库转化为知识图谱的表达形式为RDFS或OWL。

Images