CN113360518A - 一种基于多源异构数据的层次本体构造方法 - Google Patents

Abstract

本发明公开了一种基于多源异构数据的层次本体构造方法，所述方法包括如下步骤：步骤S1、获取关系型数据库数据；步骤S2、提取数据库中数据模式；步骤S3、挖掘数据中隐藏关系信息；步骤S4、根据数据模式信息生成映射文件；步骤S5、根据映射文件以及数据库数据，筛选有效个体，生成本体；步骤S6、读取生成的本体文件，将本体融合入默认本体中。该方法能够根据数据库中的表数据、表结构、表关系自动提取有效信息，构造层次本体，并且保证本体中的个体都是有效的，并构建数据映射表，使从本体能够查询到所有的数据库数据，并对不同数据库构造出的本体进行融合，形成大规模的领域本体。

Description

一种基于多源异构数据的层次本体构造方法

技术领域

本发明属于计算机服务技术领域，涉及一种将多源异构数据转化并融合为本体的方法，具体涉及一种将关系型数据库中数据资源转换为结构化的资源，并将不同来源的资源进行整合从而构造大规模领域本体的方法。

背景技术

随着计算机网络的发展以及制造业的智能化，企业与企业之间的信息交流与合作越来越频繁。目前企业大部分以关系型数据库存储数据资源信息，而随着数据库中数据的不断增加，数据库结构的改变，导致其中数据越来越不能被理解，这样无法使企业的数据被有效利用。企业与企业之间的交流合作往往需要专业人员去搜集资料并且实地考察沟通，当企业中的数据可以结构化的表示，那么将不同企业的结构化的本体进行融合，构建大规模的领域本体，可以挖掘企业之间潜在的数据联系，有助于企业更好的进行资源交换和合作。

目前企业中最常见使用的数据存储方式是以MySQL为代表的关系型数据库。在关系型数据库中，表与表之间的联系通过定义主外键来进行显示表示，或者通过定义关系表，使用约定规则来进行隐式表示，对于不同规范的数据库，普通用户往往不能了解数据库整体架构，不能够有效掌握数据信息。本体是一个抽象的概念模型，这个模型包含了某个领域内概念与概念之间的关系，是相应领域内公认的概念的集合。对本体的描述语言主要有RDF、RDFS和OWL等。在本体中主要有四个概念：1、类：具有相同特征的事务。2、层次结构：对类的组织和描述。3、属性：对类的特征描述，其中又包括数据属性和关系属性。4、个体：类的实例。本体可以使数据的概念关系更清晰，数据的组织更有逻辑性。目前构造本体可以采用斯坦福大学开发的工具Protégé进行本体的构造，需要人工进行，构建后的修改和维护也需要人工进行，对于不同来源的数据本体没有办法直接进行合并。

构建本体是构建知识图谱中重要的一步。知识图谱采用规范而标准的概念模型，本体术语和语法格式来构建和描述数据，并且还可以通过语义链接增强数据之间的关联。这种表达规范，关联性强的数据在辅助决策、支持推理、优化搜索等多个方面都能发挥优势。知识图谱的构建的主要过程为知识获取、知识表示、知识融合。知识图谱的构造是非常复杂的工程，知识获取是知识图谱构造的最基础的工作，可以从多个数据来源获取知识图谱数据，包括文本、人工导入、结构化数据库等。结构化数据库例如各种关系型数据库，是最常用的数据来源之一，但是通常不能直接作为知识图谱来使用，需要定义到本体模型之间的语义映射，对于复杂的数据库来说，自定义本体会损失数据库中许多信息。知识表示则是使用计算机符号来描述人脑中的知识，知识表示决定了知识图谱的产出目标，包括语义描述框架、Schema与本体、知识交换语法、实体命名及ID体系，其中基本描述框架定义知识图谱的基本数据模型和逻辑结构，本体定义知识图谱的类集、属性集、关系集和词汇集。知识融合是指构建知识图谱时可以从第三方知识库或者已有结构化数据中输入知识，从而丰富知识图谱中的知识内容。

通过上述的研究背景可以发现，关系型数据库不能很好的描述企业的数据资源，不利于企业之间的信息交换。

发明内容

为了解决现有技术中存在的以上问题，本发明对于不同模式的关系型数据库，提出了一种基于多源异构数据的层次本体构造方法。该方法能够根据数据库中的表数据、表结构、表关系自动提取有效信息，构造层次本体，并且保证本体中的个体都是有效的，并构建数据映射表，使从本体能够查询到所有的数据库数据，并对不同数据库构造出的本体进行融合，形成大规模的领域本体。

本发明的目的是通过以下技术方案实现的：

一种基于多源异构数据的层次本体构造方法，包括如下步骤：

步骤S1、获取关系型数据库数据，具体步骤如下：

(1)提供用户名和密码，远程连接需要的数据库；

(2)使用.sql文件将数据导入到本地进行使用。

步骤S2、提取数据库中数据模式，具体步骤如下：

(1)检索数据库中各表的信息，提取每一个表的表信息，表信息包括表名、表类型、表注释等；

(2)检索各表中各列的信息，提取每一列的列信息，列信息包括列名、列属性、列值能否为空、列注释等；

(3)判断表是否拥有主键，如果拥有主键则存储主键列信息；

(4)检索各表，判断表是否有外键，如果有外键，则在table类中存储外键对应的表和列信息。

步骤S3、挖掘数据中隐藏关系信息，具体步骤如下：

(1)检索各表，如果该表包含主键，则将主键中所有数据存到Redis中，数据的组织形式为set，一个表的主键对应一个set；

(2)检索各表，将该表中除了主键以外的所有列，分别与Redis中其它表的主键数据进行匹配，判断列之间的对应关系，并设置标志位；

(3)将(2)中挖掘到的关系存储到table类中。

步骤S4、根据数据模式信息生成映射文件，具体步骤如下：

根据步骤S2、步骤S3获得的数据模式信息构建将数据库中信息映射到本体的映射文件，其中：映射文件中包含表名以及对应的实体名、列名以及对应的属性名、外键关系对应的表之间信息和关系名以及挖掘预测的关系和对应的表之间信息和关系名；

步骤S5、根据映射文件以及数据库数据，筛选有效个体，生成本体，具体步骤如下：

(1)检查映射文件，确保映射文件的格式正确，并且不存在命名重复的情况；

(2)根据映射文件生成实体；

(3)根据映射文件生成属性，并连接到对应实体上，属性的uri为“实体的uri/属性名”；

(4)读取映射文件中的外键关系，为实体之间添加关系，为关系添加comment属性，将关系对应的两表的连接信息存储到关系型数据库中，将该条数据的id值赋给comment；

(5)读取映射文件中的预测关系，重复步骤(4)中添加关系的操作，然后判断预测关系的标志值，根据标志值将实体分为待实例化和不需实例化两类，待实例化集中将生成有效个体；

(6)遍历实例化集合，从数据库中读取该实体对应表中的数据，将这些数据进行实例化，生成有效个体；

(7)将数据保存为本体rdf/owl文件。

步骤S6、读取生成的本体文件，将本体融合入默认本体中，具体步骤如下：

(1)将每一个概念层的实体(第一次遍历生成的实体)与默认本体中的每一个实体和属性进行语义相似度和结构相似度匹配，生成匹配表；

(2)根据匹配表，将两本体连接，若匹配表中的匹配项为1:null，则在默认本体中创建相同的实体；若匹配表中的匹配项为1:1，则进行约束补全，包括上下位关系补全、定义域、值域补全与属性约束补全。

相比于现有技术，本发明具有如下优点：

1、本发明提出了“本体中的有效个体”这一概念，以及一种使用不同来源的关系型数据库构造层次本体的方法，能够不损失来源数据中的有效信息，并且保证本体中的个体都是有效的。

2、本发明提出了一种新的本体的组织结构，将本体分为概念层本体和实例层扩充本体，实例层本体中的个体都是有效的，这样的组织结构能够更清晰的描述本体中的关系，减少冗余数据，有利于数据的利用和可视化展示。

3、本发明能够根据数据库中的数据来挖掘实体之间的关系，并将关系分类，有利本体的分层构建。

4、本发明采取了三阶段本体构造方法，考虑了用户在本体构建的能动性，可以在不同的阶段对本体进行不同的干预，在减少用户工作量的同时又保证了对本体准确性的管理。

5、本发明所生成的本体中的关系包含数据库映射的具体信息，即使在融合之后也不会对访问数据产生影响，有利于根据用户需要快速地对数据进行访问。

附图说明

图1为基于多源异构数据的层次本体构造方法的流程图。

图2为根据数据库构建本体映射文件的示意图。

图3为根据映射文件和数据库生成本体的方法示意图。

图4为对默认本体进行融合的方法示意图。

图5为本体定义示例图。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

本发明提供一种基于多源异构数据的层次本体构造方法，如图1所示，所述方法包括以下几个步骤：

步骤S1、获取关系型数据库数据。

本步骤主要是获取来源数据库。可根据用户提供的用户名和密码，远程连接需要的数据库，也可以使用.sql文件将数据导入到本地进行使用。

步骤S2、提取数据库中数据模式。

本步骤主要是提取数据库中的基本信息，包括表信息、列信息、约束等。检索数据库中各表的信息，提取每一个表的表名、表类型、表注释等。检索各表中各列的信息，提取每一列的列名、列属性、列值能否为空、列注释等信息，判断表是否拥有主键，如果拥有主键则存储主键列信息，提取表外键信息，如果有外键，则在表信息类中存储外键对应的表和列信息。

步骤S3、挖掘数据中隐藏关系信息。

本步骤主要是挖掘数据库中未显式声明的表关系信息。首先检索各表，如果该表包含主键，则将主键中所有数据存到Redis中，数据的组织形式为set，一个表的主键对应一个set。检索各表，将该表中除了主键以外的所有列，分别与Redis中其它表的主键数据进行匹配，判断列之间的关系。如果本表该列数据有重复，将标志设置为n，如果没有则标志设置为1。如果本表中数据有不存在于正在匹配的表的主键，则判断该列与正在匹配的表无关。如果本表中所有数据都存在于正在匹配的表的主键中，则判断该列与正在匹配的表有关，关系为标志位所代表的关系。将挖掘到的关系存储到table类中。

步骤S4、根据数据模式信息生成映射文件。

本步骤主要根据步骤S2、步骤S3获得的信息构建将数据库中信息映射到本体的映射文件。映射文件中包含表名以及对应的实体名，列名以及对应的属性名，外键关系对应的表之间信息和关系名，以及挖掘预测的关系和对应的表之间信息和关系名。文件包含默认名称设置。映射文件是json的格式，所以具有很好的可读性，可以人工对实体，属性，关系进行检查，修改，删除。步骤S2、步骤S3、步骤S4所描述的根据数据库读取信息并生成映射文件的方法流程如图2所示。

步骤S5、根据映射文件以及数据库数据，筛选有效个体，生成本体。

本步骤主要使用步骤S4生成的映射文件构建本体。首先检查映射文件，确保映射文件的格式正确，并且不存在命名重复的情况。根据映射文件，首先生成实体，接着再生成属性，并连接到对应实体上，属性的URI为“实体的URI/属性名”。读取映射文件中的外键关系，为实体之间添加关系，为关系添加comment属性，将关系对应的两表的连接信息存储到关系型数据库中，将该条数据的id值赋给comment。读取映射文件中的预测关系，重复对外键关系的操作，然后判断预测关系的标志值。将标志位为n的关系的来源实体名放入待实例化集合中，另一个实体名放入不需实例化集合中。判断标志位为1的关系，如果关系两边有一个存在于待实例化集合中，另一个不存在，则将不存在的实体名放入待实例化集合中。如果一个存在于不需实例化集合中，则将另一个也放入不需实例化集合中。实例化集合将生成有效个体。接着遍历实例化集合，从数据库中读取该实体对应表中的数据，将这些数据进行实例化，声明为实体的子类，即生成有效个体。最后将数据保存为本体RDF/OWL文件。本步骤所描述的构建本体的方法流程如图3所示。生成的包含有效个体的层次本体包含三个层次，即领域层、概念层、有效个体层。有效个体是指满足以下条件的个体：1)所属概念类的实例变动不频繁，2)该个体有融合的价值。

步骤S6、读取生成的本体文件，将本体融合入默认本体中。

本步骤对多源数据生成的本体进行融合。将每一个概念层的实体(第一次遍历生成的实体)与默认本体(可自行选择本体作为默认本体)中的每一个实体和属性进行语义相似度和结构相似度匹配，生成匹配表。根据匹配表，将两本体连接，若匹配表中的匹配项为1:null，则在默认本体中创建相同的实体；若匹配表中的匹配项为1:1，则进行约束补全，包括关系属性补全、数据属性补全、子类补全。本步骤所描述的本体融合方法流程如图4所示。

实施例：

一个简单的数据库A包括四个表，分别为company表，描述公司信息；industry表，描述公司行业；position表，描述公司位置；staff表，描述员工信息。另一个简单的数据库B包含两个表，分别为staff表，描述员工信息；position表，描述员工住所。

按照如下步骤构造基于多源异构数据的层次本体：

第一步，获得到两个数据库的连接方式，并连接成功。

第二步，获取表A的表信息，包括四个表的表名称，每一个表所包含的列信息等，存储四个表的主键为哪一列，表中没有包含外键则没有外键信息。

第三步，挖掘数据中隐藏的关系，首先将各表的主键信息全部存入Redis中，例如industry表的主键存储为set<industry,数据>，接下来将每个表除了主键意外的其他键进行匹配，并标注匹配结果，例如company表的position列数据存在重复，且每个数据被都包含在industry的主键数据中，则标注关系为n，进行存储。最后挖掘关系共得到四组，分别为<company(position)，position(id)，n>、<staff(position)，position(id)，n>、<staff(company_id)，company(id)，n>、<company(company_sort)，industry(id)，n>。

第四步，将上述获得的信息存储到映射文件中。

第五步，根据映射文件，生成实体，根据被标注的关系，生成有效个体，例如<company(position)，position(id)，n>。由于关系为n，则将position放入待实例化集中，position放入不需实例化集中。最后得到待实例化集<company，position，industry>，不需实例化集<staff>，将实例化集中的表中数据读取，生成有效个体，连接到概念实体上。最后生成本体，存储成owl格式的本体文件。接下类对另一个表重复上面的5个步骤。

第六步，选择生成的第一个本体文件作为默认本体，将第二个本体文件融合入其中，主要表现为staff和position概念的融合，由于名称和关系相同，则默认本体保持不变，接着考虑数据属性是否相同，相同则默认不变，再考虑个体是否相同，由于不同，则对概念中个体进行补充连接。将融合后的本体进行保存，则完成了层次本体的构造。得到的本体如图5所示。

Claims (9)

1.一种基于多源异构数据的层次本体构造方法，其特征在于所述方法包括如下步骤：

步骤S1、获取关系型数据库数据；

步骤S2、提取数据库中数据模式；

步骤S3、挖掘数据中隐藏关系信息；

步骤S4、根据数据模式信息生成映射文件；

步骤S5、根据映射文件以及数据库数据，筛选有效个体，生成本体；

步骤S6、读取生成的本体文件，将本体融合入默认本体中。

2.根据权利要求1所述的基于多源异构数据的层次本体构造方法，其特征在于所述步骤S1的具体步骤如下：

(1)提供用户名和密码，远程连接需要的数据库；

(2)使用.sql文件将数据导入到本地进行使用。

3.根据权利要求1所述的基于多源异构数据的层次本体构造方法，其特征在于所述步骤S2的具体步骤如下：

(1)检索数据库中各表的信息，提取每一个表的表信息；

(2)检索各表中各列的信息，提取每一列的列信息；

(3)判断表是否拥有主键，如果拥有主键则存储主键列信息；

(4)检索各表，判断表是否有外键，如果有外键，则在table类中存储外键对应的表和列信息。

4.根据权利要求1所述的基于多源异构数据的层次本体构造方法，其特征在于所述步骤S3的具体步骤如下：

(1)检索各表，如果该表包含主键，则将主键中所有数据存到Redis中，数据的组织形式为set，一个表的主键对应一个set；

(2)检索各表，将该表中除了主键以外的所有列，分别与Redis中其它表的主键数据进行匹配，判断列之间的对应关系，并设置标志位；

(3)将(2)中挖掘到的关系存储到table类中。

5.根据权利要求4所述的基于多源异构数据的层次本体构造方法，其特征在于所述(2)中，如果本表该列数据有重复，将标志设置为n，如果没有则标志设置为1；如果本表中数据有不存在于正在匹配的表的主键，则判断该列与正在匹配的表无关；如果本表中所有数据都存在于正在匹配的表的主键中，则判断该列与正在匹配的表有关，关系为标志位所代表的关系。

6.根据权利要求1所述的基于多源异构数据的层次本体构造方法，其特征在于所述步骤S4的具体步骤如下：

根据步骤S2、步骤S3获得的数据模式信息构建将数据库中信息映射到本体的映射文件，其中：映射文件中包含表名以及对应的实体名、列名以及对应的属性名、外键关系对应的表之间信息和关系名以及挖掘预测的关系和对应的表之间信息和关系名。

7.根据权利要求1所述的基于多源异构数据的层次本体构造方法，其特征在于所述步骤S5的具体步骤如下：

(1)检查映射文件，确保映射文件的格式正确，并且不存在命名重复的情况；

(2)根据映射文件生成实体；

(3)根据映射文件生成属性，并连接到对应实体上，属性的uri为“实体的uri/属性名”；

(4)读取映射文件中的外键关系，为实体之间添加关系，为关系添加comment属性，将关系对应的两表的连接信息存储到关系型数据库中，将该条数据的id值赋给comment；

(5)读取映射文件中的预测关系，重复步骤(4)中添加关系的操作，然后判断预测关系的标志值，根据标志值将实体分为待实例化和不需实例化两类，待实例化集中将生成有效个体；

(6)遍历实例化集合，从数据库中读取该实体对应表中的数据，将这些数据进行实例化，生成有效个体；

(7)将数据保存为本体rdf/owl文件。

8.根据权利要求7所述的基于多源异构数据的层次本体构造方法，其特征在于所述步骤(5)中，将标志位为n的关系的来源实体名放入待实例化集合中，另一个实体名放入不需实例化集合中；判断标志位为1的关系，如果关系两边有一个存在于待实例化集合中，另一个不存在，则将不存在的实体名放入待实例化集合中；如果一个存在于不需实例化集合中，则将另一个也放入不需实例化集合中。

9.根据权利要求1所述的基于多源异构数据的层次本体构造方法，其特征在于所述步骤S6的具体步骤如下：

(1)将每一个概念层的实体与默认本体中的每一个实体和属性进行语义相似度和结构相似度匹配，生成匹配表；

(2)根据匹配表，将两本体连接，若匹配表中的匹配项为1:null，则在默认本体中创建相同的实体；若匹配表中的匹配项为1:1，则进行约束补全，包括上下位关系补全、定义域、值域补全与属性约束补全。

Images