CN111339214A - 一种知识库自动构建方法与系统 - Google Patents

Abstract

本发明通过知识图谱领域的方法，实现了一种知识库自动构建方法与系统，系统架构分为：实体类标签上传、表达体系定义、多源数据获取、消歧融合和图谱构建与展示五个步骤。通过上述步骤所构成的系统，能够利用用户上传的数据文档，自动读取其中信息，并依据用户需求定义出相关数据之间的关系，将实体属性与用户上传数据间的映射关系显示出来供用户核实，进而构建知识库。系统能够减少在知识库构建过程中的精力成本和时间成本的消耗，让用户可以更快捷、更便利、更有效率的去构建定制化的知识图谱。

Description

一种知识库自动构建方法与系统

技术领域

本发明涉及知识图谱领域，尤其涉及一种知识库自动构建方法与系统。

背景技术

随着社交、电商、金融、零售、物联网等行业的快速发展，现实社会组织起来一张庞大而复杂的关系网，但是使用传统的数据库很难去处理关系运算，而且也很难提供一个很好的知识表达与展示的形式。大数据行业对于数据之间关系的处理的需求也随着数据量呈现几何级数增长，亟需一种支持海量复杂数据关系运算的数据库，知识图谱应运而生。随着Google公司于2012年发布Google Knowledge Graph，国内外开始对知识图谱的研究升温，相关研究不断地涌现。这其中，通用知识图谱的构建和应用得到了长足的发展，WordNet、DBpedia、Freebase、WikiData等大型通用知识图谱相继发布。知识图谱也可以被称为知识库，如今，世界上已经有很多著名的公司都在使用知识库来实现一些现实的商业需求。例如，社交领域的Facebook,Twitter,Linkedin用它来管理社交关系，实现好友推荐；零售领域的eBay，沃尔玛使用它实现商品的实时推荐，给买家更好的购物体验；金融领域的摩根大通、花旗、瑞士银行等银行在用它做风控处理；汽车制造领域的沃尔沃，戴姆勒和丰田等顶级汽车制造商依靠它推动创新制造解决方案；电信领域的Verizon、Orange和AT&T等电信公司依靠它来管理网络；酒店领域的万豪和雅高酒店等顶级酒店公司用它来管理复杂且快速变化的库存。

如今大多数知识库构建流程仍然按照传统的手动方式来实现。首先，专家通过描述该领域的相关专业知识，自上而下的定义该领域的知识体系。之后，由知识工程专家来将学术化的知识体系重构成计算机处理的表达体系，即分类体系、属性体系和关系体系。最后，由知识库开发人员以此表达体系为基础，构建专业化的知识库，构建过程的重要实现步骤包括：实体与关系抽取、多源数据消歧融合。

传统知识库每次都需要专家来定义知识表达体系，领域专家定义知识表达体系具有专业性和全面性，但是存在以下两点问题：(1)应用场景可能仅需要轻量的定制化的知识库以便在解决具体问题时提供方便快捷的指导。(2)全面性的知识库必定会引入数量较为庞大的错误实体链接等问题，知识库的运行效率也会随之降低。这带来构建过程的复杂性和冗余性。传统知识库的构建工作每次都需要开发人员从头至尾的实现整个构建流程，这带来代码重复实现的开销。因此，亟需一个知识库构建工具来实现知识库自动化定制化的构建工作。

传统的知识库手动构建流程需要领域专家和开发人员的协调与配合，具有学术性、全面性和开发周期长等特点。当面对如今应用越来越广泛的工程问题时存在以下问题：

⒈知识库的知识表达体系冗余复杂，不能满足定制化需求。

⒉知识库的构建周期较长，需要开发人员针对构建流程进行代码实现。

⒊知识库的数据获取方式单一，无法满足多元化的数据获取需求。

发明内容

为此，本发明提出了一套自动化的知识库构建方案，该系统包括五个运行步骤：

步骤一：获取标签，根据用户上传的结构化文本或标签文本，系统从中抽取表达体系，所述标签获取的过程中，获取用户上传的文本格式或表达体系文件类型数据文件；对于所述文本格式的数据，通过聚类的方式将平行的标签文本生成层次化的标签，因而该实体类内部可形成一个层次化的体系结构，对于所述表达体系文件类型数据，通过表达体系文件抽取该实体类的部分表达体系，抽取表达体系文件的文件名作为该实体类的实体类名；抽取表达体系文件的中的表头作为该实体类的标准属性，若该表头所对应的任一数据值中包含有分号，则定义此标准属性为枚举型，否则定义为单值型，所有属性值均定义为字符串类型；

步骤二：建立表达体系，建立用户自行定义实体类名称、实体类的标准属性和实体类的标准关系的机制，所述表达体系包括：分类体系、属性体系和关系体系；

步骤三：数据获取，用户上传构建知识库所需要数据的实体文件，并勾选图谱可获得数据的其他来源，所述实体文件为文本格式或表达体系文件类型数据文件；

步骤四：消歧融合，系统根据表达体系抽取实体数据和实体关系，将实体属性与用户上传数据间的映射关系显示出来供用户核实，经用户核实后开始构建知识库，并在构建的整个过程中进行实体消歧、链接消歧和属性融合。实体消歧，若图谱构建过程中产生属于同一实体类的同名实体，会将每一个同名实体相对应的属性值进行相似度计算(对属性值进行分词后，相对应的属性值进行模糊匹配)，若相似度计算的得分高于一定阈值，则判定为同一实体并将其属性合并；链接消歧，若构建关系时客体实体包含多个同名实体，主体实体将会与所有客体实体进行相似度计算(实体的属性值进行整合并分词，主体实体的属性值分词与每一个客体实体的属性值分词进行模糊匹配)，主体实体将与相似度计算得分最高的客体实体构建关系；属性融合，若在步骤三上传了文本格式数据，将会从中抽取三元组(实体-属性-属性值)对实体的属性进行补充，该属性名会和该实体下的所有属性名进行相似度计算(与每一个标准属性进行模糊匹配)，若相似度计算的得分高于一定阈值，则与对应的属性合并，否则新建该属性。；

步骤五：图谱展示与输出，将构建好的知识库以图谱的形式进行部分展示，并将知识库表达体系同样以图谱的形式展示，以及基于知识库的相关统计和提供图谱的下载接口。

所述分类体系具体为：对知识库实体类名称进行定义和生成，其具体方法可以为由用户自行输入定义，或对在标签获取步骤中用户上传的实体类的所述表达体系文件，自动抽取其文件名作为该实体类名称。

所述属性体系具体为：对实体类的基本属性的定义，其具体方法可以为由用户自行输入定义，或对在标签获取步骤中用户上传的实体类的所述表达体系文件，自动抽取其表头作为该实体类的基本属性。

所述属性体系为可选的单值型或枚举型两种类型，每个实体类必须包含“name”属性作为该实体类的主键，在实体消歧时主键将作为是否为同名实体的判定标准，在展示图谱时主键将被用于作为结点名称进行显示。

所述关系体系具体为：实现对实体类之间的关系的定义，可以分为直接关系和间接关系，直接关系是不同实体类之间的关系，间接关系是相同实体类之间的关系，关系可以由用户自定义。

所述图谱可获得数据的其他来源包括：百度百科，互联网文本，知行知识库。

本申请技术方案的自动化知识构建方法及系统的技术效果在于，通过上述系统能够减少在知识库构建过程中的精力成本和时间成本的消耗，让用户可以更快捷、更便利、更有效率的去构建定制化的知识图谱，以满足其日常生产生活。具体地：

⒈定制化的知识表达体系：本发明从用户需求的角度出发，制定用户所需要的知识表达体系，避免以往知识库笼统的一套知识表达，从知识库定制化的角度提升知识库对于用户实际需求的满足。

⒉自动化的图谱构建流程：本发明实现了从自动化抽取与用户定制相结合的表达体系定义，到实体、实体属性与关系的自动化抽取，多源数据的获取与消歧融合，图谱展示与数据统计的知识库自动化构建流程。

⒊多样化的数据获取来源：本发明初步利用大数据时代带给我们的知识自动化获取的能力。在这种时代的趋势和背景之下，本发明有条件的调整了传统的知识库的构建方式，在整个知识库的构建过程中加入了知识多来源获取能力，包括百度百科，互联网文本，知行知识库等。

附图说明

图1系统架构图；

图2Talent实体类标签文本示例；

图3Talent实体类标签描述文本示例；

图4Talent实体类标签聚类结果示例；

图5Talent实体类表达体系文件示例；

图6分类体系定义示例；

图7属性体系定义示例；

图8关系体系定义示例；

图9属性映射示例

具体实施方式

以下是本发明的优选实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于此实施例。

为了实现上述的发明目的，本发明提供了一个领域的知识库自动构建的方法与系统。该系统整体架构图如图1。系统大致分为实体类标签上传、表达体系定义、多源数据获取、消歧融合和图谱构建与展示五个步骤。实体类标签上传步骤实现对用户上传的tag标签进行层次化的聚类，从而为Schema体系中的类别体系和图谱展示提供支持；Schema构建步骤为用户定制个性化的知识表达体系提供接口，其中包括对知识库实体的类别体系、属性体系和关系体系的定义步骤；数据获取步骤为用户构建知识库的原始数据提供上传接口，并可自定义多源知识数据的获取来源；消歧融合步骤为用户提供了构建图谱过程中需要的实体消歧、链接消歧和属性融合的功能；图谱构建与展示步骤会用知识图谱的展示形式来呈现知识库并提供接口供用户下载构建完成的知识库。

具体运行流程如下：

步骤1：用户上传的结构化文本或标签文本，系统从中抽取表达体系。

步骤2：用户定义实体类名称、实体类的标准属性和实体类的标准关系

步骤3：用户上传构建知识库所需要数据的文件，并勾选图谱可获得数据的其他来源，包括百度百科数据、知行知识库数据等。

步骤4：系统将根据表达体系抽取实体数据和实体关系，经用户核实后开始构建知识库，并在构建的整个过程中进行实体消歧、链接消歧和属性融合。

步骤5：系统将以图谱形式展示构建好的知识库，提供相关统计与应用。

标签获取

在标签获取步骤，用户可以上传以下两种类型的数据：

(1)某一个实体类的标签文本与标签描述文本(.txt)。系统通过聚类的方式将平行的标签文本生成层次化的标签，因而该实体类内部可形成一个层次化的体系结构，这将被应用于基于图谱的推荐等场景。标签文本与标签描述文本示例如图2、3所示，结果文件示例如图4所示。

(2)某一个实体类的表达体系文件(.csv)。系统通过表达体系文件抽取该实体类的部分表达体系，包括实体类名称与其相应的属性体系。文件示例如图5所示。

表达体系

在表达体系步骤，用户可以自定义该知识库的分类体系、属性体系和关系体系。若用户在标签获取步骤上传过实体类的表达体系文件，则系统将从中抽取分类体系和属性体系。

(1)分类体系

在分类体系步骤主要实现对知识库实体类名称的定义。用户可定制化的自定义。若在标签获取步骤用户上传了实体类的表达体系文件，则系统会抽取其文件名作为该实体类名称。分类体系定义示例如图6所示。

(2)属性体系

在属性体系步骤主要实现对实体类的基本属性的定义。用户可定制化的自定义。若在标签获取步骤用户上传了实体类的表达体系文件，则系统会抽取其表头作为该实体类的基本属性。属性体系定义示例如图7所示。

属性体系可以选择单值型或枚举型两种类型。其中单值型的属性例如“姓名”“性别”“年龄”等，枚举型的属性例如“研究方向”等。每个实体类必须包含“name”属性作为该实体类的主键。

(3)关系体系

在关系体系步骤主要实现对实体类之间的关系的定义。用户可定制化的自定义。关系体系定义示例如图8所示。

实体类之间的关系是通过实体类的属性进行发现的，可以分为直接关系和间接关系。直接关系是不同实体类之间的关系，例如主体Talent实体类可以通过属性“工作单位”发现与客体Organization实体类之间的关系——工作单位。间接关系是相同实体类之间的关系，例如Talent实体类可以通过属性“现居地”发现与Talent实体类之间的关系——同城。

数据获取

在数据获取步骤，用户需上传需要构建知识库的数据文件，即各实体类的.csv文件。用户还可以上传包含实体类的相关数据的文本.txt文件。系统将会抽取.csv文件中的对应数据作为该实体类的基础属性数据，通过关系抽取模型抽取.txt文件中的对应数据作为实体类的属性的补充。为了满足多源化的构建需求，用户还可借助百度百科、知行知识库的相关来源来补充知识库。

消歧融合

在消歧融合的步骤，系统会根据用户定义的表达体系抽取实体属性和实体间关系，并会将实体属性与用户上传数据间的映射关系显示出来供用户核实。属性映射示例如图9所示。

之后，系统会根据属性映射的结果从用户上传数据中抽取实体类属性并根据实体类间关系构建知识库，在构建的过程中进行实体消歧、链接消歧和属性融合。

图谱展示

在图谱展示步骤，系统会将构建好的知识库以图谱的形式进行部分展示，并将知识库表达体系同样以图谱的形式展示，以及基于知识库的相关统计和提供图谱的下载接口。

Claims (6)

1.一种知识库自动构建方法与系统，其特征在于：所述系统包括五个运行步骤：

步骤一：获取标签，根据用户上传的结构化文本或标签文本，系统从中抽取表达体系，所述标签获取的过程中，获取用户上传的文本格式或表达体系文件类型数据文件；对于所述文本格式的数据，通过聚类的方式将平行的标签文本生成层次化的标签，因而该实体类内部可形成一个层次化的体系结构，对于所述表达体系文件类型数据，通过表达体系文件抽取该实体类的部分表达体系，抽取表达体系文件的文件名作为该实体类的实体类名；抽取表达体系文件的中的表头作为该实体类的标准属性，若该表头所对应的任一数据值中包含有分号，则定义此标准属性为枚举型，否则定义为单值型，所有属性值均定义为字符串类型；

步骤二：建立表达体系，建立用户自行定义实体类名称、实体类的标准属性和实体类的标准关系的机制，所述表达体系包括：分类体系、属性体系和关系体系；

步骤三：数据获取，用户上传构建知识库所需要数据的实体文件，并勾选图谱可获得数据的其他来源，所述实体文件为文本格式或表达体系文件类型数据文件；

步骤四：消歧融合，系统根据表达体系抽取实体数据和实体关系，将实体属性与用户上传数据间的映射关系显示出来供用户核实，经用户核实后开始构建知识库，并在构建的整个过程中进行实体消歧、链接消歧和属性融合；其中实体消歧为，对于在图谱构建过程中产生的属于同一实体类的同名实体，将每一个同名实体所对应的属性值进行相似度计算，所述属性值进行相似度计算方法为对属性值进行分词后，对应的属性值进行模糊匹配，若相似度计算的得分高于一定阈值，则判定为同一实体并将其属性合并；链接消歧为，若图谱构建的关系构建中客体实体包含多个同名实体，主体实体将会与所有客体实体进行相似度计算，所述与壳体实体进行相似度计算方法为实体的属性值进行整合并分词，主体实体的属性值分词与每一个客体实体的属性值分词进行模糊匹配，主体实体将与相似度计算得分最高的客体实体构建关系；属性融合为，若在步骤三上传了文本格式数据，将会从中抽取三元组，所述三元组为实体、属性、属性值，对实体的属性进行补充，该属性名会和该实体下的所有属性名进行相似度计算，所述所有属性进行相似度计算方法为与每一个标准属性进行模糊匹配，若相似度计算的得分高于一定阈值，则与对应的属性合并，否则新建该属性；

步骤五：图谱展示与输出，将构建好的知识库以图谱的形式进行部分展示，并将知识库表达体系同样以图谱的形式展示，以及基于知识库的相关统计和提供图谱的下载接口。

2.根据权利要求1所述的一种知识库自动构建方法与系统，其特征在于：所述分类体系具体为：对知识库实体类名称进行定义和生成，其具体方法可以为由用户自行输入定义，或对在标签获取步骤中用户上传的实体类的所述表达体系文件，自动抽取其文件名作为该实体类名称。

3.根据权利要求2所述的一种知识库自动构建方法与系统，其特征在于：所述属性体系具体为：对实体类的基本属性的定义，其具体方法可以为由用户自行输入定义，或对在标签获取步骤中用户上传的实体类的所述表达体系文件，自动抽取其表头作为该实体类的基本属性。

4.根据权利要求3所述的一种知识库自动构建方法与系统，其特征在于：所述属性体系为可选的单值型或枚举型两种类型，每个实体类必须包含“name”属性作为该实体类的主键，在实体消歧时主键将作为是否为同名实体的判定标准，在展示图谱时主键将被用于作为结点名称进行显示。

5.根据权利要求4所述的一种知识库自动构建方法与系统，其特征在于：所述关系体系具体为：实现对实体类之间的关系的定义，可以分为直接关系和间接关系，直接关系是不同实体类之间的关系，间接关系是相同实体类之间的关系，关系可以由用户自定义。

6.根据权利要求5所述的一种知识库自动构建方法与系统，其特征在于：所述图谱可获得数据的其他来源包括：百度百科，互联网文本，知行知识库。

Images