CN107609052A - 一种基于语义三角的领域知识图谱的生成方法及装置 - Google Patents

Abstract

本发明公开了一种基于语义三角的领域知识图谱的生成方法及装置，其方法为：生成目标领域的知识图谱中的实体、概念及其代表词项、语义三角中概念的表示；依据预设的关系类型分类规则对目标领域应用系统关系数据库的数据规划进行规则匹配构建概念之间的关联关系；根据所述概念和概念之间的关联关系使用图模型构建知识图谱的概念层；依据实体所属字段在知识图谱中所匹配的概念构建实体的概念实例化；根据所述知识图谱的概念层，将所述概念层衍生到实体之间的关联关系的构建中，得到实体之间的关联关系；根据所述实体之间的关联关系构建知识图谱的实体层。本发明将概念与实体分离，用以解决特定领域对于知识的专业性需求。

Description

一种基于语义三角的领域知识图谱的生成方法及装置

技术领域

本发明属于人工智能领域，具体涉及一种基于语义三角的领域知识图谱的生成方法及装置。

背景技术

金融审计是一种专业性非常强的金融监督活动，在该领域内产生的知识与反映金融现象的信息和数据密不可分，与一般常识和反映社会现象、自然现象的知识有很大的区别。一方面，审计人员的知识需求对于领域的依赖性非常强，存在着许多领域内的术语，所以一般化的知识库和知识图谱无法满足专业审计人员的长尾需求；另一方面，金融审计工作非常依赖专家经验，当前审计知识的总结需要大量混合型人才的劳动投入，审计取证和得出审计结论会产生大量的、重复的数据采集过程和数据分析过程，因而降低了审计工作的执行效率，扩大了审计工作的成本。

要达到高效率、低成本解决领域问题的目标，就需要人与计算机能够深度交互，协同处理领域问题。人机之间的深度交互需要领域知识图谱为知识挖掘和推理提供基础，建立人机之间的信息通道，从而实现领域内数据分析的智能化和便捷化。

现有知识图谱的实现技术大多描述的是实体之间的语义网络，采用主-谓-宾三元组的形式表示知识网络，这种表示方法会带来概念和实体的混淆，从而造成用户的理解障碍，并且不利于实体的理解。

发明内容

本发明针对上述问题，提出了一种基于语义三角的领域知识图谱的生成方法及装置。本发明将概念与实体分离，用以解决特定领域对于知识的专业性需求，如审计领域的数据分析和垂直搜索需求。

本发明采用的技术方案如下：

根据设定目标领域的应用系统关系数据库的数据字典(DataDictionary)，抽取语义三角中的概念，使用唯一的CID对概念进行标识，得到目标领域的知识图谱中的概念；并且将数据字典中对元数据的描述作为语义三角中概念的代表词项；

从领域相关的业务文本资料或者互联网上领域相关的文本资料中获取目标领域的非结构化文本数据集。

对非结构化文本数据集进行词向量分析，得到语义三角中概念的表示，包括：

1)对所述非结构化文本数据进行分词处理，获取领域相关的词汇集合；

2)对划分出的领域内词汇使用词向量分析方法(Word Embedding)，得到词汇的向量表示，该表示为词汇(向量1，向量2，,,,，向量i)；

3)根据词汇的向量表示计算词汇之间的向量距离，得到词汇的相似概率；

将词汇集合中与概念的代表词项相似概率最高的K个词汇划分到所述概念的候选词集合。得到语义三角中概念的表示，所述概念的表示包括一个代表词项和一组候选词项集合。

1)依据预设的关系类型分类规则对所述关系数据库的数据规划(DataSchema)进行规则匹配，构建概念与概念之间的关联关系，所述关系数据库的数据规划包括以下元素：表空间、表名称、字段名称、表主键、表外键、主外键约束、非空约束；所述概念与概念之间的关系类型包括但不限于以下几类：继承于(IsA)关系、有(Has)关系、扩展出(Extend)关系、作为(PlayAs)关系、联想(Associate)关系；所述关系类型分类规则主要包括：识别所述关系数据库的ER模型，具体包括实体表、关系表、关联方法(主外键关联)、实体表的主键字段、实体表的非主键字段；其中实体表及其所包含字段已经通过数据字典的抽取处理，有对应的概念；

2)通过实体表与实体表的非主键字段的包含关系构建概念的有(Has)关系；

3)通过实体表与实体表之间的主外键关联关系构建概念的扩展出(Extend)关系；

4)不同表空间的相同主键实体表构建概念的作为(PlayAs)关系；

5)实体表通过关系表与另一个实体表关联时构建两个实体表对应概念的联想(Associate)关系。

根据SQL语言的结构化查询特点，对目标领域的应用系统关系数据库中类SQL操作脚本依照其查询关键字进行语义划分，得到数据操作的语义文本。具体操作为：

1)对所述类SQL作脚本进行正则匹配，识别其中的查询关键字，得到查询语义块；所述的查询关键字包括select，from，where，join等；

2)对所述查询语义块中的的文本进行词法分析，获取源表、目标表、源表字段、目标表字段以及描述表名和字段名的词汇，并在概念表达的代表词项和候选词集中检索上述词汇，得到查询语义块中表或字段所对应的概念。

对所述关系数据库的数据操作语义文本进行规则匹配，依据预设关系类型分类规则扩充已构建的概念与概念之间的关联关系。预设关系类型分类规则包括但不限于以下内容：

1)存在from、where关键字时，源表与目标表对应概念之间构建继承于(IsA)关系；

2)存在select关键字时，目标表与目标表字段对应概念之间构建有(Has)关系；

3)存在from、join关键字时，源表与目标表对应概念之间构建扩展出(Extend)关系；

4)存在as关键字时，源表字段与目标表字段对应概念之间构建作为(PlayAs)关系。

根据所述概念和概念之间的关联关系构建知识图谱的概念层，概念层使用图模型进行构建，其中图的节点表示概念，图的边表示概念与概念之间关系。

采集所述关系数据库的元数据，并用唯一的TID对元数据进行标识，作为知识图谱中的实体，依据实体所属字段在知识图谱中所匹配的概念构建实体的概念实例化(InstanceOf)；根据所述知识图谱的概念层，将知识图谱概念层衍生到实体之间的关联关系的构建中，即如果两个概念之间存在某种关系，那么这两个概念实例化的所有实体之间也继承这种关系。特殊的，当实体之间的关联关系是基于概念层某一属性概念生成的关联关系，则该关联关系与该属性概念之间由一条超边连接，用来表示这种特殊的(BaseOn)关系。

根据所述实体和实体之间的关联关系构建知识图谱的实体层。

对所述领域知识图谱进行存储，其方法包括：将领域知识图谱的概念层使用关系数据库进行存储；将领域知识图谱的实体层使用XML、Jason等半结构化方式进行存储；将领域知识图谱的概念层使用Hash表、链表等方式进行存储；将领域知识图谱的实体层使用Neo4j等图数据库方式进行存储。概念由CID唯一标识，实体由TID标识，CID与TID之间的联系由一张索引表保存。

根据本发明的另一个方面，提供了一种领域知识图谱的生成装置，该装置包括：

关系数据库预处理单元，用于对领域相关的关系数据库的数据字典、数据规划、数据库操作脚本的抽取和资源分类，得到可以进行批处理的资源文件。

数据操作语义文本抽取单元，用于从数据库类SQL操作脚本中抽取结构化查询的语义文本组合，并识别查询语义块中的名词词汇；对所述应用系统关系数据库中的类SQL操作脚本依照其查询关键字进行语义划分，得到数据操作的语义文本；

非结构化文本爬取单元，用于获取目标领域的非结构化文本数据集；

词向量分析单元，用于对该非结构化文本数据集进行词向量分析，得到语义三角中概念的表示；

概念关系规则匹配单元，用于从数据规划或数据操作语义文本中获取概念与概念之间的关联关系以及该关系的类型；以及依据预设的关系类型分类规则对所述语义文本进行规则匹配，扩充已构建的概念与概念之间的关联关系；

知识表示单元，用于根据设定目标领域的应用系统关系数据库的数据字典，抽取语义三角中的概念并使用CID对概念进行标识，得到该目标领域的知识图谱中的概念；将该数据字典中对元数据的描述作为概念的代表词项；以及采集所述关系数据库的元数据并使用TID对实体进行标识，得到该目标领域的知识图谱中的实体；依据实体所属字段在知识图谱中所匹配的概念构建实体的概念实例化；

领域知识图谱构建单元，用于依据预设的关系类型分类规则对所述应用系统关系数据库的数据规划进行规则匹配，构建概念与概念之间的关联关系；根据所述概念和概念之间的关联关系使用图模型构建知识图谱的概念层，其中图的节点表示概念，图的边表示概念与概念之间关系；以及根据所述知识图谱的概念层，将概念层衍生到实体之间的关联关系的构建中，得到实体之间的关联关系，根据所述实体之间的关联关系构建知识图谱的实体层。

与现有技术相比，本发明的积极效果为：

本发明利用语义三角的思想融合到领域知识图谱的构建过程中，解决了现有知识图谱概念与实体混淆造成理解困难的问题。同时本发明满足专业化需求，如审计领域数据分析需求的知识图谱，提供了一种领域内大数据表达、组织、管理和应用的有效方法。

附图说明

图1为本发明提出的基于语义三角的领域知识图谱构建方法的流程图；

图2为本发明提出的基于语义三角的领域知识图谱构建方法中步骤S2的细分流程图；

图3为本发明提出的基于语义三角的领域知识图谱构建方法中步骤S3的细分流程图；

图4为本发明提出的基于语义三角的领域知识图谱生成装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明，以下结合实例和附图进一步详细描述本发明，但不构成对本发明的限制。

图1为本发明实施示例的基于语义三角的领域知识图谱构建方法的流程图。参照图1内容，本发明实施示例提出的一种领域知识图谱构建方法具体包括以下步骤：

S1：从领域相关的关系数据库中抽取数据字典、数据规划和数据操作脚本，获得语义三角的概念以及概念之间的关系。其中，领域相关的关系数据库是指专业性领域的业务支持系统的关系数据库，如审计领域的全流程信贷系统、核心业务系统的数据库。

S2：从领域相关非结构化文本中抽取领域内的术语词汇，根据词汇的相似性，获得语义三角的概念表示。所述概念的表示包括概念的代表词和候选词项。在具体的实施示例中，如审计领域中的概念“合同编号“，它是由“合同编号”这个代表词和{合同号,合同档案号,…}等候选词项表示的。

S3：对领域内的类SQL操作脚本进行查询语义划分，并根据预设的匹配规则扩充概念之间的关系。所述概念间的预设关系类型包括但不限于以下几类：

1)继承于(IsA)：表示一个概念是另一个概念的子概念关系；

2)有(Has)：表示一个概念将另一概念作为其属性概念的关系；

3)扩展出(Extend)：表示一个概念衍生出另一个概念的关系；

4)作为(PlayAs)：表示一个概念在特定条件下可以转换为另一个概念的关系；

S4：从领域相关的关系数据库中抽取语义三角的实体以及实体与概念之间的实例化关系，并将概念之间的关系衍生到实体之间。特殊的，当实体之间的关系是基于概念层某个属性概念的时候，实体关系与属性概念就由一条超边连接，用来表示这种特殊的(BasedOn)关系。在审计领域的具体实施示例中，根据概念层的<项目，扩展出，合同>、<项目，有，项目名称>、<项目，有，项目总投资金额>内容，以及实体与概念之间的实例化关系<项目，实例化，BP000011>、<合同，实例化，BC000010>、<项目名称，实例化，XXX街道棚户区改造项目第一期>、<项目总投资金额，实例化，50000000>，可以衍生出实体层之间的关系<BP000011，扩展出，BC000010>以及特殊的<BP000011，项目名称，XXX街道棚户区改造项目第一期>、<BP000011，总投资金额，50000000>。

S5：利用所述的概念、实体及其关系和表示构建领域知识图谱的概念网络和实体网络。所述概念网络中节点为概念，边为概念与概念之间的关系，边上保存关系的语义信息；所述实体网络中节点为实体，边为实体与实体之间的概念衍生关系，超边为实体、属性概念的集合，边上保存关系的语义信息。

在本发明的一个具体实施示例中，如图2所示，上述实施步骤S2进一步包括以下步骤：

S21：从领域相关的业务文本资料或者互联网上领域相关的文本资料中获取指定领域的非结构化文本数据集。在审计领域的具体实施示例中，所述相关业务文本资料包括审计工作底稿、审计报告、审计计划、审计操作手册等，互联网上领域相关的文本资料包括银监会公开发文、处罚通告等。

S22：对所述非结构化文本数据进行分词处理，获取领域相关的词汇集合(术语)和词频统计。分词处理依赖于S1步骤从数据字典中抽取的概念词库。

S23：对划分出的领域内词汇使用词向量分析方法，得到词汇的向量表示。

S24：根据词汇的向量表示计算词语的相似性，得到词汇的相似概率。

S25：将词汇集合中的高频词作为一个概念的代表词项，并将与其相似概率高的词汇划分到所述概念的候选词集合。

在本发明的一个具体实施示例中，如图3所示，上述实施步骤S3进一步包括以下步骤：

S31：根据SQL语言的结构化查询特点，对类SQL操作脚本依照其查询关键字进行查询的语义划分，得到数据操作的语义文本。

S32：对所述类SQL操作脚本进行正则匹配，识别其中的查询关键字，得到查询语义块。

S33：对所述查询语义块中的符号依据SQL语言符号表进行正则匹配，对分割后的文本进行词法分析，得到领域相关名词词汇及其语义。

S34：将文本中领域相关名词词汇与概念进行匹配依据预设关系类型分类规则扩充已构建的概念与概念之间的关联关系。

在本发明的一个具体实施示例中，图4示意性的表示了本发明提出的基于语义三角的领域知识图谱生成装置的结构框图，装置的主要功能单元包括：

关系数据库预处理单元，用于对领域相关的关系数据库进行数据字典、数据规划、数据库操作脚本的抽取和资源分类，得到可以进行批处理的资源文件。

数据操作语义文本抽取单元，用于从数据库类SQL操作脚本中抽取结构化查询的语义文本组合，并识别查询语义块中的名词词汇；对所述应用系统关系数据库中的类SQL操作脚本依照其查询关键字进行语义划分，得到数据操作的语义文本；

非结构化文本爬取单元，用于获取目标领域的非结构化文本数据集；

词向量分析单元，用于对该非结构化文本数据集进行词向量分析，得到语义三角中概念的表示；

概念关系规则匹配单元，用于从数据规划或数据操作语义文本中获取概念与概念之间的关联关系以及该关系的类型；以及依据预设的关系类型分类规则对所述语义文本进行规则匹配，扩充已构建的概念与概念之间的关联关系；

知识表示单元，用于根据设定目标领域的应用系统关系数据库的数据字典，抽取语义三角中的概念并使用CID对概念进行标识，得到该目标领域的知识图谱中的概念；将该数据字典中对元数据的描述作为概念的代表词项；以及采集所述关系数据库的元数据并使用TID对实体进行标识，得到该目标领域的知识图谱中的实体；依据实体所属字段在知识图谱中所匹配的概念构建实体的概念实例化；

领域知识图谱构建单元，用于依据预设的关系类型分类规则对所述应用系统关系数据库的数据规划进行规则匹配，构建概念与概念之间的关联关系；根据所述概念和概念之间的关联关系使用图模型构建知识图谱的概念层，其中图的节点表示概念，图的边表示概念与概念之间关系；以及根据所述知识图谱的概念层，将概念层衍生到实体之间的关联关系的构建中，得到实体之间的关联关系，根据所述实体之间的关联关系构建知识图谱的实体层。

Claims (10)

1.一种基于语义三角的领域知识图谱的生成方法，其步骤包括：

1)根据设定目标领域的应用系统关系数据库的数据字典，抽取语义三角中的概念并使用CID对概念进行标识，得到该目标领域的知识图谱中的概念；将该数据字典中对元数据的描述作为概念的代表词项；

2)获取该目标领域的非结构化文本数据集；对该非结构化文本数据集进行词向量分析，得到语义三角中概念的表示；

3)依据预设的关系类型分类规则对所述应用系统关系数据库的数据规划进行规则匹配，构建概念与概念之间的关联关系；

4)根据所述概念和概念之间的关联关系使用图模型构建知识图谱的概念层，其中图的节点表示概念，图的边表示概念与概念之间关系；

5)采集所述关系数据库的元数据并使用TID对元数据进行标识，得到该目标领域的知识图谱中的实体；依据实体所属字段在知识图谱中所匹配的概念构建实体的概念实例化；

6)根据所述知识图谱的概念层，将所述概念层衍生到实体之间的关联关系的构建中，得到实体之间的关联关系；

7)根据所述实体之间的关联关系构建知识图谱的实体层。

2.如权利要求1所述的方法，其特征在于，所述步骤2)中，对非结构化文本数据集进行词向量分析，得到语义三角中概念的表示的方法为：

21)对所述非结构化文本数据集中的数据进行分词处理，获取领域相关的词汇集合；

22)使用词向量分析方法对该词汇集合中的词汇进行处理，得到每一词汇的向量表示；

23)根据词汇的向量表示计算词汇之间的向量距离，得到词汇的相似概率；

24)对于每一所述概念，将该词汇集合中与该概念的代表词项相似概率最高的K个词汇划分到该概念的候选词集合，得到语义三角中概念的表示；每一所述概念的表示包括一个代表词项和一组候选词项集合。

3.如权利要求1或2所述的方法，其特征在于，从领域相关的业务文本资料或者互联网上领域相关的文本资料中获取目标领域的非结构化文本数据集。

4.如权利要求1所述的方法，其特征在于，对所述概念与概念之间的关联关系进行扩充：对所述应用系统关系数据库中的类SQL操作脚本依照其查询关键字进行语义划分，得到数据操作的语义文本；依据预设的关系类型分类规则对所述语义文本进行规则匹配，扩充已构建的概念与概念之间的关联关系。

5.如权利要求1所述的方法，其特征在于，得到所述语义文本的方法为：首先对所述类SQL作脚本进行正则匹配，识别其中的查询关键字，得到查询语义块；然后对所述查询语义块中的的文本进行词法分析，获取源表、目标表、源表字段、目标表字段以及描述表名和字段名的词汇，并在概念表达的代表词项和候选词集中检索所述词汇，得到查询语义块中表或字段所对应的概念。

6.如权利要求1或2所述的方法，其特征在于，所述步骤6)中，当实体之间的关联关系是基于概念层某一属性概念生成的关联关系时，则将该关联关系与该属性概念之间由一条超边连接。

7.一种指定领域知识图谱的生成装置，其特征在于，包括：

数据操作语义文本抽取单元，用于从数据库类SQL操作脚本中抽取结构化查询的语义文本组合，并识别查询语义块中的名词词汇；以及用于对所述应用系统关系数据库中的类SQL操作脚本依照其查询关键字进行语义划分，得到数据操作的语义文本；

非结构化文本爬取单元，用于获取目标领域的非结构化文本数据集；

词向量分析单元，用于对该非结构化文本数据集进行词向量分析，得到语义三角中概念的表示；

概念关系规则匹配单元，用于依据预设的关系类型分类规则对所述应用系统关系数据库的数据规划进行规则匹配，构建概念与概念之间的关联关系；

知识表示单元，用于根据设定目标领域的应用系统关系数据库的数据字典，抽取语义三角中的概念并使用CID对概念进行标识，得到该目标领域的知识图谱中的概念；将该数据字典中对元数据的描述作为概念的代表词项；以及采集所述关系数据库的元数据并使用TID对实体进行标识，得到该目标领域的知识图谱中的实体；依据实体所属字段在知识图谱中所匹配的概念构建实体的概念实例化；

领域知识图谱构建单元，用于依据预设的关系类型分类规则对所述应用系统关系数据库的数据规划进行规则匹配，构建概念与概念之间的关联关系；根据所述概念和概念之间的关联关系使用图模型构建知识图谱的概念层，其中图的节点表示概念，图的边表示概念与概念之间关系；以及根据所述知识图谱的概念层，将概念层衍生到实体之间的关联关系的构建中，得到实体之间的关联关系，根据所述实体之间的关联关系构建知识图谱的实体层。

8.如权利要求7所述的装置，其特征在于，所述数据操作语义文本抽取单元首先对所述类SQL脚本进行正则匹配，识别其中的查询关键字，得到查询语义块；然后对所述查询语义块中的的文本进行词法分析，获取源表、目标表、源表字段、目标表字段以及描述表名和字段名的词汇，并在概念表达的代表词项和候选词集中检索所述词汇，得到查询语义块中表或字段所对应的概念，得到所述语义文本。

9.如权利要求7所述的装置，其特征在于，所述领域知识图谱构建单元对于实体之间的关联关系是基于概念层某一属性概念生成的关联关系时，则将该关联关系与该属性概念之间由一条超边连接；所述概念关系规则匹配单元，依据预设的关系类型分类规则对所述语义文本进行规则匹配，扩充已构建的概念与概念之间的关联关系。

10.如权利要求7所述的装置，其特征在于，所述词向量分析单元对所述非结构化文本数据集中的数据进行分词处理，获取领域相关的词汇集合；使用词向量分析方法对该词汇集合中的词汇进行处理，得到每一词汇的向量表示；根据词汇的向量表示计算词汇之间的向量距离，得到词汇的相似概率；对于每一所述概念，将该词汇集合中与该概念的代表词项相似概率最高的K个词汇划分到该概念的候选词集合，得到语义三角中概念的表示；其中，每一所述概念的表示包括一个代表词项和一组候选词项集合。