CN111930963A - 知识图谱生成方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明涉及一种大数据技术，揭露了一种知识图谱生成方法，包括：将爬取的文本集中文本进行聚类和特征词提取，得到聚类文本集和特征词集，并识别所述聚类文本集和特征词集中存在的属性关系，生成节点属性关系，将所述节点属性关系和所述特征词集转换为对应的节点属性关系向量和特征词向量集；从所述特征词向量集中筛选出不具有特征词属性关系的特征词向量，得到筛选向量，并计算任意两个筛选向量之间的距离值；根据所述距离值进行知识图谱的建模，生成对应的知识图谱。此外，本发明还涉及区块链技术，所述特征词集可存储于区块链中。本发明可以提高知识图谱的全面性。本发明还适用于智慧政务领域，从而推动智慧城市的建设。

Description

知识图谱生成方法、装置、电子设备及存储介质

技术领域

本发明涉及大数据技术领域，尤其涉及一种知识图谱生成方法、装置、电子设备及存储介质。

背景技术

知识图谱在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系，以结构化的形式描述客观世界中的概念、实体及其关系。

知识图谱为互联网上海量、异构、动态的大数据表达、组织、管理以及利用提供了一种更为有效的方式，使得网络的智能化水平更高，更加接近于人类的认知思维。

当前的知识图谱通常是抽取数据中的实体信息及实体之间的属性关系，汇总所述属性关系生成的。但通过上述方法生成的知识图谱，并没有考虑到数据中存在的隐含的实体关系，导致最终生成的知识图谱不够全面。

发明内容

本发明提供一种知识图谱生成方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高知识图谱的全面性。

为实现上述目的，本发明提供的一种知识图谱生成方法，包括：

爬取文本集，将所述文本集中相同类型的文本进行聚类，生成一个或者多个聚类文本集；

识别所述聚类文本集中文本之间的基本文本属性关系；

提取所述聚类文本集中每一个聚类文本的特征词，得到特征词集，并识别所述特征词集中特征词之间的特征词属性关系；

汇总所述基本文本属性关系和所述特征词属性关系，生成节点属性关系，将所述节点属性关系和所述特征词集转换为对应的节点属性关系向量和特征词向量集；

从所述特征词向量集中筛选出不具有特征词属性关系的特征词向量，得到筛选向量，并计算任意两个筛选向量之间的距离值；

在所述距离值不大于预设距离值时，识别对应筛选向量之间的隐含属性关系向量，并对所述特征词向量集、节点属性关系向量以及隐含属性关系向量进行文本-属性关系建模，生成第一图谱向量空间，将所述第一图谱向量空间转化为第一知识图谱；

在所述距离值大于预设距离值时，对所述特征词向量集和节点属性关系向量进行文本-属性关系建模，生成第二图谱向量空间，将所述第二图谱向量空间转化为第二知识图谱。

可选地，所述爬取文本集包括：

获取待爬取文本的网站页面，并侦测所述网站页面的埋点控件；

根据所述埋点控件，生成待爬取文本的配置参数表；

根据所述配置参数表，采集所述网站页面中的文本，得到所述文本集。

可选地，述识别所述聚类文本集中文本之间的基本文本属性关系，包括：

提取所述聚类文本集中的实体词语；

根据提取的所述实体词语，及利用预设的实体属性关系图确定所述聚类文本集中文本之间的基本文本属性关系。

可选地，所述提取所述聚类文本集中每一个聚类文本的特征词包括：

对所述每一个聚类文本进行分词，得到词语集，根据所述词语集，执行所述特征词的提取。

可选地，所述对所述每一个聚类文本进行分词，得到词语集，包括：

删除所述聚类文本中的停用词，得到目的聚类文本；

筛选所述目的聚类文本中的词条，生成初始词条集；

对所述初始词条集进行前缀切分，得到所述词语集。

可选地，所述计算任意两个筛选向量之间的距离值，包括：

利用下述方法计算任意两个筛选向量之间的距离值：

其中，T(x，y)表示筛选向量之间的距离值，x表示筛选向量x，y表示筛选向量y，

表示筛选向量x的第i个向量值，

表示筛选向量y的第i个向量值。

可选地，所述第一知识图谱和第二知识图谱的界面为可视化界面。

为了解决上述问题，本发明还提供一种知识图谱生成装置，所述装置包括：

爬取模块，用于爬取文本集，将所述文本集中相同类型的文本进行聚类，生成一个或者多个聚类文本集；

识别模块，用于识别所述聚类文本集中文本之间的基本文本属性关系；

所述识别模块，还用于提取所述聚类文本集中每一个聚类文本的特征词，得到特征词集，并识别所述特征词集中特征词之间的特征词属性关系；

汇总及转换模块，用于汇总所述基本文本属性关系和所述特征词属性关系，生成节点属性关系，将所述节点属性关系和所述特征词集转换为对应的节点属性关系向量和特征词向量集；

筛选及计算模块，用于从所述特征词向量集中筛选出不具有特征词属性关系的特征词向量，得到筛选向量，并计算任意两个筛选向量之间的距离值；

所述识别模块，还用于识别所述距离值是否大于预设距离值；

生成模块，用于在所述距离值不大于预设距离值时，识别对应筛选向量之间的隐含属性关系向量，并对所述特征词向量集、节点属性关系向量以及隐含属性关系向量进行文本-属性关系建模，生成第一图谱向量空间，将所述第一图谱向量空间转化为第一知识图谱；

所述生成模块，还用于在所述距离值大于预设距离值时，对所述特征词向量集和节点属性关系向量进行文本-属性关系建模，生成第二图谱向量空间，将所述第二图谱向量空间转化为第二知识图谱。

为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：

存储器，存储至少一个指令；及

处理器，执行所述存储器中存储的指令以实现上述所述的知识图谱生成方法。

为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的知识图谱生成方法。

本发明实施例首先识别爬取的聚类文本之间的基本文本属性关系以及聚类文本中特征词的特征词属性关系，汇总所述文本属性关系和所述特征词属性关系，生成节点属性关系，并将所述节点属性关系和所述特征词集转换为对应的节点属性关系向量和特征词向量集，通过爬取的手段保证了聚类文本的实时性，及基于所述节点属性关系的确定，可以直观的反应出聚类文本之间和特征词之间的关系，保障了知识图谱生成的前提；其次，本发明实施例计算所述特征词向量集中不具有特征词属性关系的特征词向量之间的距离值，可以识别出特征词之间存在的隐含属性关系，保障知识图谱生成的全面性；进一步地，本发明实施例若所述距离值不大于预设距离值，则生成对应特征词向量之间的隐含属性关系向量，并对所述特征词向量、节点属性关系向量以及隐含属性关系向量进行文本-属性关系建模，得到第一知识图谱，若所述距离值大于预设距离值，则对所述特征词向量和节点属性关系向量进行文本-属性关系建模，得到第二知识图谱，基于所述第一知识图谱和第二知识图谱，可以直观形象的全面展示出政策之间的属性关系，从而可以确定政策之间较为全面的关联关系，进而可以提高生成的知识图谱的全面性。

附图说明

图1为本发明一实施例提供的知识图谱生成方法的流程示意图；

图2为本发明第一实施例中图1提供的知识图谱方法步骤S1的流程示意图；

图3为本发明第一实施例中图1提供的知识图谱方法步骤S2的流程示意图；

图4为本发明一实施例提供的知识图谱生成装置的模块示意图；

图5为本发明一实施例提供的实现知识图谱生成方法的电子设备的内部结构示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本申请实施例提供的知识图谱生成方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述知识图谱生成方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。

参照图1所示的本发明一实施例提供的知识图谱生成方法的流程示意图。在本发明实施例中，所述知识图谱生成方法包括：

S1、爬取文本集，将所述聚类文本集中相同类型的聚类文本进行聚类，生成多个聚类文本集。

本发明其中一个实施例中，所述文本集包括政策文本集，所述政策文本集由不同地区政府颁布的政策文件形成，例如：地方落户政策文件、区域科技发展政策文件、区域拆迁补偿政策文件以及区域招商引资政策文件等等。

优选地，本发明实施例利用埋点技术实现所述聚类文本集的爬取，基于所述埋点技术可以爬取实时最新文件，有利于保证后续知识图谱建立的实时性。

具体的，参阅图2所示，所述爬取文本集，包括：

S10、获取待爬取聚类文本的网站页面，并侦测所述网站页面的埋点控件；

S11、根据所述埋点控件，生成待爬取聚类文本的配置参数表；

S12、根据所述配置参数表，采集所述网站页面中的聚类文本，得到所述聚类文本集。

其中，需要声明的是，埋点技术属于当前较为成熟的技术，因此，在本发明中，关于埋点技术具体的实现原理不再进一步地阐述。

进一步地，由于爬取的聚类文本集具有不同类型的聚类文本，其涉及到多个行业，多个领域，因此，本发明通过将所述聚类文本集中相同类型的聚类文本进行聚类，生成多个聚类文本集，以区分出所述聚类文本集中不同类型的聚类文本及实现相同类型的聚类文本的集成。

示例性地，所述文本集为政策文本集，则政策文本集的类型包括：政策主题、政策类别以及政策行业等，于是，本发明将政策类型为关于地方落户的政策文件聚类，将区域招商引资的政策文件进行聚类等等。

一个可选实施例中，利用当前已知k-means算法实现所述聚类文本的聚类。

基于上述的实施方案，通过爬取的手段保证了聚类文本的实时性，采用聚类的手段实现了聚类文本集的聚类文本分类，提高后续聚类文本的处理时间。

S2、识别每个所述聚类文本集中聚类文本之间的基本文本属性关系。

本发明较佳实施例中，参阅图3所示，所述S2包括：

S20、提取所述聚类文本集中的实体词语；

S21、根据提取的所述实体词语，及利用预设的实体属性关系图确定所述聚类文本集中聚类文本之间的基本文本属性关系。

一个优选实施例中，利用当前已知的实体命名识别（Named Entity Recognition，NER）工具提取所述聚类文本集中的实体词语。

一个优选实施例中，所述预设的实体属性关系图通过E-R图进行构建，其中，需要声明的是，所述预设的实体属性关系图基于不同的用户选择进行构建。

示例性地，所述聚类文本集为地方落户聚类文本集，其包括：市落户聚类文本、区落户聚类文本以及县落户聚类文本等，其中，利用所述NER工具提取所述地方落户聚类文本集的实体词语包括：市、区、县，根据预设的政策实体关系图，查询出市与区的属性关系为包含，市与县的属性关系也为包含，区与县的属性关系为并列，从而可以确定市落户聚类文本与区落户聚类文本的基本文本属性关系为包含关系，市落户聚类文本与县落户聚类文本的基本文本属性关系为包含关系，区落户聚类文本与县落户聚类文本的文本属性关系为并列关系，为了方便理解，将所述市落户聚类文本、区落户聚类文本以及县落户聚类文本作为实体1、实体2以及实体3，则可构建文本属性关系三元组包括：（实体1，包含，实体2）、（实体1，包含，实体3）以及（实体2，并列，实体3）。

基于所述文本属性关系的确定，可以直观的反应出聚类文本之间的关系，保障了知识图谱生成的前提。

S3、提取每个所述聚类文本集中每一个聚类文本的特征词，得到特征词集，并识别所述特征词集中特征词之间的特征词属性关系。

在本发明的至少一个实例中，在提取每个所述聚类文本集中每一个聚类文本的特征词之前，还包括：对所述每一个聚类文本进行分词，得到词语集，根据所述词语集，执行所述特征词的提取，以加快后续特征词的提取速度。

优选地，本发明通过预设的匹配策略将所述聚类文本集中每一个聚类文本的所有句子与预设词典中的词表进行匹配，得到所述词语集。其中，所述预设的匹配策略可以为正向最大匹配法，所述正向最大匹配法的思想为从左到右将所述聚类文本中的几个连续字符与词表匹配，如果匹配上，则切分出一个词。其中，所述预设词典包括：停用词词典、统计字典以及前缀词典等。

具体的，所述对所述每一个聚类文本进行分词，得到词语集，包括：

利用所述停用词词典删除所述聚类文本中的停用词，得到目的聚类文本；

利用所述统计字典筛选所述目的聚类文本中的词条，生成初始词条集；

利用所述前缀词典对所述初始词条集进行前缀切分，得到所述词语集。

示例性地，所述聚类文本中的一个句子为“现如今的房价异常动荡”，通过所述停用词删除句子中“的”，得到句子“现如今房子异常动荡”，通过所述统计词典进行字符匹配，得到句子中“现”“如今”“房子”“异常”“动荡”为匹配成功的词语，利用所述前缀词典将匹配成功的词进行切分，得到词语为：“现”、“如今”、“房子”、“异常”以及“动荡”。

进一步地，本发明较佳实施例中，所述提取每个所述聚类文本集中每一个聚类文本的特征词，即提取出所述词语集中的实体词语，其中，所述实体词语包括但不限于：人名、地名、机构名以及专有名词。

一个可选实施例中，利用上述NER工具提取出所述词语集中的实体词语。例如，对市落户政策的词语集进行实体词语提取，可以包括：市名、市政府机构名、签署人姓名、落户文件名、落户方向以及落户扶持力度等等。

基于提取的所述实体名词，保障了知识图谱的生成雏形。

进一步地，由于所提取出的特征词具有一定的属性关系，例如上述市落户政策的实体词语中，落户文件名与签署人姓名的属性关系为：签署人签署落户文件，因此，本发明实施例通过识别所述特征词集中特征词之间的特征词属性关系，以确定各个特征词之间的节点关系，从而建立特征词之间的实体关系节点，进而搭建初始知识图谱。

本发明较佳实施例中，所述特征词属性关系的识别原理与上述基本文本属性关系的识别原理相同，在此不做进一步地阐述。

其中，需要强调的是，为进一步保证上述特征词集的私密和安全性，上述特征词集还可以存储于一区块链的节点中。

S4、汇总所述文本属性关系和所述特征词属性关系，生成节点属性关系，将所述节点属性关系和所述特征词集转换为对应的节点属性关系向量和特征词向量集。

在本发明的至少一个实施例中，由于所述文本属性关系和特征词属性关系存在相同的属性关系，例如，包含、并列、属于等共同属性，于是，本发明将所述文本属性关系和所述特征词属性关系进行汇总，生成节点属性关系，以避免重复出现相同的属性关系。

进一步地，在本发明的其中一个可选实施例中，利用node2vec算法将所述节点属性关系转换为对应的节点属性关系向量，利用word2vec算法将所述特征词转换为特征词向量，其中，node2vec和word2vec向量转换算法均为当前较为成熟的技术，在此不做进一步地阐述。

S5、从所述特征词向量集中筛选出不具有特征词属性关系的特征词向量，得到筛选向量，并计算任意两个筛选向量之间的距离值。

在本发明的至少一个实施例中，根据上述识别出的特征词之间存在的特征词属性关系，选取出不具有特征词属性关系的特征词向量，得到所述筛选向量。

一个优选实施例中，利用下述方法计算任意两个筛选向量之间的距离值：

其中，T(x，y)表示筛选向量之间的距离值，x表示筛选向量x，y表示筛选向量y，

表示筛选向量x的第i个向量值，

表示筛选向量y的第i个向量值。

S6、识别所述距离值是否大于预设距离值。

本发明实施例中，所述预设距离值为：0.25。

若所述距离值不大于预设距离值，则执行S7、识别对应筛选向量之间的隐含属性关系向量，并对所述特征词向量集、节点属性关系向量以及隐含属性关系向量进行文本-属性关系建模，生成第一知识图谱向量空间，将所述第一知识图谱向量空间转化为第一知识图谱。

本发明较佳实施例中，所述距离值不大于预设距离值，说明不具有基本文本属性关系的特征词向量之间存在一定的隐含属性关系，例如，计算落户区域与落户补贴两个特征词向量的距离值不大于预设距离值，则说明所述落户区域与落户补贴存在一定的隐含属性关系，比如，落户区域越发达，落户补贴越大，成正比的隐含属性关系。

本发明较佳实施例中，所述隐含属性关系向量的识别原理与上述基本文本属性关系的识别原理相同，在此不做进一步地阐述。

进一步地，本发明实施例利用当前已知的翻译模型（Trans）实现所述特征词向量集、节点属性关系向量以及隐含属性关系向量的文本-属性关系建模，得到所述第一知识图谱向量空间。

其中，所述利用翻译模型（Trans）包括：多元关系数据嵌入（简称TransE)、将知识嵌入到超平面(简称TransH）、实体和关系分开嵌入（TransR)、通过动态映射矩阵嵌入(TransD)以及自适应的度量函数（TransA）。

需要声明的是，利用所述Trans实现实体-关系向量的建模属于当前较为成熟的技术，在此不做进一步地阐述。

进一步地，本发明实施例利用TensorBoard工具将所述知识图谱向量空间转换为可视化界面的知识图谱，得到所述第一知识图谱，以直观形象的全面展示出知识图谱中各个实体之间的属性关系，通过所述属性关系可以确定实体之间较为全面的关联关系。

若所述距离值大于预设距离值，则执行S8、对所述特征词向量集和节点属性关系向量进行文本-属性关系建模，生成第二知识图谱向量空间，将所述第二知识图谱向量空间转化为第二知识图谱。

本发明实施例中，利用上述的翻译模型（Trans）实现所述特征词向量和节点属性关系向量的文本-属性关系建模，得到所述第二知识图谱向量空间，及利用上述TensorBoard工具将所述知识图谱向量空间转换为可视化界面的知识图谱，得到所述第二知识图谱，以直观形象的全面展示出知识图谱中各个实体之间的属性关系，通过所述属性关系可以确定实体之间较为全面的关联关系。

为了便于理解本发明所述的知识图谱，本发明以政策图谱为例进行阐述，由于不同地区会颁布不同的政策文件，其中，政策文件包含大量的实体词语，比如：政府、机关、人名等，且各个实体词语之间关系错综复杂，为了方便对所述政策文件中各个实体词语之间关系进行直观的展示，根据每个政策文件中实体词语之间的属性关系，建立实体词语、属性关系、实体词语的三元组，并对建立的三元组进行汇总合并，从而形成一个政策图谱。

综上所述，本发明实施例首先识别爬取的聚类文本之间的基本文本属性关系以及聚类文本中特征词的特征词属性关系，汇总所述文本属性关系和所述特征词属性关系，生成节点属性关系，并将所述节点属性关系和所述特征词集转换为对应的节点属性关系向量和特征词向量集，通过爬取的手段保证了聚类文本的实时性，及基于所述节点属性关系的确定，可以直观的反应出聚类文本之间和特征词之间的关系，保障了知识图谱生成的前提；其次，本发明实施例计算所述特征词向量集中不具有特征词属性关系的特征词向量之间的距离值，可以识别出特征词之间存在的隐含属性关系，保障知识图谱生成的全面性；进一步地，本发明实施例若所述距离值不大于预设距离值，则生成对应特征词向量之间的隐含属性关系向量，并对所述特征词向量、节点属性关系向量以及隐含属性关系向量进行文本-属性关系建模，得到第一知识图谱，若所述距离值大于预设距离值，则对所述特征词向量和节点属性关系向量进行文本-属性关系建模，得到第二知识图谱，基于所述第一知识图谱和第二知识图谱，可以直观形象的全面展示出政策之间的属性关系，从而可以确定政策之间较为全面的关联关系，进而可以提高生成的知识图谱的全面性。

如图4所示，是本发明知识图谱生成装置的功能模块图。

本发明所述知识图谱生成装置100可以安装于电子设备中。根据实现的功能，所述知识图谱生成装置可以包括爬取模块101、识别模块102、汇总及转换模块103、筛选及计算模块104以及生成模块105。本发所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。

在本实施例中，关于各模块/单元的功能如下：

所述爬取模块101，用于爬取文本集，将所述文本集中相同类型的文本进行聚类，生成一个或者多个聚类文本集。

本发明其中一个实施例中，所述文本集包括政策文本集，所述政策文本集由不同地区政府颁布的政策文件形成，例如：地方落户政策文件、区域科技发展政策文件、区域拆迁补偿政策文件以及区域招商引资政策文件等等。

优选地，本发明实施例利用埋点技术实现所述聚类文本集的爬取，基于所述埋点技术可以爬取实时最新文件，有利于保证后续知识图谱建立的实时性。

具体的，所述爬取模块101采用下述方法爬取文本集：

步骤A、获取待爬取聚类文本的网站页面，并侦测所述网站页面的埋点控件；

步骤B、根据所述埋点控件，生成待爬取聚类文本的配置参数表；

步骤C、根据所述配置参数表，采集所述网站页面中的聚类文本，得到所述聚类文本集。

其中，需要声明的是，埋点技术属于当前较为成熟的技术，因此，在本发明中，关于埋点技术具体的实现原理不再进一步地阐述。

进一步地，由于爬取的聚类文本集具有不同类型的聚类文本，其涉及到多个行业，多个领域，因此，本发明通过将所述聚类文本集中相同类型的聚类文本进行聚类，生成多个聚类文本集，以区分出所述聚类文本集中不同类型的聚类文本及实现相同类型的聚类文本的集成。

示例性地，所述文本集为政策文本集，则政策文本集的类型包括：政策主题、政策类别以及政策行业等，于是，本发明将政策类型为关于地方落户的政策文件聚类，将区域招商引资的政策文件进行聚类等等。

一个可选实施例中，利用当前已知k-means算法实现所述聚类文本的聚类。

基于上述的实施方案，通过爬取的手段保证了聚类文本的实时性，采用聚类的手段实现了聚类文本集的聚类文本分类，提高后续聚类文本的处理时间。

所述识别模块102，用于识别每个所述聚类文本集中聚类文本之间的基本文本属性关系。

本发明较佳实施例中，所述识别模块102采用下述方法识别每个所述聚类文本集中聚类文本之间的基本文本属性关系：

I、提取所述聚类文本集中的实体词语；

II、根据提取的所述实体词语，及利用预设的实体属性关系图确定所述聚类文本集中聚类文本之间的基本文本属性关系。

一个优选实施例中，利用当前已知的实体命名识别（Named Entity Recognition，NER）工具提取所述聚类文本集中的实体词语。

一个优选实施例中，所述预设的实体属性关系图通过E-R图进行构建，其中，需要声明的是，所述预设的实体属性关系图基于不同的用户选择进行构建。

示例性地，所述聚类文本集为地方落户聚类文本集，其包括：市落户聚类文本、区落户聚类文本以及县落户聚类文本等，其中，利用所述NER工具提取所述地方落户聚类文本集的实体词语包括：市、区、县，根据预设的政策实体关系图，查询出市与区的属性为包含，市与县的属性关系也为包含，区与县的属性关系为并列，从而可以确定市落户聚类文本与区落户聚类文本的基本文本属性关系为包含关系，市落户聚类文本与县落户聚类文本的基本文本属性关系为包含关系，区落户聚类文本与县落户聚类文本的基本文本属性关系为并列关系，为了方便理解，将所述市落户聚类文本、区落户聚类文本以及县落户聚类文本作为实体1、实体2以及实体3，则可构建文本属性关系三元组包括：（实体1，包含，实体2）、（实体1，包含，实体3）以及（实体2，并列，实体3）。

基于所述文本属性关系的确定，可以直观的反应出聚类文本之间的关系，保障了知识图谱生成的前提。

所述识别模块102，还用于提取每个所述聚类文本集中每一个聚类文本的特征词，得到特征词集，并识别所述特征词集中特征词之间的特征词属性关系。

在本发明的至少一个实例中，在提取每个所述聚类文本集中每一个聚类文本的特征词之前，还包括：对所述每一个聚类文本进行分词，得到词语集，根据所述词语集，执行所述特征词的提取，以加快后续特征词的提取速度。

优选地，本发明通过预设的匹配策略将所述聚类文本集中每一个聚类文本的所有句子与预设词典中的词表进行匹配，得到所述词语集。其中，所述预设的匹配策略可以为正向最大匹配法，所述正向最大匹配法的思想为从左到右将所述聚类文本中的几个连续字符与词表匹配，如果匹配上，则切分出一个词。其中，所述预设词典包括：停用词词典、统计字典以及前缀词典等。

具体的，所述对所述每一个聚类文本进行分词，得到词语集，包括：

利用所述停用词词典删除所述聚类文本中的停用词，得到目的聚类文本；

利用所述统计字典筛选所述目的聚类文本中的词条，生成初始词条集；

利用所述前缀词典对所述初始词条集进行前缀切分，得到所述词语集。

示例性地，所述聚类文本中的一个句子为“现如今的房价异常动荡”，通过所述停用词删除句子中“的”，得到句子“现如今房子异常动荡”，通过所述统计词典进行字符匹配，得到句子中“现”“如今”“房子”“异常”“动荡”为匹配成功的词语，利用所述前缀词典将匹配成功的词进行切分，得到词语为：“现”、“如今”、“房子”、“异常”以及“动荡”。

进一步地，本发明较佳实施例中，所述提取每个所述聚类文本集中每一个聚类文本的特征词，即提取出所述词语集中的实体词语，其中，所述实体词语包括但不限于：人名、地名、机构名以及专有名词。

一个可选实施例中，利用上述NER工具提取出所述词语集中的实体词语。例如，对市落户政策的词语集进行实体词语提取，可以包括：市名、市政府机构名、签署人姓名、落户文件名、落户方向以及落户扶持力度等等。

基于提取的所述实体名词，保障了知识图谱的生成雏形。

进一步地，由于所提取出的特征词具有一定的属性关系，例如上述市落户政策的实体词语中，落户文件名与签署人姓名的属性关系为：签署人签署落户文件，因此，本发明实施例通过识别所述特征词集中特征词之间的特征词属性关系，以确定各个特征词之间的节点关系，从而建立特征词之间的实体关系节点，进而搭建初始知识图谱。

本发明较佳实施例中，所述特征词属性关系的识别原理与上述基本文本属性关系的识别原理相同，在此不做进一步地阐述。

其中，需要强调的是，为进一步保证上述特征词集的私密和安全性，上述特征词集还可以存储于一区块链的节点中。

所述汇总及转换模块103，用于汇总所述文本属性关系和所述特征词属性关系，生成节点属性关系，将所述节点属性关系和所述特征词集转换为对应的节点属性关系向量和特征词向量集。

在本发明的至少一个实施例中，由于所述文本属性关系和特征词属性关系存在相同的属性关系，例如，包含、并列、属于等共同属性，于是，本发明将所述文本属性关系和所述特征词属性关系进行汇总，生成节点属性关系，以避免重复出现相同的属性关系。

进一步地，在本发明的其中一个可选实施例中，利用node2vec算法将所述节点属性关系转换为对应的节点属性关系向量，利用word2vec算法将所述特征词转换为特征词向量，其中，node2vec和word2vec向量转换算法均为当前较为成熟的技术，在此不做进一步地阐述。

所述筛选及计算模块104，用于从所述特征词向量集中筛选出不具有特征词属性关系的特征词向量，得到筛选向量，并计算任意两个筛选向量之间的距离值。

在本发明的至少一个实施例中，根据上述识别出的特征词之间存在的特征词属性关系，选取出不具有特征词属性关系的特征词向量，得到所述筛选向量。

一个优选实施例中，利用下述方法计算任意两个筛选向量之间的距离值：

其中，T(x，y)表示筛选向量之间的距离值，x表示筛选向量x，y表示筛选向量y，

表示筛选向量x的第i个向量值，

表示筛选向量y的第i个向量值。

所述识别模块102，还用于识别所述距离值是否大于预设距离值。

本发明实施例中，所述预设距离值为：0.25。

一个可选实施例中，所述预设距离值为：0.25。

所述生成模块105，用于在所述距离值不大于预设距离值，则识别对应筛选向量之间的隐含属性关系向量，并对所述特征词向量集、节点属性关系向量以及隐含属性关系向量进行文本-属性关系建模，生成第一知识图谱向量空间，将所述第一知识图谱向量空间转化为第一知识图谱。

本发明较佳实施例中，所述距离值不大于预设距离值，说明不具有文本属性关系的特征词向量之间存在一定的隐含属性关系，例如，计算落户区域与落户补贴两个特征词向量的距离值不大于预设距离值，则说明所述落户区域与落户补贴存在一定的隐含属性关系，比如，落户区域越发达，落户补贴越大，成正比的隐含属性关系。

本发明较佳实施例中，所述隐含属性关系向量的识别原理与上述基本文本属性关系的识别原理相同，在此不做进一步地阐述。

进一步地，本发明实施例利用当前已知的翻译模型（Trans）实现所述特征词向量集、节点属性关系向量以及隐含属性关系向量的文本-属性关系建模，得到所述第一知识图谱向量空间。

其中，所述利用翻译模型（Trans）包括：多元关系数据嵌入（简称TransE)、将知识嵌入到超平面(简称TransH）、实体和关系分开嵌入（TransR)、通过动态映射矩阵嵌入(TransD)以及自适应的度量函数（TransA）。

需要声明的是，利用所述Trans实现实体-关系向量的建模属于当前较为成熟的技术，在此不做进一步地阐述。

进一步地，本发明实施例利用TensorBoard工具将所述知识图谱向量空间转换为可视化界面的知识图谱，得到所述第一知识图谱，以直观形象的全面展示出知识图谱中各个实体之间的属性关系，通过所述属性关系可以确定实体之间较为全面的关联关系。

所述生成模块105，还用于在所述距离值大于预设距离值，则对所述特征词向量集和节点属性关系向量进行文本-属性关系建模，生成第二知识图谱向量空间，将所述第二知识图谱向量空间转化为第二知识图谱。

本发明实施例中，利用上述的翻译模型（Trans）实现所述特征词向量和节点属性关系向量的文本-属性关系建模，得到所述第二知识图谱向量空间，及利用上述TensorBoard工具将所述知识图谱向量空间转换为可视化界面的知识图谱，得到所述第二知识图谱，以直观形象的全面展示出政策之间的属性关系，通过所述属性关系可以确定政策之间较为全面的关联关系，从而可以帮助用户制定或预测未来政策走向。

为了便于理解本发明所述的知识图谱，本发明以政策图谱为例进行阐述，由于不同地区会颁布不同的政策文件，其中，政策文件包含大量的实体词语，比如：政府、机关、人名等，且各个实体词语之间关系错综复杂，为了方便对所述政策文件中各个实体词语之间关系进行直观的展示，根据每个政策文件中实体词语之间的属性关系，建立实体词语、属性关系、实体词语的三元组，并对建立的三元组进行汇总合并，从而可以形成政策图谱。

综上所述，本发明实施例首先识别爬取的聚类文本之间的基本文本属性关系以及聚类文本中特征词的特征词属性关系，汇总所述文本属性关系和所述特征词属性关系，生成节点属性关系，并将所述节点属性关系和所述特征词集转换为对应的节点属性关系向量和特征词向量集，通过爬取的手段保证了聚类文本的实时性，及基于所述节点属性关系的确定，可以直观的反应出聚类文本之间和特征词之间的关系，保障了知识图谱生成的前提；其次，本发明实施例计算所述特征词向量集中不具有特征词属性关系的特征词向量之间的距离值，可以识别出特征词之间存在的隐含属性关系，保障知识图谱生成的全面性；进一步地，本发明实施例若所述距离值不大于预设距离值，则识别对应特征词向量之间的隐含属性关系向量，并对所述特征词向量、节点属性关系向量以及隐含属性关系向量进行文本-属性关系建模，得到第一知识图谱，若所述距离值大于预设距离值，则对所述特征词向量和节点属性关系向量进行文本-属性关系建模，得到第二知识图谱，基于所述第一知识图谱和第二知识图谱，可以直观形象的全面展示出政策之间的属性关系，从而可以确定政策之间较为全面的关联关系，进而可以提高生成的知识图谱的全面性。

如图5所示，是本发明实现知识图谱生成方法的电子设备的结构示意图。

所述电子设备1可以包括处理器10、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如知识图谱生成程序12。

其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡（Smart Media Card， SMC）、安全数字（SecureDigital， SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如知识图谱生成的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（例如执行知识图谱生成等），以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。

所述总线可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。

图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备1与其他电子设备之间建立通信连接。

可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

所述电子设备1中的所述存储器11存储的知识图谱生成12是多个指令的组合，在所述处理器10中运行时，可以实现：

爬取文本集，将所述文本集中相同类型的文本进行聚类，生成一个或者多个聚类文本集；

识别所述聚类文本集中文本之间的基本文本属性关系；

提取所述聚类文本集中每一个聚类文本的特征词，得到特征词集，并识别所述特征词集中特征词之间的特征词属性关系；

汇总所述基本文本属性关系和所述特征词属性关系，生成节点属性关系，将所述节点属性关系和所述特征词集转换为对应的节点属性关系向量和特征词向量集；

从所述特征词向量集中筛选出不具有特征词属性关系的特征词向量，得到筛选向量，并计算任意两个筛选向量之间的距离值；

在所述距离值不大于预设距离值时，识别对应筛选向量之间的隐含属性关系向量，并对所述特征词向量集、节点属性关系向量以及隐含属性关系向量进行文本-属性关系建模，生成第一图谱向量空间，将所述第一图谱向量空间转化为第一知识图谱；

在所述距离值大于预设距离值时，对所述特征词向量集和节点属性关系向量进行文本-属性关系建模，生成第二图谱向量空间，将所述第二图谱向量空间转化为第二知识图谱。

具体地，所述处理器10对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。

进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种知识图谱生成方法，其特征在于，所述方法包括：

爬取文本集，将所述文本集中相同类型的文本进行聚类，生成一个或者多个聚类文本集；

识别每个所述聚类文本集中文本之间的基本文本属性关系；

提取所述聚类文本集中每一个聚类文本的特征词，得到特征词集，并识别所述特征词集中特征词之间的特征词属性关系；

汇总所述基本文本属性关系和所述特征词属性关系，生成节点属性关系，将所述节点属性关系和所述特征词集分别转换为节点属性关系向量和特征词向量集；

从所述特征词向量集中筛选出不具有特征词属性关系的特征词向量，得到筛选向量，并计算任意两个筛选向量之间的距离值；

在所述距离值不大于预设距离值时，识别对应筛选向量之间的隐含属性关系向量，并对所述特征词向量集、节点属性关系向量以及隐含属性关系向量进行文本-属性关系建模，生成第一图谱向量空间，将所述第一图谱向量空间转化为第一知识图谱；

在所述距离值大于预设距离值时，对所述特征词向量集和节点属性关系向量进行文本-属性关系建模，生成第二图谱向量空间，将所述第二图谱向量空间转化为第二知识图谱。

2.如权利要求1所述的知识图谱生成方法，其特征在于，所述爬取文本集包括：

获取待爬取文本的网站页面，并侦测所述网站页面的埋点控件；

根据所述埋点控件，生成待爬取文本的配置参数表；

根据所述配置参数表，采集所述网站页面中的文本，得到所述文本集。

3.如权利要求1所述的知识图谱生成方法，其特征在于，所述识别所述聚类文本集中文本之间的基本文本属性关系，包括：

提取所述聚类文本集中的实体词语；

根据提取的所述实体词语，及利用预设的实体属性关系图确定所述聚类文本集中文本之间的基本文本属性关系。

4.如权利要求1所述的知识图谱生成方法，其特征在于，所述提取所述聚类文本集中每一个聚类文本的特征词包括：

对所述每一个聚类文本进行分词，得到词语集，根据所述词语集，执行所述特征词的提取。

5.如权利要求4所述的知识图谱生成方法，其特征在于，所述对所述每一个聚类文本进行分词，得到词语集，包括：

删除所述聚类文本中的停用词，得到目的聚类文本；

筛选所述目的聚类文本中的词条，生成初始词条集；

对所述初始词条集进行前缀切分，得到所述词语集。

6.如权利要求1所述的知识图谱生成方法，其特征在于，所述计算任意两个筛选向量之间的距离值，包括：

利用下述方法计算任意两个筛选向量之间的距离值：

其中，T(x，y)表示筛选向量之间的距离值，x表示筛选向量x，y表示筛选向量y，

表示筛选向量x的第i个向量值，

表示筛选向量y的第i个向量值。

7.如权利要求1至6中任意一项所述的知识图谱生成方法，其特征在于，所述第一知识图谱和第二知识图谱的界面为可视化界面。

8.一种知识图谱生成装置，其特征在于，所述装置包括：

爬取模块，用于爬取文本集，将所述文本集中相同类型的文本进行聚类，生成一个或者多个聚类文本集；

识别模块，用于识别所述聚类文本集中文本之间的基本文本属性关系；

所述识别模块，还用于提取所述聚类文本集中每一个聚类文本的特征词，得到特征词集，并识别所述特征词集中特征词之间的特征词属性关系；

汇总及转换模块，用于汇总所述基本文本属性关系和所述特征词属性关系，生成节点属性关系，将所述节点属性关系和所述特征词集转换为对应的节点属性关系向量和特征词向量集；

筛选及计算模块，用于从所述特征词向量集中筛选出不具有特征词属性关系的特征词向量，得到筛选向量，并计算任意两个筛选向量之间的距离值；

所述识别模块，还用于识别所述距离值是否大于预设距离值；

生成模块，用于在所述距离值不大于预设距离值时，识别对应筛选向量之间的隐含属性关系向量，并对所述特征词向量集、节点属性关系向量以及隐含属性关系向量进行文本-属性关系建模，生成第一图谱向量空间，将所述第一图谱向量空间转化为第一知识图谱；

所述生成模块，还用于在所述距离值大于预设距离值时，对所述特征词向量集和节点属性关系向量进行文本-属性关系建模，生成第二图谱向量空间，将所述第二图谱向量空间转化为第二知识图谱。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的知识图谱生成方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的知识图谱生成方法。

Images