CN113569050B

CN113569050B - 基于深度学习的政务领域知识图谱自动化构建方法和装置

Info

Publication number: CN113569050B
Application number: CN202111117993.7A
Authority: CN
Inventors: 胡玉鹏; 李宗营; 黄崇凯; 叶振宇; 李丹; 秦拯
Original assignee: Hunan University
Current assignee: Hunan University
Priority date: 2021-09-24
Filing date: 2021-09-24
Publication date: 2021-12-07
Anticipated expiration: 2041-09-24
Also published as: CN113569050A

Abstract

本发明公开了一种基于深度学习的政务领域知识图谱自动化构建方法，包括领域数据集构建和知识图谱构建，所述领域数据集构建具体包括如下步骤：网址收集；超链接去重；网页正文抽取；领域文档分类；数据集构建；所述知识图谱构建具体包括如下步骤：知识抽取；知识修正；知识融合；知识存储以及知识图谱动态展示。本发明的有益效果如下：有效的在缺乏领域专家的情况下构建了政务领域三元组数据集；本发明提出的知识抽取法在实体关系识别中的表现较为优秀，准确率和召回率均较高；提出了知识修正的概念，分别针对实体及关系提出了修正方法，使得知识的表达更加完善。

Description

基于深度学习的政务领域知识图谱自动化构建方法和装置

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于深度学习的政务领域知识图谱自动化构建方法和装置。

背景技术

目前传统的政府工作方式已经慢慢的无法适应时代的发展，“互联网+政务服务”已逐渐成为政府工作的常态，而面对如此之多的电子政务信息，无论是政府工作人员，还是普通的人民群众，都很难准确、迅速的从中获取到完善的政务信息，所以有必要开发一种可以将繁杂的知识组织到一起，并直观的展示给人民大众的工具，知识图谱正是具备这样能力的一种工具。

目前国内外对于通用领域的知识图谱研究已经相当广泛，而垂直领域的知识图谱研究还比较缓慢，针对的垂直领域也大多集中于热门的影视、音乐、法律和金融等领域，针对政务领域知识图谱的研究还比较少。

然而目前电子政务知识图谱的构建还存在着诸多的困难，由于领域特殊性，电子政务实际上包含了诸多子领域，比如信访领域、邮电领域及外交领域等，传统的基于依存句法分析的方法很难获取到准确的知识，而基于机器学习的方式又由于领域特殊性，缺乏足够的领域专家来定义相关的知识特征，很难通过特征工程来优化机器学习算法的效果。

发明内容

本发明的目的在于提供一种基于深度学习的政务领域知识图谱自动化构建方法、装置及存储介质，其可以解决背景技术中涉及的技术问题。

本发明的技术方案为：

一种基于深度学习的政务领域知识图谱自动化构建方法，该方法包括如下步骤：

步骤1、领域数据集构建，具体包括如下步骤：

步骤1.1、网址收集，收集信访领域的政府网站以及带有政务领域关键词的相关网站，并形成网站列表；

步骤1.2、超链接去重，利用Bloom Filter对网站列表进行超链接去重；

步骤1.3、网页正文抽取，采用基于行块分布函数的网页正文抽取算法从经过超链接去重后的政府网址列表中的网页中抽取网页正文内容；

步骤1.4、领域文档分类，采用基于领域词典的领域文本分类算法对抽取的网页正文内容进行分类，保存政务领域文本；

步骤1.5、数据集构建，采用百度Saoke数据集对保存的政务领域文本进行数据标注，得到政务领域的三元组数据集；

步骤2、知识图谱构建，具体包括如下步骤：

步骤2.1、知识抽取，将政务领域文本进行文本内容切分，得到文本串，然后按文本串在政务领域文本中出现的顺序进行拼接，直到拼接后的文本长度与 512 个字符最为接近时，得到一个模型输入序列，直到所有文本串都完成拼接操作，然后使用Bert模型抽取拼接后的文本序列中的实体和关系，并以RDF的标准组织三元组，最后将三元组数据存取到csv文件当中；

步骤2.2、知识修正，采用基于限定词性的关键词实体修正算法对csv文件中存取的三元组数据进行实体修正，在实体修正后，使用关系修正算法进行关系修正，得到政务领域三元组；

步骤2.3、知识融合，逐个计算政务领域三元组的实体的主语与主语之间、宾语与宾语之间以及主语与宾语之间的相似度，若两个实体的相似度达到阈值则对该两个实体进行融合，得到完整的政务领域三元组；

步骤2.4、知识存储，具体包括如下步骤：

步骤2.41、读取csv文件，解析三元组数据，使用rdflib的api将三元组数据存储到petition.rdf文件中；

步骤2.42、使用gStore命令导入rdf文件，构建图数据库；

步骤2.43、开启gHttp服务，以供外部访问图数据库；

步骤2.5、知识图谱动态展示，包括：

知识图谱查看，当用户打开知识图谱展示网页时，网页自动向后台Django框架发送获取所有实体关系的HTTP请求，Django框架收到请求后，向gStore发送无条件的查询请求，并将查询请求返回给前端，交由vue框架渲染网页；

实体检索，用户在搜索框中输入要检索的实体，然后点击检索按钮发送请求；随后Django框架根据请求构建查询语句，向gStore发送有条件的查询请求，最后将查询结果交由前端渲染。

作为本发明的一种优选改进：在步骤1.3中，网页正文抽取具体包括如下步骤：开始、原始网页、去除网页标签、网页分块、找出文字骤升和骤降的块、提取骤升和骤降块间的文字、结束。

作为本发明的一种优选改进：在步骤1.4中，领域文档分类具体包括如下步骤：

步骤1.41、数据预处理，使用jieba工具对网页正文内容进行分词和过滤停用词；

步骤1.42、提取候选关键词，对数据预处理后的网页正文内容进行标注，选出具有领域特征的词汇；

步骤1.43、构建特征矩阵，选用了TF-IDF 特征、词频特征、词长特征以及位置特征；

步骤1.44、使用 lightGBM 进行分类，将领域关键词提取任务转换为分类任务。

作为本发明的一种优选改进：在步骤2.1中，文本序列输入到Bert模型的BertEmbedding 层之前，还包括如下步骤：

将标记“[CLS]”和“[SEP]”分别添加的句子首尾，具体如下式所示：

其中x为原始文本，

为满足 Bert 输入要求的文本序列。

作为本发明的一种优选改进：在步骤2.1中，文本序列输入到Bert模型的BertEmbedding 层之前，还需进行“token”化处理，具体包括如下两个步骤：

1) 对

进行分词处理，对于中文来说，分词是以字为单位进行切分的，如下式所示：

其中

为“[CLS]”标签，

为“[SEP]”标签，

为原始文本中的单字；

2) 将

映射到 Bert 的词汇表中，得到文本的“token”表示

，即将单个字和标签映射到其在词汇表中出现的位置：

其中position为位置映射函数，其功能为找出文字在 Bert 的词汇表中的角标；

Bert模型中包含了多个Transformer，设其数量为N，则 Bert模型嵌入层输出表示为：

特别的，当i=0时：

其中

为一个嵌入向量，由Bert训练时得到，

为一个长度和

一致的0向量。

作为本发明的一种优选改进：在步骤2.1中，网页内容切分具体包括如下步骤：

步骤2.11、开始；

步骤2.12、网页正文；

步骤2.13、按句号分割句子；

步骤2.14、构建句子库；

步骤2.15、判断句子库是否为空，若是，则执行步骤2.16；若否，则执行步骤2.17；

步骤2.16、结束；

步骤2.17、拼接句子；

步骤2.18、判断句子长度是否大于512，若否，则执行步骤2.19；若是，则执行步骤2.20；

步骤2.19、返回执行步骤2.17；

步骤2.20、去掉最后拼接的句子，并返还去掉的句子到句子库；

步骤2.21、向句子库输出拼接的句子，并返回执行步骤2.17。

作为本发明的一种优选改进：在步骤2.2中，实体修正具体包括如下步骤：开始、原始文章、分词及词性标注、计算TextRank值、剔除不符合词性要求的词汇、输出TextRank值最大的词汇并替换“_”、结束。

作为本发明的一种优选改进：在步骤2.2中，关系修正具体包括如下步骤：

步骤2.21、开始；

步骤2.22、三元组数据；

步骤2.23、判断主语出现在关系序列中，若是，则执行步骤2.24；若否，则执行步骤2.25；

步骤2.24、替换关系序列中的主语为“X”；

步骤2.25、判断宾语是否出现在关系序列中，若是，则执行步骤2.26；若否，则执行步骤2.27；

步骤2.26、替换关系序列中的宾语为“Y”，然后执行步骤2.27；

步骤2.27、结束。

本发明还提供了一种基于深度学习的相似文本检索装置，包括：

至少一处理器；

至少一存储器，用于存储至少一程序；

当所述至少一程序被所述至少一处理器执行，使得所述至少一处理器实现所述基于深度学习的政务领域知识图谱自动化构建方法。

本发明还提供了一种存储介质，存储有处理器可执行的指令，处理器执行所述处理器可执行的指令时执行所述基于深度学习的政务领域知识图谱自动化构建方法。

本发明的有益效果如下：

1、提出了一种领域知识图谱三元组数据集的构建方法，从零开始，从互联网资源中筛选领域文档，然后在Saoke数据集的基础上，构建了政务领域三元组数据集，该方法可以在缺乏领域专家的情况下有效的构建用于深度学习的数据集；

2、提出了一种结合Bert的三阶段联合抽取实体及关系的深度学习模型，将政务领域的三元组抽取问题转换为条件序列生成问题，分三个阶段分别抽取主语、宾语及两者的关系。该模型在通用的Saoke数据集及本发明构建的政务领域数据集上进行了实验测试，分别取得了0.431和0.530的F1分数，结果表明，该模型在开放领域实体关系抽取上的表现优于传统的模型；

3、针对实体及关系抽取模型的不足，提出了知识修正的概念并实现了实体和关系修正的算法，有效的解决了模型无法处理长篇文章所带来的缺陷，并提高了知识表达能力。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1为本发明领域数据集构建流程图；

图2为本发明文本分类器结构图；

图3为本发明的三阶段联合抽取模型结构图；

图4为三阶段联合抽取模型中进行序列标记的标注器结构图；

图5为三阶段联合抽取模型中Subject层的计算流程图；

图6为三阶段联合抽取模型中Object层结构图；

图7为三阶段联合抽取模型中Relation层结构图；

图8为本发明知识修正步骤中实体修正算法流程图；

图9为本发明知识修正步骤中关系修正算法流程图。

具体实施方式

下面将结合本发明实施例对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明提供一种一种基于深度学习的政务领域知识图谱自动化构建方法，该方法包括如下步骤：

步骤1、领域数据集构建，参阅图1所示，具体包括如下步骤：

需要进一步说明的是，本发明选择使用 Request 工具包及 Scrapy 进行互联网资源的爬取，两者均为Python工具包，其中前者负责网络资源访问，获取网页数据，后者负责利用CSS选择器技术从网页资源中发现更多的超链接，并添加到爬取的网站列表之中。

需要进一步说明的是，在Bloom Filter中，使用了位图数组形式的Hashtable来存储数据，使用Hash函数来将超链接映射到其中的某一位，如果这个二进制位等于1，那么说明该超链接已经爬取过了。但是 Hash 函数由于其设计特性，可能会存在Hash冲突的问题，即对于两个不同的超链接a和b，可能会出现：

为了减少Hash冲突，降低误判率，Bloom Filter的解决办法是引入多个不同的Hash函数，其思想非常简单：如果使用一个 Hash 函数计算得到一个值，这个值对应的某个二进制位等于 0，那么该元素一定不在 Hashtable 中，该超链接没有被爬取过；而如果多个不同的函数计算结果都表明该元素存在于 Hashtable中，那么会认为该超链接已经使用过了。

Bloom Filter的缺点很明显，由以上分析可以得到，其会存在一定的假阳性：被判定为已经使用过的超链接不一定是被使用过的。Bloom Filter会存在错判，但判定为没有使用过的超链接是肯定没有使用过的，不会导致爬虫死循环的情况。最后经过超链接去重处理，本发明一共爬取到了 400 多万个网页。

具体的，网页正文抽取包括如下步骤：开始、原始网页、去除网页标签、网页分块、找出文字骤升和骤降的块、提取骤升和骤降块间的文字、结束。

需要进一步说明的是，传统的网页正文抽取方法一般是使用正则表达式和CSS选择器结合来提取内容，该方法需要针对不同网站进行适配，对于本发明要爬取的网页数量来说，其工作量是无法接受的。因此，本发明采取了基于行块分布函数的通用网页正文抽取的算法来提取网页正文内容。该方法的主要假设为：对于网页正文区域，其内容一般文字比较密集，空白的地方很少，而噪声数据一般来说文字稀少，且空白的地方多。因此，识别并提取网页中文字密集的部分就成了该算法最关键的部分。

该算法首先去除原始网页中的网页标签，得到一个粗糙的网页正文内容；然后按照一定的数量对网页内容进行分块，研究发现，当分块大小为 5 时，网页分块效果最好，最终得到的信访领域网页正文内容最为完整、准确；接着找出分块中发生文字骤升和骤降的块，其中分块之间的字数差异大于一定字数时，认为其发生了骤升或者骤降，本发明将该字数设定为86；最后提取出骤升和骤降快间的文本内容，作为网页正文内容输出。

具体的，领域文档分类具体包括如下步骤：

需要进一步说明的是，构建政务领域知识图谱，需要对文本进行领域分类，只保存政务领域文本，以信访领域为例，引入了一个高效的领域文本分类算法：基于领域词典的领域文本分类算法。

本发明基于一种基于 lightGBM 的领域词典构建方法构建了一个信访领域的领域词典，其中包含 926 个词汇。

基于此领域词典构建了“ONE-HOT”特征矩阵，即如果某个领域词汇出现在文本中，那么就在特征矩阵对应位置置为 1，否则为 0。基于该特征矩阵，使用了一个全连接神经网络实现了一个文本分类器，该文本分类器结构如图2所示。

直接使用该领域词典构建“ONE-HOT”特征矩阵是不明智的，上述提到，提取到了926个词汇，然而一般来说信访领域的文本很少会包含那么多的词汇，使用如此大的词汇表会导致构建的“ONE-HOT”矩阵非常稀疏，造成不必要的内存和计算消耗。因此，本发明在原方法的基础之上，额外考虑了词汇在数据集中出现的次数，即在一个文本中出现则计数一次，然后根据计数值对领域词汇进行排序，最后选取了128个出现频次较高的词汇来构建特征矩阵。

根据上述步骤，本发明训练了一个准确率很高的文本分类算法，其与经典深度学习文本分类算法的比较如表1所示：

表1 文本分类算法比较

最后经过领域文本的筛选，本发明一共获得了20000多个领域文本。

需要进一步说明的是，Saoke数据集是由百度公开的数据集，该数据集一共包含了40806条句子，最大句子长度不超过350个字符，其中的实体和关系大部分是原文的表达，除了原文表达外，由于部分句子中关系的主语(Subject)或宾语(Object)并不在该句子中，如句子“持续巩固扩大教育整顿成果”中，“巩固”的主语并没有在句子中体现，因此，Saoke数据集额外添加了字符“_”作为实体的一种，表示未知实体。

本发明在信访领域文本的基础上，选取了2000个文档进行标注，其中每个文档标注20个句子，最终按照Saoke数据集的定义方式标注了40000个句子。

步骤2、知识图谱构建，具体包括如下步骤：

具体的，经过数据采集和处理之后，获得了网页的正文内容，然后使用面向开放领域的三阶段信息抽取模型来抽取网页正文中的实体及对应的关系，由于 Bert 模型的限制，其最大输入文本序列长度不能超过 512 个字符，因此，在输入到模型之前，需要对网页内容进行切分操作。网页内容切分具体包括如下步骤：

步骤2.11、开始；

步骤2.12、网页正文；

步骤2.13、按句号分割句子；

步骤2.14、构建句子库；

步骤2.16、结束；

步骤2.17、拼接句子；

步骤2.19、返回执行步骤2.17；

步骤2.21、向句子库输出拼接的句子，并返回执行步骤2.17。

首先，为了最大化的保全语义信息，按照中文的表达习惯，使用“。”进行分割网页内容，得到分割后的文本串，其中每个文本串的长度是不固定的；然后，对于每个文本串，将其按原文中出现的顺序进行拼接，直到拼接后的文本长度与 512 个字符最为接近时（即在512 个字符内，尽可能的拼接文本串），得到一个模型输入序列，直到所有文本串都完成拼接操作。

接着，使用信息抽取模型抽取拼接后的文本序列中的实体和关系，对于每个文本序列，本发明抽取其中所有可能的实体及关系，然后以RDF的标准组织三元组，即（主语，关系，宾语）的格式，最后，将三元组数据存取到csv文件当中，完成整个知识抽取流程。

需要进一步说明的是，本发明采用三阶段联合抽取模型进行知识抽取，该模型能够同时识别关系及关系的实体对，包括主语和宾语。模型结构请参阅图3所示。自然语言文本通过 Bert Embedding 层为整个模型剩下的部分提供句子级别的特征向量，从而解决了自然语言文本无法被深度神经网络识别的问题。从图中可以看到，Bert Embedding 层的输出编码是共享的，它的输出首先直接输入到 Subject（主语，S）层进行主语的识别，然后经过 Condition Layer Normalization 与 Subject 融合之后输入到 Object（宾语, O）层进行宾语的识别。最后Subject、Object 与Bert Embedding 层的输出融合之后输入到Relation（关系，R）层进行实体之间关系的抽取。

和 Seq2Seq 的思路类似，本模型实际上是在建模：

通常情况下，对预训练的 Bert 进行微调即可应用在下游的自然语言处理任务中，主要原因在于 Bert 模型整合了多个 Transformer 神经网络结构，其能够学习到文本的多种特征，并且这些特征只与文本自身有关，与具体下游任务无关，而Bert 模型在进行预训练时便使用了非常大语料库，从而具备了很强的表达能力及泛化能力，并且适用于各种任务。值得注意的是，以往使用 Seq2Seq 模型进行实体关系抽取的结构中，往往没有注意到其编码器可能无法捕捉到足够的文本语义的问题，从而降低了实体关系抽取的准确率和召回率。本发明所提出的面向开放领域的三阶段联合抽取模型利用了 Bert 的强大语义表示能力，同时结合了Seq2Seq的思想。

步骤一：x传入Bert Embedding层获取表征向量

预训练语言模型 Bert 在目前自然语言处理领域的应用非常广泛，得益于其内部双向 Transformer 的应用，其能输出具有上下文关系的表征向量，在将文本表示成向量后，依然能够很好的保留语义特征。在具体应用时，将文本输入到Bert模型之前，需要对原始文本进行一些处理，针对实体识别和关系抽取的任务。

本发明的具体处理为：将标记“[CLS]”和“[SEP]”分别添加的句子首尾，具体如下式所示：

其中x为原始文本，

为满足 Bert 输入要求的文本序列。

文本序列输入到Bert模型的Bert Embedding 层之前，还需进行“token”化处理，具体包括如下两个步骤：

1) 对

其中

为“[CLS]”标签，

为“[SEP]”标签，

为原始文本中的单字；

2）将

映射到 Bert 的词汇表中，得到文本的“token”表示

，即将单个字和标签映射到其在词汇表中出现的位置：

特别的，当i=0时：

其中

为一个嵌入向量，由Bert训练时得到，

为一个长度和

一致的0向量。

步骤二：

传入subject层提取所有subject

Subject 层的作用为提取输入句子中的所有可以作为主语的序列片段，它的输出结构和标注器的结构一致，其需要利用 Bert Embedding 层的输出获取到文本中的主语信息，并计算文本序列中的某一段序列是否文本中某一个关系的主语的概率，具体的计算流程如图5所示。

第一步首先将 Bert Embedding 层的输出结果链接到一个激活函数为

函数的全连接神经网络 (Fully Connected Neural Network)中，负责综合BertEmbedding层输出的所有特征。

第二步则是使用函数将全连接层的输出映射到[0, 1]之中

其中，

和

均为全连接神经网络的可训练参数，

为BertEmbedding层的输出，

对应着标注器的序列头部层的输出，

对应的则为序列尾部层的输出。

步骤三：s和

进行条件特征融合得到融合向量

在生成 Object 和 Relation 序列时，本发明借鉴了 Seq2Seq 模型的序列生成思想，利用已经生成的序列来进行后序的序列生成，对于 Object 序列，其生成方式为：

对于 Relation 序列，其生成方式为：

在实际应用中，预测 Object 序列和 Relation 序列时，本发明需要将BertEmbedding 层的输出与目标条件特征进行融合，因此，本发明引入了已有的条件层标准化。

本发明使用 Bert Embedding 层的输出作为下游实体及关系抽取的输入，其

与

均为 Bert模型中大小固定的向量，为了将标准化函数中的

与

转换为关于输入的函数，引入如下两个矩阵变换，将条件序列

分别变换大小为和

与

一致的矩阵

及

：

然后，利用矩阵

及

将

与

转换成关于条件

的函数：

最终，得到条件特征融合后的输出为：

其中，

为Bert Embedding 层的输出，为避免影响 Bert 模型的初始权重，在训练开始时两个变换矩阵

都应全零初始化，而不能使用随机值初始化，避免对 Bert 模型的权重造成不可预料的扰动。

所述序列标注器用于解决实体重叠的问题由苏剑林等人提出的标注器结构，该标注器结构如图4所示。

标注器是一个二维矩阵，每一层的大小和模型输入的文本长度一致。在本发明中，定义第一层为序列头部层，第二层为序列的尾部层。

在训练阶段，标注器的标注过程为：对于输入序列的所有实体，在序列头部层中，将实体头部出现的位置置为 1，其余地方为 0，实体尾部在序列尾部层中的标注方法和实体头部的标注方法一致。

在预测阶段，标注器中的值由对应的输出层进行计算，最后通过解码还原成原序列文本：

所述用于识别宾语的 Object 层和识别关系的 Relation 层的输出结构和序列标注器的结构一致，但是由于两者需要融合的特征不同，因此在实现细节有所差异，本节将详细阐述两者的结构。

Object层的结构如图6所示，其输入为来自Bert Embedding层的输出

及来自Subject层的输出

向量，两个输入通过Condition Layer Normalization层进行条件特征融合：

然后条件特征向量

输入到一个全连接神经网络中，最后通过

函数计算输出。

其中，

及

分别为 Object 头序列和尾序列，

和

均为可训练参数。

Relation 层的结构如图7所示，其输入除了

之外，还额外增加了来自object层的输出与

的条件特征融合向量：

和

叠加后输入到激活函数

为全连接神经网络中输出所有的

。

所述编码解码阶段，类似于 Seq2Seq 模型的编码器-解码器结构，编码阶段对应着模型的整个训练流程和预测流程中的自然文本序列转换成标注器向量序列的过程，解码阶段则是对应着由标注器向量序列还原成自然文本序列的过程。

以句子“调研组赴省某局调研信访工作”为例，在训练阶段（编码阶段），Subject层的标注器中标注了（“调”，“组”），Object层的标注器中标注了（“信”，“作”），Relation层的标注器标注了（“调”，“研”）等“头-尾”序列，即分别在对应的标注器向量中将其对应位置的数值置为1。

在实际的预测流程中，编码和解码的工作是并行进行的，为了将关系及关系的实体的主次关系区分开来，同样采取了三阶段的解码策略。对于输入的每个文本序列，在经过Subject 层编码之后，对其标注器向量进行解码，得到该文本序列中的所有主语；然后，对于每个主语，预测并解码对应的 Object 层输出向量，得到该主语对应的宾语序列；最后，对于每一对（主语，宾语）序列，预测并解码对应的关系向量，得到关系序列，完成（主语，关系，宾语）的三元组输出。

对于上述所述算法，本发明进行了谨慎的实验与分析。为了全面评估模型的性能，本发明使用了两个数据集进行实验验证：分别是本发明构建的政务领域数据集及原始的Saoke数据集，前者可以用来评估模型在政务领域三元组抽取的表现，而后者则是用来整体评估模型的泛化能力，考察模型在通用领域的表现。

本发明所提出的模型生成的序列均为原自然文本序列中已有的序列，为了更好的表达实体之间的关系及应对文本序列中主语不明的情况，数据集中额外补充了一些关系及特殊符号“_”，因此，文本序列在输入到模型之前，作了如下处理：

首先将所有额外的关系序列和符号“_”拼接到一起得到序列：“_，DEATH，BIRTH，ISA，VS，NOT，DESC，IN”。然后，随机在原始文本序列的头部或尾部添加上述序列。

应当注意，该处理仅针对本模型，在对比实验中，文本序列输入到其它对比模型之前并不进行此处理，并且，本模型仅使用政务领域数据集进行训练，而对比模型在两个数据集中分别进行了训练。

最终，数据集按照 8:1:1 的比例划分训练集、验证集和测试集，两个数据集的样本分布如表 2所示。

表2 数据集样本分布

本发明所提出的三阶段联合信息抽取模型是在 Tensorflow 上进行实现和实验验证的。预训练语言模型 Bert 选择的是哈尔滨工业大学训练的 BERT-wwm-ext 模型，其一共具有 12 层神经网络，隐藏层的维度为 768，一共使用了12个双向Transformer结构，具有110M的参数。BERT-wwm-ext模型在包含中文维基百科、其它百科、新闻、问答的数据集上进行训练，总词数达到了 5.4B，将近谷歌初版 Bert 模型（0.4B）的 14 倍。另外，Bert模型在本发明模型的训练过程中参与梯度的反向传播，以期在政务领域中达到更好的三元组抽取效果。

本发明所提出的模型训练时的目标函数使用了AdamEMA优化算法，该算法是传统Adam 优化算法的改进版本，结合 EMA（权重滑动平均）之后，可以很好的缓解模型梯度震荡的问题，使模型训练收敛的更快。

模型训练的epoch为15，学习率为0.00001，每轮epoch结束后保存一次模型当前的权重向量，在验证集上进行模型评估，最后选取了 F1 最高的模型参与对比实验。

在验证所提出模型的有效性方面，本发明使用了多个对比模型，如SRLIE、ZORE、Logician 模型等进行实验，同时，为了更准确的评估模型的性能，引入了基于余弦相似度的计算方法来评估两个实验中的实体关系序列是否足够相似：

其中，

和

均为要比较的序列向量，对于这两个向量，并不需要其保留上下文语义，同时，获取基于 Bert的文本嵌入向量速度较慢，因此，选择了速度较快的Word2Vec来将文本序列转换成大小相同的向量。对于上式，当两个向量的余弦相似度大于 0.7 时，便认为两者表达的是同一个意思，两个序列“一致”。

本发明所有实验均在 Google Colab上完成，基本实验环境情况如表3所示。

表3实验环境

本发明应用于各模型对通用领域数据集 Saoke进行实验的效果如表 4所示：

表4通用领域数据集实验表现

从表4可以看到，本发明提出的三阶段联合抽取模型取得综合最佳的表现，其中召回率达到了其它模型的 2 倍以上，除了准确率一项不如 Logician 模型以外，其它指标均大幅度领先于其它模型。传统的关系抽取模型 SRLIE 和 ZORE 的表现均不佳，三个指标中除了召回率一项和 Logician 相当之外，其余两项指标均远远不如其余两个模型。

与同样基于 Seq2Seq 思路的 Logician 相比，Logician 为了实体关系抽取的高准确率而牺牲了召回率，其召回率仅仅达到了 0.152，分析实验结果发现，Logician 倾向于抽取数量较少的三元组，在其抽取的三元组中，正确的三元组占据了大多数，因此其精确率很高，达到了 0.853，几乎是本发明所提出模型的 2 倍。相比之下，本发明提出的模型召回率达到了其 2.5 倍，同样条件下识别的三元组数量更多，在精确率和召回率上的表现十分均衡，能够保留原文更多的信息，说明本发明引入标注器及 Bert 模型是有效的。最后，值得注意的是，本发明所提出的模型并未在该数据集上进行训练，这表现了该模型架构的强大泛化能力，也体现了Bert模型获取文本特征的能力。

本发明应用于各模型在政务领域数据集的实验效果如表5所示。

表5政务领域数据集实验表现

可以看到，政务领域数据集中各模型的表现均有所提升，分析发现，原因在于本发明标注的政务领域数据集很少存在实体重叠的情况。相比于本发明模型的大幅度提升，其它模型在政务领域的数据集中的提升幅度都较小。另外，应当注意到，本发明实验中所使用到的面向开放领域的信息抽取模型都表现出了一定的领域泛化能力，不管是否在具体的领域数据集中训练，模型的性能都得到了保证，体现了在缺乏关系定义的情况下开放领域信息抽取模型的价值。

综合两个数据集上的表现，本发明所提出的模型具有最佳的性能表现，而且在用于模型训练的政务领域数据集中，本发明模型的提升幅度最大，说明 Bert 模型在训练中捕捉到了一定的政务领域文本语义，其相比于其它的模型，本模型更具有领域特征，但同时也得益于Bert模型在预训练时所使用的大规模语料，其在通用领域数据中的表现也足够优秀。

需要进一步说明的是，本发明提出的三阶段联合抽取模型使用了Bert模型，Bert模型对于文本的长度是有限制的，本发明在构建信息抽取模型时将该参数设置成了最大值：512 字符，对于信访领域等政务领域的文本而言，其内容长度一般会远大于 512 字符。因此，在实际进行信息抽取的时候，需要对抽取的文本进行切分，为了更好的保留语义，按照句号“。”进行切分后输入模型，其中每个分段不超过 512字符。由于政务领域文章的写作特点，句子中关系的实体很有可能并没有出现在该句甚至该段中，如湖南省某局的文章《领导A主持召开省政府常务会议学习贯彻中央政治局会议精神》中的某一段所示：该段中的关系“树立”、“增强”等并没有对应的主语体现在该段中，其真正的主语“湖南”实际上出现在了文章的开头，这就导致了在文章切分之后，模型可能会出现捕捉不到主语，而使用特殊符号“_”代替的问题。

其次，对于最终构建的知识图谱，希望其关系更具有普遍性，以“保持力争上游的姿态”为例，会识别出三元组：（_, 保持力争上游的姿态，姿态），为了让其中的关系更具备普遍性，按照 Saoke 数据集定义，会将关系中包含主语和宾语的部分用特殊符号替换：“保持力争上游的 Y”，相比于原来的关系表达，修正后的关系更加普遍，可以表达的知识更多。

本发明以信访领域为例进行政务领域的知识图谱构建，对于政务领域的文档，经研究发现，当模型识别不到关系的实体时，其实际的相关实体一般就是全文的主要叙述对象，而这个叙述对象，根据政务领域文本的写作特点，其一般会出现在文章的开头或者标题处，且其一般为某一个人、某个地点或某个政府部门。

针对上述特点，本发明提出了基于限定词性的关键词实体修正算法，流程如图8所示。

步骤一：实体修正，基于对速度的考虑，使用了jieba工具进行词性标注，其使用的是基于统计模型的词性标注算法，词性标注集方面采用的是北大计算所的标注数据集。在进行词性标注的时候jieba工具首先进行分词处理，然后使用正则表达式识别切分出来的词是否是汉字，如果是汉字，则基于前缀词典构建有向图，计算其最大概率路径，同时基于前缀词典在标注数据集中查找该词的词性，选择最优的词性串输出；若没有查找到词性，则将该词的词性标注为“x”；如果分出来的词不是汉字，则将其标注为“eng”，表示英文。

获得分词及对应的词性之后，使用 TextRank 算法来选取符合词性的关键词。

其中TextRank 算法的具体实现是通过获得每个词的 TextRank 值之后，对分词进行词性筛选，仅保留人名、地名和部门名等三种词性的词，然后选取其中 TextRank 值最大的词作为三元组中特殊符号“_”的替换。为了验证本发明提出的实体修正算法的有效性，选取了 1000 个包含特殊符号“_”的三元组及其对应的全文，使用实体修正算法抽取全文主体叙述对象，最终提出的实体修正算法取得了 62.7%的精确率。应当注意的是，本发明选取的三元组均为正确的三元组，即该三元组表示的关系确实在句中存在，且其实体确实不在该句中；另外，实体修正算法抽取的实体准确与否的评判标准为：该实体是否为对应三元组的真实实体。

步骤二：关系修正，关系修正在实体修正完成后进行，只有关系中出现了该关系相应的实体时才进行修正，其流程如图9所示。

首先在关系序列中使用字符串匹配算法进行主语序列的搜寻，如果主语序列存在于关系序列中，则将关系序列中的主语替换为 X；对于出现在关系序列中的宾语序列，将其替换为 Y。具体到实际的工程实施中，首先，读取知识抽取模块输出的csv文件和原始网页正文文件，解析出其中的三元组信息及对应的正文内容；然后，对于实体为“_”的三元组，本发明使用基于限定词性的关键词实体修正算法，提取正文主体，然后使用该主体替换掉“_”；接着，对于关系中含有主语和宾语的情况，使用关系修正算法进行修正。

另外，当知识修正完成之后，将保存原始网页正文内容的文件删除，减少存储空间的消耗。

步骤三：知识融合，逐个计算政务领域三元组的实体的主语与主语之间、宾语与宾语之间以及主语与宾语之间的相似度，若两个实体的相似度达到阈值则对该两个实体进行融合，得到完整的政务领域三元组；

需要进一步说明的是，经过模型对实体和关系的抽取与知识修正，已经获得了丰富的政务领域三元组。然而，由于中文的语言表达特点，往往存在着“一词多义”或者“一义多词”的问题，因此，需要将语义相同的实体进行融合。对于知识融合问题，一般采用相似度算法判断两个“知识”是否是一致的，常用的相似度算法有余弦相似度算法、欧几里得距离算法等，其中余弦相似度算法是最为常用的算法，其计算效率比较高。

因此，知识融合的过程中本发明采取逐个计算相似度的办法，主语和主语、宾语和宾语、主语和宾语之间都会进行相似度的比较，若两个实体的相似度达到阈值（本发明中阈值设为 0.7），则对两个实体进行融合。融合的规则为“短实体优先”，即优先使用序列较短的实体代替所有相似度达到阈值的实体。

步骤四：知识存储，首先读取csv文件，解析三元组数据，使用rdflib的api将三元组数据存储到 petition.rdf文件中；其次使用gStore命令导入rdf文件，构建图数据库；最后开启gHttp服务，以供外部访问图数据库；最后本发明选择了gStore图数据库进行知识的存储。

需要进一步说明的是，知识存储是将抽取的知识，即三元组进行存储的一个过程，以供后续的知识查询与知识图谱的动态展示等。在前面的步骤中已经获取到了完整的三元组信息，这些信息都存储在csv文件中，由于gStore仅支持使用RDF文件来进行图数据库的构建，因此，首先需要转换文件格式，然后再构建图数据库。

步骤五：知识图谱动态展示，具体的，知识图谱动态展示模块选择了 B/S 模式进行开发，本发明选择了Django作为后台服务开发框架。前端页面开发方面，使用了vue进行页面开发。知识图谱动态展示模块的功能主要由前端页面体现，其主要功能有：整个知识图谱的查看及实体检索，具体包括：

至少一处理器；

至少一存储器，用于存储至少一程序；

在对文本进行相似度计算时本发明提出的方法明显具有更好的现实意义。考虑在一些需要提高文本匹配计算效率的场合，本发明的方法明显优于一般方法。

在一些可选择的实施例中，在本发明的步骤所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本发明所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本发明中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

本发明实施例还提供了一种存储介质，存储有处理器可执行的指令，处理器执行所述处理器可执行的指令时执行所述基于深度学习的政务领域知识图谱自动化构建方法。

同样可见，上述方法实施例中的内容均适用于本存储介质实施例中，实现的功能和有益效果与方法实施例相同。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

实施例中的步骤表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

在本说明书的描述中，参考术语“一个实施例”、“本实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。