CN113157886B - 一种自动问答生成方法、系统、终端及可读存储介质 - Google Patents

Abstract

本发明公开了一种自动问答生成方法、系统、终端及可读存储介质，通过全局归一化的图注意力网络，粗细粒度相结合的富语义文本阅读网络以及问题与实体关系的深度交互网络，从而克服了现有技术对不完整知识图谱编码能力的不足，以及富语义文本信息不够充分，并且缺少问题与实体关系之间深度交互的不足。本发明提高问答结果的准确率；同时通过粗细粒度相结合的文本内容阅读模块，在利用文本中的实体以及相关信息的基础上，可以进一步挖掘隐含在文本中的实体间关系特征用来实现知识图谱的补全。最后，本发明利用一个双向注意力网络来对用户问题与实体进行深度的信息交互以便发现与用户问题更相关的实体。

Description

一种自动问答生成方法、系统、终端及可读存储介质

技术领域

本发明属于知识图谱技术领域，涉及一种自动问答生成方法、系统、终端及可读存储介质。

背景技术

自从Google公司在2012年提出了知识图谱的概念以来，国内外大量的知识图谱也逐步研发并公开发布为大数据的分析与推理提供辅助依据，例如Freebase、Wikidata、Google Knowledge Graph以及OpenKG等。这些知识图谱在提高人工智能算法的可解释性方面起到了重要的作用，同时也对基于知识图谱的的自动问答、信息检索、信息抽取和人机对话等领域具有重大的辅助作用。但是，由于知识图谱的构建需要大量的人工标注，同时对“实体关系对”的数据格式有其严格的规范要求，导致了知识图谱难以保证知识的完整性以及时效性。而知识图谱的不完整性也严重地限制了基于知识图谱的自动问答系统的答案生成的质量性能。此外，互联网上存在着大量的富语义的文本知识源，例如维基百科、百度百科以及百度知道等，这些富语义的知识文本中往往隐含着丰富的领域知识，从而为解决知识图谱的不完整性提供了重要的辅助知识。因此，近年来如何利用互联网中海量的富语义文本知识来扩充知识图谱，已成为当前工业界与学术界在问答领域中需要迫切解决的关键性问题之一。

目前，采用富语义文本信息来实现知识图谱补全的方法主要考虑到利用图注意力机制对知识图谱中的知识实体进行表示学习，再提取文本中丰富的实体信息来对知识图谱中不完整的实体以及关系进行补全与表示。尽管图注意力网络具有较好的图结构编码能力，但是在基于知识图谱的问答场境下，原始的图注意力网络并不能区分出知识图谱中与用户问题领域高度相关的知识关系。因此，进一步利用文本信息中所蕴含的相关实体以及关系的语义信息，来实现知识图谱中实体关系的补全，但是，已有方法并没有考虑到充分捕获文本中隐含的关系信息，特别是没有考虑到自动问答任务中问题与相关证据的交互对自动生成答案结果的质量具有极为重要的影响。

发明内容

本发明的目的在于解决现有技术中的问题，提供一种自动问答生成方法、系统、终端及可读存储介质，本发明通过将问题与知识图谱以及文本中的实体特征进行深度的信息交互与融合，从而创新地获得更多的语义特征来提升问答结果生成的质量。

为达到上述目的，本发明采用以下技术方案予以实现：

一种自动问答生成方法，包括以下步骤：

学习用户问题以及文本知识的序列表示特征，对知识图谱进行向量初始化表示；

对知识图谱中所有的关系进行归一化计算，找到与用户问题最相关的关系；

捕获文本级别的关系信息来补充知识图谱中缺失的实体关系，形成粗粒度的文本表示；将文本中的实体提及信息提取出来组成细粒度的表示，直接补充知识图谱中实体的表示；

进行用户问题与知识实体的深度交互，找到与用户问题更加相关的实体作为返回的答案；

将经过学习得到的知识实体表示经过多层感知机，获得最终答案的概率分布。

一种自动问答生成系统，包括：

输入嵌入模块，所述输入嵌入模块用于学习用户问题以及文本知识的序列表示特征，对知识图谱进行向量初始化表示；

全局归一化图注意力网络，所述全局归一化图注意力网络用于对知识图谱中所有的关系进行归一化计算，找到与用户问题最相关的关系；

粗细粒度结合的文本阅读网络，所述粗细粒度结合的文本阅读网络用于捕获文本级别的关系信息来补充知识图谱中缺失的实体关系，形成粗粒度的文本表示；将文本中的实体提及信息提取出来组成细粒度的表示，直接补充知识图谱中实体的表示；

问题实体双向交互网络，所述问题实体双向交互网络用于进行用户问题与知识实体的深度交互，找到与用户问题更加相关的实体作为返回的答案；

答案预测网络，所述答案预测网络用于将经过学习得到的知识实体表示经过多层感知机，获得最终答案的概率分布。

一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

与现有技术相比，本发明具有以下有益效果：

针对目前不完整知识图谱的自动问答方法中存在的缺陷，本发明从知识图谱与富语义文本内容信息混合的角度，提出了一种基于不完整知识图谱与富语义文本内容深度融合网络的自动问答生成方法。其中，该方法不仅包含了一种基于全局归一化的图注意力网络用于发现知识图谱中与用户问题相关的实体关系，从而提高问答结果的准确率；同时，还包含了一个粗细粒度相结合的文本内容阅读模块，该模块在利用文本中的实体以及相关信息的基础上，可以进一步挖掘隐含在文本中的实体间关系特征用来实现知识图谱的补全。最后，本发明利用一个双向注意力网络来对用户问题与实体进行深度的信息交互以便发现与用户问题更相关的实体。

本发明通过全局归一化的图注意力网络，粗细粒度相结合的富语义文本阅读网络以及问题与实体关系的深度交互网络，从而克服了现有技术对不完整知识图谱编码能力的不足，以及富语义文本信息不够充分，并且缺少问题与实体关系之间深度交互的不足。

进一步的，本发明首次提出了一种基于全局归一化的图注意力网络，以全局视角计算知识图谱中关系与用户问题的相关度，有效避免了原始图注意力网络识别相关关系能力的不足，提高了问答系统的性能。

进一步的，本发明粗细粒度结合的文本阅读网络利用粗粒度和细粒度结合的方式高效的利用文本信息补全不完整的知识图谱，不仅仅只利用文本中的实体提及信息丰富知识图谱中实体的表示，而且将文本中蕴含的实体间的关系信息引入进来；

进一步的，本发明采用的问题与实体交互网络能够有效的发现与问题更相关的实体，为最终答案的选择提供更准确的实体表示；

进一步的，本发明在真实数据集上进行的广泛实验证实了与最先进的模型相比本发明具有更加良好的性能。

附图说明

为了更清楚的说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的架构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

下面结合附图对本发明做进一步详细描述：

参见图1，本发明实施例公开了一种自动问答生成系统，包括：

输入嵌入模块：针对用户的问题，考虑到与问题相关的不完整知识图谱以及相关的富语义文本知识，利用Bi-LSTM学习用户问题以及文本知识的序列表示特征，对知识图谱利用TransE的表示向量初始化知识图谱的表示。

全局归一化图注意力网络：为了发现知识图谱中与用户问题相关的关系，提出了一种基于全局归一化的图注意力网络来替换标准的图注意力网络，在计算用户问题与知识图谱关系相关性时，标准图注意力网络只考虑在一个节点的邻居节点内进行归一化，而这样会给一些不相关的关系赋予过高的相关系数权重，而本发明的全局归一化图注意力网络选择在知识图谱中所有的关系进行归一化计算，以此找到和问题更相关的关系。

粗细粒度结合的文本阅读网络：为了利用文本中蕴含的信息，本模块捕获了文本级别的关系信息来补充知识图谱中缺失的实体关系，从而形成了粗粒度的文本表示；此外本模块将文本中的实体提及信息提取出来组成了细粒度的表示来直接补充知识图谱中实体的表示。另外，为了捕获不同文本对用户问题的不同的贡献度，本发明设计了一个双级注意力门控机制来捕获不同文本的重要性。

问题实体双向交互网络：为了发现与问题更相关的知识实体，设计了一种双向注意力交互网络进行用户问题与知识实体的深度交互从而找到和问题更加相关的实体作为返回的答案。

答案预测网络：将经过上面过程学习到的知识实体表示经过多层感知机，利用Softmax获得最终答案的概率分布。

本发明实施例公开了一种自动问答生成方法，包括以下步骤：

步骤0：考虑到用户问题

和问题相关的知识图谱子图

以及相关的文档集合

其中d_i代表第i个相关文档

步骤1：利用Bi-LSTM来学习用户问题以及每个文档的序列特征并采用最后一步隐藏层向量来表示该用户问题

以及每个文档

对知识图谱中每个实体e，使用TransE模型的向量进行初始化表示获得

对于每个关系r也采用Bi-LSTM获得最后的表示

H代表着编码后隐藏层的维度，l_q，l_d，l_r分别代表问题、文档以及关系的序列长度。

步骤2：为了在知识图谱中找到与用户问题相关的关系并且在图网络的信息传递过程中删减掉不相关节点的信息，并建立了一个全局归一化图注意力网络(GGAT)，并从全局的视角来对知识图谱中所有的关系进行相似度计算。首先，对任一关系r，我们采用自注意力编码器对知识图谱中的关系进行编码突出关系中的重要信息，

代表关系中的第i个向量。

步骤3：利用注意力机制计算每一个关系与问题的相关程度，得到每个关系与用户问题的相关性s_r。

步骤4：本发明采用了全局归一化的策略来计算用户问题与关系的最终归一化得分

相比于原始图注意力网络旨在一个节点的邻居节点内进行归一化比较，本发明选择在知识图谱所有关系范围内进行得分归一化，这样可以赋予与问题更相关的关系更高的得分从而将不相关的信息减弱。

代表第i个关系与问题的相关性得分，E代表知识图谱中所有关系的集合。

步骤5：基于得到的相关性得分，在知识图谱的图结构上进行消息传递过程，利用一个门控机制将邻居节点的信息聚合到本节点的表示中获得知识图谱中实体的最终表示x^e′：

其中N_e表示实体e的邻居节点集合，W_e时一个可学习的参数，σ和

分别代表sigmoid以及relu函数。δ是一个线性门控机制控制从邻居节点聚合信息的多少。

步骤6：考虑到文本信息中蕴含的能够补充知识图谱中缺失的丰富的实体关系信息，此网络通过一个粗粒度表示捕获全局的文本表示来代表文本中的实体关系信息。首先，利用共同注意力以及子注意力机制获得问题感知文本表示C_d。

步骤7：利用自注意力机制增强文本表示对全局上下文感知的能力，此时文本获得了全局感知的表示S_d。

步骤8：计算粗粒度文本级别的关系表示并利用文档级别的注意力门控机制捕获不同文本对问题的重要性。

其中，h_d表示文本的文档级表示，h_q代表用户问题的向量表示，η_i表示文档级别的注意力门控机制，e^d即是表示文本蕴含的关系信息的表示，

表示包含实体e的文档集合，W_d是可训练的参数。

步骤9：将文本中包含的实体提及信息提取出来作为细粒度的表示来补充知识图谱中实体的表示。

其中，e^m表示文本中细粒度的表示，ρ是实体级别的注意力门控机制，

代表实体e在文档d中出现的位置。

步骤10：将知识图谱以及文本中得到的不同界别的实体表示结合在一起得到每个实体的表示r^e：

r^e＝f_e([x^e′；e^d；e^m]) (16)

其中f_e表示一个参数可学习的线性层。

步骤11：通过双向注意力机制来增强用户问题与实体间的交互，已找到与问题更加相关的实体。首先计算问题与实体的相关性矩阵S：

S＝f_a([R^e；H_q；R^e⊙H_q]) (17)

其中

代表所有实体的表示，N代表实体的数目，⊙代表向量相乘，f_a是一个线性层。

步骤12：计算实体对于用户问题的注意力，找出问题中与实体最相关的部分。

a_e2q＝softmax_col(S)·H_q (18)

步骤13：计算用户问题对实体的注意力，找出与问题更相关的实体。

a_q2e＝dup(softmax(max_col(S)))^T·R^e (19)

其中max_col表示对矩阵S的列取最大值，dup代表将矩阵的维度恢复到

步骤14：将实体的原始表示，实体对问题的注意力表示，以及实体原始表示与两个注意力表示的乘积结合起来组成最终的实体表示

步骤15：将实体表示送入多层感知机预测概率分布，并对具有真实标签y的训练样本进行交叉熵误差最小化：

loss＝-∑ylogs^e (22)

本发明适用于与知识图谱问答相关的应用环境，例如搜索引擎，人机对话等，且能够有效的利用文本信息对不完整的知识图谱进行补充提高相关应用的性能以及用户体验。

表1为本发明在WebQSP数据集下的实验性能图。

表1

表1中的结果表明本发明提出的方法在性能上优于以前的方法。10％KB、30％KB、50％KB、100％KB代表了知识库不完整程度不同的情况下，准确率(Hit@1)以及F值(F1)是本发明的主要评价指标，KV-KB是一种基于记忆网络的知识库问答方法，GN-KB是一种基于图神经网络的知识库问答方法，SG-KA是一种基于图注意力网络的知识库问答方法，PullNet代表一种迭代式的知识库问答方法，GGAT+BI-ATTENTION表示本发明提出的全局归一化的图注意力网络和问题与实体的双向交互网络，KV-KB+TEXT是利用文本信息的记忆网络之hi水库问答方法，GN-LF表示利用图神经网络编码知识库后再与文本相融合的问答方法，GN-EF代表利用异构图神经网络直接融合文本的问答方法，GGAT+CFREADER+BI-ATTENTION表示本发明提出的知识库问答方法。

表2为本发明的不同模块在WebQSP数据集下的分离性能对比图。

表2

表2中GAT+BI-ATTENTION表示利用原始的图注意力网络替代本发明中提出的全局归一化注意力网络(GGAT)，w/o coarse-grained代表去除本发明中粗细粒度结合的文本阅读模块中的粗粒度的文本表示，w/o fine-grained代表去除本发明中粗细粒度结合的文本阅读模块中的细粒度的文本表示，w/o dual-level attention gate代表不使用粗细粒度结合的文本阅读模块中的门控机制，w/o bi-directional attention表示不使用问题与实体的双向交互网络。

本发明一实施例提供的终端设备的示意图。该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。

所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。

所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。

所述处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。

所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种自动问答生成方法，其特征在于，包括以下步骤：

学习用户问题以及文本知识的序列表示特征，对知识图谱进行向量初始化表示；

对知识图谱中所有的关系进行归一化计算，找到与用户问题最相关的关系；

捕获文本级别的关系信息来补充知识图谱中缺失的实体关系，形成粗粒度的文本表示；将文本中的实体提及信息提取出来组成细粒度的表示，直接补充知识图谱中实体的表示；具体方法如下：

利用共同注意力以及子注意力机制获得问题感知文本表示C_d：

其中，H_d表示文本的经过编码后的向量表示，

表示用户问题经过编码后的向量表示的转置，T表示矩阵的转置操作；

利用自注意力机制增强文本表示对全局上下文感知的能力，此时文本获得全局感知的表示S_d：

其中，H_d表示文本的经过编码后的向量表示，l_d表示文档的序列长度，h表示编码后向量隐藏层的维度；

计算粗粒度文本级别的关系表示，并利用文档级别的注意力门控机制捕获不同文本对问题的重要性，并获得文本级别的实体信息e^d：

其中，h_d表示文本的文档级表示，f_d()表示求和函数，将向量的维度由h压维缩成1维，h表示编码后向量隐藏层的维度，h_q表示用户问题经过自注意力编码后的向量表示，

表示用户问题的序列向量表示的转置，f_q()表示表示求和函数，将向量的维度由h压维缩成1维，H_q表示用户问题经过编码后的向量表示，η_i表示文档级别的注意力门控机制，σ()表示sigmoid函数，

表示h_q的转置，

表示第i个文档的向量表示，e^d表示文本蕴含的关系信息的表示，

表示包含实体e的文档集合，η_i表示第i个文档的门控权重，W_d是可训练的参数；

将文本中包含的实体提及信息提取出来作为细粒度的表示来补充知识图谱中实体的表示：

其中，ρ是实体级别的注意力门控机制，S_d表示文本的序列向量表示，

代表实体e在文档d中出现的位置，e^m表示文本中细粒度的表示，W_m表示可训练的参数；

将知识图谱以及文本中得到的不同级别的实体表示结合在一起得到每个实体的表示r^e：

r^e＝f_e([x^e′；e^d；e^m]) (16)

其中，f_e表示一个参数可学习的线性层，x^e′表示知识图谱中实体e的向量表示，e^d表示文档级别的实体e的向量表示，e^m表示文档中实体提及级别的实体e的向量表示；

进行用户问题与知识实体的深度交互，找到与用户问题更加相关的实体作为返回的答案；

将经过学习得到的知识实体表示经过多层感知机，获得最终答案的概率分布。

2.根据权利要求1所述的自动问答生成方法，其特征在于，所述对知识图谱进行向量初始化表示的具体方法如下：

利用Bi-LSTM编码用户问题的词嵌入表示X_q以及每个文档的词嵌入表示X_d的序列特征，并采用最后一步隐藏层向量表示该用户问题

以及每个文档

其中，l_q表示问题的序列长度，h表示编码后向量隐藏层的维度，l_d表示文档的序列长度；对知识图谱中每个实体e，使用TransE模型的向量进行初始化表示，获得

对于每个关系r采用Bi-LSTM获得最后的表示

其中，l_r表示关系的序列长度；

其中，用户问题

相关的文档集合

d_i代表第i个相关文档

3.根据权利要求1所述的自动问答生成方法，其特征在于，所述对知识图谱中所有的关系进行归一化计算的具体方法如下：

建立全局归一化图注意力网络，并从全局的视角来对知识图谱中所有的关系进行相似度计算；对任一关系r，采用自注意力编码器对知识图谱中的关系进行编码突出关系中的重要信息：

其中，α_i表示关系中第i个token经过归一化的得分权重，

表示关系中第i个token未经归一化的得分，

表示第i个token可训练的参数矩阵，j表示关系中第j个token的索引，

表示第j个token未经归一化的得分，

表示表示第j个token可训练的参数矩阵，

表示关系中的第j个向量，

表示经过自注意力编码后得到的关系向量表示，

表示关系中的第i个token的表示向量，h表示编码后向量隐藏层的维度，l_r表示关系的序列长度。

4.根据权利要求1或3所述的自动问答生成方法，其特征在于，所述找到与用户问题最相关的关系的具体方法如下：

利用注意力机制计算每一个关系与问题的相关程度，得到每个关系与用户问题的相关性s_r；

其中，q_r表示用户问题经过自注意力编码后的向量表示，β_j表示用户问题中第j个token的归一化权重得分，l_q表示问题的序列长度，

表示用户问题中第j个token的向量表示，

表示用户问题中第k个token的向量表示，k表示用户问题中第k个token的索引，

表示经过自注意力编码后得到的关系向量表示，s_r表示用户问题与关系的相似度得分，

表示单层的全连接神经网络，⊙表示向量之间的乘法；

采用全局归一化的策略来计算用户问题与关系的最终归一化得分：

其中，

表示第i个关系与问题经过归一化的相关性得分，

表示第i个关系与问题未经归一化的相关性得分，

表示表示第j个关系与问题未经归一化的相关性得分，E代表知识图谱中所有关系的集合；

基于得到的相关性得分，在知识图谱的图结构上进行消息传递过程，利用门控机制将邻居节点的信息聚合到本节点的表示中获得知识图谱中实体的最终表示x^e′：

其中，δ表示一个线性门控机制控制从邻居节点聚合信息的多少，σ()表示sigmoid函数，x^e表示知识图谱中实体e的向量表示，

表示实体e第i个邻居节点实体的向量表示，r_i表示实体e第i个邻接关系的向量表示，N_e表示实体e的邻居节点集合，

表示relu函数，W_e是可学习的参数。

5.根据权利要求1所述的自动问答生成方法，其特征在于，所述进行用户问题与知识实体的深度交互，找到与用户问题更加相关的实体作为返回的答案的具体方法如下：

计算问题与实体的相关性矩阵S：

S＝f_a([R^e；H_q；R^e⊙H_q]) (17)

其中，f_a是一个线性层，

代表所有实体的表示，N代表实体的数目，h表示编码后向量隐藏层的维度，H_q表示用户问题的向量表示，R^e表示知识图谱中所有候选实体的向量表示，⊙代表向量相乘；

计算实体对于用户问题的注意力，找出问题中与实体最相关的部分：

a_e2q＝softmax_col(S)·H_q (18)

其中，a_e2q表示用户问题中每个token对实体的注意力得分，S表示矩阵；

计算用户问题对实体的注意力，找出与问题更相关的实体：

a_q2e＝dup(softmax(max_col(S)))^T·R^e (19)

其中，a_q2e表示每个实体与问题的注意力得分，max_col表示对矩阵S的列取最大值，dup代表将矩阵的维度恢复到

l_q表示问题的序列长度，T表示矩阵的转置操作；

将实体的原始表示、实体对问题的注意力表示以及实体原始表示与两个注意力表示的乘积结合起来组成最终的实体表示

6.根据权利要求1所述的自动问答生成方法，其特征在于，所述将经过学习得到的知识实体表示经过多层感知机，获得最终答案的概率分布的具体方法如下：

将实体表示送入多层感知机预测概率分布，并对具有真实标签y的训练样本进行交叉熵误差最小化：

loss＝-∑ylogs^e (22)

其中，

为最终的实体表示，s^e表示实体e的最终得分，W⁽²⁾()表示可训练的权重矩阵，

表示relu激活函数，W⁽¹⁾表示可训练的权重矩阵，b⁽¹⁾表示可训练的权重偏置，b⁽²⁾表示可训练的权重偏置，loss表示训练模型时的交叉熵损失函数。

7.一种采用权利要求1所述方法的自动问答生成系统，其特征在于，包括：

输入嵌入模块，所述输入嵌入模块用于学习用户问题以及文本知识的序列表示特征，对知识图谱进行向量初始化表示；

全局归一化图注意力网络，所述全局归一化图注意力网络用于对知识图谱中所有的关系进行归一化计算，找到与用户问题最相关的关系；

粗细粒度结合的文本阅读网络，所述粗细粒度结合的文本阅读网络用于捕获文本级别的关系信息来补充知识图谱中缺失的实体关系，形成粗粒度的文本表示；将文本中的实体提及信息提取出来组成细粒度的表示，直接补充知识图谱中实体的表示；

问题实体双向交互网络，所述问题实体双向交互网络用于进行用户问题与知识实体的深度交互，找到与用户问题更加相关的实体作为返回的答案；

答案预测网络，所述答案预测网络用于将经过学习得到的知识实体表示经过多层感知机，获得最终答案的概率分布。

8.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6任一项所述方法的步骤。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述方法的步骤。

Images