CN111159366A - 一种基于正交主题表示的问答优化方法 - Google Patents

Abstract

本发明提出一种基于正交主题表示的问答优化方法，包括：获取询问文本，并从所述询问文本中提取多个问题主题；将多个所述问题主题进行正交分解，获取问题正交主题空间；并将所述询问文本向量化后投影到所述问题正交主题空间中，获取每个所述问题主题对应的投影向量；根据所述投影向量获取待查询文本，建立所述待查询文本与所述投影向量的映射关系，获取答案向量；通过神经网络获取所述投影向量和所述答案向量的概率模型；根据所述概率模型获取所述询问文本的输出响应；本发明可有效提高问题理解的深度和答案搜索的准确性。

Description

一种基于正交主题表示的问答优化方法

技术领域

本发明涉及自然语言处理领域，尤其涉及一种基于正交主题表示的问答优化方法。

背景技术

目前，随着人工智能的发展与应用，日常待处理的数据量也在持续增长。面对海量以自然语言形式保存的数据，需要花费大量的精力和时间才能找到需要的信息，因此，也促进了智能问答系统的不断发展。然而，现有的智能问答系统智能程度较低，无法较好地理解用户提出的问题并返回正确有效的答案，效率相对较低。答案选择是问题解答(QA)的重要子任务，在现实世界的QA任务细分成比如生活电器类咨询、法律服务咨询、健康知识咨询等，，这种专业指向型任务的问题一般不会跨专业咨询，比如不会在法律服务咨询任务中咨询生活电器的使用，同时问题通常被表示为两个部分：一个概述问题要点的主题，以及一个详细阐述该主题的主体。以前的研究在选择答案时，通常会忽略这两个部分之间的区别，并将它们串联起来作为问题表达。这种处理方法缺乏针对性，效率通常较低。

发明内容

鉴于以上现有技术存在的问题，本发明提出一种基于正交主题表示的问答优化方法，主要解决复杂结构的询问文本中过多冗余信息影响文本处理效率及准确度的问题。

为了实现上述目的及其他目的，本发明采用的技术方案如下。

一种基于正交主题表示的问答优化方法，包括：

获取询问文本，并从所述询问文本中提取多个问题主题；

将多个所述问题主题进行正交分解，获取问题正交主题空间；并将所述询问文本向量化后投影到所述问题正交主题空间中，获取每个所述问题主题对应的投影向量；

根据所述投影向量获取待查询文本，建立所述待查询文本与所述投影向量的映射关系，获取答案向量；

通过神经网络获取所述投影向量和所述答案向量的概率模型；

根据所述概率模型获取所述询问文本的输出响应。

可选地，根据所述问题主题在所述询问文本中的位置，将所述询问文本划分为多个子句；

根据所述多个子句创建所述询问文本的向量空间。

可选地，根据预设的字符嵌入模型获取每个所述问题主题对应的字符嵌入向量，建立所述问题主题与对应的所述字符嵌入向量的映射关系。

可选地，根据预设的词嵌入模型获取每个所述问题主题对应的词嵌入向量，建立所述问题主题与对应的所述词嵌入向量的映射关系。

可选地，连接每个所述问题主题对应的字符嵌入向量和词嵌入向量，获取所述询问文本的向量空间。

可选地，连接每个所述问题主题对应的字符嵌入向量和词嵌入向量，将所述询问文本向量化。

可选地，根据所述答案表示对应的答案在所述待查询文本中的位置，设置位置权重，统计对应答案的分布概率，对所述答案表示进行评分；根据所述评分获取多个关联段落。

可选地，将每个所述关联段落分别输入预设的字符嵌入模型获取段落字符嵌入向量；

将每个所述关联段落分别输入预设的词嵌入模型获取段落词嵌入向量；

连接所述段落字符嵌入向量和所述段落词嵌入向量获取对应的所述答案向量。

可选地，所述答案向量与所述问题交互空间中的向量进行对齐处理。

可选地，所述神经网络采用两层前馈神经网络。

如上所述，本发明一种基于正交主题表示的问答优化方法，具有以下有益效果。

根据问题主题对询问文本生成的空间向量进行正交分解，利用问题主题与主题描述的差异性和相似性优化问题主题描述，可有效提高问题处理及获取答案的效率及准确性。

附图说明

图1为本发明一实施例中基于正交主题表示的问答优化方法的流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，本发明提供一种基于正交主题表示的问答优化方法，包括步骤S01-S05。

在步骤S01中，获取询问文本，并从所述询问文本中提取多个问题主题；

在一实施例中，可通过搜集整理某一领域常见问题，获取问题样本库，对问题样本库进行主题标注，将经过标注的问题样本输入卷积神经网络训练问题主题提取模型。问题主题可以包括关键词、常用短语等。如某公司针对产品问题进行政策咨询时，输入询问文本为“A类产品评价指标是什么？需要提供什么材料？时效是多久？”可通过问题主题提取模型从用户输入中提取“评价指标”、“材料”、“时效”等。

在步骤S02中，将多个问题主题进行正交分解，获取问题正交主题空间；并将询问文本向量化后投影到问题正交主题空间中，获取每个问题主题对应的投影向量；

在一实施例中，可根据提取的问题主题在询问文本中的位置，将询问文本划分为多个子句。具体地，可根据断句符和问题主题位置进行子句划分，一个子句可包含多个句子。如有A、B、C三个依次顺序排列的句子，问题主题i位于句子B中，问题主题j位于句子C中，句子A中没有问题主题，则将A和B划入同一子句，C划入另一子句，B和C之间根据断句符进行划分。根据子句划分结果获取各子句对应的向量，具体地，可对各子句进行分词处理，统计个单词的词频生成词向量。

在一实施例中，根据预设的词嵌入模型获取每个所述问题主题对应的词嵌入向量，建立问题主题与对应的词嵌入向量的映射关系，其中，词嵌入模型可采用GloVe模型，将每个问题主题对应的子句词向量输入词嵌入模型，利用单词在语句中的共现频率生成单词的向量表示，这些向量以数字的形式表示了单词的语义和语法信息。

在一实施例中，根据预设的字符嵌入模型获取每个问题主题对应的字符嵌入向量，建立问题主题与对应的字符嵌入向量的映射关系。具体地，可通过卷积神经网络训练字符嵌入模型。首先对询问文本中的子句进行分词处理，获取单个单词后，在对单词进行字符拆解，获取字符向量，初始化字符向量中每个字符的值，输入卷积神经网络，通过卷积滤波器捕捉字符组合的含义，进而得到字符嵌入模型。将在阅读理解中，往往会遇到一些字典里没有的生词，而许多单词都可以通过词根的构成理解单词对应的词义，因此，通过字符嵌入向量充分考虑单词内部结构的关联，有利于增强语义理解的深度。

在一实施例中，将前述步骤获取的字符嵌入向量和词嵌入向量连接在一起，将所述询问文本向量化，获取每个问题主题对应的向量表示，将多个向量表示组合在一起构造询问文本的向量空间。其中，每个问题主题对应向量空间中的一个维度。

在一实施例中，可将多个问题主题进行正交分解，计算多个问题主题之间的关联度，根据关联度创建问题正交主题空间。由于每个问题主题之间并非完全独立，相互之间具有一定的相似性和差异性，计算每个问题主题在其他问题主题上的分量，充分考虑问题主题之间的相似性和差异性，可提高问题理解的深度和准确性。

在一实施例中，可计算向量空间中各向量与每个问题主题的关联度，获取向量空间中的向量在问题正交主题空间的投影向量。具体的，以问题主题为坐标轴建立坐标系，计算出每个子句对应的向量表示中某一问题主题出现的频次，根据频次获取问题主题与各响亮的关联度。如问题主题A在子句i中出现1词，在子句j中出现2次，则可判定A分别与i和j关联。以此建立问题主题和向量空间中各向量的映射关系，进而得到问题交互空间。用户在进行问题咨询时，多个问题之间通常具有一定的关联性，因此通过正交分解策略充分考虑问题间的关联性，有利于获取更为准确的答案。

在步骤S03中，根据投影向量获取待查询文本，建立待查询文本与投影向量的映射关系，获取答案向量；

在一实施例中，可根据不同的技术领域，收集对应领域相关技术文档，整理形成数据库。以法律领域为例，通过收集整理法律条例、法务论坛、相关法律论文期刊和杂志、地方政策法规等信息，形成数据库；也可直接通过网络连接Wikipedia等公共数据库获取结构化文本数据。

根据投影向量中的特征信息从对应的数据库中获取用于进行问题解答的待查询文本。

并将投影向量与待查询文本对应的向量进行信息比对，获取待查询文本中包含对应问题主题的多个段落。将多个段落与对应的问题主题进行整合编码，创建多维词向量。对段落进行编码时，当段落中出现对应子问题中的关键词时，赋值为1，否则赋值为0。

在一实施例中，可通过注意力机制生成问题主题的段落表示。注意力机制可采用Encode-Decode框架进行文本处理，将待查询文本输入Encode-Decode框架预设的编码模型中，获取中间语义向量；将投影向量与中间语义向量输入Encode-Decode框架中预设的解码模型，获取投影向量到待查询文本的映射关系，进而获取每个问题主题对应的答案表示。

在一实施例中，根据答案表示对应的答案在待查询文本中的位置，设置位置权重，统计对应答案的分布概率，对答案表示进行评分；根据评分获取多个关联段落。具体地，可选择其中一个答案作为答案代表，获取每个答案在对应的待查询文本段落中的位置。可根据其他答案到答案代表的位置跨度设置候选答案的权重。可设置位置跨度较小的答案具有较大的权重。对答案在对应段落中的位置进行加权统计，获取每个答案的概率分布，并将答案概率分布进行归一化处理，根据答案的概率分布对答案表示进行评分，将分数达到设定阈值的答案表示通过位置信息进行关联，获取多个段落。如当答案表示X的评分达到设定阈值，X对应查询文本中段落m和k中相应位置，m和k即为X的关联段落。

在一实施例中，将每个关联段落分别输入预设的字符嵌入模型获取段落字符嵌入向量；将每个关联段落分别输入预设的词嵌入模型获取段落词嵌入向量；连接多个关联段落对应的段落字符嵌入向量和段落词嵌入向量获取对应的答案向量。

在一实施例中，将答案向量与问题交互空间中的向量进行对齐处理，保持答案向量与问题交互空间中的问题向量维度保持一致。

在步骤S04中，通过神经网络获取投影向量和答案向量的概率模型：

在一实施例中，神经网络可采用两层前馈神经网络，将投影向量和答案向量连接起来输入两层神经网络中，应用softmax函数构造损失函数，训练问题向量到答案向量的概率模型。

在步骤S05中，根据概率模型获取询问文本的输出响应：

获取用户的输入的询问文本，经过前述步骤S01-S03分别获取投影向量和答案向量；将投影向量和答案向量整合输入步骤S04中获取的概率模型中，获取用户实时输入的询问文本的输出响应。

综上所述，本发明一种基于正交主题表示的问答优化方法，通过字符嵌入和词嵌入丰富了文本语义内容，可有效提高于答案搜索及阅读理解的准确性；通过对询问文本采用正交分解策略，充分考虑多个问题间的差异性和关联性，可有效提高获取答案的准确性。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种基于正交主题表示的问答优化方法，其特征在于，包括：

获取询问文本，并从所述询问文本中提取多个问题主题；

将多个所述问题主题进行正交分解，获取问题正交主题空间；并将所述询问文本向量化后投影到所述问题正交主题空间中，获取每个所述问题主题对应的投影向量；

根据所述投影向量获取待查询文本，建立所述待查询文本与所述投影向量的映射关系，获取答案向量；

通过神经网络获取所述投影向量和所述答案向量的概率模型；

根据所述概率模型获取所述询问文本的输出响应。

2.根据权利要求1所述的基于正交主题表示的问答优化方法，其特征在于，根据所述问题主题在所述询问文本中的位置，将所述询问文本划分为多个子句；根据所述多个子句创建所述询问文本的向量空间。

3.根据权利要求2所述的基于正交主题表示的问答优化方法，其特征在于，根据预设的字符嵌入模型获取每个所述问题主题对应的字符嵌入向量，建立所述问题主题与对应的所述字符嵌入向量的映射关系。

4.根据权利要求2所述的基于正交主题表示的问答优化方法，其特征在于，根据预设的词嵌入模型获取每个所述问题主题对应的词嵌入向量，建立所述问题主题与对应的所述词嵌入向量的映射关系。

5.根据权利要求3或4任一所述的基于正交主题表示的问答优化方法，其特征在于，连接每个所述问题主题对应的字符嵌入向量和词嵌入向量，将所述询问文本向量化。

6.根据权利要求1所述的基于正交主题表示的问答优化方法，其特征在于，根据所述答案表示对应的答案在所述待查询文本中的位置，设置位置权重，统计对应答案的分布概率，对所述答案表示进行评分；根据所述评分获取多个关联段落。

7.根据权利要求6所述的基于正交主题表示的问答优化方法，其特征在于，

将每个所述关联段落分别输入预设的字符嵌入模型获取段落字符嵌入向量；

将每个所述关联段落分别输入预设的词嵌入模型获取段落词嵌入向量；

连接所述段落字符嵌入向量和所述段落词嵌入向量获取对应的所述答案向量。

8.根据权利要求7所述的基于正交主题表示的问答优化方法，其特征在于，将所述答案向量与所述问题交互空间中的向量进行对齐处理。

9.根据权利要求1所述的基于正交主题表示的问答优化方法，其特征在于，所述神经网络采用两层前馈神经网络。

Images