CN107562774A - 小语种词嵌入模型的生成方法、系统及问答方法和系统 - Google Patents

Abstract

本发明涉及一种小语种词嵌入模型的生成方法、系统及问答方法和系统。其中小语种词嵌入模型的生成方法，包括：载入英语词嵌入模型；基于英语与指定小语种的翻译资料和对应关系，根据所述英语词嵌入模型，建立该小语种的词嵌入模型，并将该小语种的词嵌入模型应用之问答系统中。与现有技术相比，本发明利用已有的英文词嵌入模型数据，和英文与其它小语种之间的对应关系，来产生小语种的词嵌入模型，可以快速建立小语种的词嵌入模型，实现词嵌入模型的迁移。

Description

小语种词嵌入模型的生成方法、系统及问答方法和系统

技术领域

本发明涉及一种智能问答系统，尤其是涉及一种小语种词嵌入模型的生成方法、系统及问答方法和系统。

背景技术

问答系统(Question Answering System,QA)，又称人机对话系统(Human-MachineConversation,HMC),它是信息检索领域的一种高级形式。对于用户以自然语言形式提出的问题，问答系统能给出简洁、准确的答案，这种答案一般是一小段文本，甚至短语、词汇。问答系统涉及多学科的知识，包含信息技术、人工智能、自然语言处理、知识与数据管理和认知科学。

设计问答系统主要是为了回答“WHO did WHAT to WHOM,WHERE,WHEN,HOW andWHY？”。值得注意的是，这些WH问题却是有难有易，大体可以分成两大类：有些WH问题对应的是实体专名，比如WHO/WHEN/WHERE，回答这些问题相对容易，技术也相对成熟。另一类问题则明显难度高了许多，比如WHAT/HOW/WHY，这一类的问题才是研究问答系统面临的挑战。WHAT类型的问题可以被称为定义问题。这一类问题的特点是问题短小，而任何人或物都处于与外界的多重关系之中。因此解决这一类问题需要用到深度信息抽取的技术，把散落在文档中的关键信息整合起来。HOW类型的问题搜索的是问题的解决方案，而对于同一问题，往往有多种解决方式，因此这一类问题被公认为问答界的难点之一。WHY类型的问题搜索的是一个现象或事物发生的原因。有些原因在文档中是显性表达的，而有些是隐性的，而且几乎所有的原因都不是简单的词汇能够表达清楚的，因此找到这些原因，以合适的方式返回给用户，也是一个很大的难题。

问答系统是目前人工智能和自然语言处理领域中一个倍受关注并具有广泛发展前景的研究方向。智能问答系统的准确性、稳定性、鲁棒性以及时间效率等性能决定着这种系统能否广泛地应用于人类生活的各个领域。其中问句的真实意图分析、问句与答案之间的匹配关系判别仍然是制约着自动问答系统性能的两个关键。

同时，现有的大量有关问答系统的技术，数据，资料，特别是词嵌入模型数据是针对英文的。其它语言的嵌入模型比较稀少，特别是小语言种类，例如藏语，高加索语、格鲁吉亚语等多语言。这些小语言种类的语言资料相对缺乏，很多情况下无法收集到训练词嵌入模型所需要的大量数据。另外，理解并能使用小语种语言的人员相当稀少，因此提供有效标注的成本会相当高。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种小语种词嵌入模型的生成方法、系统及问答方法和系统。

本发明的目的可以通过以下技术方案来实现：

一种小语种词嵌入模型的生成方法，包括：

载入英语词嵌入模型；

基于英语与指定小语种的翻译资料和对应关系，根据所述英语词嵌入模型，建立该小语种的词嵌入模型。

一种问答方法，包括：

步骤S1：对输入的问句处理得到多个关键词，

步骤S2：根据各关键词在知识库中搜索得到多个候选答案；

步骤S3：根据各关键词和候选答案之间的相似度，从搜索得到的候选答案中选择做一个作为选中的答案。

所述知识库为分类知识库，在步骤S1中，对输入的问句预处理得到多个关键词的同时，生成问句的主题词，并在步骤S2中，在知识库与所述主题词对应分类中搜索得到多个候选答案。

所述知识库的创建具体包括：

步骤S21：获取文档；

步骤S22：对文档执行指代消解；

步骤S23：对文档进行分句；

步骤S24：对分句进行短文本分类。

步骤S31：根据各关键词与各候选答案的之间的相似度计算各候选答案的相似度：

其中：sim_j为第j个候选答案的相似度，ω_i为各关键词的权重系数，sim_ij为第i个关键词与第j个候选答案之间的相似度，n为关键词的总个数；

S32：根据各各候选答案的相似度，从搜索得到的候选答案中选择做一个作为选中的答案。

一种小语种词嵌入模型的生成设备，包括：

用于载入英语词嵌入模型的装置；

用于基于英语与指定小语种的翻译资料和对应关系，根据所述英语词嵌入模型，建立该小语种的词嵌入模型的装置，与用于载入英语词嵌入模型的装置连接。

一种问答系统，包括：

用于对输入的问句处理得到多个关键词的装置；

用于根据各关键词在知识库中搜索得到多个候选答案的装置，与所述用于对输入的问句处理得到多个关键词的装置连接；

用于根据各关键词和候选答案之间的相似度，从搜索得到的候选答案中选择做一个作为选中的答案的装置，与所述用于根据各关键词在知识库中搜索得到多个候选答案的装置连接。

所述知识库为分类知识库，所述用于对输入的问句处理得到多个关键词的装置包括用于生成问句主题词的模块，所述用于根据各关键词在知识库中搜索得到多个候选答案的装置在知识库与所述主题词对应分类中搜索得到多个候选答案。

所述用于对输入的问句处理得到多个关键词的装置具体包括：

知识库创建装置具体包括：

用于获取文档的模块；

用于对文档执行指代消解的模块，与所述用于获取文档的模块连接；

用于对文档进行分句的模块，与用于对文档执行指代消解的模块连接；

用于对分句进行短文本分类的模块，与所述用于对文档进行分句的模块连接。

所述用于根据各关键词和候选答案之间的相似度，从搜索得到的候选答案中选择做一个作为选中的答案的装置具体包括：

用于根据各关键词与各候选答案的之间的相似度计算各候选答案的相似度的模块，相似度具体为：

其中：sim_j为第j个候选答案的相似度，ω_i为各关键词的权重系数，sim_ij为第i个关键词与第j个候选答案之间的相似度，n为关键词的总个数；

用于根据各各候选答案的相似度，从搜索得到的候选答案中选择做一个作为选中的答案的模块，与所述用于根据各关键词与各候选答案的之间的相似度计算各候选答案的相似度的模块连接。

与现有技术相比，本发明具有以下优点：

1)利用已有的英文词嵌入模型数据，和英文与其它小语种之间的对应关系，来产生小语种的词嵌入模型，可以快速建立小语种的词嵌入模型，实现词嵌入模型的迁移。

2)利用和各关键词之间的相似度来对候选答案进行甄别，具有高准确率。

附图说明

图1为本发明小语种词嵌入模型的生成方法的流程示意图；

图2为本发明问答方法的主要步骤流程示意图；

图3为实施例中问答方法所依据系统的框架图；

图4为本发明数据预处理阶段的流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明的目的有两个。一个是多种语言特别是小语种的词嵌入模型的产生。另一个是通过用一种改进的基于文本的抽取式问答技术构成限定域智能问答系统。核心是通过英文词嵌入模型和英文小语种之间的翻译材料产生多语言词嵌入模型。并对词嵌入技术的研究、改进，达到能较好的实现问句及答案的语义表示以及问句答案间的语义匹配。进而使智能问答系统实现以下几点：

(1)系统可以应对多语言问答

(2)系统给出的答案尽可能准确；

(3)系统响应时间越小越好；

(4)答案简单明了且全面；

一种小语种词嵌入模型的生成方法，如图1所示，包括：

载入英语词嵌入模型；

基于英语与指定小语种的翻译资料和对应关系，根据英语词嵌入模型，建立该小语种的词嵌入模型。

以上方法主要利用已有的英文词嵌入模型及英文和多种语言的翻译资料和对应关系来建立多语言的词嵌入模型。即使小语种语言的相关资料很少，这种方法也可以充分利用丰富的英语语言资料和词嵌入模型来迅速建立小语种的词嵌入模型。

一种问答方法，包括：

步骤S1：对输入的问句处理得到多个关键词，主要是问题解析，通常采用自然语言处理技术对问题进行深层次的理解，包括：a)词法分析：包含分词、词性标注、关键词与主题词的提取；b)句法分析：包括句法树生成、句型匹配；外，该模块还可以采用机器学习算法来实现问题分类，使系统能够针对不容问题类型采用不同的答案反馈机制。

步骤S2：根据各关键词在知识库中搜索得到多个候选答案，知识库的创建过程，即数据预处理阶段如图4所示，具体包括：

步骤S21：获取文档；

步骤S22：对文档执行指代消解；

步骤S23：对文档进行分句；

步骤S24：对分句进行短文本分类。

首先对本地数据库中的文档进行指代消解，然后进行分句，接着使用机器学习的相关算法对短文本进行聚类，得到相关主题的数据块。以上是对数据进行聚类或者分类，形成不同主题类型的数据块，并保存下来，之后智能问答时可以根据问题与数据块的相关程度，缩小候选答案搜索范围；并且在答案抽取的相似度比较阶段，因为问题和候选答案的相似度比较互不影响，因此可以采用并行处理的方式，然后对结果进行汇总，以此来减少系统响应时间。

具体的，在搜索时，首先，对于文档检索，最简单的方法是根据问题解析得到的结果(关键词、主题词)对数据集进行全文索引，直接检索得到用户提问的相当文档。还可以利用布尔模型、向量空间模型、语言模型。概率模型等进行检索。

其次，对于候选文档过大的情况，可以进一步实行段落句群检索，即从候选文档中检索出最有可能含有答案的片段，进一步的过滤噪声信息，得到更为精确的答案相关信息。然后将问题与主题数据块进行相似度比较，更精准的定位答案所处的数据块。

步骤S3：根据各关键词和候选答案之间的相似度，从搜索得到的候选答案中选择做一个作为选中的答案，具体包括：

步骤S31：根据各关键词与各候选答案的之间的相似度计算各候选答案的相似度：

其中：sim_j为第j个候选答案的相似度，ω_i为各关键词的权重系数，sim_ij为第i个关键词与第j个候选答案之间的相似度，n为关键词的总个数；用有监督的深度学习方式对以上式子进行调参。得到该类问句的相似度计算公式。

相似度的计算可以运用词向量模型，在得到词或句子的向量表示之后，可以用向量间的余弦距离来表示句子的相似度。

S32：根据各各候选答案的相似度，从搜索得到的候选答案中选择做一个作为选中的答案，此过程中可以对答案进行排序，排序学习可以运用Learning to Rank，它是用机器学习的方法，在给定优化目标以后，自动学习出模型参数的排序模型。排序学习是一种有监督的机器学习模型，对于某个给定的查询对，抽取相应的特征，同时从日志中抽取出给定查询下文档集合的真实序列，建立排序模型。在得到句子评分(匹配度)后，将得分最高的句子作为答案返回给用户。

知识库为分类知识库，在步骤S1中，对输入的问句预处理得到多个关键词的同时，生成问句的主题词，并在步骤S2中，在知识库与主题词对应分类中搜索得到多个候选答案。对于问题的解析，除了用自然语言处理的相关分析技术(分词、词性标注、命名实体检测、关键词与主题词提取)，还可采用机器学习分类算法，对问题进行分类，对不同类型的问题采用不同的答案反馈机制，对于困难的问题，例如HOW/WHY/WHAT类型的问题，采用词嵌入与深度学习相结合的方式对答案进行抽取。

为了达到本申请的要求，本发明所采用的技术方案还可增加创新点如下：

1)使用模糊匹配和提取关键字的匹配方法，对于小语种，在部分词的词嵌入模型未知的情况下系统依然可以给出答案。

2)在信息检索模块采用一种双策略的检索方法，即本地数据库检索和网络检索。如果可以从本地数据库中检索到满足条件的问题答案，则直接将答案返回；如果没有检索到，就进行网络检索。进行网络检索时，根据问题解析模块得到的问题类型这一信息，采取不同的检索策略。

Claims (10)

1.一种小语种词嵌入模型的生成方法，其特征在于，包括：

载入英语词嵌入模型；

基于英语与指定小语种的翻译资料和对应关系，根据所述英语词嵌入模型，建立该小语种的词嵌入模型。

2.一种基于权利要求1所述小语种词嵌入模型的问答方法，其特征在于，包括：

步骤S1：对输入的问句处理得到多个关键词，

步骤S2：根据各关键词在知识库中搜索得到多个候选答案；

步骤S3：根据各关键词和候选答案之间的相似度，从搜索得到的候选答案中选择做一个作为选中的答案。

3.根据权利要求2所述的问答方法，其特征在于，所述知识库为分类知识库，在步骤S1中，对输入的问句预处理得到多个关键词的同时，生成问句的主题词，并在步骤S2中，在知识库与所述主题词对应分类中搜索得到多个候选答案。

4.根据权利要求2所述的问答方法，其特征在于，所述知识库的创建具体包括：

步骤S21：获取文档；

步骤S22：对文档执行指代消解；

步骤S23：对文档进行分句；

步骤S24：对分句进行短文本分类。

5.根据权利要求2所述的问答方法，其特征在于，所述步骤S3具体包括：

步骤S31：根据各关键词与各候选答案的之间的相似度计算各候选答案的相似度：

<mrow> <msub> <mi>sim</mi> <mi>j</mi> </msub> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>&amp;omega;</mi> <mi>i</mi> </msub> <msub> <mi>sim</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> </mrow>

其中：sim_j为第j个候选答案的相似度，ω_i为各关键词的权重系数，sim_ij为第i个关键词与第j个候选答案之间的相似度，n为关键词的总个数；

S32：根据各各候选答案的相似度，从搜索得到的候选答案中选择做一个作为选中的答案。

6.一种小语种词嵌入模型的生成设备，其特征在于，包括：

用于载入英语词嵌入模型的装置；

用于基于英语与指定小语种的翻译资料和对应关系，根据所述英语词嵌入模型，建立该小语种的词嵌入模型的装置，与用于载入英语词嵌入模型的装置连接。

7.一种基于权利要求6所述小语种词嵌入模型的问答系统，其特征在于，包括：

用于对输入的问句处理得到多个关键词的装置；

用于根据各关键词在知识库中搜索得到多个候选答案的装置，与所述用于对输入的问句处理得到多个关键词的装置连接；

用于根据各关键词和候选答案之间的相似度，从搜索得到的候选答案中选择做一个作为选中的答案的装置，与所述用于根据各关键词在知识库中搜索得到多个候选答案的装置连接。

8.根据权利要求7所述的问答系统，其特征在于，所述知识库为分类知识库，所述用于对输入的问句处理得到多个关键词的装置包括用于生成问句主题词的模块，所述用于根据各关键词在知识库中搜索得到多个候选答案的装置在知识库与所述主题词对应分类中搜索得到多个候选答案。

9.根据权利要求7所述的问答系统，其特征在于，知识库创建装置具体包括：

用于获取文档的模块；

用于对文档执行指代消解的模块，与所述用于获取文档的模块连接；

用于对文档进行分句的模块，与用于对文档执行指代消解的模块连接；

用于对分句进行短文本分类的模块，与所述用于对文档进行分句的模块连接。

10.根据权利要求7所述的问答系统，其特征在于，所述用于根据各关键词和候选答案之间的相似度，从搜索得到的候选答案中选择做一个作为选中的答案的装置具体包括：

用于根据各关键词与各候选答案的之间的相似度计算各候选答案的相似度的模块，相似度具体为：

<mrow> <msub> <mi>sim</mi> <mi>j</mi> </msub> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>&amp;omega;</mi> <mi>i</mi> </msub> <msub> <mi>sim</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> </mrow>

其中：sim_j为第j个候选答案的相似度，ω_i为各关键词的权重系数，sim_ij为第i个关键词与第j个候选答案之间的相似度，n为关键词的总个数；

用于根据各各候选答案的相似度，从搜索得到的候选答案中选择做一个作为选中的答案的模块，与所述用于根据各关键词与各候选答案的之间的相似度计算各候选答案的相似度的模块连接。