CN110162596A - 自然语言处理的训练方法、装置、自动问答方法和装置 - Google Patents

Abstract

本公开提供了用于自然语言处理的训练方法和装置、自动问答方法和装置、电子设备以及计算机可读存储介质。所述训练方法包括：获取用于训练的语料库；初始化语料库的表示集，表示集的每一组成元素表示语料库中一个词；以表示集作为参数构造目标函数；以及执行训练，调整表示集，获得训练后的表示集，训练后的表示集使得目标函数满足预定训练结束条件；其中，目标函数包括正负样本相对差异表示部分，用于使得训练后语料库中的正样本和负样本满足预定收敛条件。根据本公开实施例训练方法，通过在训练方法中，针对特定的应用场景构造目标函数，实现对于词表示的进一步优化。

Description

自然语言处理的训练方法、装置、自动问答方法和装置

技术领域

本公开涉及自然语言处理领域，更具体地，本公开涉及一种用于自然语言处理的训练方法和装置、自动问答方法和装置、电子设备以及计算机可读存储介质。

背景技术

自然语言处理(NLP)是人工智能技术重要的应用领域之一。在自然语言处理过程中，首先需要把自然语言这种符号信息转化为计算机能识别形式的数字信息。这样就把自然语言理解的问题要转化为机器学习的问题。这种符号信息转化为计算机能识别形式的过程被称为自然语言的表示过程。

当前，存在诸如Word2vec、Fast-text等多种不同的语言表示方法，通常都是根据不同的应用意图构造目标函数来解决各自应用场景的问题。例如，基于自然语言处理的问答系统和检索系统这两个不同应用场景的区别在于问答系统需要兼顾语义的相似性，而检索系统更多是考虑词出现的共现词的权重。因此，希望能够提供适应于自然语言处理的特定应用场景的训练方法，通过该训练方法获得适用于该特定应用场景的自然语言表示。

发明内容

鉴于上述问题而提出了本公开。本公开提供了一种用于自然语言处理的训练方法和装置、自动问答方法和装置、电子设备以及计算机可读存储介质。

根据本公开的一个方面，提供了一种用于自然语言处理的训练方法，包括：获取用于训练的语料库；初始化所述语料库的表示集，所述表示集的每一组成元素表示所述语料库中一个词；以所述表示集作为参数构造目标函数；以及执行训练，调整所述表示集，获得训练后的所述表示集，所述训练后的所述表示集使得所述目标函数满足预定训练结束条件；其中，所述目标函数包括正负样本相对差异表示部分，用于使得训练后所述语料库中的正样本和负样本满足预定收敛条件。

此外，根据本公开一个方面的训练方法，其中，所述表示集为表示矩阵，并且一个所述组成元素为所述表示矩阵的一列。

此外，根据本公开一个方面的训练方法，其中，所述预定训练结束条件为所述训练后的所述表示集使得所述目标函数最小化，并且所述预定收敛条件为所述语料库中的正样本和负样本在表示空间中的距离最大化。

此外，根据本公开一个方面的训练方法，其中，所述语料库中s_i和为正样本对，s_i和为负样本对，所述s_i、和经由所述嵌入表示矩阵W的嵌入表示分别为r_i、和所述正样本对s_i和的相似度表示为

所述负样本对s_i和的相似度表示为

所述正负样本相对差异表示部分表示为

其中，s_i、和分别代表所述语料库中的一条语料，r_i、和分别代表s_i、和的表示向量，所述相似度表示指示两个所述表示向量之间的余弦相似度，μ为取值在0到1之间的惩罚系数，K是所述语料库中的样本数。

此外，根据本公开一个方面的训练方法，其中，所述目标函数还包括正负样本绝对值表示部分，所述正负样本绝对值表示部分表示为：

所述目标函数L表示为：

L(W)＝l(W)+λl₀(W)

其中，所述调整所述表示集表示为求解：

W^*＝argmin_W(l(W)+λl₀(W))

其中，exp代表以e为底的指数函数，S_k表示对所述语料库中整体样本进行随机抽样得到的样本集合，λ表示所述正负样本相对差异表示部分l(W)和所述正负样本绝对值表示部分l₀(W)之间的权重，其取值在0到1之间，argmin代表求使得l(W)+l₀(W)取最小值的W。

根据本公开的另一个方面，提供了一种基于自然语言处理的自动问答方法，包括：执行训练，获取语料库的表示集；接收问题语句，并且根据所述表示集，获取所述问题语句的表示；以及基于所述问题语句的表示，检索以获取所述问题语句的答案语句，其中，所述执行训练，获取语料库的表示集包括：执行如上所述的用于自然语言处理的训练方法。

根据本公开的另一个方面，提供了一种用于自然语言处理的训练装置，包括：初始化单元，用于初始化用于训练的语料库的表示集，所述表示集的每一组成元素表示所述语料库中一个词；目标函数构造单元，用于以所述表示集作为参数构造目标函数；以及训练单元，用于执行训练，调整所述表示集，获得训练后的所述表示集，所述训练后的所述表示集使得所述目标函数满足预定训练结束条件；其中，所述目标函数包括正负样本相对差异表示部分，用于使得训练后所述语料库中的正样本和负样本满足预定收敛条件。

此外，根据本公开另一个方面的训练装置，其中，所述表示集为表示矩阵，并且一个所述组成元素为所述表示矩阵的一列。

此外，根据本公开另一个方面的训练装置，其中，所述预定训练结束条件为所述训练后的所述表示集使得所述目标函数最小化，并且所述预定收敛条件为所述语料库中的正样本和负样本在表示空间中的距离最大化。

此外，根据本公开另一个方面的训练装置，其中，所述语料库中s_i和为正样本对，s_i和为负样本对，所述s_i、和经由所述表示矩阵W的表示分别为r_i、和

所述正样本对s_i和的相似度表示为

所述负样本对s_i和的相似度表示为

所述正负样本相对差异表示部分表示为

其中，s_i、和分别代表所述语料库中的一条语料，r_i、和分别代表s_i、和的表示向量，所述相似度表示指示两个所述表示向量之间的余弦相似度，μ为取值在0到1之间的惩罚系数，K是所述语料库中的样本数。

此外，根据本公开另一个方面的训练装置，其中，所述目标函数还包括正负样本绝对值表示部分，所述正负样本绝对值表示部分表示为：

所述目标函数L表示为：

L(W)＝l(W)+λl₀(W)

其中，所述调整所述表示集表示为求解：

W^*＝argmin_W(l(W)+λl₀(W))

其中，exp代表以e为底的指数函数，S_k表示对所述语料库中整体样本进行随机抽样得到的样本集合，λ表示所述正负样本相对差异表示部分l(W)和所述正负样本绝对值表示部分l₀(W)之间的权重，其取值在0到1之间，argmin代表求使得l(W)+l₀(W)取最小值的W。

根据本公开的又一个方面，提供了一种基于自然语言处理的自动问答装置，包括：训练单元，用于执行训练，获取语料库的表示集；问题接收单元，用于接收问题语句，并且根据所述表示集，获取所述问题语句的表示；以及回答单元，用于基于所述问题语句的表示，检索以获取所述问题语句的答案语句，其中，所述训练单元执行如上所述的用于自然语言处理的训练方法。

根据本公开的又一个方面，提供了一种电子设备，包括：处理器；以及存储器，用于存储计算机程序指令；其中，当所述计算机程序指令由所述处理器加载并运行时，所述处理器执行如上所述的训练方法，或者如上所述自动问答方法。

根据本公开的再一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序指令，其中，所述计算机程序指令被处理器加载并运行时，所述处理器执行如上所述的训练方法，或者如上所述自动问答方法。

如以下将详细描述的，根据本公开实施例用于自然语言处理的词向量化表示的训练方法和装置、自动问答方法和装置、电子设备以及计算机可读存储介质，通过在训练方法中，针对特定的应用场景构造目标函数，获得适用于该特定应用场景的自然语言表示，实现对于自然语言表示的进一步优化。在特定的应用场景中，同义句的提取任务是自然语言处理的关键环节。通过在训练方法中，设计包括正负样本相对差异表示部分的目标函数，训练后所述语料库中的正样本和负样本满足预定收敛条件，该预定收敛条件使得正负样本的表示充分体现同义句和非同义句之间的差别。进一步地，通过在训练方法中，设计包括正负样本绝对值表示部分的目标函数，使得训练后所述语料库中的正样本对的相似度的绝对值相对没有该正负样本绝对值表示部分的情况下更高，并且所述负样本对的相似度的绝对值相对没有该正负样本绝对值表示部分的情况下更低，从而进一步使得正负样本的表示充分体现同义句和非同义句之间的差别。如此，在用训练好的词向量化表示执行自然语言处理中同义句的提取任务时，能够精准获取同义句而避免作为噪声的非同义句从而在基于自然语言处理的特定应用中实现更高的应答准确率。

要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是概述根据本公开实施例的用于自然语言处理的训练方法的应用场景的示意图；

图2是图示根据本公开实施例的自然语言处理中问题同义句返回示例的示意图；

图3是图示根据本公开实施例的用于自然语言处理的训练方法的流程图；

图4A和4B是图示根据本公开实施例的用于自然语言处理的训练方法的效果示意图；

图5是图示根据本公开实施例的基于自然语言处理的自动问答方法的流程图；

图6是图示根据本公开实施例的用于自然语言处理的训练装置的功能框图；

图7是图示根据本公开实施例的基于自然语言处理的自动问答装置的功能框图；

图8是图示根据本公开实施例的电子设备的硬件框图；以及

图9是图示根据本公开的实施例的计算机可读存储介质的示意图。

具体实施方式

为了使得本公开的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

首先，参照图1和图2描述根据本公开实施例的用于自然语言处理训练方法的应用场景。

图1是概述根据本公开实施例的训练方法的应用场景的示意图。如图1所示，根据本公开实施例的训练方法可以应用于自然语言处理系统10。自然语言处理系统10配置有自动问答装置100。自动问答装置100经由通信网络103与用户101a-101c各自的用户设备102a-102c执行数据通信。

自动问答装置100包括但不限于配置有大数据处理能力和大容量数据存储能力的服务器装置，诸如搜索引擎服务器、内容提供服务器等。用户设备102a-102c包括但不限于笔记本计算机、台式计算机、智能电话、平板电脑等具有数据处理能力的移动终端或者固定终端。通信网络103包括但不限于遵循诸如传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)和/或文件传输协议(FTP)配置的互联网、IPTV网络、无线保真(Wi-Fi)网络、无线局域网(WLAN)、局域网(LAN)和/或城域网(MAN)等。

在本公开的一个实施例中，自动问答装置100例如为搜索引擎服务器。自动问答装置100接收由用户设备102a-102c通过通信网络103提出的问题，自动问答装置100基于对于问题与自身来源文档的理解，自动向用户101a-101c提供答案。

具体地，如上所述的自然语言处理系统10例如可以是智能客服系统。智能客服系统需要融合自然语言理解的语义检索技术、多渠道知识服务技术以及大规模知识库建构技术，让用户以最自然的方式表达自己的信息或知识需求，并能够向用户反馈其最想要的精准信息。因此，智能客服系统的首要任务就是对用户的查询问题进行自然语言分析，确定查询问题的含义以及其他等价的查询问法，此后再通过对于知识库的检索向用户反馈对于查询问题的精确应答。

此外，如上所述的自然语言处理系统10例如还可以是智能聊天机器人系统。智能聊天机器人系统在于用户进行实时互动聊天的过程中，首要任务也是对用户的聊天内容进行自然语言分析，确定聊天内容的含义以及其他等价的内容，此后再通过对于知识库的检索向用户反馈对于聊天内容的适当回应。

也就是说，在自然语言处理系统10的处理过程中，能够识别特定领域的各种不同问法，即确定问题的同义问题和同义内容，就能获得更加智能和精准的回复。

图2是图示根据本公开实施例的自然语言处理中问题同义句返回示例的示意图。

如图2所示，从用户接收的问题是“企业网上银行支持Windows10吗”。通过根据本公开实施例的词向量化表示将问题向量化之后，通过同义词之间的对应关系，能够确定语料库中“Windows10”与“操作系统”，“企业网上银行”和“企业网银”具有同义词映射关系，从而进一步在语料库中确定与问题具有高大相似度分值“0.94972277”的同义问题“企业网银支持的操作系统”。通过基于问题以及精确返回的同义问题去检索答案，提升了自然语言处理的准确率。

以上，描述了根据本公开实施例的词向量化表示的训练方法的应用场景，以下将参照图3到图6详细描述根据本公开实施例的训练方法和装置以及利用该训练方法的自动问答方法和装置。

图3是图示根据本公开实施例的用于自然语言处理的训练方法的流程图。需要理解的是，根据本公开实施例的用于自然语言处理的训练方法例如可以由服务器终端、移动终端的通用处理单元或专用处理单元执行。

如图3所示，根据本公开实施例的用于自然语言处理的训练方法包括以下步骤。

在步骤S301中，获取用于训练的语料库。在本公开的实施例中，用于训练的语料库中的同义句标注为正样本对，非同义句则表述为负样本对。

在步骤S302中，初始化所述语料库的表示集。在本公开的实施例中，所述表示集的每一组成元素表示所述语料库中一个词。

具体地，在本公开的实施例中，所述表示集为表示矩阵，并且一个所述组成元素为所述表示矩阵的一列。例如，语料库中所有词语可以构成字典：D＝{w₁:1,w₂:2,…,w_u:u}，即w₁到w_u是词典中的u个词。进一步地，引入表示矩阵W，其每一列表示词典中一个词的表示。对于任意的字符w，可以根据其在表示矩阵W上的位置进行稀疏表示为独热(one-hot)形式。由字典中n个词组成的句子表示为：

令其中该独热编码过程可以通过矩阵乘积来表示：

进一步地，对句子中所有词的表示平均，即可得到句子的表示：

其中e_m＝[1,1,…,1]^T。

在获得两个句子s_i和s_j的表示之后，两个句子之间的匹配相似度表示为：

其中，s_i和s_j分别代表所述语料库中的一条语料，r_i和r_j代表s_i和s_j的表示向量，所述相似度表示指示两个所述表示向量之间的余弦相似度。该余弦相似度的取值范围为-1到1，其中当为-1时表示两个向量完全不同，没有相似性；而当为1时表示两个向量完全相同。

在步骤S303中，以所述表示矩阵作为参数构造目标函数。

在本公开的实施例中，目标函数是用于训练词表示的损失函数。具体地，所述目标函数包括正负样本相对差异表示部分，用于使得训练后所述语料库中的正样本和负样本在表示空间中满足预定收敛条件。更具体地，该预定收敛条件为寻求使得所述语料库中的正样本和负样本在表示空间中的距离增大。也就是说，通过多次迭代训练，每次训练后正样本和负样本在表示空间中的距离都比前次的距离增大，直到该距离不再增大，或者该距离增大值小于预定阈值的时候表示满足预定收敛条件。所述目标函数还包括正负样本绝对值表示部分，用于使得训练后所述正样本对的相似度的绝对值相对没有该正负样本绝对值表示部分的情况下更高，并且所述负样本对的相似度的绝对值相对没有该正负样本绝对值表示部分的情况下更低。在训练过程中，所述目标函数可以是正负样本相对差异表示部分和正负样本绝对值表示部分的任一，或者是正负样本相对差异表示部分和正负样本绝对值表示部分两者。

更具体地，例如所述语料库中s_j和为正样本对，s_i和为负样本对，所述s_i、和经由所述嵌入表示矩阵W的嵌入表示分别为r_i、和

所述正样本对s_i和的相似度表示为

所述负样本对s_i和的相似度表示为

所述正负样本相对差异表示部分表示为

其中，s_i、和分别代表所述语料库中的一条语料，r_i、和分别代表s_i、和的表示向量，所述相似度表示指示两个所述表示向量之间的余弦相似度，μ为取值在0到1之间的惩罚系数，K是所述语料库中的样本数。

如由表达式(6)所示，希望正负样本在表示空间中相似度的差要大于惩罚系数μ。当大于μ时，为小于0的一个负值，则 此时取值为零，l(W)满足训练结束条件。

也就是说，当满足表达式(6)所示的目标函数时，即训练后所述语料库中的正样本和负样本在表示空间满足预定收敛条件，充分体现同义句和非同义句之间的差别。在用训练好的词表示执行同义句的提取任务时，能够精准获取同义句而避免作为噪声的非同义句。

进一步地，为了提升词表示模型的精度，希望所述正样本对的相似度的绝对值相对没有该正负样本绝对值表示部分的情况下更高，并且所述负样本对的相似度的绝对值相对没有该正负样本绝对值表示部分的情况下更低。为此，设计目标函数包括正负样本绝对值表示部分。

其中，exp代表以e为底的指数函数，S_k表示对所述语料库中整体样本进行随机抽样得到的样本集合。

如由表达式(7)所示，为了使得目标函数的正负样本绝对值表示部分l₀(W)满足取值最小的预定收敛条件，需要sigmoid函数(即，)足够大。由于sigmoid函数的单调性，其随着的增大而增大，而则随着其变量的增大而增大。因此，在其约束下，为了使得l₀(W)满足收敛条件，会使得正样本对的相似度尽可能大。又由于本身有界，其取值为-1到1之间，所以会使得正样本对之间的相似度量级一致，做到分值对齐的效果。

此外，l₀(W)的取值范围表示为：

|S_k|(log(e+1)-1)≤l₀(W)≤|S_k|log(e+1) 表达式(8)

其中，|S_k|表示集合S_k中样本的个数。

在步骤S304中，执行训练，调整所述嵌入表示矩阵，获得训练后的所述嵌入表示矩阵，所述训练后的所述嵌入表示矩阵使得所述目标函数满足预定训练结束条件。

如上构造目标函数包括正负样本相对差异表示部分l(W)和正负样本绝对值表示部分l₀(W)之后，所述目标函数L可以表示为：

L(W)＝l(W)+λl₀(W) 表达式(9)

其中，λ表示所述正负样本相对差异表示部分l(W)和所述正负样本绝对值表示部分l₀(W)之间的权重，其取值在0到1之间。

在本公开的实施例中，训练表示矩阵W满足：

W^*＝argmin_W(l(W)+λl₀(W)) 表达式(10)

其中，argmin代表求使得l(W)+l₀(W)取最小值的W。如上所述，根据本公开实施例的用于自然语言处理的训练方法，通过在训练方法中采用包括正负样本相对差异表示部分和正负样本绝对值表示部分两者或者任一的目标函数，使得利用该训练方法训练所得的用于自然语言处理的词表示能够更加精确地在语料库中确定同义句，从而在基于自然语言处理的应用中实现更高的应答准确率。

图4A和4B是图示根据本公开实施例的用于自然语言处理的训练方法的效果示意图。图4A示出了采用目标函数l(W)训练后获得的模型效果，图4A示出了采用目标函数l(W)+l₀(W)训练后获得的模型效果。

在图4A和4B中，横坐标表示训练步数，纵坐标表示TOP1、TOP3、TOP5的预测准确率，其中Top1准确率是指通过模型计算备选集中所有样本所得的最高得分的样本为真正的预设答案所占的比例，Top3准确率是指通过模型计算备选集中所有样本所得前三样本中包含真正预设答案所占的比例，而Top5准确率是指通过模型计算备选集中所有样本所得前五样本中包含真正预设答案所占的比例。例如，Top1准确率可以表示为：

这里I表示指示函数，如果里面逻辑是真，这时返回1，否则返回0。表示对于当前的样本q_s，在备选集A_s中选择任意的样本q，其满足分值最大的样本的序号,如果该序号恰好为s^*，这时候取1表示预测准确，否则该函数取0。

如图4A和4B所示，通过将训练的目标函数设置为目标函数的和l(W)+l₀(W)，训练所得的表示模型在测试数据集上有了明显的提升。TOP1准确率从之前的65％提升到75％，TOP3准确率从之前的88％提升到90％。TOP5准确率从93％提升到95％。

图5是图示根据本公开实施例的基于自然语言处理的自动问答方法的流程图。需要理解的是，根据本公开实施例的基于自然语言处理的自动问答方法例如可以由服务器终端、移动终端的通用处理单元或专用处理单元执行。

如图5所示，根据本公开实施例的基于自然语言处理的自动问答方法包括以下步骤。

在步骤S501中，执行训练，获取语料库的表示集。在根据本公开实施例的基于自然语言处理的自动问答方法中，采用如上参照图3描述的根据本公开实施例的用于自然语言处理的训练方法执行步骤S501。

在步骤S502中，接收问题语句，并且根据所述表示集，获取所述问题语句的表示。

在步骤S503中，基于所述问题语句的表示，检索以获取所述问题语句的答案语句。由于根据本公开实施例的用于自然语言处理的词表示能够识别特定领域的各种不同问法，即确定问题语句的同义语句，从而在步骤S503中能够获得更加智能和精准的答案语句。

图6是图示根据本公开实施例的用于自然语言处理的训练装置的功能框图。如图6所示，根据本公开实施例的用于自然语言处理的训练装置60包括初始化单元601、目标函数构造单元602和训练单元603。上述各模块可以分别执行如上参照图3描述的用于自然语言处理的训练方法的各个步骤。本领域的技术人员理解：这些单元模块可以单独由硬件、单独由软件或者由其组合以各种方式实现，并且本公开不限于它们的任何一个。

初始化单元601用于初始化用于训练的语料库的表示集，所述表示集的每一组成元素表示所述语料库中一个词。更具体地，所述表示集为表示矩阵，并且一个所述组成元素为所述表示矩阵的一列。

目标函数构造单元602用于以所述表示集作为的参数构造目标函数。所述目标函数包括正负样本相对差异表示部分，用于使得训练后所述语料库中的正样本和负样本满足预定收敛条件。具体地，预定收敛条件可以是寻求使得所述语料库中的正样本和负样本在表示空间中的距离增大。也就是说，通过多次迭代训练，每次训练后正样本和负样本在表示空间中的距离都比前次的距离增大，直到该距离不再增大，或者该距离增大值小于预定阈值的时候表示满足预定收敛条件。所述目标函数还包括正负样本绝对值表示部分，用于使得训练后所述正样本对的相似度的绝对值相对没有该正负样本绝对值表示部分的情况下更高，并且所述负样本对的相似度的绝对值相对没有该正负样本绝对值表示部分的情况下更低。

训练单元603用于执行训练，调整所述表示集，获得训练后的所述表示集，所述训练后的所述表示集使得所述目标函数满足预定训练结束条件。具体地，预定训练结束条件可以是所述目标函数最小化。训练单元603使用的所述目标函数可以是正负样本相对差异表示部分和正负样本绝对值表示部分的任一，或者是正负样本相对差异表示部分和正负样本绝对值表示部分两者。正负样本相对差异表示部分和正负样本绝对值表示部分具体可以分别为如上参照图3描述的表达式(6)和表达式(7)所示。

图7是图示根据本公开实施例的基于自然语言处理的自动问答装置的功能框图。如图7所示，根据本公开实施例的基于自然语言处理的自动问答装置70包括训练单元701、问题接收单元702和回答单元703。上述各模块可以分别执行如上参照图5描述的基于自然语言处理的自动问答方法的各个步骤。本领域的技术人员理解：这些单元模块可以单独由硬件、单独由软件或者由其组合以各种方式实现，并且本公开不限于它们的任何一个。

训练单元701用于执行训练，获取语料库的表示集。在本公开的实施例中，自动问答装置70的训练单元701执行如上参照图3描述的用于自然语言处理的训练方法的各个步骤。

问题接收单元702用于接收问题语句，并且根据所述表示集，获取所述问题语句的表示。

回答单元703用于基于所述问题语句的表示，检索以获取所述问题语句的答案语句。

图8是图示根据本公开实施例的电子设备800的硬件框图。根据本公开实施例的电子设备800至少包括处理器；以及存储器，用于存储计算机程序指令。当计算机程序指令由处理器加载并运行时，所述处理器执行如上所述的用于自然语言处理的词向量化表示的训练方法，或者如上所述的自动问答方法。

图8所示的电子设备800具体地包括：中央处理单元(CPU)801、图形处理单元(GPU)802和主存储器803。这些单元通过总线804互相连接。中央处理单元(CPU)801和/或图形处理单元(GPU)802可以用作上述处理器，主存储器803可以用作上述存储计算机程序指令的存储器。此外，电子设备800还可以包括通信单元805、存储单元806、输出单元807、输入单元808和外部设备809，这些单元也连接到总线804。

图9是图示根据本公开的实施例的计算机可读存储介质的示意图。如图9所示，根据本公开实施例的计算机可读存储介质900其上存储有计算机程序指令901。当所述计算机程序指令901由处理器运行时，执行如上所述的用于自然语言处理的训练方法，或者如上所述的自动问答方法。所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存、光盘、磁盘等。

以上，参照附图描述了根据本公开实施例用于自然语言处理的词向量化表示的训练方法和装置、自动问答方法和装置、电子设备以及计算机可读存储介质，通过在训练方法中，针对特定的应用场景构造目标函数，实现对于词向量化表示的进一步优化。在特定的应用场景中，同义句的提取任务是自然语言处理的关键环节。通过在训练方法中，设计包括正负样本相对差异表示部分的目标函数，训练后所述语料库中的正样本和负样本满足预定收敛条件，该预定收敛条件使得正负样本的表示充分体现同义句和非同义句之间的差别。进一步地，通过在训练方法中，设计包括正负样本绝对值表示部分的目标函数，使得训练后所述语料库中的正样本对的相似度的绝对值相对没有该正负样本绝对值表示部分的情况下更高，并且所述负样本对的相似度的绝对值相对没有该正负样本绝对值表示部分的情况下更低，从而进一步使得正负样本的表示充分体现同义句和非同义句之间的差别。如此，在用训练好的词向量化表示执行自然语言处理中同义句的提取任务时，能够精准获取同义句而避免作为噪声的非同义句从而在基于自然语言处理的特定应用中实现更高的应答准确率。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (14)

1.一种用于自然语言处理的训练方法，包括：

获取用于训练的语料库；

初始化所述语料库的表示集，所述表示集的每一组成元素表示所述语料库中一个词；

以所述表示集作为参数构造目标函数；以及

执行训练，调整所述表示集，获得训练后的所述表示集，所述训练后的所述表示集使得所述目标函数满足预定训练结束条件；

其中，所述目标函数包括正负样本相对差异表示部分，用于使得训练后所述语料库中的正样本和负样本满足预定收敛条件。

2.如权利要求1所述的训练方法，其中，所述表示集为表示矩阵，并且一个所述组成元素为所述表示矩阵的一列。

3.如权利要求1或2所述的训练方法，其中，所述预定训练结束条件为所述训练后的所述表示集使得所述目标函数最小化，并且所述预定收敛条件为所述语料库中的正样本和负样本在表示空间中的距离最大化。

4.如权利要求2所述的训练方法，其中，所述语料库中s_i和为正样本对，s_i和为负样本对，所述s_i、和经由所述表示矩阵W的表示分别为r_i、和

所述正样本对s_i和的相似度表示为

所述负样本对s_i和的相似度表示为

所述正负样本相对差异表示部分表示为

其中，s_i、和分别代表所述语料库中的一条语料，r_i、知分别代表s_i、和的表示向量，所述相似度表示指示两个所述表示向量之间的余弦相似度，μ为取值在0到1之间的惩罚系数，K是所述语料库中的样本数。

5.如权利要求4所述的训练方法，其中，所述目标函数还包括正负样本绝对值表示部分，所述正负样本绝对值表示部分表示为：

所述目标函数L表示为：

L(W)＝l(W)+λl₀(W)

其中，所述调整所述表示集表示为求解：

W^*＝argmin_W(l(W)+λl₀(W))

其中，exp代表以e为底的指数函数，S_k表示对所述语料库中整体样本进行随机抽样得到的样本集合，入表示所述正负样本相对差异表示部分l(W)和所述正负样本绝对值表示部分l₀(W)之间的权重，其取值在0到1之间，argmin代表求使得l(W)+l₀(W)取最小值的W。

6.一种基于自然语言处理的自动问答方法，包括：

执行训练，获取语料库的表示集；

接收问题语句，并且根据所述表示集，获取所述问题语句的表示；以及

基于所述问题语句的表示，检索以获取所述问题语句的答案语句，

其中，所述执行训练，获取语料库的表示集包括：执行如权利要求1到5的任一项所述的用于自然语言处理的训练方法。

7.一种用于自然语言处理的训练装置，包括：

初始化单元，用于初始化用于训练的语料库的表示集，所述表示集的每一组成元素表示所述语料库中一个词；

目标函数构造单元，用于以所述表示集作为参数构造目标函数；以及

训练单元，用于执行训练，调整所述表示集，获得训练后的所述表示集，所述训练后的所述表示集使得所述目标函数满足预定训练结束条件；

其中，所述目标函数包括正负样本相对差异表示部分，用于使得训练后所述语料库中的正样本和负样本满足预定收敛条件。

8.如权利要求7所述的训练装置，其中，所述表示集为表示矩阵，并且一个所述组成元素为所述表示矩阵的一列。

9.如权利要求7或8所述的训练装置，其中，所述预定训练结束条件为所述训练后的所述表示集使得所述目标函数最小化，并且所述预定收敛条件为所述语料库中的正样本和负样本在表示空间中的距离最大化。

10.如权利要求8所述的训练装置，其中，所述语料库中s_i和为正样本对，s_i和为负样本对，所述s_i、和经由所述表示矩阵W的表示分别为r_i、知

所述正样本对s_i和的相似度表示为

所述负样本对s_i和的相似度表示为

所述正负样本相对差异表示部分表示为

其中，s_i、和分别代表所述语料库中的一条语料，r_i、知分别代表s_i、和的表示向量，所述相似度表示指示两个所述表示向量之间的余弦相似度，μ为取值在0到1之间的惩罚系数，K是所述语料库中的样本数。

11.如权利要求10所述的训练装置，其中，所述目标函数还包括正负样本绝对值表示部分，所述正负样本绝对值表示部分表示为：

所述目标函数L表示为：

L(W)＝l(W)+λl₀(W)

其中，所述调整所述表示集表示为求解：

W^*＝argmin_W(l(W)+λl₀(W))

其中，exp代表以e为底的指数函数，S_k表示对所述语料库中整体样本进行随机抽样得到的样本集合，λ表示所述正负样本相对差异表示部分l(W)和所述正负样本绝对值表示部分l₀(W)之间的权重，其取值在0到1之间，argmin代表求使得l(W)+l₀(W)取最小值的W。

12.一种基于自然语言处理的自动问答装置，包括：

训练单元，用于执行训练，获取语料库的表示集；

问题接收单元，用于接收问题语句，并且根据所述表示集，获取所述问题语句的表示；以及

回答单元，用于基于所述问题语句的表示，检索以获取所述问题语句的答案语句，

其中，所述训练单元执行如权利要求1到5的任一项所述的用于自然语言处理的训练方法。

13.一种电子设备，包括：

处理器；以及

存储器，用于存储计算机程序指令；

其中，当所述计算机程序指令由所述处理器加载并运行时，所述处理器执行如权利要求1到5的任一项所述的训练方法，或者如权利要求6所述自动问答方法。

14.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序指令，其中，所述计算机程序指令被处理器加载并运行时，所述处理器执行如权利要求1到5的任一项所述的训练方法，或者如权利要求6所述自动问答方法。