CN111160043B

CN111160043B - 特征编码方法、装置、电子设备及可读存储介质

Info

Publication number: CN111160043B
Application number: CN201911419048.5A
Authority: CN
Inventors: 戴瑾; 胡加学; 赵乾; 宋时德
Original assignee: iFlytek Co Ltd
Current assignee: iFlytek Co Ltd
Priority date: 2019-12-31
Filing date: 2019-12-31
Publication date: 2024-04-30
Anticipated expiration: 2039-12-31
Also published as: CN111160043A

Abstract

本发明实施例提供一种特征编码方法、装置、电子设备及可读存储介质，获取待分析语句；将所述待分析语句输入至预先训练好的特征编码模型中，获得所述特征编码模型输出的特征编码结果；所述特征编码模型为注意力模块和训练好的生成对抗网络模型中的编码模块共同训练所得到。本发明实施例中的特征编码方法利用注意力模块和训练好的生成对抗网络模型中的编码模块共同训练特征编码模型，提高了特征编码模型的鲁棒性。

Description

特征编码方法、装置、电子设备及可读存储介质

技术领域

本发明涉及自然语言处理领域，尤其涉及一种特征编码方法、装置、电子设备及可读存储介质。

背景技术

语义理解是自然语言处理领域的重要问题之一，其任务是将自然语言解析为结构化、机器可读的表征语义信息的特征编码。特征编码模型的鲁棒性是语义理解领域不可规避的问题，其衡量的是特征编码模型的抗噪能力。当对输出语句的内容进行扰动后，特征编码模型抽取的语句关键特征会存在不准确的问题，导致机器不能理解语句的真实语义。

加强特征编码模型的抗噪能力需要使用大量加噪语句作为训练样本来训练特征编码模型。现有技术中获取加噪语句主要有基于规则的加噪方法和基于回译的加噪方法。然而，前者无法保证噪声的覆盖率，后者则强依赖于翻译器的效果。另外，这两种方法所生成的加噪语句可能会改变原始语句的含义，导致用噪声语句训练的特征编码模型在准确理解语句的真实含义方面效果不佳。

发明内容

本发明实施例提供一种特征编码处理方法、装置、电子设备及可读存储介质，用以解决现有技术中特征编码方法准确性较低、鲁棒性不强的问题。

第一方面，本发明实施例提供一种语义理解处理方法，包括：

获取待分析语句；

将所述待分析语句输入至预先训练好的特征编码模型中，获得所述特征编码模型输出的特征编码结果；

所述特征编码模型为基于注意力模块和训练好的生成对抗网络模型中的编码模块共同训练所得到。

优选地，其中所述生成对抗网络模型为以语句样本对为训练样本，以与所述语句样本对对应的用于表征加噪类型的加噪向量为样本标签训练得到；所述基于注意力的特征编码模型为以所述语句样本对为训练样本训练得到；所述语句样本对包括原始语句和加噪语句，所述加噪语句为对所述原始语句进行加噪得到。

优选地，所述生成对抗网络模型包括编码模块和判别模块，所述生成对抗网络模型通过如下方式训练得到：

将语句样本对中的原始语句和加噪语句分别进行向量化处理，得到原始语句向量和加噪语句向量；

将原始语句向量和加噪语句向量分别输入编码模块，得到所述编码模块输出的与原始语句向量和加噪语句向量分别对应的原始第一特征和加噪第一特征；

将所述原始第一特征和所述加噪第一特征分别输入判别模块，得到所述判别模块输出的所述原始第一特征对应的预测标签和所述加噪第一特征对应的预测标签；

以所述加噪第一特征对应的预测标签以及所述原始第一特征对应的预测标签均趋近于原始语句的样本标签为目标，对所述生成对抗网络模型的参数进行更新。

优选地，所述特征编码模型通过以下方式训练得到：

将所述生成对抗网络模型训练完成后，将语句样本对中的原始语句和加噪语句分别进行向量化处理，得到原始语句向量和加噪语句向量；

将原始语句向量和加噪语句向量输入训练好的生成对抗网络模型中的编码模块，得到该编码模块输出的与原始语句向量和加噪语句向量分别对应的原始第二特征和加噪第二特征；

将原始第二特征和加噪第二特征分别输入注意力模块，得到所述注意力模块输出的与所述原始第二特征和所述加噪第二特征分别对应的原始关键特征和加噪关键特征；

以所述加噪关键特征趋近于原始关键特征为目标，对所述注意力模块和所述编码模块的参数进行更新，直到满足预设收敛条件，将所得的编码模块作为训练好的特征编码模型。

优选地，所述对所述原始语句进行加噪的方法包括：

对原始语句中的词进行随机调换顺序、对原始语句中的词进行随机删除、向原始语句中随机插入词、对原始语句中的字进行随机重复或者基于回译的加噪方法对原始语句进行加噪。

优选地，根据所述特征编码结果确定所述待分析语句的语义。

第二方面，本发明实施例提供一种语义理解处理装置，包括：

语句获取单元，用于获取待分析语句；

特征编码单元，用于将所述待分析语句输入至预先训练好的特征编码模型中，获得所述特征编码模型输出的特征编码结果；

第三方面，本发明实施例提供一种语义理解处理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。

本发明实施例提供的特征编码处理方法、装置、电子设备及可读存储介质，利用注意力模块和训练好的生成对抗网络模型中的编码模块共同训练特征编码模型，提高了特征编码模型的鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明特征编码方法实施例流程图；

图2为本发明特征编码方法另一实施例流程图；

图3为本发明特征编码方法另一实施例流程图；

图4为本发明特征编码装置实施例结构示意图；

图5为本发明电子设备实施例结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的一个实施例中，提供一种特征编码方法，详细结合附图1进行说明，特征编码方法包括：

S100、获取待分析语句。

具体地，本步骤可以直接获取文本形式的待分析语句，也可以根据外部输入的语音数据经过语音识别方法翻译得到文本形式的待分析语句。

待分析语句可以通过终端设备进行采集，终端设备可以是手机、个人电脑、平板电脑等设备。

如果待分析语句直接以文本形式获取，可以通过终端设备上的文字输入装置采集；如果待分析语句是由语音数据经过语音识别方法翻译得到，该语音数据可以经过终端设备上的麦克风采集，并由终端设备中内置的语音识别模块进行翻译。

S200、将所述待分析语句输入至预先训练好的特征编码模型中，获得所述特征编码模型输出的特征编码结果。

具体地，所述特征编码模型为注意力模块和训练好的生成对抗网络模型中的编码模块共同训练所得到。

具体地，本实施例中提到的特征编码模型可以由注意力模块和编码模块共同构成，即注意力模块和编码模块可以分别为特征编码模型中的一个部分。相应地，在训练该特征编码模型时，所输入该模型的训练样本需要由注意力模块和编码模块相应的功能分别处理，获得对应的训练结果；而在应用该特征编码模型时，输入该模型的待分析语句可以由注意力模块和编码模块相应的分别处理，即先经编码模块初步编码得到编码特征，再经由注意力模块从该编码特征中提取出能够反映待分析语句关键信息的特征，从而获得所述特征编码模型输出的特征编码结果；或者，也可以单独将训练好的编码模块作为特征编码模型，待分析语句可以输入训练好的编码模块得到特征编码结果，即编码模块输出的编码特征。

进一步地，本实施例中的特征编码模型可以是通过以下处理过程得到：先进行生成对抗网络模型(generative adversarial networks，GAN)的训练，得到训练好的生成对抗网络中的生成网络，初步作为编码模块，然后再使用该编码模块与注意力模块共同训练得到，直至二者共同组成的模型训练至收敛，将训练至收敛的编码模块与注意力模块作为特征编码模型；或者，将将训练至收敛的编码模块作为特征编码模型。

本实施例中的特征编码方法利用注意力模块和训练好的生成对抗网络模型中的编码模块共同训练得到特征编码模型，相比于现有技术，提高了特征编码模型的鲁棒性。

在本发明的一个实施例中，所述生成对抗网络模型为以语句样本对为训练样本，以与所述语句样本对对应的用于表征加噪类型的加噪向量为样本标签训练得到；所述特征编码模型为以所述语句样本对为训练样本训练得到；所述语句样本对包括原始语句和加噪语句，所述加噪语句为对所述原始语句进行加噪得到。

也就是说，生成对抗网络模型的训练样本是语句样本对；样本标签为语句样本对对应的用于表征加噪类型的加噪向量，和/或，用于表征原始语句的原始标签。

具体地，本实施例中的生成对抗网络模型和特征编码模型的训练样本均为多组语句样本对。每组语句样本对包括至少两条语句：一条原始语句和对该原始语句进行加噪后获得的至少一条加噪语句。使用语句样本对作为训练样本对生成对抗网络模型进行训练，可以在生成对抗网络模型的训练过程中检验模型是否能将原始语句和加噪语句区分开。而使用语句样本对作为训练样本对特征编码模型进行训练，可以以特征编码模型在原始语句和加噪语句中获取尽可能接近的编码特征为目标，训练出抗噪能力强的特征编码模型。

具体地，本实施例中的生成对抗网络模型的训练标签可以是用于表征加噪类型的加噪向量。例如，该向量可以为一个n维向量，n代表本发明实施例中对原始语句进行加噪的类型数量，n维向量的每一个分量的值为0或1。例如，当本发明实施例中采用了5种加噪方法时，表征加噪类型的加噪向量具体值可能为5维向量[0,0,0,1,0]，代表对应的加噪向量的加噪类型为第4种加噪方法。

在本发明的一个实施例中，结合附图2进行详细说明，所述生成对抗网络模型包括编码模块和判别模块，所述生成对抗网络模型通过如下方式训练得到：

将语句样本对中的原始语句和加噪语句分别进行向量化处理，得到原始语句向量和加噪语句向量。

具体地，对于语句而言，根据其语句中字的组成，可以将语句表示为向量形式。例如使用向量使用[w₁,w₂,…,w_N]表示句长为N的句子x，其中w_i表示句子x中的第i个字。

进一步地，将原始语句向量和加噪语句向量分别输入编码模块，得到所述编码模块输出的与原始语句向量和加噪语句向量分别对应的原始第一特征和加噪第一特征。

具体地，本步骤中提到的编码模块可以通过预训练模型实现，例如，具体可以为Bert模型。根据与语句样本对所涉及的语言，该预训练模型可以为任何语言版本的Bert模型。

进一步地，本步骤中提到的将原始语句向量和加噪语句向量分别输入编码模块，是指将原始语句向量和其对应的加噪语句向量输入至同一个编码模块中，所输出的内容为原始第一特征和加噪第一特征。

进一步地，将所述原始第一特征和所述加噪第一特征分别输入判别模块，得到所述判别模块输出的所述原始第一特征对应的预测标签和所述加噪第一特征对应的预测标签。

具体地，本实施例中的生成对抗网络模型包括编码模块和判别模块。其中，编码模块中对于所输入的原始语句向量和加噪语句向量，获得原始第一特征和加噪第一特征；判别模块(Discriminative Model)用于判别所输入的语句是否是真实的。具体而言，本实施例中的判别模块对于所输入的原始第一特征和加噪第一特征，会分别输出原始第一特征对应的预测标签和加噪第一特征对应的预测标签。预测标签可以是用于表征所输入语句是否为加噪语句以及所采用的具体加噪类型。例如，如果加噪标签为[0,0,0,0,0]，表示判别模块对于所输入语句的判别结果为原始语句；如果加噪标签为[0,0,0,1,0]，表示判别模块对于所输入语句的判别结果为加噪语句，且该加噪语句对应的加噪类型为第4中加噪方法。

进一步地，以所述加噪第一特征对应的预测标签以及所述原始第一特征对应的预测标签均趋近于原始语句的样本标签为目标，对所述生成对抗网络模型的参数进行更新。

具体地、在生成对抗网络模型的训练过程中，编码模块的目标是用加噪后的语句去欺骗判别模块。而判别模块的目标就是尽量把编码模块输出的加噪语句和原始语句分别开来。这样，编码模块和判别模块构成了一个动态的博弈过程。该过程理想的结果就是，编码模块可以生成足以以假乱真的语句，而判别模块难以判定编码模块生成的编码特征究竟是不是能够表征原始语句的特征，即，使得生成对抗网络模型的训练过程达到收敛状态。

进一步地，本步骤中使生成对抗网络模型的训练过程达到收敛状态的具体条件为生成对抗网络模型对应的第一损失函数满足预设的收敛条件。第一损失函数Loss1的收敛条件可以表示为：

其中，对本发明实施例而言，D(x)表示判别模块判断生成的特征是否为原始语句的特征的概率，对于判别模块来说D(x)的值越接近于1越好。D(G(Z))是判别模块判断编码模块所输出的特征是否是能够较好反映原始语句的特征的概率。编码模块希望D(G(Z))尽可能大，表示判别网络无法区分原始语句和加噪语句之间的特征区别，此时编码模块的能力达到最强。

进一步地，在实际的生成对抗网络模型的训练过程，当在第一损失函数Loss1下降幅度变低时，即生成对抗网络模型的训练过程接近达到收敛状态时，可以认为满足预设的收敛条件。

进一步地，如果训练时发现Loss1无法满足收敛条件，可以更新判别模块和编码模块的参数直至Loss1满足收敛条件。

本实施例中将编码模块和判别模块组成生成对抗网络模型，经过训练后使得判别模块无法区别原始语句和加噪语句的特征，表明编码模块对于原始语句及其构造的加噪语句所生成的特征比较一致，以使得编码模块具备抗干扰能力。

在本发明的一个实施例中，结合附图2进一步详细说明，所述特征编码模型通过以下方式训练得到：

将所述生成对抗网络模型训练完成后，将语句样本对中的原始语句和加噪语句分别进行向量化处理，得到原始语句向量和加噪语句向量。

具体地，对于语句而言，根据其语句中字的组成，可以将语句表示为向量形式。例如使用向量[w₁,w₂,…,w_N]表示句长为N的句子x，其中w_i表示句子x中的第i个字。

具体地，本步骤的执行是在生成对抗网络模型训练完成后。此时，作为生成对抗网络模型中的编码模块，此时已通过完成训练具备了一定的抗噪能力。

将原始语句向量和加噪语句向量输入训练好的生成对抗网络模型中的编码模块，得到该编码模块输出的与原始语句向量和加噪语句向量分别对应的原始第二特征和加噪第二特征。

进一步地，本步骤中提到的将原始语句向量和加噪语句向量分别输入编码模块，是指将原始语句向量和其对应的加噪语句向量输入至同一个编码模块中，所输出的内容为原始第二特征和加噪第二特征。

进一步地，将原始第二特征和加噪第二特征分别输入注意力模块，得到所述注意力模块输出的与所述原始第二特征和所述加噪第二特征分别对应的原始关键特征和加噪关键特征。

以下以将原始第二特征输入注意力模块得到原始关键特征为例进行说明。

基于原始第二特征中每个字的向量表示，计算每个字对该语句所属的领域中每个关键特征的贡献度。对于语句中抽取得到的一个关键特征而言，该语句中的每一个字对于该关键特征的贡献度是不一样的，通过注意力(Attention)机制可以计算该贡献度。

具体地，本实施例中计算每个字w_i对该领域每个关键特征V_k的贡献度，并使用激励函数softmax对贡献度进行归一化。具体的计算公式可以表示为：

其中激励函数softmax的计算公式为：

进一步的，本实施例中还包括预先为每个领域预先设置对应的关键特征。对于每个领域而言，可以预先设置该领域的各个关键特征V₁,…,V_k。举例而言，原始语句的语义内容涉及到球类体育领域，可以使用“发球”、“罚球”等专有的动词作为该语义理解领域的关键特征。该领域中的关键特征可以由用户自行设置，也可以导出第三方关键词词库来生成关键特征。

进一步地，将所述贡献度作为权重，计算每个字的新的向量表示。

具体地，对于每一个字而言，结合其对于每个关键特征V_j的贡献度每个字的新的向量表示：/>相比于每一个字w_i的原始的向量表示h_i，新的向量表示h'_i携带了w_i对该领域每个关键特征的贡献度。

进一步地，基于所述每个字的新的向量表示，计算所述原始语句中包含每个关键特征的概率。

由于新的向量表示h'_i携带了w_i对该领域每个关键特征的贡献度，综合每一个字对应的新的向量表示h'_i，可以获知当前原始语句中包含每个关键特征的概率，具体的计算公式可以表示为：具体地，P(V_j＝1)表示当前原始语句包含关键特征V_j的概率进行归一化后的值。

进一步地，基于所述概率，确定所述原始语句中关键特征的输出结果。

具体地，将当前语句包含每一个关键特征V_j的概率值P(V_j＝1)和预设值分别进行比较，当P(V_j＝1)大于预设值时，表示当前语句的关键特征的输出结果包含关键特征V_j。

具体地，该预设值的取值范围为0到1之间的任意值。预设值的取值越高，代表关键特征抽取结果的准确度越高，同时抽取到的关键特征数量越少；预设值的取值越低，代表关键特征抽取结果的准确度越低，同时抽取到的关键特征数量越多。

同样地，根据上述将原始第二特征输入注意力模块得到原始关键特征的方法，同样可以将加噪第二特征输入注意力模块得到加噪关键特征。

进一步地，以所述加噪关键特征趋近于原始关键特征为目标，对所述注意力模块和所述编码模块的参数进行更新，直到满足预设收敛条件，将所得的编码模块作为训练好的特征编码模型。

具体地，以所述加噪关键特征趋近于原始关键特征为目标，可以是训练所述编码模块和注意力模块，直至第二损失函数满足收敛条件，所述第二损失函数为：

Loss2＝reduce_sum(cross_entropy(Yi,Y’i))；

其中，cross_entropy()表示交叉熵函数，reduce_sum为压缩求和函数，Yi(i:[1,m])表示所述原始语句抽取得到的m个关键特征Y1,Y2,...,Ym；Y’i(i:[1,m])表示加噪语句抽取得到的m个关键特征Y’1,Y’2,...,Y’m。

具体地，当Loss2接近其最小值时，认为第二损失函数满足收敛条件，表示本实施例采用的特征编码模型对于原始语句和加噪语句的关键特征抽取结果一致程度较高。

进一步地，如果训练时发现Loss2无法满足收敛条件，则调整特征编码模型中注意力模块和编码模块的参数，直至Loss2满足收敛条件。

本实施例中的特征编码模型结合了编码模块和注意力模块，通过训练使得特征编码模型抽取的原始语句和加噪语句的关键特征一致程度较高，表示训练好的特征编码模型的鲁棒性较好。

在本发明的一个实施例中，所述原始语句进行加噪的方法包括：

对原始语句中的词进行随机调换顺序、对原始语句中的词进行随机删除、向原始语句中随机插入词、对原始语句中的字进行随机重复或者基于回译的加噪方法对原始语句进行加噪。具体含义如下：

S201、对语句中的词进行随机调换顺序：在语句中随机选择两个字或词交换位置，该过程可以重复执行，获得加噪后的语句。

举例说明，原始语句“请帮我查询手机的话费余额吧”加噪后所得到的加噪语句为“查询手机的话费请帮我余额吧”；

S202、对语句中的词进行随机删除：根据词表从句子中去掉一些无关的词/字，主要为一些语气词、停用词等。

举例说明，原始语句“请帮我查询手机的话费余额吧”加噪后所得到的加噪语句为“帮我查询手机话费余额”；

S203、向语句中随机插入一些词：根据词表向语句中添加一些无关的词/字，主要为一些语气词、停用词等。

举例说明，原始语句“请帮我查询手机的话费余额吧”加噪后所得到的加噪语句为“额请帮我查询嗯手机的话费余额吧”；

S204、语句中的字进行随机重复：对语句中的一些词/字进行随机重复。

举例说明，原始语句“请帮我查询手机的话费余额吧”加噪后所得到的加噪语句为“请请帮我查询查询手机的话费余额吧”。

S205、基于回译的加噪方法：基于将原有数据翻译为其他语言再翻译回原语言的思想。

举例说明，要生成中文原始语句的加噪语句，可以使用现有的中英翻译对照语句集合，以英文语句为样本、对应的中文语句为标签训练英译中翻译器，再使用该翻译器去翻译现有的英文语句，得到的中文语句与原始的中文语句有所不同，即为基于回译的加噪语句。

本发明实施例在对原始语句加噪时同时考虑到了基于规则的加噪方法和基于回译的加噪方法，使得所生成的加噪语句样本具有多样性，有助于训练得到的语义理解模型鲁棒性更高。

在本发明的一种实施例中，特征编码方法还包括：

根据所述特征编码结果确定所述待分析语句的语义。

具体地，本实施例中的特征编码结果可以是指将待分析语句输入特征编码模型后，经特征编码模型输出的用于表征待分析语句含义的特征。

具体地，所述待分析语句的语义可以是指待分析语句所代表的计算机可以理解的实际含义。

举例说明，将待分析语句“给呃我的查下话费”输入到特征编码模型后，特征编码结果可以是“话费”，所确定的待分析语句的语义为用户想要查询自己的话费信息。

本实施例中根据所述特征编码结果确定所述待分析语句的语义，是特征编码模型的应用结果，表示本实施例中的特征编码模型可以应用于语义理解等应用场景中。

在本发明的一个实施例中，提供一种特征编码装置，详细结合附图4进行说明，语义理解处理装置包括：

语句获取单元41，用于获取待分析语句；

具体地，语句获取单元41可以直接获取文本形式的待分析语句，也可以根据外部输入的语音数据经过语音识别方法翻译得到文本形式的待分析语句。

特征编码单元42，用于将所述待分析语句输入至预先训练好的特征编码模型中，获得所述特征编码模型输出的特征编码结果；

具体地，本实施例中提到的特征编码模型由注意力模块和编码模块共同构成，即注意力模块和编码模块分别为特征编码模型中的一个部分。相应地，在训练该特征编码模型时，所输入该模型的训练样本需要由注意力模块和编码模块相应的功能分别处理，获得对应的训练结果；而在应用该特征编码模型时，所输入该模型的待分析语句也需要由注意力模块和编码模块相应的功能分别处理，获得所述特征编码模型输出的特征编码结果。

进一步地，本实施例中所述的编码模块可以是训练好的生成对抗网络模型(generative adversarial networks，GAN)中的编码模块。通常意义上，生成对抗网络可以由生成网络和对抗网络组成。本实施例中的编码模块具体可以是指生成对抗网络可以由生成网络。也就是说，本实施例中先进行生成对抗网络的训练，得到训练好的生成对抗网络中的编码模块，然后再使用编码模块与注意力模块共同训练得到特征编码模型。

本实施例中的特征编码装置利用注意力模块和训练好的生成对抗网络模型中的编码模块共同训练特征编码模型，在现有的特征编码模型的基础上引入了生成对抗网络的训练过程和基于注意力的特征编码方法，提高了特征编码模型的鲁棒性。

下面对本发明实施例提供的一种电子设备进行描述，详细结合附图5进行说明，电子设备包括：

处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行例如如下方法：获取待分析语句；将所述待分析语句输入至预先训练好的特征编码模型中，获得所述特征编码模型输出的特征编码结果；所述特征编码模型为注意力模块和训练好的生成对抗网络模型中的编码模块共同训练所得到。

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：获取待分析语句；将所述待分析语句输入至预先训练好的特征编码模型中，获得所述特征编码模型输出的特征编码结果；所述特征编码模型为注意力模块和训练好的生成对抗网络模型中的编码模块共同训练所得到。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种特征编码方法，其特征在于，包括：

获取待分析语句；

所述特征编码模型为注意力模块和训练好的生成对抗网络模型中的编码模块共同训练所得到；

所述生成对抗网络模型为以语句样本对为训练样本，以与所述语句样本对对应的用于表征加噪类型的加噪向量为样本标签训练得到；所述语句样本对包括原始语句和加噪语句，所述加噪语句为对所述原始语句进行加噪得到；所述训练好的生成对抗网络模型中的判别模块无法区别原始语句和加噪语句的特征；

所述特征编码模型为以所述语句样本对为训练样本训练得到，所述特征编码模型通过以下方式训练得到：

将原始语句向量和加噪语句向量分别输入训练好的生成对抗网络模型中的编码模块，得到该编码模块输出的与原始语句向量和加噪语句向量分别对应的原始第二特征和加噪第二特征；

2.根据权利要求1所述的特征编码方法，其特征在于，所述生成对抗网络模型包括编码模块和判别模块，所述生成对抗网络模型通过如下方式训练得到：

3.根据权利要求1-2任一项所述的特征编码方法，其特征在于，所述对所述原始语句进行加噪的方法包括：

4.根据权利要求1所述的特征编码方法，其特征在于，所述方法还包括：

根据所述特征编码结果确定所述待分析语句的语义。

5.一种特征编码装置，其特征在于，包括：

语句获取单元，用于获取待分析语句；

所述特征编码模型为以所述语句样本对为训练样本训练得到；

所述特征编码模型通过以下方式训练得到：

6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述特征编码方法的步骤。

7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述特征编码方法的步骤。