CN116776136A - 数据处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据处理方法、装置、电子设备及存储介质，该方法包括获取待处理样本集合，然后将待处理样本集合的句子嵌入输入至训练后的样本增强模型中，从而能够得到增强的正样本所对应的嵌入，其中，待处理样本集合包括至少两个正样本，任两个正样本的嵌入不相同，一正样本对应一句子嵌入，且该训练后的样本增强模型中的编码器采用相同的Dropout。如此，能够得到至少两个彼此不相同，且与待处理样本集合的句子嵌入存在关联的嵌入，进而能够采用与待处理样本集合的句子嵌入存在关联的嵌入对模型进行训练，以提高模型的学习效率。

Description

数据处理方法、装置、电子设备及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

对于自然语言处理的各项任务来说，获得好的词表示是重要的基石，如何通过词嵌入获得好的句子表示也同样重要。由于能够避免标注大规模数据集的成本，自监督学习变得越来越流行，它利用未标记的数据来学习句子的表征，并将学习到的表示用于多个下游任务。

对比学习是自监督学习的一种，其通过构造正样本对和负样本对来学习一个表示模型，使得相似的样本在投影空间中比较接近，不相似的样本在投影空间中距离比较远。

而现有对比学习通常是采用词重复机制构造正样本，这将导致得到的样本的嵌入和原始样本之间的联系不清楚，最终影响模型的学习效果，造成学习效率低的问题。

发明内容

本发明实施例的目的是提供一种数据处理方法、装置、电子设备及存储介质，以解决现有对比学习的学习效率低的问题。

在第一方面，为实现上述目的，本发明实施例提供了一种数据处理方法，包括：

获取待处理样本集合，所述待处理样本集合包括至少两个正样本，任两个所述正样本的嵌入不相同，一所述正样本对应一句子嵌入；

将所述待处理样本集合的句子嵌入输入至训练后的样本增强模型中，得到增强的正样本所对应的嵌入，所述训练后的样本增强模型中的编码器采用相同的Dropout。

进一步的，在所述将所述待处理样本集合的句子嵌入输入至训练后的样本增强模型中的步骤之前，所述数据处理方法还包括：

将初始样本集合输入至待训练的样本增强模型中进行增强处理，得到对应的增强样本集合；

对所述增强样本集合的正样本分别进行编码处理，得到对应的句子嵌入；

根据所述句子嵌入确定各正样本的嵌入及对应的负样本的嵌入，得到多个正负样本对的嵌入，其中一所述正样本及一所述负样本对应一正负样本对；

根据各所述正负样本对的嵌入之间的对比损失值，更新待训练的样本增强模型的模型参数；

转到将初始样本集合输入至待训练的样本增强模型中进行增强处理的步骤继续对所述样本增强模型进行训练，直到所述对比损失值在阈值范围内，得到训练后的样本增强模型。

进一步的，所述增强处理包括同义词替换处理和词重复处理，所述将初始样本集合输入至待训练的样本增强模型中进行增强处理，得到对应的增强样本集合，包括：

对所述初始样本集合进行同义词替换处理，得到第一增强样本集合；

对所述初始样本集合进行词重复处理，得到第二增强样本集合；

其中，所述第一增强样本集合中的正样本为第一正样本，所述第二增强样本集合中的正样本为第二正样本。

进一步的，所述负样本包括第一负样本和第二负样本，所述根据所述句子嵌入确定各正样本的嵌入及对应的负样本的嵌入，包括：

根据所述第一增强样本集合的句子嵌入确定第一正样本的嵌入，并根据所述第二增强样本集合的句子嵌入确定各所述第一正样本对应的第一负样本的嵌入；

根据所述第二增强样本集合的句子嵌入确定第二正样本的嵌入，并根据所述第一增强样本集合的句子嵌入确定各所述第二正样本对应的第二负样本的嵌入。

进一步的，所述负样本还包括第三负样本，所述根据所述句子嵌入确定各正样本的嵌入及对应的负样本的嵌入，还包括：

根据各所述第一正样本的嵌入，确定与各所述第一正样本的嵌入相似度高的嵌入对应的第一负样本为第三负样本。

进一步的，所述对所述增强样本集合的正样本分别进行编码处理，包括：

采用相同Dropout的第一编码器和第二编码器对所述增强样本集合的正样本分别进行编码处理；

所述根据各所述第一正样本的嵌入，确定与各所述第一正样本的嵌入相似度高的嵌入对应的第一负样本为第三负样本，包括：

将所述第一增强样本集合输入至第一编码器中，得到第一嵌入矩阵，将所述第二增强样本集合输入至第二编码器中，得到第二嵌入矩阵；

根据所述第一嵌入矩阵和所述第二嵌入矩阵，确定所述第一嵌入矩阵和所述第二嵌入矩阵的相似矩阵；

从所述相似矩阵中提取出满足预设条件的相似度值对应的索引；

将所述第二增强样本集合输入至预设的第三编码器中，得到第三嵌入矩阵；

根据所述索引在所述第三嵌入矩阵中获取对应的目标嵌入；

将所述目标嵌入添加至预设的嵌入队列中，得到第三负样本的嵌入队列。

进一步的，所述将所述目标嵌入添加至预设的嵌入队列中，得到第三负样本的嵌入队列，包括：

从所述预设的嵌入队列中移除与所述目标嵌入相同数量的嵌入；其中，被移除的嵌入为所述预设的嵌入队列中最早添加的嵌入；

将所述目标嵌入添加入所述预设的嵌入队列，得到第三负样本的嵌入队列。

进一步的，所述根据各所述正负样本对的嵌入之间的对比损失值，更新待训练的样本增强模型的模型参数，包括：

根据各所述正样本的嵌入和与各正样本相对应的负样本的嵌入，计算得到多个对比损失值；

分别根据每个所述对比损失值并采用梯度下降算法，更新所述第一编码器和所述第二编码器的第一编码器参数；

根据所述第一编码器参数以及预设的更新算法，更新所述第三编码器的第二编码器参数。

在第二方面，为了解决相同的技术问题，本发明实施例提供了一种数据处理装置，包括：

获取模块，用于获取待处理样本集合，所述待处理样本集合包括至少两个正样本，任两个所述正样本的嵌入不相同，一所述正样本对应一句子嵌入；

处理模块，用于将所述待处理样本集合的句子嵌入输入至训练后的样本增强模型中，得到增强的正样本所对应的嵌入，所述训练后的样本增强模型中的编码器采用相同的Dropout。

在第三方面，为了解决相同的技术问题，本发明实施例提供了一种电子设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述存储器与所述处理器耦接，且所述处理器执行所述计算机程序时，实现上述任一项所述的数据处理方法中的步骤。

在第四方面，为了解决相同的技术问题，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在的设备执行上述任一项所述的数据处理方法中的步骤。

本发明实施例提供了一种数据处理方法、装置、电子设备及存储介质，该方法通过获取待处理样本集合，然后将待处理样本集合的句子嵌入输入至训练后的样本增强模型中，从而能够得到增强的正样本所对应的嵌入，其中，待处理样本集合包括至少两个正样本，任两个正样本的嵌入不相同，一正样本对应一句子嵌入，且该训练后的样本增强模型中的编码器采用相同的Dropout。如此，能够得到至少两个彼此不相同，且与待处理样本集合的句子嵌入存在关联的嵌入，进而能够采用与待处理样本集合的句子嵌入存在关联的嵌入对模型进行训练，以提高模型的学习效率。

附图说明

图1是本发明实施例提供的数据处理方法的一种流程示意图；

图2是本发明实施例提供的样本增强模型的训练方法的一种流程示意图；

图3是本发明实施例提供的额外负样本的构建方法的一种流程示意图；

图4是本发明实施例提供的相似矩阵S的一种结构示意图；

图5是本发明实施例提供的将句子嵌入添加至预设的嵌入队列的过程示意图；

图6是本发明实施例提供的样本增强模型的训练方法的另一种流程示意图；

图7是本发明实施例提供的数据处理装置的一种结构示意图；

图8是本发明实施例提供的电子设备的一种结构示意图；

图9是本发明实施例提供的电子设备的另一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解的是，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

在相关技术中，主要是通过词重复机制构造正样本，并通过构造的正样本对和负样本对来学习一个表示模型，使得相似的样本在投影空间中比较接近，不相似的样本在投影空间中距离比较远，然而词重复机制构造的正样本对应的嵌入，与原始样本之间的联系是不清楚的，若采用该正样本进行模型的训练，势必会影响模型的学习效率，出现模型学习效率低下的问题。

而为了解决上述相关技术中存在的问题，本发明实施例提供了一种数据处理方法，请参见图1，图1是本发明实施例提供的数据处理方法的一种流程示意图，如图1所示，本发明实施例提供的数据处理方法包括步骤101至步骤102；

步骤101，获取待处理样本集合，所述待处理样本集合包括至少两个正样本，任两个所述正样本的嵌入不相同，一所述正样本对应一句子嵌入。

在本实施例中，待处理样本集合在经过编码处理后，将得到与待处理样本集合对应的句子嵌入。而由于待处理样本集合中包括至少两个正样本，因此，待处理样本集合在经过编码处理后，也将得到待处理样本集合中每个正样本对应的嵌入。本发明实施例也将定义嵌入作为样本的向量，句子嵌入作为样本集合的向量。

步骤102，将所述待处理样本集合的句子嵌入输入至训练后的样本增强模型中，得到增强的正样本所对应的嵌入，所述训练后的样本增强模型中的编码器采用相同的Dropout。

在本实施例中，待处理样本集合为原始样本。训练后的样本增强模型由于其编码器采用相同的Dropout，使得其能够用一种限定使输入的嵌入的分布接近，以此获得更好的、与所述原始样本存在关联的增强样本数据。

具体的，现有的句子嵌入模型在构造新样本的嵌入时，通常是采用不同的Dropout，以此得到更多不同的新样本对应的嵌入，从而增加句子嵌入模型的泛化性。但也正是由于编码器采用了不同的Dropout，导致得到的新样本的嵌入和原始样本集合之间的联系并不清楚，从而影响了句子嵌入模型的学习效率，最终影响模型的识别精度。

而本申请通过具有相同Dropout编码器的样本增强模型对待处理样本集合进行增强处理，从而能够得到至少两个彼此不相同，且与待处理样本集合的句子嵌入存在关联的嵌入，进而能够采用存在关联的正样本的嵌入对模型进行训练，实现提高模型的学习效率的技术目的，解决了现有技术导致的学习效率低下的技术问题。

而为了实现上述技术目的，在所述将所述待处理样本集合的句子嵌入输入至训练后的样本增强模型中的步骤之前，本发明实施例还提供了一种样本增强模型的训练方法，具体的，请参见图2，图2是本发明实施例提供的样本增强模型的训练方法的一种流程示意图，如图2所示，本发明实施例提供的样本增强模型的训练方法包括步骤201至步骤205；

步骤201，将初始样本集合输入至待训练的样本增强模型中进行增强处理，得到对应的增强样本集合。

在一种实施方式中，所述增强处理包括同义词替换处理和词重复处理，步骤201具体包括：对所述初始样本集合中的样本进行同义词替换处理，得到第一增强样本集合；对所述初始样本集合进行词重复处理，得到第二增强样本集合；其中，所述第一增强样本集合中的正样本为第一正样本，所述第二增强样本集合中的正样本为第二正样本。

在本实施例中，当初始样本集合为{x₁，x₂...x_N}时，则经过同义词替换处理后得到的第一增强样本集合为{x′₁，x′₂...x′_N}，经过词重复处理后得到的第二增强样本集合为且各增强样本集合中的各句子嵌入均为正样本。

需要说明的是，增强处理并不限于上述提及的同义词替换处理和词重复处理，还可包括随机词添加处理和随机词删除处理，只要是能够改变句子的长度而不改变其语义的处理即可。

步骤202，对所述增强样本集合的正样本分别进行编码处理，得到对应的句子嵌入。

步骤203，根据所述句子嵌入确定各正样本的嵌入及对应的负样本的嵌入，得到多个正负样本对的嵌入，其中一所述正样本及一所述负样本对应一正负样本对。

在一实施例中，在完成正样本的构建后，需要构建对应的负样本，因此，本实施例还提供了一种负样本的构建方法，其中，所述负样本包括第一负样本和第二负样本，根据所述句子嵌入确定各正样本的嵌入及对应的负样本的嵌入的步骤具体包括：根据所述第一增强样本集合的句子嵌入确定第一正样本的嵌入，并根据所述第二增强样本集合的句子嵌入确定对应的第一负样本的嵌入；根据所述第二增强样本集合的句子嵌入确定第二正样本的嵌入，并根据所述第一增强样本集合的句子嵌入确定对应的第二负样本的嵌入。

具体的，由于第一增强样本集合为{x′₁，x′₂...x′_N}，第二增强样本集合为因此，当增强样本x′₁和/>构成正样本对时，/>中的各个样本则为x′₁的负样本；同理，通过同样的方式，能够确定其他所有正样本对应的负样本。

在另一实施例中，本实施例还提供了一种额外负样本的构建方法，其中，所述负样本还包括第三负样本，根据所述句子嵌入确定各正样本的嵌入及对应的负样本的嵌入的步骤具体包括：根据各所述第一正样本的嵌入，确定与各所述第一正样本的嵌入相似度高的嵌入对应的第一负样本为第三负样本。

例如，当初始样本集合中的初始样本为“我喜欢吃饭”，则第一正样本为“我爱吃饭”，第二正样本为：“我我喜喜欢吃饭饭”，负样本包括“我不喜欢吃饭”、“我不爱吃面”、“我不爱喝粥”等样本，但本实施例通过选择与第一正样本相似度高的负样本作为第三负样本，也即选择“我不喜欢吃饭”的负样本作为额外的第三负样本。由于该第三负样本实际上与第一正样本的语义是不相关的，但由于二者相似度较高，因此，需要将此类相似度较高的第三负样本再次提取并输入至句子嵌入模型中进行重点训练，提高句子嵌入模型的识别精度，进一步的提高了句子嵌入模型的学习效率。

在本实施例中，对所述增强样本集合的正样本分别进行编码处理的步骤具体为：采用相同Dropout的第一编码器和第二编码器对所述增强样本集合的正样本分别进行编码处理。具体的，请参见图3，图3是本发明实施例提供的额外负样本的构建方法的一种流程示意图，如图3所示，本发明实施例提供的额外负样本的构建方法包括步骤301至步骤306；

步骤301，将所述第一增强样本集合输入至第一编码器中，得到第一嵌入矩阵，将所述第二增强样本集合输入至第二编码器中，得到第二嵌入矩阵。

步骤302，根据所述第一嵌入矩阵和所述第二嵌入矩阵，确定所述第一嵌入矩阵和所述第二嵌入矩阵的相似矩阵。

在本实施例中，通过对第一嵌入矩阵Q和第二嵌入矩阵K进行点积运算，得到相似矩阵S，该相似矩阵S用于表示第一嵌入矩阵Q和第二嵌入矩阵K中各嵌入的相似度值。

步骤303，从所述相似矩阵中提取出满足预设条件的相似度值对应的索引。

在本实施例中，预设条件为相似矩阵S的预设选择区域，具体的，由于相似矩阵S为对称矩阵，故而本实施例的预设选择区域为所述相似矩阵S的对角线两侧的区域，也即预设条件为是否处于所述相似矩阵S的对角线两侧的区域，因此，本实施例将提取出处于所述相似矩阵S的左下角或右上角的相似度值，并将提取出的相似度值进行大小排序，以获取相似度值高的前k个样本对，并提取出该k个样本对中的纵坐标同时进行去重处理，得到处理后的嵌入，并获取该处理后的嵌入对应的索引。

步骤304，将所述第二增强样本集合输入至预设的第三编码器中，得到第三嵌入矩阵。

在本实施例中，预设的第三编码器为动量编码器，将第二增强样本集合输入至该动量编码器后能够得到第三嵌入矩阵V。

步骤305，根据所述索引在所述第三嵌入矩阵中获取对应的目标嵌入。

具体的，根据所述索引可在第三嵌入矩阵V中确定对应的嵌入的位置，因此，直接根据索引即可获取对应的嵌入。

步骤306，将所述目标嵌入添加至预设的嵌入队列中，得到第三负样本的嵌入队列。

在本实施例中，步骤306具体为：从所述预设的嵌入队列中移除与所述目标嵌入相同数量的嵌入；其中，被移除的嵌入为所述预设的嵌入队列中最早添加的嵌入；将所述目标嵌入添加入所述预设的嵌入队列，得到第三负样本的嵌入队列。

需要说明的是，预设的嵌入队列为一个随机长度的队列，用于存放额外的第三负样本，其中每个第三负样本的维度与嵌入维度相同。

例如，请参见图4，图4是本发明实施例提供的相似矩阵S的一种结构示意图，当初始样本集合的N＝5，k＝3时，即初始样本集合为{x₁，x₂，x₃，x₄，x₅}，此时第一增强样本集合的第一嵌入矩阵Q，与第二增强样本集合的第二嵌入矩阵K经过点积运算后得到的相似矩阵S如图4所示。其中，相似矩阵S为对称矩阵，相似矩阵S的对角线上的相似度值为两个正样本对的嵌入之间的相似度值，非对角线上的相似度值为各正样本的嵌入与其他样本的嵌入之间的相似度值，也即正样本的嵌入与对应的负样本的嵌入之间的相似度值；此时由于k＝3，则提取出右上角或左下角的相似度值，本实施例以右上角的相似度值为例，故在提取出相似度值后，将提取出的值进行大小排序，得到三个比较高的相似度值：0.92、0.88、0.87，对应的样本对为即这三个样本对是语义上不相关但相似度比较高的样本对；然后取出这三个样本对中的纵坐标并去重，得到/>和/>再在经过动量编码器输出的第三嵌入矩阵V中挑选出/>知/>所在位置的嵌入，将这些嵌入添加至预设的嵌入队列，从而得到额外的第三负样本的嵌入队列。

具体的，请参见图5，图5是本发明实施例提供的将句子嵌入添加至预设的嵌入队列的过程示意图，如图5上部分所示，预设的嵌入队列为一个长度为20的队列，队列里嵌入的维度与样本的嵌入维度相同，为了更好的展示，前五个嵌入用“～”表示，后面的嵌入用“/”表示，则在经过动量编码器输出的第三嵌入矩阵V中挑选出和/>所在位置的嵌入/>和/>后，先移除所述预设的嵌入队列即图4上部分所示的嵌入队列的前两个嵌入“～”，然后将嵌入/>和/>添加至经过移除处理后的预设的嵌入队列中，得到如图4下部分所示的嵌入队列。

需要说明的是，还可通过同样的方式获取与各所述第二正样本相似度高的第二负样本作为第三负样本，具体的获取方式请参照上述实施例提供的方法步骤，在此不再赘述。

步骤204，根据各所述正负样本对的嵌入之间的对比损失值，更新待训练的样本增强模型的模型参数。

在本实施例中，步骤204具体为：根据各所述正样本的嵌入和与各正样本相对应的负样本的嵌入，计算得到多个对比损失值；分别根据每个所述对比损失值并采用梯度下降算法，更新所述第一编码器和所述第二编码器的第一编码器参数；根据所述第一编码器参数以及预设的更新算法，更新所述第三编码器的第二编码器参数。

具体的，对比损失值通过损失函数L计算得到，具体的，损失函数L如下所示：

其中，

D_KL(p||q)用来衡量两个分布之间的差异程度，若两者差异越小，值越小，当两分布一致时，其值为0；/>表示两个嵌入之间的距离，值越大说明两个样本的语义信息越接近；||h_i||表示对嵌入做L2正则，目的是将所有的嵌入映射在一个半径为1的超球体上，以将所有嵌入统一至单位长度，通过去除长度信息一方面能够让模型的训练更加稳定。另一方面如果模型的表示能力足够好，那么相似的样本在超球面上就会聚集到较近区域；log里面的分母叠加项包括分子项，分子是正样本对的相似度，分母是正样本对和所有负样本对的相似度；温度参数τ表示越小的温度系数越关注于将原始样本和最相似的困难样本分开，以获得更均匀的表示，然而困难样本往往是与原始样本相似程度较高的，很多困难负样本其实是潜在的正样本，过分强迫与困难样本分开会破坏学到的潜在语义结构，因此，温度系数不能过小，温度系数的取值范围通常为0.07-0.2。

需要说明的是，第一编码器和第二编码器为正常编码器，且二者的编码器参数θ_e相同，因此，根据上述实施例得到的对比损失值并通过向后传播算法，即可更新第一编码器和第二编码器的编码器参数θ_e。而第三编码器为动量编码器，该动量编码器的编码器参数为θ_m，且预设的更新算法为θ_m←λθ_m+(1-λ)θ_e，入∈[0，1)为动量系数参数，因此，第三编码器可直接根据第一编码器和第二编码器的编码器参数θ_e进行更新，无需根据对比损失值进行计算更新，从而能够有效减少计算的复杂度，加快了模型的收敛时间。

作为可选的实施例，请参见图6，图6是本发明实施例提供的样本增强模型的训练方法的另一种流程示意图，根据图6可知，本实施例提供的样本增强模型包括有三个编码器，第一编码器和第二编码器采用相同的Dropout，也即采用相同的编码器参数θ_e，该编码器参数θ_e通过计算得到的对比损失值进行梯度下降算法进行更新，而第三编码器为动量编码器，该第三编码器的编码器参数θ_m通过预设的更新算法进行更新，也即通过θ_m←λθ_m+(1-λ)θ_e进行更新。

步骤205，转到将初始样本集合输入至待训练的样本增强模型中进行增强处理的步骤继续对所述样本增强模型进行训练，直到所述对比损失值在阈值范围内，得到训练后的样本增强模型。

在本实施例中，本实施例将模型收敛的条件定义为：待训练的样本增强模型的对比损失值在阈值范围内。本实施例将该阈值范围设为0.001以下，因此，当本实施例中待训练的样本增强模型的对比损失值小于0.001时，则判定待训练的样本增强模型已经收敛完成训练，从而能够得到训练后的样本增强模型。

在另一些实施例中，模型的收敛条件还可以定义为：待训练的样本增强模型的训练次数达到预设的次数。具体的，本实施例还可设定该预设的次数为1000次，因此，当本实施例中待训练的样本增强模型的训练次数达到1000次时，则判定待训练的样本增强模型已经收敛完成训练，从而能够得到训练后的样本增强模型。

为了使本发明实施例更加容易理解，以下以一个具体的实施例进行说明：请继续参见图6，首先，获取初始样本集合，并对初始样本集合进行同义词替换处理和词重复处理，得到第一增强样本集合和第二增强样本集合(增强样本集合中的每个样本为正样本)，然后分别将第一增强样本集合和第二增强样本集合输入至相同Dropout的第一编码器和第二编码器中，得到第一嵌入矩阵Q和第二嵌入矩阵K，并从中确定各正样本的嵌入，和对应的负样本的嵌入；此外，同时将第二增强样本集合输入至第三编码器(动量编码器)中，得到第三嵌入矩阵V，并根据第一嵌入矩阵Q和第二嵌入矩阵K之间的相似矩阵，维持一个固定长度的嵌入队列得到额外的第三负样本的嵌入，然后根据各正样本的嵌入和对应的负样本的嵌入计算对比损失值，并通过梯度下降算法，实时根据得到的对比损失值对第一编码器和第二编码器的编码器参数进行更新，待第一编码器和第二编码器的编码器参数更新完成后，采用预设的更新算法对第三编码器进行更新，以此方式循环对模型进行训练直至收敛，从而完成对待训练的样本增强模型的训练。

综上所述，本发明实施例提供的数据处理方法，该方法包括获取待处理样本集合，然后将待处理样本集合的句子嵌入输入至训练后的样本增强模型中，从而能够得到增强的正样本所对应的嵌入，其中，待处理样本集合包括至少两个正样本，任两个正样本的嵌入不相同，一正样本对应一句子嵌入，且该训练后的样本增强模型中的编码器采用相同的Dropout。如此，能够得到至少两个彼此不相同，且与待处理样本集合的句子嵌入存在关联的嵌入，进而能够采用与待处理样本集合的句子嵌入存在关联的嵌入对模型进行训练，以提高模型的学习效率。

根据上述实施例所描述的方法，本实施例将从数据处理装置的角度进一步进行描述，该数据处理装置具体可以作为独立的实体来实现，也可以集成在电子设备，比如终端中来实现，该终端可以包括手机、平板电脑等。

请参见图7，图7是本发明实施例提供的数据处理装置的一种结构示意图，如图7所示，本发明实施例提供的数据处理装置700，包括：

获取模块701，用于获取待处理样本集合，所述待处理样本集合包括至少两个正样本，任两个所述正样本的嵌入不相同，一所述正样本对应一句子嵌入。

处理模块702，用于将所述待处理样本集合的句子嵌入输入至训练后的样本增强模型中，得到增强的正样本所对应的嵌入，所述训练后的样本增强模型中的编码器采用相同的Dropout。

在本实施例中，请继续参见图7，所述数据处理装置700还包括训练模块703，该训练模块703，用于将初始样本集合输入至待训练的样本增强模型中进行增强处理，得到对应的增强样本集合；对所述增强样本集合的正样本分别进行编码处理，得到对应的句子嵌入；根据所述句子嵌入确定各正样本的嵌入及对应的负样本的嵌入，得到多个正负样本对的嵌入，其中一所述正样本及一所述负样本对应一正负样本对；根据各所述正负样本对的嵌入之间的对比损失值，更新待训练的样本增强模型的模型参数；转到将初始样本集合输入至待训练的样本增强模型中进行增强处理的步骤继续对所述样本增强模型进行训练，直到所述对比损失值在阈值范围内，得到训练后的样本增强模型。

在一些实施例中，所述增强处理包括同义词替换处理和词重复处理，所述训练模块703，还用于对所述初始样本集合进行同义词替换处理，得到第一增强样本集合；对所述初始样本集合进行词重复处理，得到第二增强样本集合；其中，所述第一增强样本集合中的正样本为第一正样本，所述第二增强样本集合中的正样本为第二正样本。

在另一些实施例中，所述负样本包括第一负样本和第二负样本，所述训练模块703，还用于根据所述第一增强样本集合的句子嵌入确定第一正样本的嵌入，并根据所述第二增强样本集合的句子嵌入确定各所述第一正样本对应的第一负样本的嵌入；根据所述第二增强样本集合的句子嵌入确定第二正样本的嵌入，并根据所述第一增强样本集合的句子嵌入确定各所述第二正样本对应的第二负样本的嵌入。

作为可选的实施例，所述负样本还包括第三负样本，所述训练模块703，还用于根据各所述第一正样本的嵌入，确定与各所述第一正样本的嵌入相似度高的嵌入对应的第一负样本为第三负样本。

其中，所述训练模块703，具体用于采用相同Dropout的第一编码器和第二编码器对所述增强样本集合的正样本分别进行编码处理；将所述第一增强样本集合输入至第一编码器中，得到第一嵌入矩阵，将所述第二增强样本集合输入至第二编码器中，得到第二嵌入矩阵；根据所述第一嵌入矩阵和所述第二嵌入矩阵，确定所述第一嵌入矩阵和所述第二嵌入矩阵的相似矩阵；从所述相似矩阵中提取出满足预设条件的相似度值对应的索引；将所述第二增强样本集合输入至预设的第三编码器中，得到第三嵌入矩阵；根据所述索引在所述第三嵌入矩阵中获取对应的目标嵌入；将所述目标嵌入添加至预设的嵌入队列中，得到第三负样本的嵌入队列。

在一种实施方式中，所述训练模块703，具体还用于从所述预设的嵌入队列中移除与所述目标嵌入相同数量的嵌入；其中，被移除的嵌入为所述预设的嵌入队列中最早添加的嵌入；将所述目标嵌入添加入所述预设的嵌入队列，得到第三负样本的嵌入队列。

在另一种实施方式中，所述训练模块703，具体还用于根据各所述正样本的嵌入和与各正样本相对应的负样本的嵌入，计算得到多个对比损失值；分别根据每个所述对比损失值并采用梯度下降算法，更新所述第一编码器和所述第二编码器的第一编码器参数；根据所述第一编码器参数以及预设的更新算法，更新所述第三编码器的第二编码器参数。

具体实施时，以上各个模块和/或单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块和/或单元的具体实施可参见前面的方法实施例，具体可以达到的有益效果也请参看前面的方法实施例中的有益效果，在此不再赘述。

另外，请参见图8，图8是本发明实施例提供的电子设备的一种结构示意图，该电子设备可以是移动终端如智能手机、平板电脑等设备。如图8所示，电子设备800包括处理器801、存储器802。其中，处理器801与存储器802电性连接。

处理器801是电子设备800的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器802内的应用程序，以及调用存储在存储器802内的数据，执行电子设备800的各种功能和处理数据，从而对电子设备800进行整体监控。

在本实施例中，电子设备800中的处理器801会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器802中，并由处理器801来运行存储在存储器802中的应用程序，从而实现各种功能：

获取待处理样本集合，所述待处理样本集合包括至少两个正样本，任两个所述正样本的嵌入不相同，一所述正样本对应一句子嵌入；

将所述待处理样本集合的句子嵌入输入至训练后的样本增强模型中，得到增强的正样本所对应的嵌入，所述训练后的样本增强模型中的编码器采用相同的Dropout。

该电子设备800可以实现本发明实施例所提供的数据处理方法任一实施例中的步骤，因此，可以实现本发明实施例所提供的任一数据处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

请参见图9，图9是本发明实施例提供的电子设备的另一种结构示意图，如图9所示，图9示出了本发明实施例提供的电子设备的具体结构框图，该电子设备可以用于实施上述实施例中提供的数据处理方法。该电子设备900可以为移动终端如智能手机或笔记本电脑等设备。

RF电路910用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。RF电路910可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。RF电路910可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。上述的无线网络可以使用各种通信标准、协议及技术，包括但并不限于全球移动通信系统(Global System for Mobile Communication,GSM)、增强型移动通信技术(Enhanced DataGSM Environment,EDGE)，宽带码分多址技术(Wideband Code Division MultipleAccess,WCDMA)，码分多址技术(Code Division Access,CDMA)、时分多址技术(TimeDivision Multiple Access,TDMA)，无线保真技术(Wireless Fidelity，Wi-Fi)(如美国电气和电子工程师协会标准IEEE 802.11a，IEEE 802.11b,IEEE802.11g和/或IEEE802.11n)、网络电话(Voice over Internet Protocol,VoIP)、全球微波互联接入(Worldwide Interoperability for Microwave Access，Wi-Max)、其他用于邮件、即时通讯及短消息的协议，以及任何其他合适的通讯协议，甚至可包括那些当前仍未被开发出来的协议。

存储器920可用于存储软件程序以及模块，如上述实施例中数据处理方法对应的程序指令/模块，处理器980通过运行存储在存储器920内的软件程序以及模块，从而执行各种功能应用以及训练数据的处理，即实现如下功能：

获取待处理样本集合，所述待处理样本集合包括至少两个正样本，任两个所述正样本的嵌入不相同，一所述正样本对应一句子嵌入；

将所述待处理样本集合的句子嵌入输入至训练后的样本增强模型中，得到增强的正样本所对应的嵌入，所述训练后的样本增强模型中的编码器采用相同的Dropout。

存储器920可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器920可进一步包括相对于处理器980远程设置的存储器，这些远程存储器可以通过网络连接至电子设备900。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入单元930可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元930可包括触敏表面931以及其他输入设备932。触敏表面931，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面931上或在触敏表面931附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面931可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器980，并能接收处理器980发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面931。除了触敏表面931，输入单元930还可以包括其他输入设备932。具体地，其他输入设备932可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元940可用于显示由用户输入的信息或提供给用户的信息以及电子设备900的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元940可包括显示面板941，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板941。进一步的，触敏表面931可覆盖显示面板941，当触敏表面931检测到在其上或附近的触摸操作后，传送给处理器980以确定触摸事件的类型，随后处理器980根据触摸事件的类型在显示面板941上提供相应的视觉输出。虽然在图中，触敏表面931与显示面板941是作为两个独立的部件来实现输入和输出功能，但是在某些实施例中，可以将触敏表面931与显示面板941集成而实现输入和输出功能。

电子设备900还可包括至少一种传感器950，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板941的亮度，接近传感器可在翻盖合上或者关闭时产生中断。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于电子设备900还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路960、扬声器961，传声器962可提供用户与电子设备900之间的音频接口。音频电路960可将接收到的音频数据转换后的电信号，传输到扬声器961，由扬声器961转换为声音信号输出；另一方面，传声器962将收集的声音信号转换为电信号，由音频电路960接收后转换为音频数据，再将音频数据输出处理器980处理后，经RF电路910以发送给比如另一终端，或者将音频数据输出至存储器920以便进一步处理。音频电路960还可能包括耳塞插孔，以提供外设耳机与电子设备900的通信。

电子设备900通过传输模块970(例如Wi-Fi模块)可以帮助用户接收请求、发送信息等，它为用户提供了无线的宽带互联网访问。虽然图中示出了传输模块970，但是可以理解的是，其并不属于电子设备900的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器980是电子设备900的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器920内的软件程序和/或模块，以及调用存储在存储器920内的数据，执行电子设备900的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器980可包括一个或多个处理核心；在一些实施例中，处理器980可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解地，上述调制解调处理器也可以不集成到处理器980中。

电子设备900还包括给各个部件供电的电源990(比如电池)，在一些实施例中，电源可以通过电源管理系统与处理器980逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源990还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管未示出，电子设备900还包括摄像头(如前置摄像头、后置摄像头)、蓝牙模块等，在此不再赘述。具体在本实施例中，电子设备的显示单元是触摸屏显示器，移动终端还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行一个或者一个以上程序包含用于进行以下操作的指令：

获取待处理样本集合，所述待处理样本集合包括至少两个正样本，任两个所述正样本的嵌入不相同，一所述正样本对应一句子嵌入；

将所述待处理样本集合的句子嵌入输入至训练后的样本增强模型中，得到增强的正样本所对应的嵌入，所述训练后的样本增强模型中的编码器采用相同的Dropout。

具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的数据处理方法中任一实施例的步骤。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本发明实施例所提供的数据处理方法任一实施例中的步骤，因此，可以实现本发明实施例所提供的任一数据处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种数据处理方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。并且，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (11)

1.一种数据处理方法，其特征在于，包括：

获取待处理样本集合，所述待处理样本集合包括至少两个正样本，任两个所述正样本的嵌入不相同，一所述正样本对应一句子嵌入；

将所述待处理样本集合的句子嵌入输入至训练后的样本增强模型中，得到增强的正样本所对应的嵌入，所述训练后的样本增强模型中的编码器采用相同的Dropout。

2.如权利要求1所述的数据处理方法，其特征在于，在所述将所述待处理样本集合的句子嵌入输入至训练后的样本增强模型中的步骤之前，所述数据处理方法还包括：

将初始样本集合输入至待训练的样本增强模型中进行增强处理，得到对应的增强样本集合；

对所述增强样本集合的正样本分别进行编码处理，得到对应的句子嵌入；

根据所述句子嵌入确定各正样本的嵌入及对应的负样本的嵌入，得到多个正负样本对的嵌入，其中一所述正样本及一所述负样本对应一正负样本对；

根据各所述正负样本对的嵌入之间的对比损失值，更新待训练的样本增强模型的模型参数；

转到将初始样本集合输入至待训练的样本增强模型中进行增强处理的步骤继续对所述样本增强模型进行训练，直到所述对比损失值在阈值范围内，得到训练后的样本增强模型。

3.如权利要求2所述的数据处理方法，其特征在于，所述增强处理包括同义词替换处理和词重复处理，所述将初始样本集合输入至待训练的样本增强模型中进行增强处理，得到对应的增强样本集合，包括：

对所述初始样本集合进行同义词替换处理，得到第一增强样本集合；

对所述初始样本集合进行词重复处理，得到第二增强样本集合；

其中，所述第一增强样本集合中的正样本为第一正样本，所述第二增强样本集合中的正样本为第二正样本。

4.如权利要求3所述的数据处理方法，其特征在于，所述负样本包括第一负样本和第二负样本，所述根据所述句子嵌入确定各正样本的嵌入及对应的负样本的嵌入，包括：

根据所述第一增强样本集合的句子嵌入确定第一正样本的嵌入，并根据所述第二增强样本集合的句子嵌入确定各所述第一正样本对应的第一负样本的嵌入；

根据所述第二增强样本集合的句子嵌入确定第二正样本的嵌入，并根据所述第一增强样本集合的句子嵌入确定各所述第二正样本对应的第二负样本的嵌入。

5.如权利要求4所述的数据处理方法，其特征在于，所述负样本还包括第三负样本，所述根据所述句子嵌入确定各正样本的嵌入及对应的负样本的嵌入，还包括：

根据各所述第一正样本的嵌入，确定与各所述第一正样本的嵌入相似度高的嵌入对应的第一负样本为第三负样本。

6.如权利要求5所述的数据处理方法，其特征在于，所述对所述增强样本集合的正样本分别进行编码处理，包括：

采用相同Dropout的第一编码器和第二编码器对所述增强样本集合的正样本分别进行编码处理；

所述根据各所述第一正样本的嵌入，确定与各所述第一正样本的嵌入相似度高的嵌入对应的第一负样本为第三负样本，包括：

将所述第一增强样本集合输入至第一编码器中，得到第一嵌入矩阵，将所述第二增强样本集合输入至第二编码器中，得到第二嵌入矩阵；

根据所述第一嵌入矩阵和所述第二嵌入矩阵，确定所述第一嵌入矩阵和所述第二嵌入矩阵的相似矩阵；

从所述相似矩阵中提取出满足预设条件的相似度值对应的索引；

将所述第二增强样本集合输入至预设的第三编码器中，得到第三嵌入矩阵；

根据所述索引在所述第三嵌入矩阵中获取对应的目标嵌入；

将所述目标嵌入添加至预设的嵌入队列中，得到第三负样本的嵌入队列。

7.如权利要求6所述的数据处理方法，其特征在于，所述将所述目标嵌入添加至预设的嵌入队列中，得到第三负样本的嵌入队列，包括：

从所述预设的嵌入队列中移除与所述目标嵌入相同数量的嵌入；其中，被移除的嵌入为所述预设的嵌入队列中最早添加的嵌入；

将所述目标嵌入添加入所述预设的嵌入队列，得到第三负样本的嵌入队列。

8.如权利要求7所述的数据处理方法，其特征在于，所述根据各所述正负样本对的嵌入之间的对比损失值，更新待训练的样本增强模型的模型参数，包括：

根据各所述正样本的嵌入和与各正样本相对应的负样本的嵌入，计算得到多个对比损失值；

分别根据每个所述对比损失值并采用梯度下降算法，更新所述第一编码器和所述第二编码器的第一编码器参数；

根据所述第一编码器参数以及预设的更新算法，更新所述第三编码器的第二编码器参数。

9.一种数据处理装置，其特征在于，包括：

获取模块，用于获取待处理样本集合，所述待处理样本集合包括至少两个正样本，任两个所述正样本的嵌入不相同，一所述正样本对应一句子嵌入；

处理模块，用于将所述待处理样本集合的句子嵌入输入至训练后的样本增强模型中，得到增强的正样本所对应的嵌入，所述训练后的样本增强模型中的编码器采用相同的Dropout。

10.一种电子设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述存储器与所述处理器耦接，且所述处理器执行所述计算机程序时，实现如权利要求1至8任一项所述的数据处理方法中的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在的设备执行如权利要求1至8任一项所述的数据处理方法中的步骤。