CN113705244B - 对抗文本样本生成方法、装置与存储介质 - Google Patents

Abstract

本申请涉及人工智能技术领域，本申请提供一种对抗文本样本生成方法、装置与存储介质，对抗文本样本生成方法包括：获取通过多个第一文本样本训练得到的第一模型；获取与第一文本样本语义相似的多个第二文本样本；从多个第二文本样本中获取至少一个待训练文本样本，并将至少一个待训练文本样本输入第一模型，获得预测识别结果；确定至少一个备选文本样本；根据至少一个备选文本样本对第一模型进行参数调整；再从多个第二文本样本的剩余文本样本中获取待训练文本样本，直到获取的每个待训练文本样本对应的预测识别结果和实际识别结果一致，将所有备选文本样本确定为最佳对抗文本样本。实施本申请，可以获得语义通顺的最佳对抗文本样本，提高模型鲁棒性。

Description

对抗文本样本生成方法、装置与存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种对抗文本样本生成方法、装置与存储介质。

背景技术

对抗攻击是机器学习与计算机安全相结合的新兴交叉领域。对抗攻击的技术主要包括两个方面：如何找到最有效和最有代表性的最佳对抗样本，另一个方向是如何有效对对抗样本采取防御。在机器视觉领域已经有了大量的探索和应用对抗攻击，在机器视觉领域中，生成最佳对抗样本的方式往往是在原始样本中加入微小扰动，加入扰动后的样本人眼是看不出区别，但是由于加入了微小扰动，往往会让人工智能(ArtificialIntelligence，AI)模型识别错误，因此在机器视觉领域该种加入扰动的方式生成最佳对抗样本的方式能够适用。然后与机器视觉领域不同的是，自然语言处理领域的文本样本通常是离散的，如果像机器视觉领域中加入扰动的方式生成最佳对抗样本，往往很难得到通顺和符合语义的对抗样本，可能会生成有语病的对抗样本。

发明内容

基于此，有必要针对上述技术问题，提供一种对抗文本样本生成方法、装置与存储介质，通过本申请获得的最佳对抗文本样本不仅语义通顺，并且能够达到对模型的最佳攻击效果，使得模型具有更好的鲁棒性。

第一方面，本申请提供一种对抗文本样本生成方法，所述方法包括：

获取通过多个第一文本样本训练得到的第一模型；

根据所述多个第一文本样本，获取多个第二文本样本，所述第二文本样本与所述第一文本样本之间的语义相似度大于相似度阈值；

从所述多个第二文本样本中获取至少一个第二文本样本，作为至少一个待训练文本样本，并将所述至少一个待训练文本样本输入所述第一模型，获得每个待训练文本样本对应的预测识别结果；

从所述至少一个待训练文本样本中确定至少一个备选文本样本，所述备选文本样本是指预测识别结果与实际识别结果不一致的待训练文本样本；

根据所述至少一个备选文本样本对所述第一模型进行参数调整，获得参数调整后的第一模型；

从所述多个第二文本样本的剩余文本样本中获取至少一个第二文本样本，作为至少一个待训练文本样本，所述剩余文本样本是指所述多个第二文本样本中未被获取的第二文本样本，并将从所述剩余文本样本中获取的至少一个待训练文本样本输入参数调整后的第一模型，直到所获取的至少一个待训练文本样本中每个待训练文本样本对应的预测识别结果和实际识别结果一致，则将所有备选文本样本确定为最佳对抗文本样本。

结合第一方面，在一些实施例中，从所述多个第二文本样本中获取至少一个第二文本样本之前还包括：

按照样本集合划分规则，将所述多个第二文本样本划分为多个样本集合，每个样本集合包括至少一个第二文本样本；

所述从所述多个第二文本样本中获取至少一个第二文本样本，包括：

从所述多个样本集合中获取一个样本集合所包含的至少一个第二文本样本。

所述从所述多个第二文本样本的剩余文本样本中获取至少一个第二文本样本，并将从所述剩余文本样本中获取的至少一个第二文本样本输入参数调整后的第一模型，包括：

从所述多个样本集合的剩余样本集合中获取一个样本集合所包含的至少一个第二文本样本，所述剩余样本集合是指所述多个样本集合中未被获取的样本集合，并将从所述剩余样本集合中的一个样本集合获取的所述至少一个第二文本样本输入参数调整后的第一模型。

结合第一方面，在一些实施例中，所述样本划分规则包括等分规则或等差规则；

所述等分规则用于指示每个样本集合中包含的第二文本样本的数量相同；所述等差规则用于指示所述多个样本集合中各个样本集合包含的第二文本样本的数量成等差序列。

结合第一方面，在一些实施例中，若所述样本划分规则为等差规则；

所述从所述多个样本集合的剩余样本集合中获取一个样本集合所包含的至少一个第二文本样本，包括：

从所述多个样本集合的剩余样本集合中确定包含第二文本样本的数量最多的样本集合，并获取所述包含第二文本样本的数量最多的样本集合中的至少一个第二文本样本。

结合第一方面，在一些实施例中，所述根据所述多个第一文本样本，获取多个第二文本样本，包括：

将所述多个第一文本样本输入训练好的语义生成模型，获得与所述多个第一文本样本的语义相似度大于相似度阈值的多个第二文本样本，其中，一个第一文本样本与至少一个第二文本样本之间的语义相似度大于相似度阈值。

结合第一方面，在一些实施例中，所述将所述多个第一文本样本输入训练好的语义生成模型之前，还包括：

构建至少两个句子对，每个句子对包括第一语句和第二语句，所述第一语句和所述第二语句之间的语义相似度大于相似度阈值；

分别将每个句子对中的第一语句转换为第一语义向量，将第二语句转换为第二语义向量，并将第一语义向量和第二语义向量进行拼接，获得每个句子对所对应的拼接向量；

根据所述至少两个句子对中每个句子对所对应的拼接向量对待训练的语义生成模型进行模型训练，获得训练好的语义生成模型。

结合第一方面，在一些实施例中，所述根据所述至少两个句子对中每个句子对所对应的拼接向量对待训练的语义生成模型进行模型训练，获得训练好的语义生成模型，包括：

将所述至少两个句子对中每个句子对所对应的拼接向量输入待训练的语义生成模型，获得第一预测结果和第二预测结果，所述第一预测结果用于指示所述句子对中所述第一语句和所述第二语句之间的语义相似度是否大于相似度阈值；所述第二预测结果用于指示两个不同句子对所包含的第一语句之间的语义相似度是否大于相似度阈值；

根据所述第一预测结果和所述第二预测结果对所述待训练的语义生成模型进行模型训练，获得训练好的语义生成模型。

第二方面，本申请提供一种对抗文本样本生成装置，该装置包括：

第一获取单元，用于获取通过多个第一文本样本训练得到的第一模型；

第二获取单元，用于根据所述多个第一文本样本，获取多个第二文本样本，所述第二文本样本与所述第一文本样本之间的语义相似度大于相似度阈值；

第三获取单元，用于从所述多个第二文本样本中获取至少一个第二文本样本，作为至少一个待训练文本样本，并将所述至少一个待训练文本样本输入所述第一模型，获得每个待训练文本样本对应的预测识别结果；

确定单元，用于从所述至少一个待训练文本样本中确定至少一个备选文本样本，所述备选文本样本是指预测识别结果与实际识别结果不一致的待训练文本样本；

参数调整单元，用于根据所述至少一个备选文本样本对所述第一模型进行参数调整，获得参数调整后的第一模型；

所述第三获取单元还用于从所述多个第二文本样本的剩余文本样本中获取至少一个第二文本样本，作为至少一个待训练文本样本，所述剩余文本样本是指所述多个第二文本样本中未被获取的第二文本样本，并将从所述剩余文本样本中获取的至少一个待训练文本样本输入参数调整后的第一模型；

所述确定单元还用于直到所获取的至少一个待训练文本样本中每个待训练文本样本对应的预测识别结果和实际识别结果一致，则将所有备选文本样本确定为最佳对抗文本样本。

结合第二方面，在一些实施例中，该装置还包括:

划分单元，用于按照样本集合划分规则，将所述多个第二文本样本划分为多个样本集合，每个样本集合包括至少一个第二文本样本；

所述第三获取单元具体用于从所述多个样本集合中获取一个样本集合所包含的至少一个第二文本样本。

所述第三获取单元还用于从所述多个样本集合的剩余样本集合中获取一个样本集合所包含的至少一个第二文本样本，所述剩余样本集合是指所述多个样本集合中未被获取的样本集合，并将从所述剩余样本集合中的一个样本集合获取的所述至少一个第二文本样本输入参数调整后的第一模型。

结合第二方面，在一些实施例中，所述样本划分规则包括等分规则或等差规则；

所述等分规则用于指示每个样本集合中包含的第二文本样本的数量相同；所述等差规则用于指示所述多个样本集合中各个样本集合包含的第二文本样本的数量成等差序列。

结合第二方面，在一些实施例中，若所述样本划分规则为等差规则；

所述第三获取单元具体用于从所述多个样本集合的剩余样本集合中确定包含第二文本样本的数量最多的样本集合，并获取所述包含第二文本样本的数量最多的样本集合中的至少一个第二文本样本。

结合第二方面，在一些实施例中，所述第二获取单元具体用于将所述多个第一文本样本输入训练好的语义生成模型，获得与所述多个第一文本样本的语义相似度大于相似度阈值的多个第二文本样本，其中，一个第一文本样本与至少一个第二文本样本之间的语义相似度大于相似度阈值。

结合第二方面，在一些实施例中，该装置还包括：

构建单元，用于构建至少两个句子对，每个句子对包括第一语句和第二语句，所述第一语句和所述第二语句之间的语义相似度大于相似度阈值；

拼接单元，用于分别将每个句子对中的第一语句转换为第一语义向量，将第二语句转换为第二语义向量，并将第一语义向量和第二语义向量进行拼接，获得每个句子对所对应的拼接向量；

模型训练单元，用于根据所述至少两个句子对中每个句子对所对应的拼接向量对待训练的语义生成模型进行模型训练，获得训练好的语义生成模型。

结合第二方面，在一些实施例中，所述模型训练单元具体用于：

将所述至少两个句子对中每个句子对所对应的拼接向量输入待训练的语义生成模型，获得第一预测结果和第二预测结果，所述第一预测结果用于指示所述句子对中所述第一语句和所述第二语句之间的语义相似度是否大于相似度阈值；所述第二预测结果用于指示两个不同句子对所包含的第一语句之间的语义相似度是否大于相似度阈值；

根据所述第一预测结果和所述第二预测结果对所述待训练的语义生成模型进行模型训练，获得训练好的语义生成模型。

第三方面，本申请提供一种对抗文本样本生成装置，包括处理器、存储器以及通信接口，该处理器、存储器和通信接口相互连接，其中，该通信接口用于接收和发送数据，该存储器用于存储程序代码，该处理器用于调用该程序代码，执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

第四方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序；当该计算机程序在一个或多个处理器上运行时，使得该终端设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

本申请实施例中，通过多个第一文本样本训练得到第一模型，进一步生成与该第一文本样本之间的语义相似度大于相似度阈值的多个第二文本样本，并依次从该多个第二文本样本中获取至少一个第二文本样本，将所获取的至少一个第二文本样本输入第一模型进行识别，从该至少一个第二样本中确定预测识别结果与实际识别结果不一致的第二文本样本确定为备选文本样本，并进一步根据该备选对抗样本调整第一模型的参数，以此迭代，直到模型能够对成功识别所获取的至少一个第二文本样本，即可得到最佳对抗文本样本，该最佳对抗文本样本不仅语义通顺，并且能够达到对模型的最佳攻击效果，使得模型具有更好的鲁棒性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的一种对抗文本样本生成方法的流程示意图；

图2为本申请实施例提供的一种语义生成模型训练方法的流程示意图；

图3为本申请实施例提供的一种对抗文本样本生成装置的示意图；

图4为本申请实施例提供的另一种对抗文本样本生成装置的示意图。

具体实施方式

下面结合附图对本发明作进一步详细描述。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本申请实施例提供了一种对抗文本样本生成方法，为了更清楚地描述本申请的方案，下面对本申请涉及的一些附图作进一步介绍。

请参阅图1，图1为本申请实施例提供的一种对抗文本样本生成方法的流程示意图。如图1所示，所述方法包括以下步骤：

S101，获取通过多个第一文本样本训练得到的第一模型；

具体可选的，第一文本样本可以根据需要对抗攻击的第一模型的功能进行选择，即根据具体的业务场景进行选择。比如，业务场景是人机对话的场景，第一模型用于识别客户的回答，并根据客户的回答转入相应的会话分支，则第一文本样本可以根据智能对话中客户和坐席的对话文本进行选择，该多个第一文本样本可以是客户的各种回答语句，可以是同一个问题分别对应的回答语句，也可以是不同问题对应的回答语句，不作限定。在一些实施例中，第一模型还可以是分类模型，或者意图识别模型等等，本申请不作限定，根据具体的第一模型确定用于对第一模型进行训练的多个第一文本样本。

通过该多个第一文本样本对第一模型进行训练，得到训练好的第一模型。

S102，根据所述多个第一文本样本，获取多个第二文本样本，所述第二文本样本与所述第一文本样本之间的语义相似度大于相似度阈值；

进一步，为了获取针对训练好的第一模型的对抗文本样本，本申请实施例中，通过训练好的语义生成模型，生成与该多个第一文本样本之间语义相似度大于相似度阈值的多个第二文本样本，一个第一文本样本可以与至少一个第二文本样本之间的语义相似度大于相似度阈值，即将一个第一文本样本输入该语义生成模型，可以生成与该第一文本样本之间的语义相似度大于相似度阈值的至少一个第二文本样本。

本申请实施例中，为了确定该多个第二文本样本是否对第一模型达到有效攻击效果，还可以进一步通过步骤S103-步骤S106从该多个第二文本样本中确定出对第一模型具有最佳攻击效果的最佳对抗文本样本，具体请参照后续实施例的描述，暂不赘述。

下面结合附图2对该语义生成模型的训练过程进行介绍，其中，语义生成模型可以是RoFormer-Sim模型，该训练过程包括但不限于步骤S20-S22；

S20，构建至少两个句子对，每个句子对包括第一语句和第二语句，所述第一语句和所述第二语句之间的语义相似度大于相似度阈值；

具体可选的，为了让语义生成模型生成更符合具体业务场景的相似文本，需要采用具体业务场景的文本样本，预先对该语义生成模型进行训练。具体可选的，利用无监督方法来构建相似的句子对，构建方案可以是基于业务场景的人机对话文本，因为机器人提问的问题是固定的，所以根据同一个问题下，获取客户不同的回答语句，利用一个相似度函数比较各个回答语句之间的相似度，挑选出相似度高于某个相似度阈值的两个回答语句作为语义相似的句子对，例如，对于同一个提问的问题,如下：

计算同一个问题Q下，任一选定的客户回答A1，计算A2…An个回答与A1的相似度，从中选择相似度大于相似度阈值的回答与回答A1构成句子对，其中，回答A1的语句可以称为第一语句，与回答A1的语句相似的回答可以称为第二语句。不同句子对中的第一语句可以不同。

S21，分别将每个句子对中的第一语句转换为第一语义向量，将第二语句转换为第二语义向量，并将第一语义向量和第二语义向量进行拼接，获得每个句子对所对应的拼接向量；

S22，根据所述至少两个句子对中每个句子对所对应的拼接向量对待训练的语义生成模型进行模型训练，获得训练好的语义生成模型。

具体可选的，加载原始的语义生成模型RoFormer-Sim的权重，再利用所构造的句子对预训练适合对话业务场景的语义生成模型。具体的，主要训练包含两个任务，第一个任务是构建seq2seq任务，利用句子对中的第一语句预测对应的第二语句。seq2seq任务构建时是将句子对中的两个句子分别转换为对应的语义向量，将句子对所对应的两个语义向量通过SEP进行拼接，从而将句子对转化为CLS_sentence1_SEP_sentence2_SEP，如表格一所示，a、b、c可以分别标识3个句子对，每个句子对中包含两个句子，即句子1和句子2：

表格一

第一个任务是由句子1去预测句子2，从而让语义生成模型学习相似句子的特征。第二个任务是以任意句子对中的句子1为基准，确定其他句子对中句子1与该句子对中的句子1是否相似，如下表格二所示，如果相似则为1，不相似则为0,其中，MASK是指以某个句子对中的句子1为基准，比如，第一列为以句子对a中的句子1为基准，第二列为以句子对b中的句子1为基准，第三列为以句子对c中的句子1为基准，比较结果如下表格所示：

CLS	CLS	CLS
			MASK	1	0
1	MASK	0
			0	0	MASK

表格二

通过第二个任务的训练，能够让语义生成模型区分不相似的句子。通过以上述两种任务进行预训练后的语义生成模型即可用来针对具体的业务场景进行相似语句的生成。

具体的，将所述至少两个句子对中每个句子对所对应的拼接向量输入待训练的语义生成模型，获得第一个任务的第一预测结果和第二个任务的第二预测结果，所述第一预测结果用于预测所述句子对中所述第一语句和所述第二语句之间的语义相似度是否大于相似度阈值，即预测第一语句和第二语句是否相似；所述第二预测结果用于预测两个不同句子对所包含的第一语句之间的语义相似度是否大于相似度阈值，即预测不同句子对中的两个第一语句是否相似。

进一步，根据所述第一预测结果与第一语句和第二语句之间实际相似结果之间的差异，确定第一损失，根据第二预测结果和对应不同句子对的两个第一语句之间的实际相似结果之间的差异，确定第二损失，进一步，根据第一损失和第二损失确定总损失，根据该总损失调整语义生成模型的参数，不断迭代循环，直至模型收敛，即总损失小于预设值，获得训练好的语义生成模型。

S103，从所述多个第二文本样本中获取至少一个第二文本样本，作为至少一个待训练文本样本，并将所述至少一个待训练文本样本输入所述第一模型，获得每个待训练文本样本对应的预测识别结果；

S104，从所述至少一个待训练文本样本中确定至少一个备选文本样本，所述备选文本样本是指预测识别结果与实际识别结果不一致的待训练文本样本；

本申请实施例中，可以按批次从多个第二文本样本中获取至少一个第二文本样本作为待训练文本样本，以对第一模型进行攻击。

示例性的，可以每次从多个第二文本样本中获取m个第二文本样本，作为待训练文本样本，该m可以是一个大于或者等于1的整数。

示例性的，还可以将该多个第二文本样本可用构建一个文本集合，每次从该文本集合中获取该文本集合中所包含的第二文本样本中一定比例的第二文本样本输入第一模型，同时将已经获取的第二文本样本从该文本集合中删除，比如，每次从文本集合中获取剩余第二文本样本数量的10％比例的第二文本样本，例如，文本集合初始包含100个第二文本样本，则第一次可以从其中获取10个第二文本，第二次从剩余的90个第二文本中获取10％的第二文本，即获取9个第二文本，以此类推。

示例性的，还可以预先按照样本集合划分规则将多个第二文本样本划分为至少两个样本集合，每个样本集合可以包含至少一个第二文本，每次获取一个样本集合中的第二文本样本输入第一模型进行识别。其中，样本集合划分规则可以是按照等分规则的方式进行划分，即每个样本集合中包含的第二文本样本的数量相同；或者，也可以是按照等差规则进行划分，即各个样本集合中所包含的第二文本样本的数量成等差数量，比如，第一个样本集合包含100个第二文本样本，第二个样本集合包含90个第二文本样本，第三个样本集合包含80个第二文本样本，以此类推，样本集合划分规则的定义不作限定。在一些实施例中，如果是按照等差规则进行划分，则可以按照从大到小的顺序依次获取各个样本集合包含的第二文本样本，即最先获取包含第二文本样本的数量最多的样本集合。

进一步，将所获取的至少一个第二文本样本输入第一模型进行识别，获得每个第二文本样本的预测识别结果，可以理解的是，该预测识别结果可以根据具体的业务场景以及第一模型的功能所确定，比如，第一模型是用于分类的模型，则预测识别结果可以是分类标签，又比如，第一模型是用于机器问答的模型，第二文本样本是回答语句，则预测识别结果可以是目标模型是否能识别该回答语句。

进一步，将每个第二文本的预测识别结果和实际识别结果进行比对，如果比对不一致，则说明对第一模型攻击成功，相应的第二文本样本可以确定为备选文本样本。

S105，根据所述至少一个备选文本样本对所述第一模型进行参数调整，获得参数调整后的第一模型；

S106，从所述多个第二文本样本的剩余文本样本中获取至少一个第二文本样本，作为至少一个待训练文本样本，所述剩余文本样本是指所述多个第二文本样本中未被获取的第二文本样本，并将从所述剩余文本样本中获取的至少一个待训练文本样本输入参数调整后的第一模型，直到所获取的至少一个待训练文本样本中每个待训练文本样本对应的预测识别结果和实际识别结果一致，将所有备选文本样本确定为最佳对抗文本样本。

本申请实施例中，根据所确定的至少一个备选文本样本调整第一模型的参数，从而让第一模型能够对该备选文本样本识别成功。然后再从多个第二文本样本的剩余的第二文本中获取至少一个第二文本样本，或者，如果是将多个文本样本划分为多个样本集合，则可以从剩余的样本集合中获取一个样本集合中包含的第二文本样本。再将所获取至少一个第二文本样本作为至少一个待训练文本样本输入到进行参数调整后的第一模型进行识别，获得该轮至少一个第二文本样本中每个第二文本样本的预测识别结果，将第二文本样本的预测识别结果与实际识别结果进行比较，如果不一致，则说明该第二文本样本对第一模型攻击成功，将其确定为备选文本样本，根据备选文本样本再次调整模型的参数，以此不断循环获取至少一个第二文本样本，并将其输入参数调整后的第一模型，从而不断对第一模型进行优化，直到所获取的至少一个第二文本样本中每个第二文本样本通过第一模型进行识别处理后，所获得的预测识别结果与实际识别结果完全一致，则确定该第一模型已经能够识别攻击，此时的模型为最佳模型，并将用于对该模型不断调整的所有备选文本样本确定为最佳对抗文本，即通过备选文本样本的不断训练，使得模型能够识别任何攻击，因此，所以备选文本样本为最佳对抗文本样本。

本申请实施例中，通过多个第一文本样本训练得到第一模型，进一步生成与该第一文本样本之间的语义相似度大于相似度阈值的多个第二文本样本，并依次从该多个第二文本样本中获取至少一个第二文本样本，将所获取的至少一个第二文本样本输入第一模型进行识别，从该至少一个第二样本中确定预测识别结果与实际识别结果不一致的第二文本样本确定为备选文本样本，并进一步根据该备选对抗样本调整第一模型的参数，以此迭代，直到模型能够对成功识别所获取的至少一个第二文本样本，即可得到最佳对抗文本样本，该最佳对抗文本样本不仅语义通顺，并且能够达到对模型的最佳攻击效果，使得模型具有更好的鲁棒性。

请参见图3，为本申请实施例提供了一种对抗文本样本生成装置的结构示意图。如图3所示，该对抗文本样本生成装置可以包括：

第一获取单元10，用于获取通过多个第一文本样本训练得到的第一模型；

第二获取单元11，用于根据所述多个第一文本样本，获取多个第二文本样本，所述第二文本样本与所述第一文本样本之间的语义相似度大于相似度阈值；

第三获取单元12，用于从所述多个第二文本样本中获取至少一个第二文本样本，作为至少一个待训练文本样本，并将所述至少一个待训练文本样本输入所述第一模型，获得每个待训练文本样本对应的预测识别结果；

确定单元13，用于从所述至少一个待训练文本样本中确定至少一个备选文本样本，所述备选文本样本是指预测识别结果与实际识别结果不一致的待训练文本样本；

参数调整单元14，用于根据所述至少一个备选文本样本对所述第一模型进行参数调整，获得参数调整后的第一模型；

所述第三获取单元12还用于从所述多个第二文本样本的剩余文本样本中获取至少一个第二文本样本，作为至少一个待训练文本样本，所述剩余文本样本是指所述多个第二文本样本中未被获取的第二文本样本，并将从所述剩余文本样本中获取的至少一个待训练文本样本输入参数调整后的第一模型；

所述确定单元13还用于直到所获取的至少一个待训练文本样本中每个待训练文本样本对应的预测识别结果和实际识别结果一致，则将所有备选文本样本确定为最佳对抗文本样本。

在一种可能的设计中，该装置还包括:

划分单元，用于按照样本集合划分规则，将所述多个第二文本样本划分为多个样本集合，每个样本集合包括至少一个第二文本样本；

所述第三获取单元12具体用于从所述多个样本集合中获取一个样本集合所包含的至少一个第二文本样本。

所述第三获取单元12还用于从所述多个样本集合的剩余样本集合中获取一个样本集合所包含的至少一个第二文本样本，所述剩余样本集合是指所述多个样本集合中未被获取的样本集合，并将从所述剩余样本集合中的一个样本集合获取的所述至少一个第二文本样本输入参数调整后的第一模型。

结合第二方面，在一些实施例中，所述样本划分规则包括等分规则或等差规则；

所述等分规则用于指示每个样本集合中包含的第二文本样本的数量相同；所述等差规则用于指示所述多个样本集合中各个样本集合包含的第二文本样本的数量成等差序列。

结合第二方面，在一些实施例中，若所述样本划分规则为等差规则；

所述第三获取单元12具体用于从所述多个样本集合的剩余样本集合中确定包含第二文本样本的数量最多的样本集合，并获取所述包含第二文本样本的数量最多的样本集合中的至少一个第二文本样本。

结合第二方面，在一些实施例中，所述第二获取单元11具体用于将所述多个第一文本样本输入训练好的语义生成模型，获得与所述多个第一文本样本的语义相似度大于相似度阈值的多个第二文本样本，其中，一个第一文本样本与至少一个第二文本样本之间的语义相似度大于相似度阈值。

结合第二方面，在一些实施例中，该装置还包括：

构建单元，用于构建至少两个句子对，每个句子对包括第一语句和第二语句，所述第一语句和所述第二语句之间的语义相似度大于相似度阈值；

拼接单元，用于分别将每个句子对中的第一语句转换为第一语义向量，将第二语句转换为第二语义向量，并将第一语义向量和第二语义向量进行拼接，获得每个句子对所对应的拼接向量；

模型训练单元，用于根据所述至少两个句子对中每个句子对所对应的拼接向量对待训练的语义生成模型进行模型训练，获得训练好的语义生成模型。

结合第二方面，在一些实施例中，所述模型训练单元具体用于：

将所述至少两个句子对中每个句子对所对应的拼接向量输入待训练的语义生成模型，获得第一预测结果和第二预测结果，所述第一预测结果用于指示所述句子对中所述第一语句和所述第二语句之间的语义相似度是否大于相似度阈值；所述第二预测结果用于指示两个不同句子对所包含的第一语句之间的语义相似度是否大于相似度阈值；

根据所述第一预测结果和所述第二预测结果对所述待训练的语义生成模型进行模型训练，获得训练好的语义生成模型。

其中，图3所示装置实施例的具体描述可以参照前述图1或图2所示方法实施例的具体说明，在此不进行赘述。

请参照图4，为本申请实施例提供的另一种对抗文本样本生成装置的结构示意图，如图4所示，该对抗文本样本生成装置1000可以包括：至少一个处理器1001，例如CPU，至少一个通信接口1003，存储器1004，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。通信接口1003可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1004可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器1004可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图4所示，作为一种计算机存储介质的存储器1004中可以包括操作系统、网络通信单元以及程序指令。

在图4所示的对抗文本样本生成装置1000中，处理器1001可以用于加载存储器1004中存储的程序指令，并具体执行以下操作：

获取通过多个第一文本样本训练得到的第一模型；

根据所述多个第一文本样本，获取多个第二文本样本，所述第二文本样本与所述第一文本样本之间的语义相似度大于相似度阈值；

从所述多个第二文本样本中获取至少一个第二文本样本，作为至少一个待训练文本样本，并将所述至少一个待训练文本样本输入所述第一模型，获得每个待训练文本样本对应的预测识别结果；

从所述至少一个待训练文本样本中确定至少一个备选文本样本，所述备选文本样本是指预测识别结果与实际识别结果不一致的待训练文本样本；

根据所述至少一个备选文本样本对所述第一模型进行参数调整，获得参数调整后的第一模型；

从所述多个待训练文本样本的剩余文本样本中获取至少一个第二文本样本，作为待训练文本样本，所述剩余文本样本是指所述多个第二文本样本中未被获取的第二文本样本，并将从所述剩余文本样本中获取的至少一个待训练文本样本输入参数调整后的第一模型，直到所获取的至少一个待训练文本样本中每个待训练文本样本对应的预测识别结果和实际识别结果一致，将所有备选文本样本确定为最佳对抗文本样本。

需要说明的是，具体执行过程可以参见图1或图2所示方法实施例的具体说明，在此不进行赘述。

本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1或图2所示实施例的方法步骤，具体执行过程可以参见图1或图2所示实施例的具体说明，在此不进行赘述。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (10)

1.一种对抗文本样本生成方法，其特征在于，包括：

获取通过多个第一文本样本训练得到的第一模型；

根据所述多个第一文本样本，获取多个第二文本样本，所述第二文本样本与所述第一文本样本之间的语义相似度大于相似度阈值；

从所述多个第二文本样本中获取至少一个第二文本样本，作为至少一个待训练文本样本，并将所述至少一个待训练文本样本输入所述第一模型，获得每个所述待训练文本样本对应的预测识别结果；

从所述至少一个待训练文本样本中确定至少一个备选文本样本，所述备选文本样本为预测识别结果与实际识别结果不一致的待训练文本样本；

根据所述至少一个备选文本样本对所述第一模型进行参数调整，获得参数调整后的第一模型；

从所述多个第二文本样本的剩余文本样本中获取至少一个第二文本样本，作为至少一个待训练文本样本，所述剩余文本样本包括所述多个第二文本样本中未被获取的第二文本样本，并将从所述剩余文本样本中获取的至少一个待训练文本样本输入参数调整后的第一模型，直到所获取的至少一个待训练文本样本中每个待训练文本样本对应的预测识别结果和实际识别结果一致，将所有备选文本样本确定为最佳对抗文本样本。

2.如权利要求1所述的方法，其特征在于，从所述多个第二文本样本中获取至少一个第二文本样本之前还包括：

按照样本集合划分规则，将所述多个第二文本样本划分为多个样本集合，每个样本集合包括至少一个第二文本样本；

所述从所述多个第二文本样本中获取至少一个第二文本样本，包括：

从所述多个样本集合中获取一个样本集合所包含的至少一个第二文本样本；

所述从所述多个第二文本样本的剩余文本样本中获取至少一个第二文本样本，并将从所述剩余文本样本中获取的至少一个第二文本样本输入参数调整后的第一模型，包括：

从所述多个样本集合的剩余样本集合中获取一个样本集合所包含的至少一个第二文本样本，所述剩余样本集合包括所述多个样本集合中未被获取的样本集合，并将从所述剩余样本集合中的一个样本集合获取的所述至少一个第二文本样本输入参数调整后的第一模型。

3.如权利要求2所述的方法，其特征在于，所述样本划分规则包括等分规则或等差规则；

所述等分规则用于指示每个样本集合中包含的第二文本样本的数量相同；所述等差规则用于指示所述多个样本集合中各个样本集合包含的第二文本样本的数量成等差序列。

4.如权利要求3所述的方法，其特征在于，若所述样本划分规则为等差规则；

所述从所述多个样本集合的剩余样本集合中获取一个样本集合所包含的至少一个第二文本样本，包括：

从所述多个样本集合的剩余样本集合中确定包含第二文本样本的数量最多的样本集合，并获取所述包含第二文本样本的数量最多的样本集合中的至少一个第二文本样本。

5.如权利要求1所述的方法，其特征在于，所述根据所述多个第一文本样本，获取多个第二文本样本，包括：

将所述多个第一文本样本输入训练好的语义生成模型，获得与所述多个第一文本样本的语义相似度大于相似度阈值的多个第二文本样本，其中，一个第一文本样本与至少一个第二文本样本之间的语义相似度大于相似度阈值。

6.如权利要求5所述的方法，其特征在于，所述将所述多个第一文本样本输入训练好的语义生成模型之前，还包括：

构建至少两个句子对，每个句子对包括第一语句和第二语句，所述第一语句和所述第二语句之间的语义相似度大于相似度阈值；

分别将每个句子对中的第一语句转换为第一语义向量，将第二语句转换为第二语义向量，并将第一语义向量和第二语义向量进行拼接，获得每个句子对所对应的拼接向量；

根据所述至少两个句子对中每个句子对所对应的拼接向量对待训练的语义生成模型进行模型训练，获得训练好的语义生成模型。

7.如权利要求6所述的方法，其特征在于，所述根据所述至少两个句子对中每个句子对所对应的拼接向量对待训练的语义生成模型进行模型训练，获得训练好的语义生成模型，包括：

将所述至少两个句子对中每个句子对所对应的拼接向量输入待训练的语义生成模型，获得第一预测结果和第二预测结果，所述第一预测结果用于指示所述句子对中所述第一语句和所述第二语句之间的语义相似度是否大于相似度阈值；所述第二预测结果用于指示两个不同句子对所包含的第一语句之间的语义相似度是否大于相似度阈值；

根据所述第一预测结果和所述第二预测结果对所述待训练的语义生成模型进行模型训练，获得训练好的语义生成模型。

8.一种对抗文本样本生成装置，其特征在于，包括：

第一获取单元，用于获取通过多个第一文本样本训练得到的第一模型；

第二获取单元，用于根据所述多个第一文本样本，获取多个第二文本样本，所述第二文本样本与所述第一文本样本之间的语义相似度大于相似度阈值；

第三获取单元，用于从所述多个第二文本样本中获取至少一个第二文本样本，作为至少一个待训练文本样本，并将所述至少一个待训练文本样本输入所述第一模型，获得每个待训练文本样本对应的预测识别结果；

确定单元，用于从所述至少一个待训练文本样本中确定至少一个备选文本样本，所述备选文本样本是指预测识别结果与实际识别结果不一致的待训练文本样本；

参数调整单元，用于根据所述至少一个备选文本样本对所述第一模型进行参数调整，获得参数调整后的第一模型；

所述第三获取单元还用于从所述多个第二文本样本的剩余文本样本中获取至少一个第二文本样本，作为至少一个待训练文本样本，所述剩余文本样本是指所述多个第二文本样本中未被获取的第二文本样本，并将从所述剩余文本样本中获取的至少一个待训练文本样本输入参数调整后的第一模型；

所述确定单元还用于直到所获取的至少一个待训练文本样本中每个待训练文本样本对应的预测识别结果和实际识别结果一致，则将所有备选文本样本确定为最佳对抗文本样本。

9.一种对抗文本样本生成装置，其特征在于，包括处理器、存储器以及通信接口，所述处理器、存储器和通信接口相互连接，其中，所述通信接口用于接收和发送数据，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，执行如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序；当所述计算机程序在一个或多个处理器上运行时，执行如权利要求1-7中任一项所述的方法。