CN114330372A

CN114330372A - 一种模型训练的方法、相关装置及设备

Info

Publication number: CN114330372A
Application number: CN202110888099.3A
Authority: CN
Inventors: 梁云龙; 孟凡东; 徐金安; 陈钰枫
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2021-08-03
Filing date: 2021-08-03
Publication date: 2022-04-12

Abstract

本申请实施例公开了一种模型训练的方法、相关装置及设备，用于提高模型生成译文的连贯性以及准确性。本申请实施例方法包括：获取源端文本集合、目标文本集合以及训练样本对，将源端文本集合、目标文本集合以及期望目标文本作为对话理解模型的输入，输出第一文本序列、第二文本序列以及文本相似度，第一文本序列以及第二文本序列对应于第二语种，文本相似度表示期望目标文本与目标文本集合的关联程度，将源端文本集合以及训练样本对作为文本翻译模型的输入，通过文本翻译模型获取第三文本序列，第三文本序列对应于第二语种，根据第一文本序列、第二文本序列、文本相似度、第三文本序列以及期望目标文本，对文本翻译模型的模型参数进行更新。

Description

一种模型训练的方法、相关装置及设备

技术领域

本申请实施例涉及人工智能技术领域，尤其涉及一种模型训练的方法、相关装置及设备。

背景技术

随着互联网技术和数字技术地快速发展，基于神经网络的对话生成在开放域对话系统中引起了广泛的研究兴趣。由于多轮对话在日常生活中被广泛，因此多轮对话的翻译也对上下文一致性提出了更严格的要求。

传统的对话翻译方法通常将对话历史中各个轮次的语句视为相互独立的句子，然后进行单独的语义编码，但是由于多轮对话产生于一个连贯一致的交流过程，其中涉及的各个轮次的语句是前后关联的，所以对话历史中相邻的语句间存在显式的回复关系，如果单独编码这些语句却不考虑它们之间的语义关系，那么就很可能无法捕获对话历史中篇章级别的连贯关系，导致获取到的对话翻译文本存在语义断层或语义不连贯的情况，从而导致获取多轮对话翻译的准确性降低。

发明内容

本申请实施例提供了一种模型训练处理的方法、相关装置及设备，用于对话理解模型作为文本翻译模型的辅助训练任务，对文本翻译模型进行联合训练，能够通过不断学习文本语种变化的特征以及文本之间的关联程度，来增强文本翻译模型对文本之间的连贯性学习能力，能够提高文本翻译模型的训练精度，从而提高文本翻译模型生成译文的连贯性以及准确性。

有鉴于此，本申请一方面提供一种模型训练的方法，包括：

获取源端文本集合、目标文本集合以及训练样本对，其中，源端文本集合包括第一语种对应的源端文本，目标文本集合包括第二语种对应的目标文本，训练样本对包括第一语种对应的初始源端文本以及第二语种对应的期望目标文本；

将源端文本集合、目标文本集合以及期望目标文本作为对话理解模型的输入，通过对话理解模型输出第一文本序列、第二文本序列以及文本相似度，其中，第一文本序列对应于第二语种，第二文本序列对应于第二语种，文本相似度表示期望目标文本与目标文本集合的关联程度；

将源端文本集合以及训练样本对作为文本翻译模型的输入，通过文本翻译模型获取第三文本序列，其中，第三文本序列对应于第二语种；

根据第一文本序列、第二文本序列、文本相似度、第三文本序列以及期望目标文本，对文本翻译模型的模型参数进行更新。

本申请的另一方面提供一种模型训练的装置，包括：

获取单元，用于获取源端文本集合、目标文本集合以及训练样本对，其中，源端文本集合包括第一语种对应的源端文本，目标文本集合包括第二语种对应的目标文本，训练样本对包括第一语种对应的初始源端文本以及第二语种对应的期望目标文本；

处理单元，用于将源端文本集合、目标文本集合以及期望目标文本作为对话理解模型的输入，通过对话理解模型输出第一文本序列、第二文本序列以及文本相似度，其中，第一文本序列对应于第二语种，第二文本序列对应于第二语种，文本相似度表示期望目标文本与目标文本集合的关联程度；

处理单元，还用于将源端文本集合以及训练样本对作为文本翻译模型的输入，通过文本翻译模型获取第三文本序列，其中，第三文本序列对应于第二语种；

处理单元，还用于根据第一文本序列、第二文本序列、文本相似度、第三文本序列以及期望目标文本，对文本翻译模型的模型参数进行更新。

在一种可能的设计中，在本申请实施例的另一方面的一种实现方式中，处理单元具体可以用于：

获取源端文本集合所对应的源端文本嵌入向量，并，获取目标文本集合所对应的目标文本嵌入向量，并，获取期望目标文本所对应的期望目标嵌入向量；

将目标文本嵌入向量以及期望目标嵌入向量作为单语言理解模型的输入，通过单语言理解模型获取第一文本序列；

将源端文本嵌入向量以及期望目标嵌入向量作为跨语言理解模型的输入，通过跨语言理解模型获取第二文本序列；

将目标文本嵌入向量以及期望目标嵌入向量作为对话判别模型的输入，通过对话判别模型获取文本相似度。

将目标文本嵌入向量作为单语言理解模型的编码器的输入，通过单语言理解模型的编码器获取第一目标文本编码序列，第一目标文本编码序列为目标文本嵌入向量属于第二语种的序列表示；

将第一目标文本编码序列以及目标期望嵌入向量作为单语言理解模型的解码器的输入，通过单语言理解模型的解码器获取第一文本序列。

将源端文本嵌入向量作为跨语言理解模型的编码器的输入，通过跨语言理解模型的编码器获取源端文本编码序列，源端文本编码序列为源端文本嵌入向量属于第二语种的序列表示；

将源端文本编码序列以及目标期望嵌入向量作为跨语言理解模型的解码器的输入，通过跨语言理解模型的解码器获取第二文本序列。

将目标文本嵌入向量作为对话判别模型的编码器的输入，通过对话判别模型的编码器获取第二目标文本编码序列，第二目标文本编码序列为目标文本嵌入向量属于第二语种的序列表示；

将期望目标嵌入向量作为对话判别模型的编码器的输入，通过对话判别模型的编码器获取期望目标编码序列，期望目标编码序列为期望目标嵌入向量属于第二语种的序列表示；

获取目标文本嵌入向量所对应的负采样文本嵌入向量，其中，负采样文本嵌入向量为不属于目标文本集合的文本所对应的向量表示；

将负采样文本嵌入向量作为对话判别模型的编码器的输入，通过对话判别模型的编码器获取负采样文本编码序列，负采样文本编码序列为负采样文本嵌入向量属于第二语种的序列表示；

将第二目标文本编码序列、期望目标编码序列以及负采样文本编码序列作为对话判别模型的分类器的输入，通过对话判别模型的分类器获取文本相似度。

对源端文本集合进行分词处理，得到至少两个源端词语，至少两个源端词语属于第一语种；

将至少两个源端词语分别通过词嵌入层、位置嵌入层、轮次嵌入层以及角色嵌入层，并将每个嵌入层输出的向量表示进行向量融合，得到源端文本嵌入向量；

处理单元具体可以用于：

对目标文本集合进行分词处理，得到至少两个目标词语，至少两个目标词语属于第二语种；

将至少两个目标词语分别通过词嵌入层、位置嵌入层、轮次嵌入层以及角色嵌入层，并将每个嵌入层输出的向量表示进行向量融合，得到目标文本嵌入向量；

处理单元具体可以用于：

对期望目标文本进行分词处理，得到至少两个期望端词语，至少两个期望词语属于第二语种；

将至少两个期望词语分别通过词嵌入层、位置嵌入层、轮次嵌入层以及角色嵌入层，并将每个嵌入层输出的向量表示进行向量融合，得到期望目标嵌入向量。

在一种可能的设计中，在本申请实施例的另一方面的一种实现方式中，

处理单元，还用于将目标文本集合以及训练样本对作为对象判别模型的输入，通过对象判别模型获取对象相似度，其中，对象相似度表示目标文本集合与生成目标文本的角色对象之间的关联程度；

处理单元，还用于根据第一文本序列、第二文本序列、文本相似度、第三文本序列、对象相似度以及期望目标文本，对文本翻译模型的模型参数进行更新。

本申请另一方面提供了一种计算机设备，包括：存储器、收发器、处理器以及总线系统；

其中，存储器用于存储程序；

处理器用于执行存储器中的程序时实现如上述各方面的方法；

总线系统用于连接存储器以及处理器，以使存储器以及处理器进行通信。

本申请的另一方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。

本申请的另一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。网络设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该网络设备执行上述各方面所提供的方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

获取源端文本集合、目标文本集合以及训练样本对，将源端文本集合、目标文本集合以及期望目标文本作为对话理解模型的输入，通过对话理解模型输出属于第二语种的第一文本序列、属于第二语种的第二文本序列，以及能够表示期望目标文本与目标文本集合的关联程度的文本相似度，并将源端文本集合以及训练样本对作为文本翻译模型的输入，通过文本翻译模型获取属于第二语种的第三文本序列，然后，根据第一文本序列、第二文本序列、文本相似度、第三文本序列以及期望目标文本，对文本翻译模型的模型参数进行更新。通过上述方式，实现了通过对话理解模型获取属于第二语种的第一文本序列、属于第二语种的第二文本序列，以及能够表示期望目标文本与目标文本集合的关联程度的文本相似度，并通过文本翻译模型获取属于第二语种的第三文本序列，然后，可以根据第一文本序列、第二文本序列、文本相似度、第三文本序列以及期望目标文本，对文本翻译模型的模型参数进行联合迭代更新，能够将对话理解模型作为文本翻译模型的辅助训练任务，对文本翻译模型进行联合训练，能够通过不断学习文本语种变化的特征以及文本之间的关联程度，来增强文本翻译模型对文本之间的连贯性学习能力，能够提高文本翻译模型的训练精度，从而提高文本翻译模型生成译文的连贯性以及准确性。

附图说明

图1是本申请实施例中模型对象控制系统的一个架构示意图；

图2是本申请实施例中模型训练的方法的一个实施例示意图；

图3是本申请实施例中模型训练的方法的另一个实施例示意图；

图4是本申请实施例中模型训练的方法的另一个实施例示意图；

图5是本申请实施例中模型训练的方法的另一个实施例示意图；

图6是本申请实施例中模型训练的方法的另一个实施例示意图；

图7是本申请实施例中模型训练的方法的另一个实施例示意图；

图8是本申请实施例中模型训练的方法的另一个实施例示意图；

图9是本申请实施例中模型训练的方法的一个原理流程示意图；

图10是本申请实施例中模型训练的方法的一个对话样本示意图；

图11是本申请实施例中模型训练的方法的另一个原理流程示意图；

图12是本申请实施例中模型训练的方法的另一个原理流程示意图；

图13是本申请实施例中模型训练的方法的一个获取嵌入向量的原理示意图；

图14是本申请实施例中模型训练的装置的一个实施例示意图；

图15是本申请实施例中计算机设备的一个实施例示意图。

具体实施方式

本申请实施例提供了一种模型训练的方法、相关装置及设备，用于通过基于对话理解模型作为文本翻译模型的辅助训练任务，对文本翻译模型进行联合训练，能够通过不断学习文本语种变化的特征以及文本之间的关联程度，来增强文本翻译模型对文本之间的连贯性学习能力，能够提高文本翻译模型的训练精度，从而提高文本翻译模型生成译文的连贯性以及准确性。

本申请的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应理解，本申请提供的模型训练的方法可以应用于通过建模完成多轮对话文本的回复和翻译的场景中，作为示例，例如通过建模将一段英文对话翻译为中文及完成中文回复。作为另一个示例，例如通过建模将一篇法语故事对话翻译完成为英文对话。作为再一示例，例如通过建模将一篇俄文对话简章翻生成法文的回复和译文，在上述种种场景中，为了完成多轮对话文本的回复和翻译，现有技术中提供的解决方案为，通过将对话历史中各个轮次的语句视为相互独立的句子进行单独的语义编码，但是由于多轮对话产生于一个连贯一致的交流过程，其中涉及的各个轮次的语句是前后关联的，如果单独编码这些语句却不考虑它们之间的语义关系，那么就很可能无法捕获对话历史中篇章级别的连贯关系，导致获取到的对话翻译文本存在语义断层或语义不连贯的情况，从而导致多轮对话的译文获取的准确性降低。

为了解决上述问题，本申请提出了一种模型训练的方法，该方法应用于图1所示的模型对象控制系统，请参阅图1，图1为本申请实施例中模型对象控制系统的一个架构示意图，如图1所示，服务器获取终端设备发送的源端文本集合、目标文本集合以及训练样本对，将源端文本集合、目标文本集合以及期望目标文本作为对话理解模型的输入，通过对话理解模型输出属于第二语种的第一文本序列、属于第二语种的第二文本序列，以及能够表示期望目标文本与目标文本集合的关联程度的文本相似度，并将源端文本集合以及训练样本对作为文本翻译模型的输入，通过文本翻译模型获取属于第二语种的第三文本序列，然后，根据第一文本序列、第二文本序列、文本相似度、第三文本序列以及期望目标文本，对文本翻译模型的模型参数进行更新。通过上述方式，实现了通过对话理解模型获取属于第二语种的第一文本序列、属于第二语种的第二文本序列，以及能够表示期望目标文本与目标文本集合的关联程度的文本相似度，并通过文本翻译模型获取属于第二语种的第三文本序列，然后，可以根据第一文本序列、第二文本序列、文本相似度、第三文本序列以及期望目标文本，对文本翻译模型的模型参数进行联合迭代更新，能够将对话理解模型作为文本翻译模型的辅助训练任务，对文本翻译模型进行联合训练，能够通过不断学习文本语种变化的特征以及文本之间的关联程度，来增强文本翻译模型对文本之间的连贯性学习能力，能够提高文本翻译模型的训练精度，从而提高文本翻译模型生成译文的连贯性以及准确性。

可以理解的是，图1中仅示出了一种终端设备，在实际场景中可以由更多种类的终端设备参与到数据处理的过程中，例如个人电脑(personal computer，PC)，具体数量和种类因实际场景而定，具体此处不做限定。另外，图1中示出了一个服务器，但在实际场景中，也可以有多个服务器的参与，特别是在多模型训练交互的场景中，服务器的数量因实际场景而定，具体此处不做限定。

需要注意的是，本实施例中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(contentdelivery network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，终端设备以及服务器可以连接组成区块链网络，本申请在此不做限制。

为了解决上述问题，本申请提出了一种模型训练的方法，该方法一般由服务器或终端设备执行，相应地，应用于模型训练的装置一般设置于服务器或终端设备中。

可以理解的是，如本申请所公开的模型训练的方法、相关设备以及装置，其中多个服务器/终端设备可以组成为一区块链，而服务器/终端设备为区块链上的节点。在实际应用中，可以在区块链中需要进行节点与节点之间的数据共享，每个节点上可以存储有模型训练数据。

下面将对本申请中模型训练的方法进行介绍，请参阅图2以及图9，本申请实施例中模型训练的方法一个实施例包括：

在步骤S101中，获取源端文本集合、目标文本集合以及训练样本对，其中，源端文本集合包括第一语种对应的源端文本，目标文本集合包括第二语种对应的目标文本，训练样本对包括第一语种对应的初始源端文本以及第二语种对应的期望目标文本；

在本实施例中，为了能够更好更准确地获取到不仅切合多轮对话文本的语义连贯性，而且符合多轮对话文本的原文语义的译文，本实施例通过获取包含有第一语种对应的源端文本的源端文本集合，包含有第二语种对应的目标文本的目标文本集合，以及包含有第一语种对应的初始源端文本以及第二语种对应的期望目标文本的训练样本对，以使后续能够利用获取到的源端文本集合、目标文本集合以及训练样本对来训练和优化能够获取到较为准确地语义连贯性的对话理解模型，进而可以将对话理解模型作为文本翻译模型的辅助训练任务，对文本翻译模型进行联合训练，可以增强文本翻译模型对文本之间的连贯性学习能力，能够提高文本翻译模型的训练精度，从而提高文本翻译模型生成译文的连贯性以及准确性。

其中，源端文本集合是包含有多个第一语种对应的源端文本，源端文本集合具体可以表现为一个多轮对话历史文本中的某一角色，如角色A，在每个轮次所对应的对话提问以及对接收的对话答复进行翻译得到相应的译文，则每个轮次所对应的对话提问文本以及对话答复译文，即为属于第一语种的源端文本。其中，第一语种具体可以表现为中文、英文、法文等，还可以是其他语种，此处不作具体限制。

例如，如图10所示，假设源端文本集合为角色X的对话历史文本，第一语种为英文，属于第一语种的源端文本具体可以表现为角色X在第一轮次的对话提问文本，如X₁：“Ohh，okey，they gave you the old time pricing”，角色X在第一轮次，根据角色Y在第一轮次的对话答复文本如Y₂：“是的”生成的对话答复译文，如X₂：“yeah”等。

其中，目标文本集合是包含有多个第二语种对应的目标文本，目标文本集合具体可以表现为一个多轮对话历史文本中的某一角色，如角色B，在每个轮次先根据接收到的其他角色的对话提问进行翻译输出相应的译文，以及根据译文生成的对话答复文本，则每个轮次所对应的对话提问译文以及对话答复文本，即为属于第二语种的目标文本。其中，第二语种为不同于第一语种，如第一语种为中文，则第二语种可以表现为英文、日文或者韩文等，还可以是其他语种，此处不作具体限制。

例如，如图10所示，假设目标文本集合为与源端文本集合为角色X的对话历史文本所队友的角色Y的对话历史文本，第二语种为中文，属于第二语种的目标文本具体可以表现为角色Y在第一轮次，根据角色X在第一轮次的对话提问文本，如X₁：“Ohh，okey，they gaveyou the old time pricing”生成的对话提问译文如Y₁：“他们按当年的价格折算”，角色Y在第一轮次根据如Y₁中的对话提问译文生成的对话答复文本，如Y₂：“是的”等。

其中，训练样本对包括第一语种对应的初始源端文本以及第二语种对应的期望目标文本，初始源端文本具体可以是基于源端文本集合归纳总结得到待翻译的初始对话提问文本，例如，如图10所示，根据角色X所对应的源端文本集合得到的初始源端文本具体可以表现为X_u：“White plains.Oh,it sounds like such a magical place”,还可以是其他文本，此处不做具体限制。期望目标文本具体可以是基于源端文本集合、目标文本集合的上下文语义归纳总结，并对初始源端文本进行翻译而期望得到的译文，例如，如图10所示，期望目标文本具体可以表现为Y_u：“白原。哦，听起来是一个充满魔力的地方”。

具体地，如图9以及图11所示，获取获取源端文本集合、目标文本集合以及训练样本对，具体可以根据实际应用或业务需求，利用网络爬虫技术在大数据平台中进行爬取，或者是接收终端设备发送的获取源端文本集合、目标文本集合以及训练样本对，或者是服务器数据库中获取预存有的获取源端文本集合、目标文本集合以及训练样本对，以使后续能够对获取到的获取源端文本集合、目标文本集合以及训练样本对进行相应的处理，进而可以用于训练和优化能够获取到较为准确地语义连贯性的对话理解模型，并将对话理解模型作为文本翻译模型的辅助训练任务，辅助文本翻译模型的联合训练，以增强文本翻译模型对文本之间的连贯性学习能力，提高文本翻译模型的训练精度，从而提高文本翻译模型生成译文的连贯性以及准确性。

在步骤S102中，将源端文本集合、目标文本集合以及期望目标文本作为对话理解模型的输入，通过对话理解模型输出第一文本序列、第二文本序列以及文本相似度，其中，第一文本序列对应于第二语种，第二文本序列对应于第二语种，文本相似度表示期望目标文本与目标文本集合的关联程度；

在本实施例中，在获取到源端文本集合、目标文本集合以及训练样本对后，为了使得对话理解模型能够充分学习到的文本之间的语义关系和连贯性，可以最大程度的趋近于期望目标文本的语义特征，本实施例可以将源端文本集合、目标文本集合以及期望目标文本作为对话理解模型的输入，能够通过对话理解模型获取属于第二语种的第一文本序列、属于第二语种的第二文本序列，以及能够表示期望目标文本与目标文本集合的关联程度的文本相似度，以使后续可以通过第一文本序列、第二文本序列、文本相似度、第三文本序列以及期望目标文本，对文本翻译模型的模型参数进行联合迭代更新，能够使文本翻译模型不断学习到文本语种变化的特征以及文本之间的关联程度，以增强文本翻译模型对文本之间的连贯性学习能力，提高文本翻译模型的训练精度，从而在一定程度上提高文本翻译模型生成译文的连贯性以及准确性。

其中，第一文本序列为目标文本集合以及期望目标文本属于第二语种的序列表示，第二文本序列为源端文本集合以及期望目标文本属于第二语种的序列表示，文本相似度用于表示期望目标文本与目标文本集合的关联程度，其中，文本相似度具体可以表现为分数、概率值或距离等，还可以是其他表现形式，具体可以根据实际应用需求进行设置，此处不做具体限制。

具体地，如图9以及图11所示，当获取到源端文本集合、目标文本集合以及训练样本对时，可以将源端文本集合、目标文本集合以及期望目标文本作为对话理解模型的输入，分别通过对话理解模型的编码器，得到相应的编译向量表示，然后可以将得到相应的编译向量表示分别通过话理解模型的解码器，以准确获取属于第二语种的第一文本序列、属于第二语种的第二文本序列，以及能够表示期望目标文本与目标文本集合的关联程度的文本相似度。

进一步地，本实施例还可以基于第一文本序列、第二文本序列、文本相似度以及期望目标文本，对过话理解模型的模型参数进行更新，其中，模型参数的更新具体可以采用梯度下降的方式，还可以采用其他更新方式，此处不做具体限制，能够使得对话理解模型能够充分学习到的文本之间的语义关系和连贯性，可以最大程度的趋近于期望目标文本的语义特征，从而能够提高对话理解模型获取译文的准确性，以及提高译文的语义连贯性，进而可以更好地辅助文本翻译模型进行训练和优化。

在步骤S103中，将源端文本集合以及训练样本对作为文本翻译模型的输入，通过文本翻译模型获取第三文本序列，其中，第三文本序列对应于第二语种；

在实施例中，在获取到源端文本集合以及训练样本对后，使得文本翻译模型能够充分学习到的文本之间的语义关系和语义特征，以及学习到的语义关系和语义特征可以最大程度的趋近于期望目标文本的语义特征，本实施例可以将源端文本集合以及训练样本对作为文本翻译模型的输入，能够通过文本翻译模型获取属于第二语种的第三文本序列，其中，第三文本序列为源端文本集合以及训练样本属于第二语种的序列表示，以使后续可以基于第三文本序列，结合第一文本序列、第二文本序列、文本相似度以及期望目标文本，来对文本翻译模型的模型参数进行联合迭代更新，能够使文本翻译模型在能够充分学习到的文本之间的语义关系和语义特征的同时，进一步地学习到文本语种变化的特征以及文本之间的关联程度，以增强文本翻译模型对文本之间的语义特征以及语义关系连贯性学习能力，提高文本翻译模型的训练精度，从而在一定程度上提高文本翻译模型生成译文的连贯性以及准确性。

具体地，如图12所示，当获取到源端文本集合以及训练样本后，可以将源端文本集合以及训练样本对中的初始源端文本作为文本翻译模型的编码器的输入，经过编码得到相应的编码序列。

例如，如图9以及图10所示，假设有一个源端文本集合为

以及一个初始源端文本为X_u，可以将源端文本集合

以及初始源端文本X_u作为文本翻译模型(NCT)的编码器的输入，经过编码可以得到相应的解码序列如

进一步地，如图12所示，可以将编码得到相应的编码序列、训练样本对中的期望目标文本以及第(t-1)个词语的翻译结果作为文本翻译模型的解码器的输入，先对期望目标文本以及第(t-1)个词语的翻译结果进行编译，具体可以是通过解码器对第(t-1)个词语的翻译结果采用自注意机制进行编码学习，得到能够用于表示第t个词语的编译向量表示，具体如下(1)式：

H^y＝MultiHead(y,y,y) (1)

其中，y是第(t-1)个词语的翻译结果所对应的向量表示，MultiHead为多头自注意机制。

需要说明的是，本实施例中的采用自注意机制可以是多头自注意机制MultiHead，也可以采用单头自注意机制，还可以是其他自注意机制，此处不做具体限制。

进一步地，通过解码器中的另一个自注意机制(Self-Attention)对源端文本集合以及初始源端文本所对应的编码序列以及目标期望文本进行编码学习，可以得到对应的编译向量表示为H^x，然后，将编译向量表示H^x与H^y进行交互，可以得到如下(2)式的交互表示：

其中，FFN为前馈神经网络。

进一步地，可以将交互向量表示通过分类器进行解码，可以准确获取到如下(3)式的第t个词语的翻译结果，其中，当t为1时，解码器输入的向量为固定维度的预设向量：

其中，W_o是学习矩阵参数，b_o是学习参数。

进一步地，重复将第(t-1)个词语的翻译结果进行编译，并将编译向量表示H^y与H^x进行交互，然后，得到的交互向量表示通过分类器进行解码获取第t个词语的翻译结果的过程，直到到达一个特殊的终止符号，可以得到第三文本序列。

进一步地，可以根据第三文本序列以及源端文本集合以及初始源端文本，基于如下(4)式的损失函数计算损失值，然后，然后损失值对文本翻译模型的的模型参数进行更新，其中，模型参数的更新具体可以是采用梯度下降的方式，还可以采用其他方式，此处不做具体限制：

在步骤S104中，根据第一文本序列、第二文本序列、文本相似度、第三文本序列以及期望目标文本，对文本翻译模型的模型参数进行更新。

具体地，在获取到第一文本序列、第二文本序列、文本相似度、第三文本序列以及期望目标文本后，具体可以是采用梯度下降的方式进行模型参数的更新，还可以参数更新方式，此处不作具体限制，能够稳定地向梯度更新方向进行更新收敛，以更好地更新模型参数，进而可以增强文本翻译模型的语义以及语义关系连贯性的学习能力，提高了文本翻译模型的训练精度，从而在一定程度上提高文本翻译模型生成译文的连贯性以及准确性。

在本申请实施例中，提供了一种模型训练的方法，通过上述方式，实现了通过对话理解模型获取属于第二语种的第一文本序列、属于第二语种的第二文本序列，以及能够表示期望目标文本与目标文本集合的关联程度的文本相似度，并通过文本翻译模型获取属于第二语种的第三文本序列，然后，可以第一文本序列、第二文本序列、文本相似度、第三文本序列以及期望目标文本，对文本翻译模型的模型参数进行联合迭代更新，能够将对话理解模型作为文本翻译模型的辅助训练任务，对文本翻译模型进行联合训练，能够通过不断学习文本语种变化的特征以及文本之间的关联程度，来增强文本翻译模型对文本之间的连贯性学习能力，能够提高文本翻译模型的训练精度，从而提高文本翻译模型生成译文的连贯性以及准确性。

可选地，在上述图2对应的实施例的基础上，本申请实施例提供的模型训练的方法另一个可选实施例中，如图3所示，将源端文本集合、目标文本集合以及期望目标文本作为对话理解模型的输入，通过对话理解模型输出第一文本序列、第二文本序列以及文本相似度，包括：

在步骤S301中，获取源端文本集合所对应的源端文本嵌入向量，并，获取目标文本集合所对应的目标文本嵌入向量，并，获取期望目标文本所对应的期望目标嵌入向量；

在步骤S302中，将目标文本嵌入向量以及期望目标嵌入向量作为单语言理解模型的输入，通过单语言理解模型获取第一文本序列；

在步骤S303中，将源端文本嵌入向量以及期望目标嵌入向量作为跨语言理解模型的输入，通过跨语言理解模型获取第二文本序列；

在步骤S304中，将目标文本嵌入向量以及期望目标嵌入向量作为对话判别模型的输入，通过对话判别模型获取文本相似度。

在本实施例中，在获取到源端文本集合、目标文本集合以及期望目标文本后，为了使机器学习能够更好地学习到文本中的特征，可以将源端文本集合、目标文本集合以及期望目标文本转换为机器学习算法易于利用的一种形式，本实施例可以先将源端文本集合、目标文本集合以及期望目标文本分别转换为嵌入向量表示，可以得到源端文本集合所对应的源端文本嵌入向量，目标文本集合所对应的目标文本嵌入向量，以及期望目标文本所对应的期望目标嵌入向量，然后可以将目标文本嵌入向量以及期望目标嵌入向量作为单语言理解模型的输入，可以通过单语言理解模型来充分学习多个第二语种对应的目标文本的对话历史之间的连贯的语义关系，以获取第一文本序列，来提高单语言理解模型翻译的连贯性。

同理，将源端文本嵌入向量以及期望目标嵌入向量作为跨语言理解模型的输入，可以通过单语言理解模型来充分学习多个第一语种对应的源端文本的对话历史之间的连贯的语义关系，以及基于属于第二语种期望目标文本的语义特征学习文本语种变化的特征，以获取第二文本序列，来提高跨语言理解模型的跨语的能力以及提高模型翻译的连贯性。

同理，将目标文本嵌入向量以及期望目标嵌入向量作为对话判别模型的输入，可以通过对话判别模型来学习期望目标文本与目标文本集合的关联程度的分布，进而可以通过关联程度的分布来获取文本相似度，以判别生成译文是否与目标文本集合中的对话历史是语义相连贯的。

具体地，当获取到源端文本集合、目标文本集合以及期望目标文本后，可以分别对源端文本集合、目标文本集合以及期望目标文本进行分词处理，并将处理得到的词语分别通过嵌入层进行向量转换，可以得到源端文本集合所对应的源端文本嵌入向量，目标文本集合所对应的目标文本嵌入向量，以及期望目标文本所对应的期望目标嵌入向量。

进一步地，在获取到源端文本集合所对应的源端文本嵌入向量，目标文本集合所对应的目标文本嵌入向量，以及期望目标文本所对应的期望目标嵌入向量之后，可以目标文本嵌入向量以及期望目标嵌入向量作为单语言理解模型的输入，通过单语言理解模型获取第一文本序列，将源端文本嵌入向量以及期望目标嵌入向量作为跨语言理解模型的输入，通过跨语言理解模型获取第二文本序列，以及将目标文本嵌入向量以及期望目标嵌入向量作为对话判别模型的输入，通过对话判别模型获取文本相似度，以使后续可以通过第一文本序列、第二文本序列、文本相似度以及期望目标文本，对文本翻译模型的模型参数进行联合迭代更新，能够使文本翻译模型不断学习到文本语种变化的特征以及文本之间的关联程度，以增强文本翻译模型对文本之间的连贯性学习能力，提高文本翻译模型的训练精度，从而在一定程度上提高文本翻译模型生成译文的连贯性以及准确性。

可选地，在上述图3对应的实施例的基础上，本申请实施例提供的模型训练的方法另一个可选实施例中，如图4所示，将目标文本嵌入向量以及期望目标嵌入向量作为单语言理解模型的输入，通过单语言理解模型获取第一文本序列，包括

在步骤S401中，将目标文本嵌入向量作为单语言理解模型的编码器的输入，通过单语言理解模型的编码器获取第一目标文本编码序列，第一目标文本编码序列为目标文本嵌入向量属于第二语种的序列表示；

在步骤S402中，将第一目标文本编码序列以及目标期望嵌入向量作为单语言理解模型的解码器的输入，通过单语言理解模型的解码器获取第一文本序列。

具体地，如图11所示，在获取到目标文本嵌入向量以及期望目标嵌入向量后，由于目标文本嵌入向量可以包含有目标文本集合中的大量的字与字之间，词与词之间甚至句子与句子之间的内在关系如连贯的语义关系的参数表征，因此将目标文本嵌入向量作为单语言理解模型(MRG)的编码器(Encoder)的输入，通过单语言理解模型的编码器获取到N个编码向量表示，其中，N为大于1的整数，如图12所示，具体可以通过Transformer BottomBlock层来获取，进而可以采用向量维度取平均的方式获取第一目标文本编码序列，具体可以是将获取到的N个编码向量表示进行叠加得到一个N*d维向量矩阵，然后，可以对该N*d维向量矩阵进行取平均，可以得到一个能够用于表示目标文本集合的核心内容的1*d维的序列表示，即第一目标文本编码序列。

进一步地，可以将第一目标文本编码序列以及目标期望嵌入向量作为单语言理解模型的解码器的输入，可以采用自注意机制对目标期望嵌入向量进行编码学习，以及采用另一个自注意机制对第一目标文本编码序列编码学习，然后将编码学习到向量表示进行交互，可以得到交互表示

并将交互表示通过分类器进行解码，可以准确获取到如下(5)式的解码结果，即第一文本序列：

其中，W_m是学习矩阵参数，b_m是学习参数。

进一步地，可以根据第一文本序列以及第一目标文本编码序列，基于如下(6)式的损失函数计算损失值，然后，然后损失值对单语言理解模型的的模型参数进行更新，其中，模型参数的更新具体可以是采用梯度下降的方式，还可以采用其他方式，此处不做具体限制：

例如，如图11所示，将目标文本嵌入向量

作为单语言理解模型的编码器的输入，经过编码可以得到第一目标文本编码序列如

进而可以将第一目标文本编码序列如

和目标期望嵌入向量Y_u，作为单语言理解模型的解码器的输入，得到交互表示

并将交互表示通过分类器进行解码，得到第一文本序列。

可选地，在上述图3对应的实施例的基础上，本申请实施例提供的模型训练的方法另一个可选实施例中，如图5所示，将源端文本嵌入向量以及期望目标嵌入向量作为跨语言理解模型的输入，通过跨语言理解模型获取第二文本序列，包括：

在步骤S501中，将源端文本嵌入向量作为跨语言理解模型的编码器的输入，通过跨语言理解模型的编码器获取源端文本编码序列，源端文本编码序列为源端文本嵌入向量属于第二语种的序列表示；

在步骤S502中，将源端文本编码序列以及目标期望嵌入向量作为跨语言理解模型的解码器的输入，通过跨语言理解模型的解码器获取第二文本序列。

在本实施例中，如图11所示，在获取到源端文本嵌入向量以及期望目标嵌入向量后，由于源端文本嵌入向量可以包含有源端文本集合中的大量的字与字之间，词与词之间甚至句子与句子之间的内在关系如连贯的语义关系的参数表征，因此可以将源端文本嵌入向量作为跨语言理解模型(DRG)的编码器(Encoder)的输入，通过跨语言理解模型的编码器获取到多个编码向量表示，如图12所示，具体可以通过Transformer Bottom Block层来获取，进而可以采用向量维度取平均的方式获取源端文本编码序列，其中，获取源端文本编码序列的方式与步骤S401获取第一目标文本编码序列的方式相似，此处不再赘述。

进一步地，可以将源端文本编码序列以及目标期望嵌入向量作为跨语言理解模型的解码器的输入，可以采用自注意机制对目标期望嵌入向量进行编码学习，以及采用另一个自注意机制对源端文本编码序列编码学习，然后将编码学习到向量表示进行交互，可以得到交互表示

并将交互表示通过分类器进行解码，可以准确获取到如下(7)式的解码结果，即第二文本序列：

其中，W_c是学习矩阵参数，b_c是学习参数。

进一步地，可以根据第二文本序列以及源端文本编码序列，基于如下(8)式的损失函数计算损失值，然后，然后损失值对跨语言理解模型的的模型参数进行更新，其中，模型参数的更新具体可以是采用梯度下降的方式，还可以采用其他方式，此处不做具体限制：

例如，如图11所示，将源端文本嵌入向量

作为跨语言理解模型的编码器的输入，经过编码可以得到源端文本编码序列如

进而可以将源端文本编码序列如

和目标期望嵌入向量Y_u，作为跨语言理解模型的解码器的输入，得到交互表示

并将交互表示通过分类器进行解码，得到第二文本序列。

可选地，在上述图3对应的实施例的基础上，本申请实施例提供的模型训练的方法另一个可选实施例中，如图6所示，将目标文本嵌入向量以及期望目标嵌入向量作为对话判别模型的输入，通过对话判别模型获取文本相似度，包括：

在步骤S601中，将目标文本嵌入向量作为对话判别模型的编码器的输入，通过对话判别模型的编码器获取第二目标文本编码序列，第二目标文本编码序列为目标文本嵌入向量属于第二语种的序列表示；

在步骤S602中，将期望目标嵌入向量作为对话判别模型的编码器的输入，通过对话判别模型的编码器获取期望目标编码序列，期望目标编码序列为期望目标嵌入向量属于第二语种的序列表示；

在步骤S603中，获取目标文本嵌入向量所对应的负采样文本嵌入向量，其中，负采样文本嵌入向量为不属于目标文本集合的文本所对应的向量表示；

在步骤S604中，将负采样文本嵌入向量作为对话判别模型的编码器的输入，通过对话判别模型的编码器获取负采样文本编码序列，负采样文本编码序列为负采样文本嵌入向量属于第二语种的序列表示；

在步骤S605中，将第二目标文本编码序列、期望目标编码序列以及负采样文本编码序列作为对话判别模型的分类器的输入，通过对话判别模型的分类器获取文本相似度。

在本实施例中，如图11所示，在获取到目标文本嵌入向量以及期望目标嵌入向量后，为了更好地学习目标文本集合和期望目标文本之间的关联程度，以基于该关联程度来准确判断生成译文是否与目标文本集合中对话历史是语义相连贯的，因此可以将目标文本嵌入向量作为对话判别模型(NUD)的编码器(Encoder)的输入，通过对话判别模型的编码器获取到多个编码向量表示，如图12所示，具体可以通过Transformer Bottom Block层来获取带有预先标注的的CLS标识的向量表示，进而可以采用向量维度取平均的方式获取第二目标文本编码序列，其中，获取第二目标文本编码序列的方式与步骤S401获取第一目标文本编码序列的方式相似，此处不再赘述。

同理，如图11所示，将期望目标嵌入向量作为对话判别模型的编码器的输入，通过对话判别模型的编码器获取到多个编码向量表示，进而可以采用向量维度取平均的方式获取期望目标编码序列，其中，获取期望目标编码序列的方式与步骤S401获取第一目标文本编码序列的方式相似，此处不再赘述。

进一步地，获取目标文本嵌入向量所对应的负采样文本嵌入向量，其中，负采样文本是与目标文本集合所对应的角色对象进行交互的另一角色对象的对话文本，负采样文本嵌入向量为负采用文本的向量表示，即与目标文本集合所对应的交互文本的向量表示；

进一步地，可以将负采样文本嵌入向量作为对话判别模型的编码器的输入，通过对话判别模型的编码器获取到多个编码向量表示，进而可以采用向量维度取平均的方式获取负采样文本编码序列，其中，获取负采样文本编码序列的方式与步骤S401获取第一目标文本编码序列的方式相似，此处不再赘述。

进一步地，可以将第二目标文本编码序列、期望目标编码序列以及负采样文本编码序列作为对话判别模型的解码器的输入，可以采用分类器进行相似度获取，可以准确获取到如下(9)式的解码结果，即文本相似度：

其中，W_n是学习矩阵参数。

进一步地，可以根据文本相似度、第二目标文本编码序列以及负采样文本编码序列，基于如下(10)式的损失函数计算损失值，然后，然后损失值对对话判别型的的模型参数进行更新，其中，模型参数的更新具体可以是采用梯度下降的方式，还可以采用其他方式，此处不做具体限制：

其中，Y_u+表示正例，如当前待翻译语句的说话者曾经说过的话语形成的文本，Y_u-表示负例，如当前待翻译语句的说话者交互的另一个说话者曾经说过的话语形成的文本。

例如，如图11所示，将目标文本嵌入向量

作为对话判别模型的编码器的输入，经过编码可以得到第二目标文本编码序列如

将目标期望嵌入向量Y_u作为对话判别模型的编码器的输入，经过编码可以得到目标期望编码序列如H_Yu，将负采样嵌入向量作为对话判别模型的编码器的输入，经过编码可以得到负采样文本编码序列，进而可以将第二目标文本编码序列如

目标期望编码序列如H_Yu以及负采样文本编码序列通过分类器进行计算，得到文本相似度。

可选地，在上述图3对应的实施例的基础上，本申请实施例提供的模型训练的方法另一个可选实施例中，如图7所示，获取源端文本集合所对应的源端文本嵌入向量，包括

在步骤S701中，对源端文本集合进行分词处理，得到至少两个源端词语，至少两个源端词语属于第一语种；

在步骤S702中，将至少两个源端词语分别通过词嵌入层、位置嵌入层、轮次嵌入层以及角色嵌入层，并将每个嵌入层输出的向量表示进行向量融合，得到源端文本嵌入向量；

在本实施例中，在获取到源端文本集合后，为了使机器学习能够更好地学习到源端文本集合中文本中的特征，可以将源端文本集合转换为机器学习算法易于利用的一种形式，即可以将获取到的源端文本集合转化为N个源端文本嵌入向量，其中，N为大于1的整数，以使后续能够通过对获取到N个源端文本嵌入向量进行相应的处理，可以准确获取属于第二语种的第一文本序列。

具体地，如图13所示，当获取到源端文本集合之后，本实施例可以获取源端文本集合所对应的N个源端文本嵌入向量，具体可以是先对源端文本集合进行分词处理，可以得到两个源端词语，进而可以基于热独(one-hot)编码的方式，将处理得到的每一个源端词语或字，对应成由一个词语总数或字总数组成元素的数组或列表，其中，每一个字或词语都可以用唯一对应的数组或列表对应，以及数组或列表的唯一性用1表示，可以将每一个文本整合成一个稀疏矩阵，即待处理文本所对应的稀疏矩阵。

进一步地，为了避免由于文本字数过多而导致文本运算处理量变大，运算复杂度增加等情况，同时，为了能够更好地学习文本中每一轮次对话上下文之间的连贯性，以及生成对话的角色对象的角色特征，本实施例可以将源端文本集合所对应的稀疏矩阵分别经过嵌入(Embedding)层，具体可以是通过如图13所示的词嵌入(word embeddings)层、位置(positional embeddings)、轮次嵌入(turn embeddings)层以及角色嵌入(roleembeddings)层，并将每个嵌入层输出的向量表示进行向量融合，具体可以是进行维度相加，也可以采用其他融合方式，如维度拼接的方式，此处不做具体限制，可以将稀疏矩阵转化为融合向量表示，进而可以将融合向量表示映射成一个密集矩阵，具体可以是通过一些线性变换(如查表操作)，使得稀疏矩阵可以转化成一个密集矩阵，该密集矩阵可以用N个特征来表征所有的文字，可以理解的是，由于在密集矩阵中，表象上代表着密集矩阵跟单个字的一一对应关系，实际上还蕴含了大量的字与字之间，词与词之间甚至句子与句子之间的内在关系，如连贯的语义关系，这些关系都可以用嵌入层学习到的参数来进行表征，能够通过对稀疏矩阵进行降维处理，可以有效降低运算复杂度，从而在一定程度上提高文本处理的效率。

进一步地，获取到源端文本集合所对应的密集矩阵后，可以词语编码器(Encoder)对密集矩阵进行编码，可以理解为是基于词表与矩阵之间的映射关系，来准确获取源端文本集合中的每个词语或字所对应的向量表示，得到源端文本集合所对应的N个源端文本嵌入向量。

获取目标文本集合所对应的目标文本嵌入向量，包括：

在步骤S703中，对目标文本集合进行分词处理，得到至少两个目标词语，至少两个目标词语属于第二语种；

在步骤S704中，将至少两个目标词语分别通过词嵌入层、位置嵌入层、轮次嵌入层以及角色嵌入层，并将每个嵌入层输出的向量表示进行向量融合，得到目标文本嵌入向量；

具体地，获取目标文本集合所对应的目标文本嵌入向量与步骤S701至步骤S702获取源端文本集合所对应的源端文本嵌入向量的方式相似，此处不再赘述。

获取期望目标文本所对应的期望目标嵌入向量，包括：

在步骤S705中，对期望目标文本进行分词处理，得到至少两个期望端词语，至少两个期望词语属于第二语种；

在步骤S706中，将至少两个期望词语分别通过词嵌入层、位置嵌入层、轮次嵌入层以及角色嵌入层，并将每个嵌入层输出的向量表示进行向量融合，得到期望目标嵌入向量。

具体地，获取期望目标文本所对应的期望目标嵌入向量与步骤S701至步骤S702获取源端文本集合所对应的源端文本嵌入向量的方式相似，此处不再赘述。

可选地，在上述图3对应的实施例的基础上，本申请实施例提供的模型训练的方法另一个可选实施例中，如图8所示，该方法还包括：

在步骤S801中，将目标文本集合以及训练样本对作为对象判别模型的输入，通过对象判别模型获取对象相似度，其中，对象相似度表示目标文本集合与生成目标文本的角色对象之间的关联程度；

在步骤S802中，根据第一文本序列、第二文本序列、文本相似度、第三文本序列、对象相似度以及期望目标文本，对文本翻译模型的模型参数进行更新。

在本实施例中，由于多轮对话产生依赖于说话者的偏好，如果单独编码多轮对话的语句却不考虑它们携带的说话者偏好信息，则无法很好地捕获对话历史中生成该对话的角色对象，导致获取到的对话翻译文本不符合说话的角色对象的语言风格的情况，从而导致获取多轮对话翻译的准确性降低，因此，本实施例通过将目标文本集合以及训练样本对作为对象判别模型的输入，来准确获取能够表示目标文本集合与生成目标文本的角色对象之间的关联程度的对象相似度，其中，对象相似度具体可以表现为分数、概率值或距离等，还可以是其他表现形式，具体可以根据实际应用需求进行设置，此处不做具体限制，进而可以根据第一文本序列、第二文本序列、文本相似度、第三文本序列、对象相似度以及期望目标文本，对文本翻译模型的模型参数进行联合迭代更新，能够将对话理解模型以及对象判别模型作为文本翻译模型的辅助训练任务，对文本翻译模型进行联合训练，能够通过不断学习文本语种变化的特征以及文本之间的关联程度，同时学习文本与生成文本的角色对象之间的关联程度，来增强文本翻译模型对文本之间的连贯性学习能力，以及增强文本翻译模型确定生成文本的角色对象偏好的学习能力，能够提高文本翻译模型的训练精度，从而提高文本翻译模型生成译文的连贯性以及准确性，以及生成的译文能够保持角色对象的偏好信息。

具体地，在获取到目标文本集合以及训练样本对后，可以获取目标文本集合所对应的目标文本嵌入向量，获取期望目标文本所对应的期望目标嵌入向量，以及获取初始源端文本所对应的初始源端嵌入向量。

进一步地，如图11所示，为了更好地学习目标文本集合与生成目标文本的角色对象之间的关联程度，以基于该关联程度来准确判断生成译文是否与生成目标文本的角色对象，即原语言说话者保持一致的特性，因此可以将目标文本嵌入向量作为对象判别模型(SI)的编码器(Encoder)的输入，通过对象判别模型的编码器获取到多个编码向量表示，如图12所示，具体可以通过Transformer Bottom Block层来获取带有预先标注的的CLS标识的向量表示，进而可以采用向量维度取平均的方式获取相应的编码序列，其中，该编码序列的方式与步骤S401获取第一目标文本编码序列的方式相似，此处不再赘述。

同理，如图11所示，将期望目标嵌入向量以及期望目标嵌入向量所对应的角色对象曾经说过的历史对话所形成的文本作为对话判别模型的编码器的输入，通过对话判别模型的编码器获取到多个编码向量表示，进而可以采用向量维度取平均的方式获取相应的目标编码序列，其中，获取相应的目标编码序列的方式与步骤S401获取第一目标文本编码序列的方式相似，此处不再赘述。

同理，可以将初始源端嵌入向量以及初始源端嵌入向量所对应的角色对象曾经说过的历史对话所形成的文本作为对话判别模型的编码器的输入，通过对话判别模型的编码器获取到多个编码向量表示，进而可以采用向量维度取平均的方式获取相应的源端编码序列，其中，获取相应的源端编码序列的方式与步骤S401获取第一目标文本编码序列的方式相似，此处不再赘述。

进一步地，可以将获取到的编码序列以及目标编码序列作为对象判别模型的解码器的输入，可以采用分类器进行相似度获取，可以准确获取到如下(11)式的解码结果，即文本相似度：

其中，W_s是学习矩阵参数。

进一步地，可以根据对象相似度、获取到的编码序列，基于如下(12)式的损失函数计算损失值，然后，然后损失值对对象判别型的的模型参数进行更新，其中，模型参数的更新具体可以是采用梯度下降的方式，还可以采用其他方式，此处不做具体限制：

其中，

表示初始源端嵌入向量所对应的角色对象曾经说过的历史对话所形成的文本，

表示期望目标嵌入向量所对应的角色对象曾经说过的历史对话所形成的文本。

例如，如图11所示，将目标文本嵌入向量

作为对象判别模型的编码器的输入，经过编码可以得到编码序列如

将目标期望嵌入向量Y_u作为对话判别模型的编码器的输入，经过编码可以得到目标期望编码序列如H_Yu，进而可以将编码序列如

目标期望编码序列如H_Yu通过分类器进行计算，得到对象相似度。

进一步地，可以根据第一文本序列、第二文本序列、文本相似度、第三文本序列、对象相似度以及期望目标文本，基于如下(13)式的损失函数计算损失值，然后，然后损失值对对文本翻译模型的模型参数进行更新，其中，模型参数的更新具体可以是采用梯度下降的方式，还可以采用其他方式，此处不做具体限制：

L＝L_NCT+α(L_MRG+L_CRG+L_NUD)+βL_SI (13)

其中，α和β表示平衡因子。

下面对本申请中的模型训练的装置进行详细描述，请参阅图14，图14为本申请实施例中模型训练的装置的一个实施例示意图，模型训练的装置20包括：

获取单元201，用于获取源端文本集合、目标文本集合以及训练样本对，其中，源端文本集合包括第一语种对应的源端文本，目标文本集合包括第二语种对应的目标文本，训练样本对包括第一语种对应的初始源端文本以及第二语种对应的期望目标文本；

处理单元202，用于将源端文本集合、目标文本集合以及期望目标文本作为对话理解模型的输入，通过对话理解模型输出第一文本序列、第二文本序列以及文本相似度，其中，第一文本序列对应于第二语种，第二文本序列对应于第二语种，文本相似度表示期望目标文本与目标文本集合的关联程度；

处理单元202，还用于将源端文本集合以及训练样本对作为文本翻译模型的输入，通过文本翻译模型获取第三文本序列，其中，第三文本序列对应于第二语种；

处理单元202，还用于根据第一文本序列、第二文本序列、文本相似度、第三文本序列以及期望目标文本，对文本翻译模型的模型参数进行更新。

可选地，在上述图14对应的实施例的基础上，本申请实施例提供的模型训练的装置的另一实施例中，处理单元202具体可以用于：

处理单元202具体可以用于：

可选地，在上述图14对应的实施例的基础上，本申请实施例提供的模型训练的装置的另一实施例中，

处理单元202，还用于将目标文本集合以及训练样本对作为对象判别模型的输入，通过对象判别模型获取对象相似度，其中，对象相似度表示目标文本集合与生成目标文本的角色对象之间的关联程度；

处理单元202，还用于根据第一文本序列、第二文本序列、文本相似度、第三文本序列、对象相似度以及期望目标文本，对文本翻译模型的模型参数进行更新。

本申请另一方面提供了另一种计算机设备示意图，如图15所示，图15是本申请实施例提供的一种计算机设备结构示意图，该计算机设备300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)310(例如，一个或一个以上处理器)和存储器320，一个或一个以上存储应用程序331或数据332的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器320和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对计算机设备300中的一系列指令操作。更进一步地，中央处理器310可以设置为与存储介质330通信，在计算机设备300上执行存储介质330中的一系列指令操作。

计算机设备300还可以包括一个或一个以上电源340，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口360，和/或，一个或一个以上操作系统333，例如Windows Server^TM，Mac OS X^TM，Unix^TM,Linux^TM，FreeBSD^TM等等。

上述计算机设备300还用于执行如图2至图8对应的实施例中的步骤。

本申请的另一方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如图2至图8所示实施例描述的方法中的步骤。

本申请的另一方面提供了一种包含指令的计算机程序产品当其在计算机或处理器上运行时，使得所述计算机或处理器执行如图2至图8所示实施例描述的方法中的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims

1.一种模型训练的方法，其特征在于，包括：

获取源端文本集合、目标文本集合以及训练样本对，其中，所述源端文本集合包括第一语种对应的源端文本，所述目标文本集合包括第二语种对应的目标文本，所述训练样本对包括所述第一语种对应的初始源端文本以及所述第二语种对应的期望目标文本；

将所述源端文本集合、所述目标文本集合以及所述期望目标文本作为对话理解模型的输入，通过对话理解模型输出第一文本序列、第二文本序列以及文本相似度，其中，所述第一文本序列对应于所述第二语种，所述第二文本序列对应于所述第二语种，所述文本相似度表示所述期望目标文本与所述目标文本集合的关联程度；

将所述源端文本集合以及训练样本对作为文本翻译模型的输入，通过所述文本翻译模型获取第三文本序列，其中，所述第三文本序列对应于所述第二语种；

根据所述第一文本序列、所述第二文本序列、所述文本相似度、第三文本序列以及所述期望目标文本，对所述文本翻译模型的模型参数进行更新。

2.根据权利要求1所述的方法，其特征在于，所示对话理解模型包括单语言理解模型、跨语言理解模型以及对话判别模型；

所述将所述源端文本集合、所述目标文本集合以及所述期望目标文本作为对话理解模型的输入，通过对话理解模型输出第一文本序列、第二文本序列以及文本相似度，包括：

获取所述源端文本集合所对应的源端文本嵌入向量，并，获取所述目标文本集合所对应的目标文本嵌入向量，并，获取所述期望目标文本所对应的期望目标嵌入向量；

将所述目标文本嵌入向量以及所述期望目标嵌入向量作为所述单语言理解模型的输入，通过所述单语言理解模型获取所述第一文本序列；

将所述源端文本嵌入向量以及所述期望目标嵌入向量作为所述跨语言理解模型的输入，通过所述跨语言理解模型获取所述第二文本序列；

将所述目标文本嵌入向量以及所述期望目标嵌入向量作为所述对话判别模型的输入，通过所述对话判别模型获取所述文本相似度。

3.根据权利要求2所述的方法，其特征在于，所述将所述目标文本嵌入向量以及所述期望目标嵌入向量作为所述单语言理解模型的输入，通过所述单语言理解模型获取所述第一文本序列，包括：

将所述目标文本嵌入向量作为所述单语言理解模型的编码器的输入，通过所述单语言理解模型的编码器获取第一目标文本编码序列，所述第一目标文本编码序列为所述目标文本嵌入向量属于第二语种的序列表示；

将所述第一目标文本编码序列以及所述目标期望嵌入向量作为所述单语言理解模型的解码器的输入，通过所述单语言理解模型的解码器获取所述第一文本序列。

4.根据权利要求2所述的方法，其特征在于，所述将所述源端文本嵌入向量以及所述期望目标嵌入向量作为所述跨语言理解模型的输入，通过所述跨语言理解模型获取所述第二文本序列，包括：

将所述源端文本嵌入向量作为所述跨语言理解模型的编码器的输入，通过所述跨语言理解模型的编码器获取源端文本编码序列，所述源端文本编码序列为所述源端文本嵌入向量属于第二语种的序列表示；

将所述源端文本编码序列以及所述目标期望嵌入向量作为所述跨语言理解模型的解码器的输入，通过所述跨语言理解模型的解码器获取所述第二文本序列。

5.根据权利要求2所述的方法，其特征在于，所述将所述目标文本嵌入向量以及所述期望目标嵌入向量作为所述对话判别模型的输入，通过所述对话判别模型获取所述文本相似度，包括：

将所述目标文本嵌入向量作为所述对话判别模型的编码器的输入，通过所述对话判别模型的编码器获取第二目标文本编码序列，所述第二目标文本编码序列为所述目标文本嵌入向量属于第二语种的序列表示；

将所述期望目标嵌入向量作为所述对话判别模型的编码器的输入，通过所述对话判别模型的编码器获取期望目标编码序列，所述期望目标编码序列为期望目标嵌入向量属于第二语种的序列表示；

获取所述目标文本嵌入向量所对应的负采样文本嵌入向量，其中，所述负采样文本嵌入向量为不属于所述目标文本集合的文本所对应的向量表示；

将所述负采样文本嵌入向量作为所述对话判别模型的编码器的输入，通过所述对话判别模型的编码器获取负采样文本编码序列，所述负采样文本编码序列为所述负采样文本嵌入向量属于第二语种的序列表示；

将所述第二目标文本编码序列、所述期望目标编码序列以及所述负采样文本编码序列作为所述对话判别模型的分类器的输入，通过所述对话判别模型的分类器获取所述文本相似度。

6.根据权利要求2所述的方法，其特征在于，所述获取所述源端文本集合所对应的源端文本嵌入向量，包括：

对所述源端文本集合进行分词处理，得到至少两个源端词语，所述至少两个源端词语属于第一语种；

将所述至少两个源端词语分别通过词嵌入层、位置嵌入层、轮次嵌入层以及角色嵌入层，并将每个嵌入层输出的向量表示进行向量融合，得到所述源端文本嵌入向量；

所述获取所述目标文本集合所对应的目标文本嵌入向量，包括：

对所述目标文本集合进行分词处理，得到至少两个目标词语，所述至少两个目标词语属于第二语种；

将所述至少两个目标词语分别通过词嵌入层、位置嵌入层、轮次嵌入层以及角色嵌入层，并将每个嵌入层输出的向量表示进行向量融合，得到所述目标文本嵌入向量；

所述获取所述期望目标文本所对应的期望目标嵌入向量，包括：

对所述期望目标文本进行分词处理，得到至少两个期望端词语，所述至少两个期望词语属于第二语种；

将所述至少两个期望词语分别通过词嵌入层、位置嵌入层、轮次嵌入层以及角色嵌入层，并将每个嵌入层输出的向量表示进行向量融合，得到所述期望目标嵌入向量。

7.根据权利要求1所述的方法，其特征在于，所述根据所述第一文本序列、所述第二文本序列、所述文本相似度、第三文本序列以及所述期望目标文本，对所述文本翻译模型的模型参数进行更新之前，所述方法还包括：

将所述目标文本集合以及所述训练样本对作为对象判别模型的输入，通过对象判别模型获取对象相似度，其中，所述对象相似度表示所述目标文本集合与生成目标文本的角色对象之间的关联程度；

所述根据所述第一文本序列、所述第二文本序列、所述文本相似度、第三文本序列以及所述期望目标文本，对所述文本翻译模型的模型参数进行更新，包括：

根据所述第一文本序列、所述第二文本序列、所述文本相似度、第三文本序列、所述对象相似度以及所述期望目标文本，对所述文本翻译模型的模型参数进行更新。

8.一种模型训练的装置，其特征在于，包括：

获取单元，用于获取源端文本集合、目标文本集合以及训练样本对，其中，所述源端文本集合包括第一语种对应的源端文本，所述目标文本集合包括第二语种对应的目标文本，所述训练样本对包括所述第一语种对应的初始源端文本以及所述第二语种对应的期望目标文本；

处理单元，用于将所述源端文本集合、所述目标文本集合以及所述期望目标文本作为对话理解模型的输入，通过对话理解模型输出第一文本序列、第二文本序列以及文本相似度，其中，所述第一文本序列对应于所述第二语种，所述第二文本序列对应于所述第二语种，所述文本相似度表示所述期望目标文本与所述目标文本集合的关联程度；

所述处理单元，还用于将所述源端文本集合以及训练样本对作为文本翻译模型的输入，通过所述文本翻译模型获取第三文本序列，其中，所述第三文本序列对应于所述第二语种；

所述处理单元，还用于根据所述第一文本序列、所述第二文本序列、所述文本相似度、第三文本序列以及所述期望目标文本，对所述文本翻译模型的模型参数进行更新。

9.一种计算机设备，其特征在于，包括：存储器、收发器、处理器以及总线系统；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序时实现如权利要求1至7中任一项所述的方法；

所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。

10.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至7中任一项所述的方法。