CN111046679B

CN111046679B - 翻译模型的质量信息获取方法、装置及计算机设备

Info

Publication number: CN111046679B
Application number: CN202010172987.0A
Authority: CN
Inventors: 王星; 何世林; 涂兆鹏; 史树明
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2020-03-13
Filing date: 2020-03-13
Publication date: 2020-07-28
Anticipated expiration: 2040-03-13
Also published as: CN111046679A

Abstract

本申请公开了一种翻译模型的质量信息获取方法、装置、计算机设备及存储介质，属于机器学习技术领域。本申请通过将样本语料输入基于神经网络的翻译模型，通过翻译模型对样本语料进行机器翻译，输出预测译文，基于样本语料、预测译文以及参考语料三者所包含的短语之间的对应关系，可以抽取在多个语种中表示相同语义的短语对，得到翻译模型的学习结果信息，该学习结果信息可以用于表示该翻译模型已学习到的多个语种短语之间的映射关系，基于该学习结果信息，生成该翻译模型的质量信息，不依赖于翻译模型的模型结构和参数进行限定，具有较高的可移植性，能够准确评估和量化出翻译模型所学习到的知识。

Description

翻译模型的质量信息获取方法、装置及计算机设备

技术领域

本申请涉及机器学习技术领域，特别涉及一种翻译模型的质量信息获取方法、装置、计算机设备及存储介质。

背景技术

近年来，在机器翻译领域中，基于深度学习的机器翻译方法得到了极大的发展，通常可以通过神经网络等翻译模型来进行机器翻译，由于翻译模型中神经元的高维表示形式以及神经元之间复杂的非线性变换，理解翻译模型的工作机制变得非常困难，为翻译模型的训练、调试、优化等方面带来了极大挑战。

目前，在探索翻译模型的可解释性方面，一方面，可以探索模型自身的可解释性，例如，通过分析神经元的中间表示相邻的语言学特性，探索特定神经元在预测过程中扮演的角色，另一方面，可以探索模型行为的可解释性，例如，通过修改模型的输入来观察模型的输出有何改变，得到输入对于输出的贡献度。

在上述过程中，不管是探索模型自身的可解释性，还是探索模型行为的可解释性，较为依赖于具体的模型结构和参数，可移植性较差，而且上述两种方法均不能用来衡量翻译模型所学习到的知识，因此，亟需一种具有较高可移植性的、能够准确评估和量化翻译模型所学习到的知识的质量信息获取方法。

发明内容

本申请实施例提供了一种翻译模型的质量信息获取方法、装置、计算机设备及存储介质，能够准确评估和量化翻译模型所学习到的知识且具有较高的可移植性。该技术方案如下：

一方面，提供了一种翻译模型的质量信息获取方法，该方法包括：

将至少一个语料对中的至少一个样本语料输入至基于神经网络的翻译模型，通过所述翻译模型对所述至少一个样本语料进行机器翻译，得到至少一个预测译文，其中，一个语料对包括一个样本语料以及作为所述样本语料的翻译结果的参考语料；

基于所述至少一个样本语料、所述至少一个预测译文以及至少一个参考语料所包含的短语之间的对应关系，抽取在多个语种中表示相同语义的至少一个短语对，得到所述翻译模型的学习结果信息，所述学习结果信息用于表示所述翻译模型已学习到的多个语种短语之间的映射关系；

基于所述学习结果信息，生成所述翻译模型的质量信息。

一方面，提供了一种翻译模型的质量信息获取装置，该装置包括：

翻译模块，用于将至少一个语料对中的至少一个样本语料输入至基于神经网络的翻译模型，通过所述翻译模型对所述至少一个样本语料进行机器翻译，得到至少一个预测译文，其中，一个语料对包括一个样本语料以及作为所述样本语料的翻译结果的参考语料；

抽取模块，用于基于所述至少一个样本语料、所述至少一个预测译文以及至少一个参考语料所包含的短语之间的对应关系，抽取在多个语种中表示相同语义的至少一个短语对，得到所述翻译模型的学习结果信息，所述学习结果信息用于表示所述翻译模型已学习到的多个语种短语之间的映射关系；

生成模块，用于基于所述学习结果信息，生成所述翻译模型的质量信息。

在一种可能实施方式中，所述质量信息为质量分数，所述装置还包括：

训练模块，用于响应于所述翻译模型的质量分数小于分数阈值，对所述翻译模型进行迭代训练，直到得到质量分数大于或等于所述分数阈值的目标翻译模型。

一方面，提供了一种计算机设备，该计算机设备包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器加载并执行以实现如上述任一种可能实现方式的翻译模型的质量信息获取方法所执行的操作。

一方面，提供了一种存储介质，该存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行以实现如上述任一种可能实现方式的翻译模型的质量信息获取方法所执行的操作。

本申请实施例提供的技术方案带来的有益效果至少包括：

通过将样本语料输入基于神经网络的翻译模型，通过翻译模型对样本语料进行机器翻译，输出预测译文，基于样本语料、预测译文以及参考语料三者所包含的短语之间的对应关系，通过对比样本语料所对应的预测译文以及参考语料所包含的短语是否一致，可以抽取出在多个语种中表示相同语义的短语对，得到翻译模型的学习结果信息，当预测译文和参考语料之间对应短语相一致时，说明翻译模型学习到了如何对这一短语进行翻译，反之，说明翻译模型未学习到如何对这一短语进行翻译，因此该学习结果信息可以用于表示该翻译模型已学习到的多个语种短语之间的映射关系，从而基于该学习结果信息，生成该翻译模型的质量信息，基于这种方式所获得的质量信息，由于不对翻译模型的模型结构和参数进行限定，那么针对任何的翻译模型均能够适用，具有较高的可移植性，此外，由于学习结果信息可以表示出已学到的多个语种短语之间的映射关系，那么就能够通过学习结果信息准确评估和量化出翻译模型所学习到的知识。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种翻译模型的质量信息获取方法的实施环境示意图；

图2是本申请实施例提供的一种翻译模型的质量信息获取方法的流程图；

图3是本申请实施例提供的一种翻译模型的学习结果信息抽取方法的原理图；

图4是本申请实施例提供的一种量化指标与性能曲线的对比图；

图5是本申请实施例提供的一种翻译模型的质量信息获取装置的结构示意图；

图6是本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。

本申请中术语“至少一个”是指一个或多个，“多个”的含义是指两个或两个以上，例如，多个第一位置是指两个或两个以上的第一位置。

人工智能（Artificial Intelligence，AI）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括音频处理技术、计算机视觉技术、自然语言处理技术以及机器学习/深度学习等几大方向。

让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中，自然语言处理（Nature Language Processing，NLP）是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括机器翻译、文本预处理、语义理解、机器人问答、知识图谱等技术。

在NLP领域中，机器翻译（Machine Translation，MT，又称为自动翻译），是指利用计算机将一种自然语言（源语言）转换为另一种自然语言（目标语言）的过程，是计算语言学的一个分支，是人工智能的终极目标之一，具有重要的科学研究价值，同时，机器翻译又具有重要的实用价值。随着经济全球化及互联网的飞速发展，机器翻译技术在促进政治、经济、文化交流等方面起到越来越重要的作用。在机器翻译中，基于深度学习的翻译模型取得了较好的成功，下面将对深度学习进行介绍：

随着AI技术的发展，近年来深度学习取得了极大的发展，在不同的领域中均得到了广泛的应用并且大放异彩，具体涉及到语音识别、计算机视觉、自然语言处理等，例如，在机器翻译、智能安防、视频监控、自动驾驶等实际应用场景中，深度学习均取得了非常优异的表现。深度学习的巨大成功离不开各方面要素的支撑，比如，包括大量的训练数据、强大的硬件计算能力以及各种高级的神经网络的深度学习模型。

以神经网络为例，神经网络表达的是一种映射函数，能够将给定的输入信息通过非线性变换编码成相应的输出，其中非线性变换的具体形式由神经网络从数据中学习而得到。然而，由于神经元的高维表示形式以及神经元之间复杂的非线性变换，比如用于机器翻译的神经网络中存在上亿个实数的参数，这些实数参数表示是极为抽象的，因此理解神经网络的工作机制是一件困难的事情，从而为调试神经网络以及设计新的神经网络带来了极大挑战。例如，由于技术人员并不知道为什么模型学到了什么样的知识，从而也不知道还有哪些知识是当前模型所欠缺的，因此也无法针对性地进行模型修正和提升，无法优化训练出具有更好性能的模型。在实际场景中，这会给具体应用带来极大的不确定性，甚至会造成大量财产和人员损失。比如，假设模型并没有学习到某一条输入数据背后的知识，而这个模型却被用来做预测，因为模型对相应知识的缺乏，那么极容易出现错误的预测结果。

目前，针对翻译模型的可解释性进行探索的方面，有些是针对模型自身的可解释性进行探索，例如，通过分析神经元的中间表示相邻的语言学特性，探索特定神经元在预测过程中扮演的角色；有些是针对模型行为的可解释性进行探索，例如，通过修改模型的输入来观察模型的输出有何改变，得到输入对于输入的贡献度。不管是探索模型自身的可解释性，还是探索模型行为的可解释性，均较为依赖于具体的模型结构和参数，导致可移植性较差，而且上述两种方法均不能用来衡量翻译模型所学习到的知识，有鉴于此，本申请实施例提供一种翻译模型的质量信息获取方法，不仅能够准确评估和量化翻译模型所学习到的知识，而且具有较高的可移植性。

以下，将对本申请实施例所涉及到的术语进行解释：

深度学习（Deep Learning，DL）：是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。

神经网络（Neural Network，NN）：在机器学习和认知科学领域的一种模仿生物神经网络结构和功能的深度学习模型。

神经机器翻译（Neural Machine Translation，NMT）：一种基于神经网络的机器翻译技术。

统计机器翻译（Statistical Machine Translation，SMT）：一种传统的基于贝叶斯概率统计的机器翻译技术。

序列到序列模型（Sequence to Sequence Model，Seq2Seq）：一种输入和输出均为序列的深度神经网络模型。

短语表（Phrase Table）：一种用于表示多个语种短语之间对应关系的列表。

皮尔逊相关度（Pearson Correlation）：用于衡量两个随机变量之间的相关程度，是一个介于0到1之间的值，皮尔逊相关度越接近于1，代表两个随机变量之间的相关程度则越高。

在本申请实施例中，能够通过简单有效的方法来获取翻译模型的质量信息，从而能够帮助技术人员理解翻译模型，具体地，根据样本语料、参考语料以及翻译模型对样本语料进行翻译得到的预测译文，获取翻译模型的学习结果信息，其中，学习结果信息用于表示翻译模型已学习到的多个语种短语之间的映射关系，比如该学习结果信息可以是一个短语表，这个短语表也即是翻译模型所学习到的知识的载体（或称为双语知识表示）。

在获取学习结果信息的过程中，利用训练好的翻译模型强制解码样本语料，通过遮盖的方式去除到翻译模型所没有学习到的字符（比如单词），在剩余学习到的字符基础上，抽取出短语表并进行数据清洗、过滤等操作，最终得到的短语表也即是学习结果信息，能够用于评估翻译模型所学习到的知识，从而根据学习结果信息可以生成翻译模型的质量信息，本申请实施例可以应用与所有的序列到序列的机器翻译模型中，简洁有效、易于建模，能够帮助理解翻译模型的工作机制，通过学习结果信息可以解释模型的训练过程，这对于后续的模型设计的改进或者提升具有极大意义。

图1是本申请实施例提供的一种翻译模型的质量信息获取方法的实施环境示意图。参见图1，在该实施环境中包括终端101和服务器102，终端101和服务器102均为一种计算机设备。

终端101可以用于提供待翻译文本，用户在终端101上导入待翻译文本之后，终端101生成携带该待翻译文本的翻译请求，向服务器102发送翻译请求，使得服务器102响应于翻译请求，对待翻译文本进行翻译，得到待翻译文本的译文，将该待翻译文本的译文返回至终端101。

终端101和服务器102可以通过有线网络或无线网络相连。

服务器102可以用于提供机器翻译服务，服务器102可以包括一台服务器、多台服务器、云计算平台或者虚拟化中心中的至少一种。可选地，服务器102可以承担主要计算工作，终端101可以承担次要计算工作；或者，服务器102承担次要计算工作，终端101承担主要计算工作；或者，终端101和服务器102两者之间采用分布式计算架构进行协同计算。

在一些实施例中，服务器102可以对翻译模型进行迭代训练的过程中，通过本申请实施例提供的翻译模型的质量信息获取方法，获取不同迭代过程中翻译模型的学习结果信息，并生成不同迭代过程中翻译模型的质量信息，从而能够对翻译模型在迭代训练过程中学习到的双语知识表示（也即学习结果信息）进行动态评估，能够有助于更好地理解翻译模型是如何学习到翻译所需要的双语知识，例如，可以在训练过程中每间隔固定训练步数（比如1000步）保存一次当前的模型，直到训练到稳定阶段，对保存下来的每个模型均抽取出学习结果信息，生成各自的质量信息，从而能够以量化的指标来度量模型学习到的双语知识。可选地，质量信息可以是一个量化的质量分数，假如训练出的模型的质量分数小于分数阈值，可以重新对模型进行参数调整和迭代训练，直到得到质量分数大于或等于分数阈值的模型，将此时的模型确定为提供机器翻译服务的翻译模型，并基于该翻译模型对终端101发送的待翻译文本进行机器翻译。

可选地，终端101可以泛指多个终端中的一个，终端101的设备类型包括但不限于：智能手机、平板电脑、电子书阅读器、MP3（Moving Picture Experts Group Audio LayerIII，动态影像专家压缩标准音频层面3）播放器、MP4（Moving Picture Experts GroupAudio Layer IV，动态影像专家压缩标准音频层面4）播放器、膝上型便携计算机或者台式计算机中的至少一种。以下实施例，以终端包括智能手机来进行举例说明。

本领域技术人员可以知晓，上述终端101的数量可以更多或更少。比如上述终端101可以仅为一个，或者上述终端101为几十个或几百个，或者更多数量。本申请实施例对终端101的数量和设备类型不加以限定。

图2是本申请实施例提供的一种翻译模型的质量信息获取方法的流程图。参见图2，该实施例可以应用于计算机设备，以计算机设备为服务器为例进行说明，该实施例包括下述步骤：

201、服务器获取至少一个语料对，该至少一个语料对包括至少一个样本语料以及至少一个参考语料。

其中，该至少一个语料对中任一个语料对均可以包括一个样本语料以及作为该样本语料的翻译结果的参考语料，该至少一个语料对也可以称为“样例语句对”或者“训练数据”。也即是说，一个语料对中的样本语料与参考语料，实际上是这两个文本采用不同语种的语言来表述了同一个含义，例如，样本语料可以为“我喜欢蛋糕”，对应的参考语料可以为“I like cake”。

在一些实施例中，服务器可以确定翻译模型的源语言和目标语言，在数据库中查询样本语料的语种为该源语言且参考语料的语种为该目标语言的至少一个语料对，以获取查询得到的至少一个语料对。在获取过程中，由于数据库可以是本地数据库也可以是云端数据库，因此服务器可以从本地数据库中读取至少一个语料对，也可以从云端数据库中下载至少一个语料对，本申请实施例不对语料对的获取方式进行具体限定。

202、服务器将至少一个语料对中的至少一个样本语料输入至基于神经网络的翻译模型，通过该翻译模型对该至少一个样本语料进行机器翻译，得到至少一个预测译文。

其中，该翻译模型可以是任一能够进行双语转换的神经机器翻译模型，例如，该翻译模型可以是Transformer模型，也可以是RNN-Search模型，或者其他的序列到序列模型，本申请实施例不对翻译模型的类型进行具体限定。翻译模型的输入文本所属语种称为翻译模型的源语言，翻译模型的输出文本所属语种称为翻译模型的目标语言，例如，源语言为英语且目标语言为德语，或者，源语言为英语且目标语言为日语，只要源语言和目标语言是不同的语种即可，本申请实施例不对翻译模型的源语言或者目标语言进行具体限定。

在上述过程中，以翻译模型为序列到序列的神经网络（一种序列到序列模型）为例，序列到序列的神经网络其输入和输出均为文本序列，在神经网络中可以包括多个隐藏层，服务器将至少一个样本语料输入神经网络的多个隐藏层，通过该多个隐藏层对该至少一个样本语料进行非线性变换，从而将该至少一个样本语料编码为至少一个预测译文。例如，服务器将样本语料“我喜欢蛋糕”输入翻译模型，通过翻译模型对样本语料“我喜欢蛋糕”进行机器翻译，输出对应的预测译文为“I like cake”。

在一个示例中，假设至少一个语料对表示为D =（X，Y），翻译模型表示为F，其中D表示语料对，X表示样本语料，Y表示参考语料，对于一个给定的输入序列X = {x₁，x₂，…，x_M}，X属于D，翻译模型F通过对输入序列进行解码，将输入序列转换成相应的输出序列Y = {y₁，y₂，…，y_N}，需要说明的是，在解码输入序列中t时刻的字符x_t时，基于的是T中前t-1的所有时刻的预测结果，也即是基于{y₁，y₂，…，y_t-1}来预测y_t。其中，M表示输入序列中字符数量，M为大于或等于1的整数，N表示输出序列中字符数量，N为大于或等于1的整数，t为大于或等于0的数值。

在一些实施例中，上述解码过程可以是强制解码的过程，在非强制解码的过程中，假设某一时刻的预测结果出错，由于下一时刻的预测结果需要参考之前所有时刻的预测结果，那么会连带影响该时刻之后的所有时刻的预测结果，这样会导致后续基于预测译文来抽取学习结果信息时准确性有所下降，而在强制解码过程中，即使某一时刻的预测结果出错，下一时刻的预测结果需要参考的是之前所有时刻的在参考语料中的参考结果，而并非参考模型预测出之前所有时刻的预测结果，从而能够保证基于预测译文抽取出的学习结果信息具有较高的准确性。

203、服务器基于该至少一个样本语料、该至少一个预测译文以及至少一个参考语料所包含的短语之间的对应关系，抽取在多个语种中表示相同语义的至少一个短语对，得到该翻译模型的学习结果信息，该学习结果信息用于表示该翻译模型已学习到的多个语种短语之间的映射关系。

在上述过程中，由于一个样本语料分别对应于一个参考语料和一个预测译文，参考语料相当于标准的翻译结果，而预测译文则是翻译模型给出的翻译结果，因此，通过分析同一个样本语料的参考语料和预测译文是否一致，即可确定翻译模型是否学习到了样本语料与参考语料之间的映射关系，也即确定翻译模型是否学习到了样本语料与参考语料之间的双语知识。

在上述步骤202中，由于每个样本语料可以包括至少一个短语（当然，每个短语中可以包括至少一个字符），样本语料中的每个短语均可以在参考语料以及预测译文中找到对应的短语，那么服务器基于样本语料、预测译文以及参考语料所包含的短语之间的对应关系，可以抽取出在多个语种中表示相同语义的至少一个短语对，该至少一个短语对所指示的样本语料具有相同的参考语料和预测译文，将该至少一个短语对确定为学习结果信息。

在一些实施例中，服务器在获取学习结果信息时，可以执行下述子步骤2031-2034：

2031、对任一样本语料，服务器获取该样本语料分别与该样本语料的预测译文以及参考语料之间的词对齐信息，该词对齐信息是指将该样本语料中的字符对应翻译至该预测译文或者该参考语料中的字符。

在上述过程中，词对齐是指样本语料与参考语料中具有相同语义的字符（例如单词）之间的映射关系，还可以指样本语料与预测译文中具有相同语义的字符之间的映射关系，换言之，具有映射关系的两个字符可以表示相同的语义，但分属于不同的语种。

在一个示例中，假设样本语料为“我喜欢蛋糕”，参考语料和预测译文均为“I likecake”，那么样本语料与参考语料（或预测译文）之间的词对齐信息如下：“我”与“I”对齐，“喜欢”与“like”对齐，“蛋糕”与“cake”对齐。

在上述过程中，服务器可以通过对齐函数来获取上述词对齐信息，对齐函数可以由不同的词对齐工具提供，例如giza++、fastalign、anymalign、mgiza（giza多进程版本）、berkeley aligner等，本申请实施例不对词对齐工具的类型进行具体限定。

2032、服务器基于该词对齐信息，确定该样本语料的短语分别与该预测译文的短语以及该参考语料的短语之间的对应关系。

在上述过程中，由于词对齐信息能够表示出属于不同语种但具有相同语义的字符之间的映射关系，那么根据词对齐信息，对于样本语料中任一个短语，在确定该短语所包含的至少一个字符之后，根据词对齐信息可以在预测译文中确定与该至少一个字符具有相同语义的目标字符，这些目标字符构成了预测译文中与该短语所对齐的目标短语。同理，根据词对齐信息也可以在参考语料中确定与该至少一个字符具有相同语义的目标字符，这些目标字符构成了参考语料中与该短语所对齐的目标短语，具有对应关系的短语和目标短语之间即可构成短语对。

2033、对任一样本语料所包含的任一短语，服务器响应于与该样本语料的短语所对应的预测译文的短语与参考语料的短语不一致，将该预测译文的短语中与该参考语料的短语中不一致的字符替换为掩码，删除包含掩码的短语所构成的短语对。

在上述过程中，对样本语料的短语而言，如果预测译文的短语和参考语料的短语不一致，说明翻译模型没有学习到这个短语中部分或全部字符（也即单词），那么可以将不一致的字符替换为一个特殊的掩码，这样剩下的未被替换的字符就是翻译模型所学习到的了，其中，该掩码可以是任一指定的字符或字符串，例如，可以将掩码设置为“$MASK$”。

例如，假设对输入序列中t时刻的字符x_t，翻译模型预测出的对齐字符为y_t，参考语料中的对齐字符为Y_t，如果y_t与Y_t相同，说明翻译模型学习到了这个字符在不同语种之间的映射关系，执行下述步骤2034，反之，如果y_t与Y_t不相同，说明翻译模型没有学习到这个字符在不同语种之间的映射关系，那么将没有学习到的字符用一个掩码来进行替换，同时删除所有包含掩码的短语，以及删除与包含掩码的短语具有对应关系的所有短语。

在一个示例中，假设样本语料为“我喜欢蛋糕”，样本语料包含两个短语：“我喜欢”以及“喜欢蛋糕”，参考语料为“I like cake”，参考语料包含两个短语：“I like”以及“likecake”，翻译模型输出的预测译文为“I like milk”，预测译文包含两个短语“I like”以及“like milk”，此时，根据词对齐信息，可以确定样本语料短语“我喜欢”、参考语料短语“Ilike”以及预测译文短语“I like”三者对齐，由于参考语料短语和预测译文短语完全相同，可以执行下述步骤2034，将“我喜欢”和“I like”抽取为一个短语对，同理，根据词对齐信息，可以确定样本语料短语“喜欢蛋糕”、参考语料短语“like cake”以及预测译文短语“like milk”三者对齐，由于参考语料短语和预测译文短语并不相同，此时，可以将预测译文短语中与参考语料短语不同的字符“milk”替换为一个特定掩码“$MASK$”，将样本语料短语“喜欢蛋糕”和掩码处理后的预测译文短语“like $MASK$”抽取为一个短语对，由于该短语对携带包含掩码的短语，因此删除该短语对。

在上述步骤2033中，通过对预测译文的短语与参考语料的短语中不一致的字符进行掩码替换，能够简单快捷的表示出当前模型所未学习到的双语短语知识，从而能够在数据清洗的过程中，快速的遍历出携带掩码的短语对，删除这些携带掩码的短语对，能够加快对短语对进行数据清洗的效率，从而加快获取学习结果信息的效率。

在一些实施例中，服务器也可以不对预测译文的短语与参考语料的短语中不一致的字符进行掩码替换，这时服务器仅需要逐个检测预测译文的短语与参考语料的短语是否存在不一致的字符，如果存在不一致的字符，不进行掩码替换，而是直接删除掉整个预测译文的短语、参考语料的短语以及与两者对应的样本语料的短语，从而能够通过逐个遍历的检测逻辑，基于最终保留下来的短语对构建短语表，将短语表作为学习结果信息，从而达到抽取学习结果信息的效果。

2034、对任一样本语料所包含的任一短语，服务器响应于与该样本语料的短语所对应的预测译文的短语与参考语料的短语相一致，将该样本语料的短语和该预测译文的短语抽取为一个短语对；重复执行抽取短语对的操作，将得到的至少一个短语对确定为该学习结果信息。

在上述过程中，对样本语料的短语而言，如果预测译文的短语和参考语料的短语相一致，说明翻译模型学习到了这个短语中的全部字符（也即单词），那么可以进行短语对的抽取，将样本语料的短语和预测译文的短语抽取为一个短语对，在整个训练数据（也即是至少一个语料对）上重复执行抽取短语对的操作，由于没有学到的字符会被替换成掩码，因此抽取到的短语对就能够表示出当前的翻译模型已经掌握了哪些字符以及尚未掌握哪些字符。具体地，对于短语对而言，由于参考语料短语和预测译文短语一致的时候，短语中的字符不会被掩码替换，也就会完整的保留下来，那么保留下来的未被掩码替换的字符可以表示出当前翻译模型已掌握的字符，而被替换为掩码的字符则可以表示出当前翻译模型尚未掌握的字符。进一步地，删除包含掩码的短语所构成的短语对，相当于对至少一个短语对进行了一次过滤，删除掉了无用的掩码数据。

在上述过程中，抽取到至少一个短语对之后，可以将该至少一个短语对构建为短语表，将短语表作为学习结果信息，这一过程也可以称为在给定掩码数据之后对短语表进行抽取的过程。在过滤掩码数据的时候，可以先构建携带掩码数据的短语表，再遍历整个短语表删除包含掩码的短语对，或者，也可以先对短语对进行过滤，删除包含掩码的短语对，将剩余的短语对构建为短语表，这里不对过滤掩码数据的执行时序进行具体限定。

在一些实施例中，在构建短语表之后，还可以对短语表再次进行后处理清洗过滤：服务器可以基于词频、正向翻译概率或者反向翻译概率中至少一项，对该至少一个短语对进行数据筛选。

在上述过程中，由于整个短语表包括了翻译模型所学习到的所有不同语种短语，那么可以针对短语表进行分析，统计短语表中各个短语对的词频、正向翻译概率或者反向翻译概率中至少一项，这里的词频是指短语对在训练数据（至少一个语料对）中的出现频次，正向翻译概率是指从源语言向目标语言进行翻译的短语翻译概率，反向翻译概率是指从目标语言向源语言进行翻译的短语翻译概率。由于一些低频的短语对中通常包含大量的冗余信息，对于翻译作用十分有限，那么可以将短语表中词频小于词频阈值的短语对删除，或者，将短语表中正向翻译概率小于第一概率阈值的短语对删除，或者，将短语表中反向翻译概率小于第二概率阈值的短语对删除，从而得到一个相对精炼、高质量的双语短语映射表，能够代表翻译模型中所包含的双语知识表达（也即学习结果信息）。其中，词频阈值为任一大于或等于0的数值，例如词频阈值可以为1，第一概率阈值或者第二概率阈值为任一大于或等于0的数值。

图3是本申请实施例提供的一种翻译模型的学习结果信息抽取方法的原理图，请参考图3，在抽取学习结果信息的过程中，如步骤301所示，利用翻译模型强制解码所有的训练数据（也即是至少一个语料对），如步骤302所示，基于翻译模型输出的预测译文进行掩码处理（基于模型预测做掩码），也即是对未学习到的字符替换为特定的掩码，在此基础上，如步骤303所示，抽取出不同语种的短语对所构成的短语表（抽取短语表），如步骤304所示，对短语表进行相应的后处理，例如清洗、过滤等操作，比如删除掩码数据、删除词频较低的数据，最后如步骤305所示，还可以采用短语表来解释模型的输出，比如，在短语表中抽取一些短语作为翻译模型的给定输入，观测模型输出的短语译文与短语表的交集，从而能够从短语表中确定出输出的短语译文的知识来源，能够增强对翻译模型的理解和解释。

在上述过程中，是从短语的粒度来度量翻译模型的学习结果信息，在一些实施例中，还可以从字符（例如单词）的粒度或者句子的粒度来获取学习结果信息，本申请实施例不对学习结果信息的粒度进行具体限定。

在一些实施例中，服务器从字符粒度获取学习结果信息时，可以根据词对齐信息确定样本语料的字符分别与预测译文的字符以及参考语料的字符之间的对应关系，对任一样本语料所包含的任一字符，如果预测译文和参考语料中与该字符对齐（具有相同语义）的目标字符相一致，那么将该字符以及目标字符抽取为一个字符对，反之，如果预测译文和参考语料中与该字符对齐（具有相同语义）的目标字符不一致，那么将目标字符替换为掩码，删除携带掩码的字符对，重复执行抽取字符对的过程，将抽取得到的至少一个字符对构建一个字符表，将字符表获取为学习结果信息，当然在字符为单词时，字符表也称为单词表。

在一些实施例中，服务器从句子粒度获取学习结果信息时，通常应用于针对长文本进行翻译的场景中，此时可以不执行上述步骤2031-2032，而是获取各个样本语料分别与各个预测译文以及参考语料之间的句子对齐信息，句子对齐信息是指样本语料和参考语料中具有相同语义的句子之间的映射关系，基于句子对齐信息，确定样本语料的句子分别与预测译文的句子以及参考语料的句子之间的对应关系，对任一样本语料所包含的任一句子，如果预测译文和参考语料中与该句子对齐（具有相同语义）的目标句子相一致，那么将该句子以及目标句子抽取为一个句子对，反之，如果预测译文和参考语料中与该句子对齐（具有相同语义）的目标句子不一致，那么将目标句子替换为掩码，删除携带掩码的句子对，重复执行抽取句子对的过程，将抽取得到的至少一个句子对构建一个句子表，将句子表获取为学习结果信息。

204、服务器获取该学习结果信息中所包含的映射关系数目、数据重构率或者翻译质量中至少一项。

其中，映射关系数目是指学习结果信息中所包含的多个语种短语之间的映射关系数目，例如，映射关系数目为短语表中所包含的短语对数目。

在一些实施例中，服务器可以对短语表进行分析，获取短语表中各个短语对所占用的表格栏目数，将该表格栏目数确定为映射关系数目。

其中，该数据重构率用于表示该翻译模型对样本语料翻译得到的预测译文与参考语料相一致的比例。例如，给定一个原始输入，利用短语表强制解码出相应的输出，并观测成功恢复出原始训练数据的输出侧的比例，这一比例作为数据重构率。具体而言，假设给定的原始输入为样本语料的某个短语，此时在短语表中查询与该短语具有相同语义的目标短语，将目标短语输入翻译模型中，通过翻译模型对目标短语进行翻译，输出一个翻译结果，判断输出的翻译结果是否与该短语一致，如果一致，说明翻译模型成功恢复出了原始训练数据的输出侧，否则，说明翻译模型不能成功恢复出原始训练数据的输出侧。

在一些实施例中，服务器可以将短语表中来源于预测译文的至少一个目标短语输入到翻译模型中，翻译模型对该至少一个目标短语进行机器翻译，输出至少一个翻译结果，通过比较该至少一个翻译结果与短语表中至少一个短语是否一致，确定出相一致的目标短语在所有目标短语中的比例，将该比例确定为数据重构率。其中，该至少一个短语是指与该至少一个目标短语具有相同语义但分属于不同语种的短语，换言之，是指该至少一个目标短语所属的至少一个短语对中来源于样本语料的至少一个短语。

其中，该翻译质量为基于学习结果信息的双语评估研究值进行映射所得的数值，可以用于表示该学习结果信息在翻译过程中所起的作用，能够使用基于短语表的统计机器来量化出上述翻译质量，翻译质量的取值越高，说明翻译模型的翻译效果越好。

在一些实施例中，服务器可以对学习结果信息的BLEU（Bilingual EvaluationUnderstudy，双语评估研究）值进行线性或非线性映射，将BLEU值映射至一个取值范围为[0,100]的空间，将映射所得的数值确定为翻译质量，当然，在此仅以翻译质量的取值范围为[0,100]为例进行说明，可选地，服务器也可以将BLEU值映射到其他的取值范围中，本申请实施例不对翻译质量的取值范围进行具体限定。

在上述过程中，以学习结果信息为短语表为例，服务器对短语表进行统计分析，可以获取短语表的映射关系数目、数据重构率或者翻译质量中至少一项，能够以三种不同角度的量化指标来度量翻译模型所学习到的双语知识，能够辅助理解翻译模型的训练过程。

205、服务器基于该映射关系数目、该数据重构率或者该翻译质量中至少一项，生成该翻译模型的质量信息。

在上述过程中，服务器可以对映射关系数目、数据重构率以及翻译质量进行加权处理，将加权得到的质量分数获取为质量信息，各个项目的权重可以由技术人员进行配置，也可以设置为默认值，本申请实施例不对各个项目的权重进行具体限定。

在上述步骤204-205中，服务器基于该学习结果信息，生成该翻译模型的质量信息，上述过程仅为基于学习结果信息获取质量进行的一种示例性实现方式，服务器还可以设置其他的量化指标，例如，可以将短语表中学习到的映射关系数目与所有样本语料中包含的映射关系数目的比值作为质量信息，本申请实施例不对质量信息的内容进行具体限定。

206、服务器响应于该翻译模型的质量信息不满足目标条件，对该翻译模型进行迭代训练，直到得到质量信息满足目标条件的目标翻译模型。

在一些实施例中，以质量信息为质量分数为例，该目标条件可以是质量分数大于或等于分数阈值，此时，若翻译模型的质量分数小于分数阈值，则不满足目标条件，服务器可以对翻译模型进行参数调整并再次进行迭代训练，直到得到一个质量分数大于或等于分数阈值的目标翻译模型。

在一些实施例中，目标条件还可以是映射关系数目大于第一目标数值，或者，目标条件还可以是数据重构率大于目标比值，或者，目标条件还可以是翻译质量大于第二目标数值，本申请实施例不对目标条件的内容进行具体限定，其中第一目标数值和第二目标数值均为大于或等于0的任一数值。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

本申请实施例提供的方法，通过将样本语料输入基于神经网络的翻译模型，通过翻译模型对样本语料进行机器翻译，输出预测译文，基于样本语料、预测译文以及参考语料三者所包含的短语之间的对应关系，通过对比样本语料所对应的预测译文以及参考语料所包含的短语是否一致，可以抽取出在多个语种中表示相同语义的短语对，得到翻译模型的学习结果信息，当预测译文和参考语料之间对应短语相一致时，说明翻译模型学习到了如何对这一短语进行翻译，反之，说明翻译模型未学习到如何对这一短语进行翻译，因此该学习结果信息可以用于表示该翻译模型已学习到的多个语种短语之间的映射关系，从而基于该学习结果信息，生成该翻译模型的质量信息，基于这种方式所获得的质量信息，由于不对翻译模型的模型结构和参数进行限定，那么针对任何的翻译模型均能够适用，具有较高的可移植性，此外，由于学习结果信息可以表示出已学到的多个语种短语之间的映射关系，那么就能够通过学习结果信息准确评估和量化出翻译模型所学习到的知识。

进一步地，上述质量信息获取方法可以应用于多种序列到序列的神经网络翻译模型，能够加深对翻译模型的理解，从而优化对翻译模型的调试和纠错，在机器翻译系统中，通过检测翻译模型的质量信息，能够有针对性的改进翻译模型，提升用户体验。以短语表的形式的学习结果信息，不但可以解释翻译模型的输入输出行为，而且还可以动态理解翻译模型的训练过程，例如在训练过程中每间隔固定训练步数保存一次翻译模型，并获取翻译模型的学习结果信息和质量信息，这种简单有效的方式能够更好地理解模型是如何逐步学习到双语知识的。此外，上述质量信息获取方法不依赖于任何具体的模型架构和翻译语言对，并且，不管针对何种翻译任务均能够适用，例如，针对英语翻译德语、英语翻译日语、中文翻译英语、中文翻译日语等任务上均具有显著效果。

以下，以英语翻译德语、英语翻译日语的翻译任务为例，采用翻译模型来对本申请实施例的质量信息获取方法进行验证，以此来验证抽取出短语表的准确性和必要性。分别在不同语言对（指不同的翻译任务）、不同随机种子（翻译模型训练过程的一种参数）的情况下，对模型动态学习过程进行量化评估，这里采取的量化指标（也即质量信息）包括短语表的映射关系数目、数据重构率以及翻译质量，如果量化指标与模型的性能曲线符合度较好，那么即可证明上述方法能够较好地表达出模型所学习到的双语知识。

图4是本申请实施例提供的一种量化指标与性能曲线的对比图，请参考图4，采用的翻译模型为Transformer，量化评估出模型学习到的双语知识的指标分别包括短语表大小（指短语表所包含的映射关系数目）、翻译质量以及数据重构率，将短语表大小与模型的性能曲线做对比，这里的性能曲线采用的神经机器翻译模型的BLEU曲线，BLEU是一种机器翻译评测的标准方法，BLEU值越高则翻译效果越好。需要说明的是，模型的BLEU曲线是指对翻译模型进行BLEU值的测算，得到一条衡量翻译模型本身性能的BLEU曲线，而量化指标中的翻译质量虽然也是基于BLEU值计算的，但是基于短语表来进行BLEU值的计算，因此衡量的是基于短语表来对翻译模型进行质量评估所得的量化指标。

从左侧401所示部分可以看出，在英语翻译德语任务下，在整个训练过程中四条曲线的吻合度较高，说明翻译性能指标的增长与双语知识的量化指标（翻译模型的质量信息）高度重合，并且展现出了较高的皮尔逊相关度（在0.99以上），尤其是在训练前期和后期阶段，翻译性能和量化指标完全重合，进一步地验证了量化指标的准确性和有效性。除了英语翻译德语任务之外，从中间的402所示部分可以看出，在英语翻译日语任务下，量化指标的变化趋势与翻译性能曲线仍然高度重合，说明这种质量信息获取方法具有较高的通用性、普适性，不受到具体翻译语言的限制，另外，由于不同的随机种子也可能会影响到模型的训练，请参考右侧的403所示部分，在英语翻译德语任务上分别采用不同的随机种子，可以发现即使采用了不同的随机种子，不同随机种子上抽取出的短语表大小之间的重合度仍然非常高（高于80%），证明短语表作为学习结果信息是不受模型训练的随机种子而影响的，综上所述，本申请实施例提供的翻译模型的质量信息获取方法，能够准确有效的量化出翻译模型所学习到的双语知识，并且不受具体的翻译语言或者随机种子的影响。

进一步地，还可以使用抽取得到的短语表来解释翻译模型的输入输出行为，也即是说，采用一个已经训练好的翻译模型以及一个给定的输入，能够得到相应的输出，从抽取的短语表中可以搜索出相应的短语对，保证该短语对的源端和目标端的短语均出现在模型的输入和输出之中，换言之，需要找到模型的输入输出的子片段集合，使得这些子片段集合均来自于短语表中，下面进行举例说明，给定一个英语的输入“I do hope that wefinally start winning again.”，经过英语翻译德语的翻译模型的翻译，可以将其翻译成德语的输出“Ich hoffe, dass wir endlich wieder gewinnen.”，表1为短语表的一种示例性说明，请参考表1，可以从短语表中查询与该输入输出片段完全一致的短语对，即可知道模型作出这样的输出究竟是来自于训练数据中学习到的哪些短语对知识。

表1

源语言（source）	目标语言（target）
		I do	Ich
I do hope that	Hoffe ich, dass
		hope that we finally	hoffe, dass wir endlich
winning again	wieder gewinnen
		winning again	gewinnen einer
.	.
		…	…

可以看出，表格中第1、3、4行源语言与输入一致且目标语言与输出一致，说明翻译模型所作出上述示例的德语输出的知识来源是第1、3、4行所表示的映射关系，这样能够用于解释模型的输出。

图5是本申请实施例提供的一种翻译模型的质量信息获取装置的结构示意图，请参考图5，该装置包括：

翻译模块501，用于将至少一个语料对中的至少一个样本语料输入至基于神经网络的翻译模型，通过该翻译模型对该至少一个样本语料进行机器翻译，得到至少一个预测译文，其中，一个语料对包括一个样本语料以及作为该样本语料的翻译结果的参考语料；

抽取模块502，用于基于该至少一个样本语料、该至少一个预测译文以及至少一个参考语料所包含的短语之间的对应关系，抽取在多个语种中表示相同语义的至少一个短语对，得到该翻译模型的学习结果信息，该学习结果信息用于表示该翻译模型已学习到的多个语种短语之间的映射关系；

生成模块503，用于基于该学习结果信息，生成该翻译模型的质量信息。

本申请实施例提供的装置，通过将样本语料输入基于神经网络的翻译模型，通过翻译模型对样本语料进行机器翻译，输出预测译文，基于样本语料、预测译文以及参考语料三者所包含的短语之间的对应关系，通过对比样本语料所对应的预测译文以及参考语料所包含的短语是否一致，可以抽取出在多个语种中表示相同语义的短语对，得到翻译模型的学习结果信息，当预测译文和参考语料之间对应短语相一致时，说明翻译模型学习到了如何对这一短语进行翻译，反之，说明翻译模型未学习到如何对这一短语进行翻译，因此该学习结果信息可以用于表示该翻译模型已学习到的多个语种短语之间的映射关系，从而基于该学习结果信息，生成该翻译模型的质量信息，基于这种方式所获得的质量信息，由于不对翻译模型的模型结构和参数进行限定，那么针对任何的翻译模型均能够适用，具有较高的可移植性，此外，由于学习结果信息可以表示出已学到的多个语种短语之间的映射关系，那么就能够通过学习结果信息准确评估和量化出翻译模型所学习到的知识。

在一种可能实施方式中，该抽取模块502用于：

对任一样本语料所包含的任一短语，响应于与该样本语料的短语所对应的预测译文的短语与参考语料的短语相一致，将该样本语料的短语和该预测译文的短语抽取为一个短语对；

重复执行抽取短语对的操作，将得到的至少一个短语对确定为该学习结果信息。

在一种可能实施方式中，基于图5的装置组成，该装置还包括：

替换删除模块，用于对任一样本语料所包含的任一短语，响应于与该样本语料的短语所对应的预测译文的短语与参考语料的短语不一致，将该预测译文的短语中与该参考语料的短语中不一致的字符替换为掩码，删除包含掩码的短语所构成的短语对。

获取模块，用于获取该样本语料分别与该预测译文以及该参考语料之间的词对齐信息，该词对齐信息是指将该样本语料中的字符对应翻译至该预测译文或者该参考语料中的字符；

确定模块，用于基于该词对齐信息，确定该样本语料的短语分别与该预测译文的短语以及该参考语料的短语之间的对应关系。

筛选模块，用于基于词频、正向翻译概率或者反向翻译概率中至少一项，对该至少一个短语对进行数据筛选。

在一种可能实施方式中，该生成模块503用于：

获取该学习结果信息中所包含的映射关系数目、数据重构率或者翻译质量中至少一项，该数据重构率用于表示该翻译模型对样本语料翻译得到的预测译文与参考语料相一致的比例，该翻译质量为基于该学习结果信息的双语评估研究值进行映射所得的数值；

基于该映射关系数目、该数据重构率或者该翻译质量中至少一项，生成该翻译模型的质量信息。

在一种可能实施方式中，该质量信息为质量分数，基于图5的装置组成，该装置还包括：

训练模块，用于响应于该翻译模型的质量分数小于分数阈值，对该翻译模型进行迭代训练，直到得到质量分数大于或等于该分数阈值的目标翻译模型。

需要说明的是：上述实施例提供的翻译模型的质量信息获取装置在获取翻译模型的质量信息时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的翻译模型的质量信息获取装置与翻译模型的质量信息获取方法实施例属于同一构思，其具体实现过程详见翻译模型的质量信息获取方法实施例，这里不再赘述。

图6是本申请实施例提供的一种计算机设备的结构示意图，该计算机设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（CentralProcessing Units，CPU）601和一个或一个以上的存储器602，其中，该存储器602中存储有至少一条程序代码，该至少一条程序代码由该处理器601加载并执行以实现上述各个实施例提供的翻译模型的质量信息获取方法。当然，该计算机设备600还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备600还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括至少一条程序代码的存储器，上述至少一条程序代码可由终端中的处理器执行以完成上述实施例中翻译模型的质量信息获取方法。例如，该计算机可读存储介质可以是ROM（Read-Only Memory，只读存储器）、RAM（Random-Access Memory，随机存取存储器）、CD-ROM（Compact Disc Read-Only Memory，只读光盘）、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种翻译模型的质量信息获取方法，其特征在于，所述方法包括：

对任一样本语料所包含的任一短语，响应于与所述样本语料的短语所对应的预测译文的短语与参考语料的短语不一致，将所述预测译文的短语中与所述参考语料的短语中不一致的字符替换为掩码，删除包含掩码的短语所构成的短语对；

响应于与所述样本语料的短语所对应的预测译文的短语与参考语料的短语相一致，将所述样本语料的短语和所述预测译文的短语抽取为一个短语对；重复执行抽取短语对的操作，将得到的至少一个短语对确定为所述翻译模型的学习结果信息，所述学习结果信息用于表示所述翻译模型已学习到的多个语种短语之间的映射关系；

基于所述学习结果信息，生成所述翻译模型的质量信息。

2.根据权利要求1所述的方法，其特征在于，所述响应于与所述样本语料的短语所对应的预测译文的短语与参考语料的短语相一致，将所述样本语料的短语和所述预测译文的短语抽取为一个短语对之前，所述方法还包括：

获取所述样本语料分别与所述预测译文以及所述参考语料之间的词对齐信息，所述词对齐信息是指将所述样本语料中的字符对应翻译至所述预测译文或者所述参考语料中的字符；

基于所述词对齐信息，确定所述样本语料的短语分别与所述预测译文的短语以及所述参考语料的短语之间的对应关系。

3.根据权利要求1所述的方法，其特征在于，所述将得到的至少一个短语对确定为所述翻译模型的学习结果信息之前，所述方法还包括：

基于词频、正向翻译概率或者反向翻译概率中至少一项，对所述至少一个短语对进行数据筛选。

4.根据权利要求1所述的方法，其特征在于，所述基于所述学习结果信息，生成所述翻译模型的质量信息包括：

获取所述学习结果信息中所包含的映射关系数目、数据重构率或者翻译质量中至少一项，所述数据重构率用于表示所述翻译模型对样本语料翻译得到的预测译文与参考语料相一致的比例，所述翻译质量为基于所述学习结果信息的双语评估研究值进行映射所得的数值；

基于所述映射关系数目、所述数据重构率或者所述翻译质量中至少一项，生成所述翻译模型的质量信息。

5.根据权利要求1所述的方法，其特征在于，所述质量信息为质量分数，所述基于所述学习结果信息，生成所述翻译模型的质量信息之后，所述方法还包括：

响应于所述翻译模型的质量分数小于分数阈值，对所述翻译模型进行迭代训练，直到得到质量分数大于或等于所述分数阈值的目标翻译模型。

6.一种翻译模型的质量信息获取装置，其特征在于，所述装置包括：

替换删除模块，用于对任一样本语料所包含的任一短语，响应于与所述样本语料的短语所对应的预测译文的短语与参考语料的短语不一致，将所述预测译文的短语中与所述参考语料的短语中不一致的字符替换为掩码，删除包含掩码的短语所构成的短语对；

抽取模块，用于响应于与所述样本语料的短语所对应的预测译文的短语与参考语料的短语相一致，将所述样本语料的短语和所述预测译文的短语抽取为一个短语对；重复执行抽取短语对的操作，将得到的至少一个短语对确定为所述翻译模型的学习结果信息，所述学习结果信息用于表示所述翻译模型已学习到的多个语种短语之间的映射关系；

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

获取模块，用于获取所述样本语料分别与所述预测译文以及所述参考语料之间的词对齐信息，所述词对齐信息是指将所述样本语料中的字符对应翻译至所述预测译文或者所述参考语料中的字符；

确定模块，用于基于所述词对齐信息，确定所述样本语料的短语分别与所述预测译文的短语以及所述参考语料的短语之间的对应关系。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

筛选模块，用于基于词频、正向翻译概率或者反向翻译概率中至少一项，对所述至少一个短语对进行数据筛选。

9.根据权利要求6所述的装置，其特征在于，所述生成模块用于：

10.根据权利要求6所述的装置，其特征在于，所述质量信息为质量分数，所述装置还包括：

11.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述至少一条程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求5任一项所述的翻译模型的质量信息获取方法所执行的操作。

12.一种存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现如权利要求1至权利要求5任一项所述的翻译模型的质量信息获取方法所执行的操作。