CN102799579A - 具有错误自诊断和自纠错功能的统计机器翻译方法 - Google Patents

Abstract

本发明公开了一种具有错误自诊断和自纠错功能的统计机器翻译方法，首先定义翻译错误类别，训练错误分类器，对测试集进行翻译错误分类，然后目标语言端翻译错误映射到源语言端并构建复述词图网络，源语言复述词图网络优化，最后进行词图解码，得到自校正结果。本发明与现有统计机器翻译方法相比，有效降低翻译错误率，提高翻译性能。

Description

具有错误自诊断和自纠错功能的统计机器翻译方法

技术领域

本发明属于统计机器翻译方法技术领域，具体涉及一种具有错误自诊断和自纠错功能的统计机器翻译方法。

背景技术

软件本地化是指当软件在不同文化和语言背景的地区与国家移植时，需要融合与特定区域设置有关的信息和信息翻译有关的过程，以适应本地的文化与使用习惯。而翻译在本地化过程中扮演着至关重要的角色，对当地文化与语言适应的好坏直接影响该软件在该地区或国家的推广。在软件本地化行业，传统的做法是首先使用翻译记忆库（Translation Memory，TM）对软件界面、术语、手册或者技术文档等按模糊匹配值（fuzzy match）进行翻译实例查找并输出，然后再由后编辑人员（post-editor）参照源语言输入句子对翻译结果进行修正。因此，这种方式又被称为计算机辅助翻译（computer-assisted translation,CAT）。

统计机器翻译服务于软件本地化的关键技术研究是统计机器翻译研究的热点方向之一。随着统计机器翻译技术的不断成熟，越来越多的研究机构和国际大公司逐步开始将统计机器翻译系统引入其产品服务之中。自从20世纪90年代初IBM的研究人员Peter Brown等提出IBM模型以来，基于统计的机器翻译方法逐渐成为机器翻译研究的主流。基于统计方法的思想大大推动了机器翻译技术的发展，并涌现出了多种类型的统计机器翻译模型，如基于短语的翻译模型、层次短语的翻译模型及基于句法的翻译模型等等，其翻译质量也在日益提高。2002年之后，伴随着翻译质量自动评估方法BLEU的出现，统计机器翻译技术不仅在系统性能上获得了长足的进步，并且有效地降低了人工评价的成本。近些年来，随着统计机器翻译尤其是基于短语的机器翻译在技术上的日趋成熟与鲁棒，统计机器翻译技术不断地向实用化和商业化迈出有力的步伐。

但是，目前面向工业界应用的统计机器翻译系统因翻译准确度仍然无法真正满足翻译要求，所以大多作为人工翻译的辅助工具，而无法独立提供具有高置信度的翻译结果，主要表现在两个方面：

1、翻译错误的预测能力不足：难以准确地对翻译结果中潜在的翻译错误进行诊断和预报，而这种功能对于后编辑人员进行高效率、低消耗的查找、判断和更正该错误具有重要的意义。对于错误预测，目前主要有两种解决方案。第一种是反向翻译的方法。该方法利用反向的机器翻译系统对翻译结果（目标句子）重新翻成源语言句子S'，然后把原始源语言句子S与S'以某种方式（如TER）进行对齐，根据对齐信息如插入、删除、替换等编辑操作的多少来判定源语言端哪些片段存在问题，然后通过重定向映射到目标端，从而获得对于潜在翻译错误的判定。这种方法的缺点是正向的翻译错误和反向的翻译错误叠加后，某些原文所表达的意思全部丢失，从而翻译错误诊断精度较低。第二种方案是基于置信度估计的方法，通常作为分类问题来解决。该方案通过对译文进行置信度估计，综合判断错误发生的位置。目前该方法的置信估计准确率有待进一步提高。

2、翻译错误自校正能力差：对于系统自动诊断出的翻译错误，目前有两种方案可以提供自校正功能。第一种是以目标端为对象，通过利用一些特征建立校正模型，对错误部分进行重新生成或替换。该方法的缺点是缺少有效的源语言知识，并且没有考虑源端的翻译难度。第二种是以源端为对象，通过使用外部资源以降低源端的翻译难度，例如使用复述（paraphrase）、同义词（synonym）或者词干（stem）等对源端进行扩展或替换。但是，这些方法的效果都不尽如人意。

因此，设计和开发具有一定自诊断与自纠错功能的统计机器翻译系统，不仅能够促进机器翻译在社会经济发展中的应用，而且能够进一步增强人们对机器翻译的信心，这对于该学科乃至该行业的进步起着关键性的作用。

发明内容

本发明的目的是提供一种具有错误自诊断和自纠错功能的统计机器翻译方法，与现有统计机器翻译方法相比，有效降低翻译错误率，提高翻译性能。

本发明所采用的技术方案是，一种具有错误自诊断和自纠错功能的统计机器翻译方法，首先定义翻译错误类别，训练错误分类器，对测试集进行翻译错误分类，然后目标语言端翻译错误映射到源语言端并构建复述词图网络，源语言复述词图网络优化，最后进行词图解码，得到自校正结果。

进一步地，具体实现步骤如下：

步骤1、定义翻译错误类别：

具体包括五种翻译错误类别：正确、一般错误、词序错误、集外词错误、其他错误；

步骤2、训练错误分类器：

步骤2.1、采用基于动态概率潜变量模型的分类器，计算公式如下：

$P\left(y\right|x,\mathrm{\θ})=\underset{h}{\mathrm{\Σ}}P\left(y\right|h,x,\mathrm{\θ})P\left(h\right|x,\mathrm{\θ}),$

其中，P(y|x,θ)表示翻译假设被标注为序列y的概率；θ是模型参数；x是观察序列，具体指翻译译文中的词序列；y是标注序列，具体指步骤1中定义的翻译错误类别；h表示隐含变量序列；

将系统特征、语料库特征和外部知识源特征作为模型参数θ加入到动态概率潜变量模型中，得到初始模型；

步骤2.2、选定模型参数训练开发集，按照步骤1定义的翻译错误类别对开发集中的翻译假设进行错误类型标注，得到监督学习的训练样本数据；

步骤2.3、利用步骤2.2得到的训练样本数据对步骤2.1得到的初始模型进行训练，公式如下：

$L\left(\mathrm{\θ}\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\log P\left(y_i\right|x_i,\mathrm{\θ})-R\left(\mathrm{\θ}\right),$

其中，L(θ)表示未知参数的最大似然估计，n表示样本向量个数，i表示某一样本向量，P(y_i|x_i,θ)表示样本x_i在参数为θ条件下标注为序列y_i的概率，R(θ)表示调控因子，主要防止训练过拟合；

迭代收敛后得到训练后的错误分类器；

步骤3、对测试集进行翻译错误分类：

利用步骤2得到的训练后的错误分类器，采用如下公式对测试集翻译假设进行错误识别和分类：

$y^{*}=\underset{y}{\arg \max }P\left(y\right|x,{\mathrm{\θ}}^{*}),$

其中，arg max表示参数最大化运算；θ^*表示步骤2得到训练后错误分类器的参数；y^*表示分类结果；P(y|x,θ^*)表示在已知模型参数θ^*和样本x时，标注为序列y的概率；

步骤4、目标语言端翻译错误映射到源语言端，并构建复述词图网络：

对步骤3得到的翻译错误分类后的翻译假设通过词对齐信息映射到源语言端，确定相应源语言短语或词S_i的位置及边界，然后从源语言复述库中查找S_i的复述，并取前多个作为S_i的复述候选，以源语言输入初始句子为主干，构建复述词图网络；

构建复述词图网络过程中，对翻译假设中的词根据其翻译错误类别标识进行复述构建，即：1）对于分类为“正确”的词，不进行复述词图构建；2）对于分类为“一般错误”、“集外词错误”和“其他错误”的词，直接从复述库中查找复述候选，然后构建词图；3）对于分类为“词序错误”的词，在构建词图时，将所对应的边进行调序标记，供解码时调序惩罚约束使用；

步骤5、源语言复述词图网络优化：

采用基于混淆网络的方法对步骤4得到的复述词图网络进行压缩和合并重复的路径，具体是将原词图中的结点按边进行对齐，若两结点间的边上的词是相同的，则按概率大小保留较大的边，删除概率较小的边；

第六步，词图解码，得到自校正结果：

具体是对步骤5得到的优化后的源语言复述词图网络进行词图解码，最终得到错误校正后的翻译结果。

本发明的有益效果是：本发明使得统计机器翻译具有一定的翻译错误自诊断和自校正功能，有效提高自动翻译性能和后编辑人员的工作效率。本发明综合考虑到前端翻译难度与后端翻译错误的直接的因果关系，将翻译难度和置信度估计相结合，以提高统计机器翻译系统的实用性。本发明采用对翻译结果进行词级、短语级和句子级置信度估计的方法，综合三种置信得分及其他特征采用基于动态概率潜变量模型的分类器判断译文中翻译错误的位置和置信分数，然后根据词对齐信息及翻译系统输出的源端与目标端对应的翻译跨度（span）信息将翻译错误映射到源语言端，从而实现错误诊断。此外，自纠错功能利用双语或多语言平行语料库中自动抽取的复述库，对源语言端所映射的片段进行复述查找，并将原始源语言端片段及其复述构建为词图网络，再通过词图解码产生最终结果以实现错误自校正。

本发明方法将翻译错误识别和源语言复述词图解码进行有机结合从而使统计机器翻译具有一定的智能性，测试结果表明相比于不具备错误自校正功能的统计机器翻译系统，本发明的方法能有效提高机器翻译性能。

附图说明

图1是本发明中的构建复述词图网络示意图；

图2是本发明中优化前的源语言复述词图网络超图；

图3是本发明中优化后的源语言复述词图网络超图。

具体实施方式

本发明具有错误自诊断和自纠错功能的统计机器翻译方法，首先，定义翻译错误类别，训练错误分类器，对测试集进行翻译错误分类，然后目标语言端翻译错误映射到源语言端并构建复述词图网络，源语言复述词图网络优化，最后进行词图解码，得到自校正结果。

本发明方法具体实现步骤如下：

步骤1、定义翻译错误类别：

具体包括五种翻译错误类别：正确（correct）、一般错误（generalincorrect）、词序错误（order incorrect）、集外词错误（OOV）、其他错误（others）。其中，一般错误包括翻译不准确（如汉英短语意思不对应）、时态（例如英语中过去时、现在时等）、语态（如英语中主动/被动结构，汉语中把/被字结构等）等。

步骤2、训练错误分类器：

步骤2.1、为提高分类准确率，本发明采用基于动态概率潜变量模型的分类器，该分类器采用三个潜变量以表示输入和输出之间的隐含状态，其计算公式如下：

$P\left(y\right|x,\mathrm{\θ})=\underset{h}{\mathrm{\Σ}}P\left(y\right|h,x,\mathrm{\θ})P\left(h\right|x,\mathrm{\θ}),$

其中，P(y|x,θ)表示翻译假设被标注为序列y的概率；θ是模型参数；x是观察序列，具体指翻译译文中的词序列；y是标注序列，具体指步骤1中定义的翻译错误类别；h表示隐含变量序列。

模型训练的特征主要来自三个方面，即：1、系统特征：指的是翻译过程中翻译模型、语言模型等反映机器翻译系统本质特性的特征；2、语料库特征：大规模平行或多语语料库所抽取的与具体语言相关的字、词、词性标注、句法、语法、语义等特征；3、外部知识源特征：与具体语言相关或者不相关的多知识源特征。

将系统特征、语料库特征和外部知识源特征作为模型参数θ加入到动态概率潜变量模型中，得到带未知参数的初始模型。初始未知参数主要为各特征函数的权重。

步骤2.2、选定模型参数训练开发集，按照步骤1定义的翻译错误类别对开发集中的翻译假设进行错误类型标注，得到监督学习的训练样本数据。

步骤2.3、利用步骤2.2得到的训练样本数据对步骤2.1得到的初始模型进行训练，公式如下：

$L\left(\mathrm{\θ}\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\log P\left(y_i\right|x_i,\mathrm{\θ})-R\left(\mathrm{\θ}\right),$

其中，L(θ)表示未知参数的最大似然估计，n表示样本向量个数，i表示某一样本向量，P(y_i|x_i,θ)表示样本x_i在参数为θ条件下标注为序列y_i的概率，R(θ)表示调控因子，主要防止训练过拟合；

迭代收敛后得到训练后的错误分类器。

步骤3、对测试集进行翻译错误分类：

利用步骤2得到的训练后的错误分类器，采用如下公式对测试集翻译假设进行错误识别和分类：

$y^{*}=\underset{y}{\arg \max }P\left(y\right|x,{\mathrm{\θ}}^{*}),$

其中，arg max表示参数最大化运算；θ^*表示步骤2得到训练后错误分类器的参数；y^*表示分类结果；P(y|x,θ^*)表示在已知模型参数θ^*和样本x时，标注为序列y的概率。

步骤4、目标语言端翻译错误映射到源语言端，并构建复述词图网络：

对步骤3得到的翻译错误分类后的翻译假设通过词对齐信息映射到源语言端，确定相应源语言短语或词S_i的位置及边界，然后从源语言复述库中查找S_i的复述，并取前多个作为S_i的复述候选，以源语言输入初始句子为主干，构建复述词图网络。

构建复述词图网络过程中，对翻译假设中的词根据其翻译错误类别标识进行复述构建，即：1）对于分类为“正确”的词，不进行复述词图构建；2）对于分类为“一般错误”、“集外词错误”和“其他错误”的词，直接从复述库中查找复述候选，然后构建词图；3）对于分类为“词序错误”的词，在构建词图时，将所对应的边进行调序标记，供解码时调序惩罚约束使用。

如图1所示，其中{w₁,...,w_n}表示源语言原始词序列，其用于构成词图基本网络。词序列{α₁，...,α_p}是词序列{w_x,...,w_y}的复述，而词序列{β₁,...,β_q}是词序列{w_m,...,w_n}的复述。从图中可以看出，根据与原始词序列的对应关系，复述被作为扩充边加入到基本网络中，特别注意的是复述中的每个词都作为边插入到网络中并与对应结点连接起来。

如图2所示，图中节点之间实现所表示的边为源语言句子输入中的原始词，虚线所表示的为所加入的对应复述。可以看出，该词图网络为有向无环的超图，相对于基本的输入字串，要复杂的多。同时可以看出，加入复述后，原始词语或短语所对应同一意思的表达种类多样化，在一定程度上解决了数据稀疏问题，从源语言端降低了翻译难度，从而确保在解码过程中增加正确翻译候选的概率。

观察图2中的路径“0-1-2”上的“the training”和路径“0-8-2”上的“thetraining”。这两条路径尽管到结点2的概率不同，但其所构成的短语是一样的，因此，如何合并或者去除重复边，减小搜索复杂度，提高解码速度，减小权重的不一致性，对本发明的性能影响也较大。

步骤5、源语言复述词图网络优化：

采用基于混淆网络的方法对步骤4得到的复述词图网络进行压缩和合并重复的路径，具体是将原词图中的结点按边进行对齐，若两结点间的边上的词是相同的，则按概率大小保留较大的边，删除概率较小的边，从而在一定程度上减少重复路径。如图3所示，采用被方法优化后重复路径都被合并，并对边所表示的词权重或概率进行了更新。

第六步，词图解码，得到自校正结果：

具体是对步骤5得到的优化后的源语言复述词图网络进行词图解码，最终得到错误校正后的翻译结果。

实施例

以开源统计机器翻译系统摩西（Moses）为基线系统，分别利用其短语解码器和词图解码器对输入源语言字串和词图网络进行解码得到输出的翻译假设。实验数据如下：翻译句对为汉英，翻译方向为英译汉。统计机器翻译模型使用的训练语料为LDC提供的FBIS 200K句对，开发集和测试集分别为NIST 2005和2003数据集。复述短语集合使用开源工具TER-plus所提供的复述，使用时对其进行了过滤和后处理。

表1说明了基于以上数据，采用本发明方法与现有的基线系统相对于测试集的翻译性能对比结果。

表1

系统	BLEU4	TER
			现有的基线系统	23.60	63.56
本发明方法	24.80	62.00

表中“BLEU”列表示采用自动评价准则4元BLEU对翻译结果进行评价，取值为0~1之间，越高表示性能越好；“TER”列表示采用自动评价准则TER（翻译错误率）对翻译结果进行评价，取值通常在0~100之间，越低表示性能越好。基线系统表示输入为基本字串，解码为基于短语的解码器，不含任何错误识别和错误校正环节；本发明表示首先对基线系统的输出结果进行错误识别和分类，映射到源语言端后针对性地重构输入为词图网络，解码为词图解码器，含错误分类和校正环节。

可以看出，相比于基线系统，本发明方法提高了1.20个BLEU点，降低了1.56个TER点，大大提高了系统的翻译性能。因此，本发明方法是有效的和可行的。

Claims (2)

1.一种具有错误自诊断和自纠错功能的统计机器翻译方法，其特征在于，首先定义翻译错误类别，训练错误分类器，对测试集进行翻译错误分类，然后目标语言端翻译错误映射到源语言端并构建复述词图网络，源语言复述词图网络优化，最后进行词图解码，得到自校正结果。

2.按照权利要求1所述的具有错误自诊断和自纠错功能的统计机器翻译方法，其特征在于，具体实现步骤如下：

步骤1、定义翻译错误类别：

具体包括五种翻译错误类别：正确、一般错误、词序错误、集外词错误、其他错误；

步骤2、训练错误分类器：

步骤2.1、采用基于动态概率潜变量模型的分类器，计算公式如下：

$P\left(y\right|x,\mathrm{\θ})=\underset{h}{\mathrm{\Σ}}P\left(y\right|h,x,\mathrm{\θ})P\left(h\right|x,\mathrm{\θ}),$

其中，P(y|x,θ)表示翻译假设被标注为序列y的概率；θ是模型参数；x是观察序列，具体指翻译译文中的词序列；y是标注序列，具体指步骤1中定义的翻译错误类别；h表示隐含变量序列；

将系统特征、语料库特征和外部知识源特征作为模型参数θ加入到动态概率潜变量模型中，得到初始模型；

步骤2.2、选定模型参数训练开发集，按照步骤1定义的翻译错误类别对开发集中的翻译假设进行错误类型标注，得到监督学习的训练样本数据；

步骤2.3、利用步骤2.2得到的训练样本数据对步骤2.1得到的初始模型进行训练，公式如下：

$L\left(\mathrm{\θ}\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\log P\left(y_i\right|x_i,\mathrm{\θ})-R\left(\mathrm{\θ}\right),$

其中，L(θ)表示未知参数的最大似然估计，n表示样本向量个数，i表示某一样本向量，P(y_i|x_i,θ)表示样本x_i在参数为θ条件下标注为序列y_i的概率，R(θ)表示调控因子，主要防止训练过拟合；

迭代收敛后得到训练后的错误分类器；

步骤3、对测试集进行翻译错误分类：

利用步骤2得到的训练后的错误分类器，采用如下公式对测试集翻译假设进行错误识别和分类：

$y^{*}=\underset{y}{\arg \max }P\left(y\right|x,{\mathrm{\θ}}^{*}),$

其中，argmax表示参数最大化运算；θ^*表示步骤2得到训练后错误分类器的参数；y^*表示分类结果；P(y|x,θ^*)表示在已知模型参数θ^*和样本x时，标注为序列y的概率；

步骤4、目标语言端翻译错误映射到源语言端，并构建复述词图网络：

对步骤3得到的翻译错误分类后的翻译假设通过词对齐信息映射到源语言端，确定相应源语言短语或词S_i的位置及边界，然后从源语言复述库中查找S_i的复述，并取前多个作为S_i的复述候选，以源语言输入初始句子为主干，构建复述词图网络；

构建复述词图网络过程中，对翻译假设中的词根据其翻译错误类别标识进行复述构建，即：1）对于分类为“正确”的词，不进行复述词图构建；2）对于分类为“一般错误”、“集外词错误”和“其他错误”的词，直接从复述库中查找复述候选，然后构建词图；3）对于分类为“词序错误”的词，在构建词图时，将所对应的边进行调序标记，供解码时调序惩罚约束使用；

步骤5、源语言复述词图网络优化：

采用基于混淆网络的方法对步骤4得到的复述词图网络进行压缩和合并重复的路径，具体是将原词图中的结点按边进行对齐，若两结点间的边上的词是相同的，则按概率大小保留较大的边，删除概率较小的边；

第六步，词图解码，得到自校正结果：

具体是对步骤5得到的优化后的源语言复述词图网络进行词图解码，最终得到错误校正后的翻译结果。

Images