CN101777044B - 利用语句结构信息的机器翻译自动评测系统及实现方法 - Google Patents

Abstract

本发明公开了一种机器翻译自动评测方法，包括：读取机器翻译所得到的机器译文、机器译文的关于语句结构的标注信息以及源语言句；根据源语言句，读取该源语言句的关于语句结构的标注信息、源语言句的参考译文、参考译文的关于语句结构的标注信息；分析所述机器译文的语句结构，分析所述源语言句的语句结构，分析所述参考译文的语句结构；比较源语言句的语句结构以及参考译文的语句结构，计算参考译文的语句结构的转换情况；比较源语言句的语句结构以及机器译文的语句结构，计算所述机器译文的语句结构的转换情况，然后将所述参考译文的语句结构的转换情况与所述机器译文的语句结构的转换情况进行比较，根据比较结果对机器译文加以评价。

Description

利用语句结构信息的机器翻译自动评测系统及实现方法

技术领域

本发明涉及一种机器翻译自动评测系统，特别涉及一种利用语句结构信息的机器翻译自动评测系统及方法。

背景技术

机器翻译评测是指对机器翻译结果正确与否做出评价。机器翻译评测技术对于机器翻译的发展起着至关重要的作用，它不但可以推动机器翻译系统的市场推广，并且可以帮助研究者对翻译系统的关键技术进行研究并改进。机器翻译评测的实现方法有两种：人工评测和自动评测。人工评测主要是通过专家评测打分来实现，这种评测方法主观性比较强，并且非常耗时耗力，而使用自动评测就能够大大降低评测的成本。随着近年来机器翻译技术的发展，机器翻译自动评测技术得到了越来越多的重视，机器翻译自动评测系统最基本的目的是对机器翻译结果和人工翻译结果进行比较，便于机器翻译系统的开发者对翻译系统性能进行评估，通过自动评测提供给用户一个详细的系统性能参数。机器翻译自动评测系统还便于研究人员了解翻译系统的核心技术，有助于找到提升机器翻译性能的方法。

现有技术中的机器翻译自动评测系统大多数是基于字词或短语的共现匹配原理实现的，如BLEU评测方法和美国国家标准与技术局NIST在BLEU评测标准的基础上所提出的NIST方法等都是基于字词或短语的共现匹配原理实现的。具体的说，这种类型的系统对机器翻译系统的评价都是基于词汇或者字等表层信息进行的，在匹配过程中首先根据字、词汇或短语做匹配，然后根据匹配的情况来评价译文的质量，在这一匹配过程中，并不考虑语言深层结构信息。然而在语言的表达中，语句结构也是语义表达的重要方式。忽略语句结构的评测系统由于没有有效地评价机器翻译译文语句结构的合理性，因此常常会出现机器译文的评测得分较高但是语句结构却很不合理，不符合人类专家语感的情况；或者，虽然机器译文结构合理，符合人的语感，但是因为采用了另外的表述方式，字词匹配度较低，从而获得较低的评价得分的情况。上述情况都使得现有的评测系统对机器译文质量难以做全面完整的评测，评测所得到的结果难以符合人的语感，也难以实际反映出译文的实际质量。例如：源语言句1：All campaigning and media coverage have to stop at midnight Friday，allowing voters to reflect on their choice before the polls open on Sundaymorning.

机器译文1：全部参加竞选和允许投票者考虑他们的选择，在投票于星期日早上开始之前，媒介报导必须星期五在午夜停止。

源语言句2：The motive of the gunman was still unknown.

机器译文2：持枪歹徒的动机仍然是未知的。

从上面例子中可以看到，机器译文1的质量是比较差的，并且在句子结构上存在问题，而机器译文2的翻译比较准确。但是如果用现有的机器翻译评测系统对上面两个机器译文进行评测的话，我们可以发现，机器译文1的得分要高于机器译文2。分析原因是由于机器译文2采用了不同的表述方法，与四句参考译文“枪手的动机还不得而知/持枪者的犯罪动机尚不得而知/枪手的动机还不知晓/持枪者的动机尚未查明”相比，从字词匹配上来讲是有区别的，导致了字词匹配率很低，所以评价得分也会比较低。但是从人类专家人工评价的角度来看，机器译文2的质量要远好于机器译文1。所以机器翻译自动评价不能单单通过字词匹配来获得结果，还应该对语言的深层信息(如语句结构信息)进行理解，并通过这些信息对译文进行评价。

语句结构本身具有表示语义的作用，结构的错误在表达上可能会扭曲原文的内容；同样，正确的结构也能较好反映源语言句子的语义内容。另外，语句结构的好坏是影响译文质量的一个重要因素，直接反映了译文的可读性。目前利用语言理解深层信息对机器翻译系统译文的语句结构进行有效评价的评测技术还不存在，已有评测技术的结果并不能对语句结构翻译的合理性给出有效评价，而机器翻译的发展需要自动评测技术对译文语句结构的合理性做出有效的评价，以便全面完整地对译文质量进行评价。

发明内容

本发明的目的是为了克服现有机器翻译自动评测系统与方法没有利用句子的语义信息，使得对机器译文的评测不够合理的缺陷，从而提供了一种更加全面、合理的机器翻译自动评测方法及系统。

为了实现上述目的，本发明提供了一种机器翻译自动评测方法，包括：

步骤1)、读取机器翻译所得到的机器译文、所述机器译文的关于语句结构的标注信息以及所述机器译文在被翻译前所对应的源语言句；

步骤2)、根据所述机器译文的源语言句，读取该源语言句的关于语句结构的标注信息、该源语言句的参考译文、所述参考译文的关于语句结构的标注信息；

步骤3)、根据所述机器译文的关于语句结构的标注信息分析所述机器译文的语句结构，根据所述源语言句的关于语句结构的标注信息分析所述源语言句的语句结构，根据所述参考译文的关于语句结构的标注信息分析所述参考译文的语句结构；

步骤4)、比较所述源语言句的语句结构以及所述参考译文的语句结构，计算所述参考译文的语句结构的转换情况；

步骤5)、比较所述源语言句的语句结构以及所述机器译文的语句结构，计算所述机器译文的语句结构的转换情况，然后将所述参考译文的语句结构的转换情况与所述机器译文的语句结构的转换情况进行比较，根据比较结果对机器译文加以评价。

上述技术方案中，所述的语句结构用句类信息和句式信息表示，所述的关于语句结构的标注信息用HNC标注信息表示；所述的步骤4)包括：

步骤4-1)、比较所述源语言句的句类信息以及所述参考译文的句类信息，计算所述参考译文的句类转换强度；

步骤4-2)、比较所述源语言句的句式信息以及所述参考译文的句式信息，计算所述参考译文的句式转换强度。

上述技术方案中，所述的步骤4-1)包括：

步骤4-1-1)、将所述参考译文的句类与所述源语言句的句类进行对比，在由所述参考译文所形成的参考译文组中，当一些参考译文的句类发生了改变，而另一些没有发生改变，则认为是句类选择性转换，标记为S_sct；

步骤4-1-2)、将所述参考译文的句类与所述源语言句的句类进行对比，当所述参考译文组中所有参考译文的句类都没有发生改变，则认为是句类零转换，标记为N_sct；

步骤4-1-3)、将所述参考译文的句类与所述源语言句的句类进行对比，当所述参考译文组中所有参考译文的句类都发生了改变，则认为是句类强制性转换，标记为F_sct。

上述技术方案中，所述的步骤4-2)包括：

步骤4-2-1)、将所述参考译文的句式与所述源语言句的句式进行对比，在由所述参考译文所形成的参考译文组中，当有一些参考译文的句式发生了改变，而另一些没有发生改变，则认为是句式选择性转换，标记为S_sft；

步骤4-2-2)、将所述参考译文的句式与所述源语言句的句式进行对比，当所述参考译文组中所有参考译文的句式都没有发生改变，则认为是句式零转换，标记为N_sft；

步骤4-2-3)、将所述参考译文的句式与源语言句的句式进行对比，当所述参考译文组中所有参考译文的句式都发生了改变，则认为是句式强制性转换，标记为F_sft。

上述技术方案中，所述的步骤5)包括：

步骤5-1)、获取所述机器译文的句类信息，然后根据所述参考译文的句类转换强度计算所述机器译文的句类转换得分，进而得到多个机器译文的句类平均转换得分；

步骤5-2)、获取所述机器译文的句式信息，然后根据所述参考译文的句式转换强度计算所述机器译文的句式转换得分，进而得到多个机器译文的句式平均转换得分；

步骤5-3)、由所述多个机器译文的句类平均转换得分以及句式平均转换得分计算相应机器翻译的句类句式联合评价得分。

上述技术方案中，所述的步骤5-1)包括：

步骤5-1-1)、获得参考译文组R_i中参考答案的个数|R_i|，参考答案组R_i中与翻译系统译文t_i的句类相同的参考答案r的个数 $\mathrm{count}\left(\right\{r_{\mathrm{sc}\_t_i}\∈R_i\left\}\right);$

步骤5-1-2)、获取机器译文的句类信息；

步骤5-1-3)、读取参考译文的句类转换强度，如果转换强度表明是选择性转换S_sct，则转步骤5-1-4)；如果转换强度表明是零转换N_sct，则转步骤5-1-5)；如果转换强度表明是强制性转换F_sct，则转步骤5-1-6)；

步骤5-1-4)、对于选择性转换的转换强度S_sct，根据下述公式计算出机器译文的句类转换评价得分：

$\mathrm{sct}\_\mathrm{info}\left\{t_i\right\}=1+\log (1+\frac{\mathrm{count}\left(\right\{r_{\mathrm{sc}\_t_i}\∈R_i\left\}\right)}{\left|R_i\right|}),\mathrm{if\; S}\_\mathrm{sct}$

转步骤5-1-7)；

步骤5-1-5)、对于零转换的转换强度N_sct，把机器译文的句类句式和参考译文组的句类进行对比，然后根据下述公式计算出机器译文的句类转换评价得分：

$\mathrm{sct}\_\mathrm{info}\left\{t_i\right\}=\left\{\begin{array}{ccc}1+\log \left(\frac{1}{\left|R_i\right|}\right),& \mathrm{if}& \mathrm{sc}\_t_i\≠\mathrm{sc}\_R_i\\ 1+\log 2,& \mathrm{if}& \mathrm{sc}\_t_i=\mathrm{sc}\_R_i\end{array}\right\}\mathrm{if\; N}\_\mathrm{sct}$

转步骤5-1-7)；

步骤5-1-6)、对于强制性转换的转换强度F_sct，把机器译文的句类和参考译文组的句类进行对比，然后根据下述公式计算出机器译文的句类转换评价得分：

转步骤5-1-7)；

步骤5-1-7)、对所有机器译文的句类转换评价得分求平均值，得到句类转换平均评价得分sct_info。

上述技术方案中，所述的步骤5-2)包括：

步骤5-2-1)、获得参考译文组R_i中参考答案的个数|R_i|，参考答案组R_i中与机器译文t_i的句式相同的参考答案r的个数 $\mathrm{count}\left(\right\{r_{\mathrm{sf}\_t_i}\∈R_i\left\}\right);$

步骤5-2-2)、获取机器译文的句式信息；

步骤5-2-3)、读取参考译文的句式转换强度，如果转换强度表明是选择性转换S_sft，则执行步骤5-2-4)；如果转换强度表明是零转换N_sft，则执行步骤5-2-5)；如果转换强度表明是强制性转换F_sft，则执行步骤5-2-6)；

步骤5-2-4)、对于选择性转换的转换强度S_sft，根据下述公式计算出机器译文的句式转换评价得分：

$\mathrm{sft}\_\mathrm{info}\left\{t_i\right\}=1+\log (1+\frac{\mathrm{count}\left(\right\{r_{\mathrm{sf}\_t_i}\∈R_i\left\}\right)}{\left|R_i\right|}),\mathrm{if\; S}\_\mathrm{sft}$

转步骤5-2-7)；

步骤5-2-5)、对于零转换的转换强度N_sft，如果机器译文进行了句式转换，根据下述公式计算出机器译文的句式转换评价得分：

$\mathrm{sft}\_\mathrm{info}\left\{t_i\right\}=\left\{\begin{array}{ccc}1+\log \left(\frac{1}{\left|R_i\right|}\right),& \mathrm{if}& \mathrm{sf}\_t_i\≠\mathrm{sf}\_R_i\\ 1+\log 2,& \mathrm{if}& \mathrm{sf}\_t_i=\mathrm{sf}\_R_i\end{array}\right\}\mathrm{if\; N}\_\mathrm{sft}$

转步骤5-2-7)；

步骤5-2-6)、对于强制性转换的转换强度F_sft，根据下述公式计算出机器译文的句式转换评价得分：

转步骤5-2-7)；

步骤5-2-7)对所有机器译文的句式转换评价得分求平均值，得到句式转换平均评价得分sft_info。

上述技术方案中，在所述的步骤5-3)中，采用下列公式计算句类句式转换联合评价得分scft_info：

$\mathrm{scft}\_\mathrm{info}=\frac{\mathrm{sct}\_\mathrm{info}\×{\mathrm{\β}}_{\mathrm{sc}}+\mathrm{sft}\_\mathrm{info}\×{\mathrm{\β}}_{\mathrm{sf}}}{{\mathrm{\β}}_{\mathrm{sc}}+{\mathrm{\β}}_{\mathrm{sf}}}$

其中，β_sc表示发生句类转换的概率，β_sf表示发生句式转换的概率，sct_info表示句类转换平均评价得分，sft_info表示句式转换平均评价得分。

上述技术方案中，所述β_sc取值为0.593，所述β_sf取值为0.339。

本发明还提供了一种机器翻译自动评测系统，包括待评测数据存储模块、参考译文数据库、参考译文标注数据库、译文句类句式转换情况获取模块、评价打分模块；其中，

所述的待评测数据存储模块用于保存机器翻译所得到的机器译文、所述机器译文的关于语句结构的标注信息；

所述的参考译文数据库用于保存源语言句以及源语言句的参考译文；

所述的参考译文标注数据库用于保存所述源语言句的关于语句结构的标注信息以及所述参考译文的关于语句结构的标注信息；

所述的译文句类句式转换情况获取模块根据所述机器译文的关于语句结构的标注信息分析所述机器译文的语句结构，根据所述源语言句的关于语句结构的标注信息分析所述源语言句的语句结构，根据所述参考译文的关于语句结构的标注信息分析所述参考译文的语句结构，然后比较所述源语言句的语句结构以及所述参考译文的语句结构，计算所述参考译文的语句结构的转换情况；

所述的评价打分模块比较所述源语言句的语句结构以及所述机器译文的语句结构，计算所述机器译文的语句结构的转换情况，然后将所述参考译文的语句结构的转换情况与所述机器译文的语句结构的转换情况进行比较，根据比较结果对机器译文加以评价。

上述技术方案中，所述参考译文数据库包括英中参考译文数据库和中英参考译文数据库，数据库的格式为(源语言句ID，源语言句，参考译文1，参考译文2，……，参考译文N)。

上述技术方案中，所述参考译文标注数据库包括英中参考译文标注数据库和中英参考译文标注数据库；该数据库的格式为(源语言句ID，源语言句，源语言句标注信息，参考译文1，参考译文1标注信息，……，参考译文N，参考译文N标注信息)。

与现有技术相比，本发明的有益效果在于：

1)本发明突破了传统机器翻译自动评测系统和方法一直以来基于字词匹配的评测原理，利用语义信息对机器译文进行评测，从而切近专家评测的结果，更加细致地反映出机器译文结果的质量；

2)本发明在HNC(概念层次网络)自然语言理解框架之下，基于HNC机器翻译策略，利用句类知识，从句类转换和句式转换入手，针对机器译文的语句结构质量进行了有效的评价；很多机器译文字词忠实度很高，但是语句结构完全不符合语言习惯，可读性很差，而传统评价得分却很高，本发明所涉及的评测方法对于译文质量的评价更加准确，弥补了传统评价结果与语言习惯相比时有偏差的缺点，克服了传统评测方法对于译文语句结构的评价并不有效的缺点，从而使得评测系统对于译文可读性的评价更加有效。

附图说明

图1表示参考译文数据库以及参考译文标注数据库的示意图；

图2表示本发明的利用语句结构信息的机器翻译自动评测方法的流程图；

图3表示机器译文句类转换评价打分流程图；

图4表示机器译文句式转换评价打分流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步的详细描述。

在对本发明做详细说明之前，首先对本发明中所涉及的一些概念做简要说明。

HNC理论：概念层次网络理论，该理论建立了一种模拟大脑语言感知过程的自然语言表述模式和计算机理解处理模式。在参考文献1“《HNC(概念层次网络)理论——计算机理解语言研究的新思路》，黄曾阳 著，清华大学出版社，1998年11月第1版”以及参考文献2“《语言概念空间的基本定理和数学物理表示式》，黄曾阳 著，海洋出版社，2004年7月第1版”中对HNC的详细内容有具体的说明。

句类：HNC中所定义的一种语句结构信息。具体的说，它是指根据语句中主要概念团块间的联想脉络进行分类而形成的语句类型体系，即语句的概念类型。

句式：HNC中所定义的另一种语句结构信息。具体的说，它是指语句格式，用来表述语句中主语义块在句中的出现顺序。

源语言句：机器翻译系统翻译时待翻译的句子。

机器译文：机器翻译系统根据语种要求，对源语言句进行翻译所得的句子。

目标语言句、参考译文：表示供评测所用的正确的译文，是与源语言句相对应的概念。

在对上述概念做相关说明后，下面对本发明做详细说明。

本发明的机器翻译自动评测系统包括待评测数据存储模块、参考译文数据库、参考译文标注数据库、译文句类句式转换情况获取模块、评价打分模块。其中，所述的待评测数据存储模块用于存储机器翻译系统所生成的机器翻译结果；所述的参考译文数据库、参考译文标注数据库分别用于存储参考译文以及参考译文标注信息；所述的译文句类句式转换情况获取模块用于对机器翻译系统的翻译结果的句类句式转换情况进行评价，并获取相应的评价结果；所述的评价打分模块根据句类句式转换情况对机器翻译结果做评价打分。在下文中将结合上述模块，对本发明的机器翻译自动评测系统的相关方法进行说明。

待评测的机器翻译系统对待翻译的源语言句进行翻译后，会生成源语言句的机器翻译结果。根据HNC理论的相关知识，本领域技术人员为机器翻译系统所生成的机器翻译结果标注HNC标注信息。在得到前述的机器翻译结果以及机器翻译结果的HNC标注信息后，将这些信息存储在待评测数据存储模块中。一般来说，待翻译的源语言句与后面所提到的参考译文之间存在对应关系，即出于评测的需要，机器翻译系统所翻译的源语言句在机器翻译自动评测系统中应当存在相应的参考译文，以使得所述源语言句的翻译结果可以与参考译文进行比较。

机器翻译自动评测系统的目的在于对机器翻译系统的翻译结果进行评测。为了使得机器翻译系统的翻译结果有一个被比较的对象，由参考译文数据库以及参考译文标注数据库来存储参考译文数据以及参考译文标注数据。具体的说，所述的参考译文数据库用于存储源语言句、对源语言句的参考译文。所述的参考译文标注数据库则用于存放参考译文的HNC标注信息。例如，假设机器翻译自动评测系统用于对中英文互译的机器翻译系统进行评测，则其参考译文数据库包括英中参考译文数据库以及中英参考译文数据，而参考译文标注数据库也包括英中参考译文标注数据库以及中英参考译文标注数据库。在图1中给出了上述参考译文数据库以及参考译文标注数据库的示意图。对于参考译文数据库B1而言，该数据库的格式为(源语言句ID，源语言句，参考译文1，参考译文2，……，参考译文N)，若为英中参考译文数据库B11，则源语言句用英文表示，参考译文用中文表示，相反，若为中英参考译文数据库B12，则源语言句用中文表示，参考译文用英文表示。从上述说明也可以看出，对于同一个源语言句，其参考译文可以有多个，以利于更好地对翻译结果进行评测。对于参考译文标注数据库B2而言，该数据库的格式为(源语言句ID，源语言句，源语言句标注信息，参考译文1，参考译文1标注信息，……，参考译文N，参考译文N标注信息)，类似的，若为英中参考译文标注数据库B21，则源语言句用英文表示，参考译文用中文表示，若为中英参考译文标注数据库B22，则源语言句用中文表示，参考译文用英文表示。在前文中已经提到，参考译文标注信息的具体内容可由本领域技术人员根据HNC的相关知识生成，在本发明中不关心如何生成参考译文标注信息，而是直接利用已有的参考译文标注信息。

由于源语言句在经过机器翻译系统翻译后，其包括句类句式在内的语句结构信息可能会发生变化，而翻译结果的句类句式信息与参考译文的句类句式也可能会有所不同，因此需要对翻译结果的句类句式转换情况进行评价。在评价时，首先根据翻译结果所对应的HNC句类标注信息分析出机器译文的句类句式，然后从前面所提到的参考译文数据库以及参考译文标注数据库中提取出源语言句、参考译文以及它们所对应的HNC标注信息，由这些信息可得到源语言句和参考译文的句类句式，最后就可以将翻译结果的句类句式和源语言、参考译文的句类句式分别加以比较，从而知道翻译结果的句类句式与源语言句相比是否有了不同，与参考译文的句类句式转换情况是否一致。

在本发明中，对参考译文的句类句式转换情况用句类转换强度和句式转换强度分别予以说明。其中，对参考译文的句类转换强度做如下定义：

(1)与源语言句的句类进行对比，参考译文组中，有一些参考译文的句类发生了改变，而有一些没有发生改变，则认为是句类选择性转换，标记为S_sct；

(2)与源语言句的句类进行对比，参考译文组中所有参考译文的句类都没有发生改变，则认为是句类零转换，标记为N_sct；

(3)与源语言句的句类进行对比，参考译文组中所有参考译文的句类都发生了改变，则认为是句类强制性转换，标记为F_sct。

对参考译文的句式转换强度做如下定义：

(1)与源语言句的句式进行对比，参考译文组中，有一些参考译文的句式发生了改变，而有一些没有发生改变，认为是句式选择性转换，标记为S_sft；

(2)与源语言句的句式进行对比，参考译文组中所有参考译文的句式都没有发生改变，认为是句式零转换，标记为N_sft；

(3)与源语言句的句式进行对比，参考译文组中所有参考译文的句式都发生了改变，认为是句式强制性转换，标记为F_sft。

根据上述定义，可以知道某一参考译文的句类句式转换情况。例如，一个源语言句“The People’s Bank of China，the central bank，raised interest rateson March 18.”，存在如下标注信息：

<root>

    <S connect＝″″″″sc＝″″XY40*21J″″format＝″″″″>

        <Chunk cat＝″″0″″role＝″″A″″role_format＝″″″″red＝″″″″plug＝″″″″>

            The People’s Bank of China，the central bank

        </Chunk>

        <Chunk cat＝″″0″″role＝″″XY40″″role_format＝″″EK″″red＝″″″″plug＝″″″″>

            ，raised

        </Chunk>

        <Chunk cat＝″″0″″role＝″″YC″″role_format＝″″″″red＝″″″″plug＝″″″″>

            interest rates

        </Chunk>

        <Chunk cat＝″″1″″role＝″″Cn″″role_format＝″″″″red＝″″″″plug＝″″0″″>

            on March 18.

        </Chunk>

     </S>

</root>

根据上述标注信息知道该源语言句的句类sc是XY40*21J，句式format是！0(即缺省)；

通过查找数据库可以知道该源语言句存在以下多个参考译文。

参考译文1“中国人民银行这个核心银行在3月18日提高了利率。”同样根据标注信息，句类是XY40*21J，句式是！0；

参考译文2“三月18号，中国人民银行，即央行，提升了银行利率。”根据标注信息，句类是XY40*21J，句式是！0；

参考译文3“中国的中央银行---中国人民银行---三月十八日提高了利率。”根据标注信息，句类是XY40*21J，句式是！0；

参考译文4“中央银行，中国人民银行3月18日提高利率。”根据标注信息，句类是XY40*21J，句式是！0；

在这个例子中，所有参考译文的句类都跟源语言句的句类相同(XY40*21J)，所有参考译文的句式都跟源语言句的句式相同(！0)，所以根据转换强度定义是句类零转换(N_sct)，句式零转换(N_sft)。

在由译文句类句式转换情况获取模块得到机器翻译结果的句类句式转换情况后，进一步地由评价打分模块进行评测。评价打分模块包括对机器翻译结果句类转换情况的评价打分、对机器翻译结果句式转换情况的评价打分，并根据句类转换的分值以及句式转换的分值计算句类句式转换的综合分值。如图3所示，对句类转换情况的评价打分过程包括：

步骤11)、获得参考译文组R_i中参考答案的个数|R_i|，参考答案组R_i中与机器译文t_i的句类相同的参考答案r的个数 $\mathrm{count}\left(\right\{r_{\mathrm{sc}\_t_i}\&Element;R_i\left\}\right);$

步骤12)、获取机器译文的句类；

步骤13)、读取参考译文的句类转换强度，如果转换强度表明是选择性转换(S_sct)，则转步骤14)；如果转换强度表明是零转换(N_sct)，则转步骤15)；如果转换强度表明是强制性转换(F_sct)，则转步骤16)；

步骤14)、对于选择性转换的转换强度(S_sct)，那么对于机器译文来讲句类转换的评价对最后的得分并没有太大的影响，权值可以大于等于1。根据下述公式计算出机器译文的句类转换评价得分：

$\mathrm{sct}\_\mathrm{info}\left\{t_i\right\}=1+\log (1+\frac{\mathrm{count}\left(\right\{r_{\mathrm{sc}\_t_i}\&Element;R_i\left\}\right)}{\left|R_i\right|}),\mathrm{if\; S}\_\mathrm{sct}---\left(1\right)$

然后转步骤17)；

步骤15)、对于零转换的转换强度(N_sct)，如果机器译文进行了句类转换，则给予较低的权值，即机器译文所进行的转换可能是不合适的，反之如果机器译文没有进行句类的转换，则权值应该大于等于1。根据下述公式计算出机器译文的句类转换评价得分：

$\mathrm{sct}\_\mathrm{info}\left\{t_i\right\}=\left\{\begin{array}{ccc}1+\log \left(\frac{1}{\left|R_i\right|}\right),& \mathrm{if}& \mathrm{sc}\_t_i\&NotEqual;\mathrm{sc}\_R_i\\ 1+\log 2,& \mathrm{if}& \mathrm{sc}\_t_i=\mathrm{sc}\_R_i\end{array}\right\}\mathrm{if\; N}\_\mathrm{sct}---\left(2\right)$

然后转步骤17)；

步骤16)、对于强制性转换的转换强度(F_sct)，机器译文的情况可以分为三种，一是机器译文没有进行句类转换，那么译文的句类基本上可以认为是错误的，给予小于1的权值；二是机器译文进行了句类转换，但是转换后的句类类型不在参考译文的句类类型之内，那么译文的句类有可能是错误的，给予小于等于1的权值；三是机器译文不仅进行了句类转换，且其句类类型在参考译文的句类类型之内，那么译文句类认为是合理的，权值可以大于等于1。根据下述公式计算出机器译文的句类转换评价得分：

然后转步骤17)；

步骤17)、对所有机器译文的句类转换评价得分求平均值，得到整个机器翻译系统的句类转换平均评价得分sct_info。

沿用上面的例子，对于源语言句“The People’s Bank of China，the centralbank，raised interest rates on March 18.”某一机器翻译系统英译汉的结果(即机器译文)为：

“中国人民银行中国，中央银行调高利率，在3月18日。”

根据此机器译文的HNC句类标注信息，得到其句类是Y40，句式是！0。

由于此例在上面转换强度判断时得到的结论是，参考译文的句类转换强度表明是零转换，根据句类转换评价的打分方法，因此需要采用步骤15)中的公式(2)。由于机器译文的句类(Y40)与参考译文的句类(XY40*21J)是不同的，所以根据公式计算，得到的句类转换评价得分是0.3979，表示此机器译文的句类是不合理的，得分较低。

如图4所示，对句式转换情况的评价打分过程包括：

步骤21)、获得参考译文组R_i中参考答案的个数|R_i|，参考答案组R_i中与机器译文t_i的语句格式(即句式)相同的参考答案r的个数 $\mathrm{count}\left(\right\{r_{\mathrm{sf}\_t_i}\&Element;R_i\left\}\right);$

步骤22)、获取机器译文的句式；

步骤23)、读取参考译文的句类句式转换强度，如果转换强度表明是选择性转换(S_sft)，则转步骤24)；如果转换强度表明是零转换(N_sft)，则转步骤25)；如果转换强度表明是强制性转换(F_sft)，则转步骤26)；

步骤24)、对于选择性转换的转换强度(S_sft)，那么对于机器译文来讲句式转换的评价对最后的得分并没有太大的影响，权值可以大于等于1。根据下述公式计算出机器译文的句式转换评价得分：

$\mathrm{sft}\_\mathrm{info}\left\{t_i\right\}=1+\log (1+\frac{\mathrm{count}\left(\right\{r_{\mathrm{sf}\_t_i}\&Element;R_i\left\}\right)}{\left|R_i\right|}),\mathrm{if\; S}\_\mathrm{sft}---\left(4\right)$

转步骤27)；

步骤25)、对于零转换的转换强度(N_sft)，如果机器译文进行了句式转换，则给予较低的权值，即机器译文所进行的转换可能是不合适的，反之如果机器译文没有进行句式的转换，则权值应该大于等于1。根据下述公式计算出机器译文的句式转换评价得分：

$\mathrm{sft}\_\mathrm{info}\left\{t_i\right\}=\left\{\begin{array}{ccc}1+\log \left(\frac{1}{\left|R_i\right|}\right),& \mathrm{if}& \mathrm{sf}\_t_i\&NotEqual;\mathrm{sf}\_R_i\\ 1+\log 2,& \mathrm{if}& \mathrm{sf}\_t_i={\mathrm{sf}\_R}_i\end{array}\right\}\mathrm{if\; N}\_\mathrm{sft}---\left(5\right)$

转步骤27)；

步骤26)、对于强制性转换的转换强度(F_sft)，机器译文的情况可以分为三种，一是机器译文没有进行句式转换，那么译文的句式基本上可以认为是错误的，给予小于1的权值；二是机器译文进行了句式转换，但是转换后的句式类型不在参考译文的句式类型之内，那么译文的句式有可能是错误的，给予小于等于1的权值；三是机器译文不仅进行了句式转换，且其句式类型在参考译文的句式类型之内，那么译文句式被认为是合理的，权值可以大于等于1。根据下述公式计算出机器译文的句式转换评价得分：

转步骤27)；

步骤27)对所有机器译文的句式转换评价得分求平均值，得到整个系统的句式转换平均评价得分sft_info。

沿用前面所提到的例子，已经得到的机器译文“中国人民银行中国，中央银行调高利率，在3月18日。”的句式是！0。

由于此例在上面转换强度判断时得到的结论是参考译文的句式转换强度表明是零转换，因此根据句式转换评价的打分方法，采用步骤25)中的公式(5)。由于机器译文的句式(！0)与参考译文的句式(！0)是相同的，所以根据公式计算，得到的句式转换评价得分是1.3010，表示此机器译文的句式较为合理，句式转换评价得分较高。

在获得系统的句类转换平均评价得分和句式转换平均评价得分后，评价打分模块还要进一步计算句类句式转换联合评价得分。对句类句式转换联合评价得分scft_info的计算可以采用以下公式：

$\mathrm{scft}\_\mathrm{info}=\frac{\mathrm{sct}\_\mathrm{info}\&times;{\mathrm{\&beta;}}_{\mathrm{sc}}+\mathrm{sft}\_\mathrm{info}\&times;{\mathrm{\&beta;}}_{\mathrm{sf}}}{{\mathrm{\&beta;}}_{\mathrm{sc}}+{\mathrm{\&beta;}}_{\mathrm{sf}}}---\left(7\right)$

其中，β_sc是发生句类转换的概率，取值0.593；β_sf是发生句式转换的概率，取值0.339。这两个概率值是对参考译文数据库进行统计后所得到的。

在前面所提到的例子中，sct_info值为0.3979，sft_info值为1.3010，根据上述联合评价得分公式进行计算，最后的得分scft_info为0.7125。

评价打分模块在计算出句类转换评价得分sct_info、句式转换评价得分sft_info和联合评价得分scft_info后，会将这些得分作为评价结果返回。

本发明所涉及的机器翻译自动评测方法与传统的机器翻译自动评测方法有很大的不同。传统评测方法并不需要理解译文句子的语义，即并不关心译文的语句结构是怎么样的以及应该是什么样的。传统方法完全只是在字词层面上，将翻译结果与参考答案进行字词的直接对比和匹配，然后对统计结果进行一些计算，得到评价得分。这些方法完全是依赖字词、短语的匹配，严重影响了评测结果的准确性。而本发明方法的实现建立在在理解句子的基础上。本发明的方法首先从机器译文和参考译文中抽取出句类句式信息，也就是是直接获得它们的语句结构信息，然后再对机器译文和参考译文的语句结构进行对比、统计和计算，从而得到评价结果。这样的评价方式非常直观和有针对性，可以非常有效地评价出译文句子结构的好坏，同时语句结构的好坏也可以直接地反映出语句的通顺性和可读性。

Claims (8)

1.一种机器翻译自动评测方法，包括：

步骤1)、读取机器翻译所得到的机器译文、所述机器译文的关于语句结构的标注信息以及所述机器译文在被翻译前所对应的源语言句；

步骤2)、根据所述机器译文的源语言句，读取该源语言句的关于语句结构的标注信息、该源语言句的参考译文、所述参考译文的关于语句结构的标注信息；

步骤3)、根据所述机器译文的关于语句结构的标注信息分析所述机器译文的语句结构，根据所述源语言句的关于语句结构的标注信息分析所述源语言句的语句结构，根据所述参考译文的关于语句结构的标注信息分析所述参考译文的语句结构；

步骤4)、比较所述源语言句的语句结构以及所述参考译文的语句结构，计算所述参考译文的语句结构的转换情况；包括：

步骤4-1)、比较所述源语言句的句类信息以及所述参考译文的句类信息，计算所述参考译文的句类转换强度；

步骤4-2)、比较所述源语言句的句式信息以及所述参考译文的句式信息，计算所述参考译文的句式转换强度；

步骤5)、比较所述源语言句的语句结构以及所述机器译文的语句结构，计算所述机器译文的语句结构的转换情况，然后将所述参考译文的语句结构的转换情况与所述机器译文的语句结构的转换情况进行比较，根据比较结果对机器译文加以评价；包括：

步骤5-1)、获取所述机器译文的句类信息，然后根据所述参考译文的句类转换强度计算所述机器译文的句类转换得分，进而得到多个机器译文的句类平均转换得分；

步骤5-2)、获取所述机器译文的句式信息，然后根据所述参考译文的句式转换强度计算所述机器译文的句式转换得分，进而得到多个机器译文的句式平均转换得分；

步骤5-3)、由所述多个机器译文的句类平均转换得分以及句式平均转换得分计算相应机器翻译的句类句式联合评价得分。

2.根据权利要求1所述的机器翻译自动评测方法，其特征在于，所述的步骤4-1)包括：

步骤4-1-1)、将所述参考译文的句类与所述源语言句的句类进行对比，在由所述参考译文所形成的参考译文组中，当一些参考译文的句类发生了改变，而另一些没有发生改变，则认为是句类选择性转换，标记为S_sct；

步骤4-1-2)、将所述参考译文的句类与所述源语言句的句类进行对比，当所述参考译文组中所有参考译文的句类都没有发生改变，则认为是句类零转换，标记为N_sct；

步骤4-1-3)、将所述参考译文的句类与所述源语言句的句类进行对比，当所述参考译文组中所有参考译文的句类都发生了改变，则认为是句类强制性转换，标记为F_sct。

3.根据权利要求1所述的机器翻译自动评测方法，其特征在于，所述的步骤4-2)包括：

步骤4-2-1)、将所述参考译文的句式与所述源语言句的句式进行对比，在由所述参考译文所形成的参考译文组中，当有一些参考译文的句式发生了改变，而另一些没有发生改变，则认为是句式选择性转换，标记为S_sft；

步骤4-2-2)、将所述参考译文的句式与所述源语言句的句式进行对比，当所述参考译文组中所有参考译文的句式都没有发生改变，则认为是句式零转换，标记为N_sft；

步骤4-2-3)、将所述参考译文的句式与源语言句的句式进行对比，当所述参考译文组中所有参考译文的句式都发生了改变，则认为是句式强制性转换，标记为F_sft。

4.根据权利要求1所述的机器翻译自动评测方法，其特征在于，所述的步骤5-1)包括：

步骤5-1-1)、获得参考译文组R_i中参考答案的个数|R_i|，参考答案组R_i中与翻译系统译文t_i的句类相同的参考答案r的个数

步骤5-1-2)、获取机器译文的句类信息；

步骤5-1-3)、读取参考译文的句类转换强度，如果转换强度表明是选择性转换S_sct，则转步骤5-1-4)；如果转换强度表明是零转换N_sct，则转步骤5-1-5)；如果转换强度表明是强制性转换F_sct，则转步骤5-1-6)；

步骤5-1-4)、对于选择性转换的转换强度S_sct，根据下述公式计算出机器译文的句类转换评价得分：

$\mathrm{sct}\_\mathrm{info}\left\{t_i\right\}=1+\log (1+\frac{\mathrm{count}\left(\right\{r_{\mathrm{sc}\_t_i}\&Element;R_i\left\}\right)}{\left|R_i\right|}),\mathrm{ifS}\_\mathrm{sct}$

转步骤5-1-7)；

步骤5-1-5)、对于零转换的转换强度N_sct，把机器译文的句类句式和参考译文组的句类进行对比，然后根据下述公式计算出机器译文的句类转换评价得分：

$\mathrm{sct}\_\mathrm{info}\left\{t_i\right\}=\left\{\begin{array}{cc}1+\log \left(\frac{1}{\left|R_i\right|}\right),& \mathrm{ifsc}{\_t}_i\&NotEqual;{\mathrm{sc}\_R}_i\\ 1+\log 2,& \mathrm{if}{\mathrm{sc}\_t}_i={\mathrm{sc}\_R}_i\end{array}\right\}\mathrm{ifN}\_\mathrm{sct}$

转步骤5-1-7)；

步骤5-1-6)、对于强制性转换的转换强度F_sct，把机器译文的句类和参考译文组的句类进行对比，然后根据下述公式计算出机器译文的句类转换评价得分：

转步骤5-1-7)；

步骤5-1-7)、对所有机器译文的句类转换评价得分求平均值，得到句类转换平均评价得分sct_info。

5.根据权利要求1所述的机器翻译自动评测方法，其特征在于，所述的步骤5-2)包括：

步骤5-2-1)、获得参考译文组R_i中参考答案的个数|R_i|，参考答案组R_i中与机器译文t_i的句式相同的参考答案r的个数

步骤5-2-2)、获取机器译文的句式信息；

步骤5-2-3)、读取参考译文的句式转换强度，如果转换强度表明是选择性转换S_sft，则执行步骤5-2-4)；如果转换强度表明是零转换N_sft，则执行步骤5-2-5)；如果转换强度表明是强制性转换F_sft，则执行步骤5-2-6)；

步骤5-2-4)、对于选择性转换的转换强度S_sft，根据下述公式计算出机器译文的句式转换评价得分：

$\mathrm{sft}\_\mathrm{info}\left\{t_i\right\}=1+\log (1+\frac{\mathrm{count}\left(\right\{r_{\mathrm{sf}\_t_i}\&Element;R_i\left\}\right)}{\left|R_i\right|}),\mathrm{ifS}\_\mathrm{sft}$

转步骤5-2-7)；

步骤5-2-5)、对于零转换的转换强度N_sft，如果机器译文进行了句式转换，根据下述公式计算出机器译文的句式转换评价得分：

$\mathrm{sft}\_\mathrm{info}\left\{t_i\right\}=\left\{\begin{array}{cc}1+\log \left(\frac{1}{\left|R_i\right|}\right),& \mathrm{ifsf}{\_t}_i\&NotEqual;{\mathrm{sf}\_R}_i\\ 1+\log 2,& \mathrm{if}{\mathrm{sf}\_t}_i={\mathrm{sf}\_R}_i\end{array}\right\}\mathrm{ifN}\_\mathrm{sft}$

转步骤5-2-7)；

步骤5-2-6)、对于强制性转换的转换强度F_sft，根据下述公式计算出机器译文的句式转换评价得分：

转步骤5-2-7)；

步骤5-2-7)对所有机器译文的句式转换评价得分求平均值，得到句式转换平均评价得分sft_info。

6.根据权利要求1所述的机器翻译自动评测方法，其特征在于，在所述的步骤5-3)中，采用下列公式计算句类句式转换联合评价得分scft_info：

其中，β_sc表示发生句类转换的概率，β_sf表示发生句式转换的概率，sct_info表示句类转换平均评价得分，sft_info表示句式转换平均评价得分。

7.根据权利要求6所述的机器翻译自动评测方法，其特征在于，所述β_sc取值为0.593，所述β_sf取值为0.339。

8.一种机器翻译自动评测系统，其特征在于，包括机器译文信息读取模块、参考译文信息读取模块、语句结构分析模块、译文句类句式转换情况获取模块、评价打分模块；其中，

所述的机器译文信息读取模块读取机器翻译所得到的机器译文、所述机器译文的关于语句结构的标注信息以及所述机器译文在被翻译前所对应的源语言句；

所述的参考译文信息读取模块根据所述机器译文的源语言句，读取该源语言句的关于语句结构的标注信息、该源语言句的参考译文、所述参考译文的关于语句结构的标注信息；

所述的语句结构分析模块根据所述机器译文的关于语句结构的标注信息分析所述机器译文的语句结构，根据所述源语言句的关于语句结构的标注信息分析所述源语言句的语句结构，根据所述参考译文的关于语句结构的标注信息分析所述参考译文的语句结构；

所述的译文句类句式转换情况获取模块比较所述源语言句的语句结构以及所述参考译文的语句结构，计算所述参考译文的语句结构的转换情况；包括：比较所述源语言句的句类信息以及所述参考译文的句类信息，计算所述参考译文的句类转换强度；比较所述源语言句的句式信息以及所述参考译文的句式信息，计算所述参考译文的句式转换强度；

所述评价打分模块比较所述源语言句的语句结构以及所述机器译文的语句结构，计算所述机器译文的语句结构的转换情况，然后将所述参考译文的语句结构的转换情况与所述机器译文的语句结构的转换情况进行比较，根据比较结果对机器译文加以评价；包括：获取所述机器译文的句类信息，然后根据所述参考译文的句类转换强度计算所述机器译文的句类转换得分，进而得到多个机器译文的句类平均转换得分；获取所述机器译文的句式信息，然后根据所述参考译文的句式转换强度计算所述机器译文的句式转换得分，进而得到多个机器译文的句式平均转换得分；由所述多个机器译文的句类平均转换得分以及句式平均转换得分计算相应机器翻译的句类句式联合评价得分。

Images