CN112446221A - 翻译评估方法、装置、系统及计算机存储介质 - Google Patents
翻译评估方法、装置、系统及计算机存储介质 Download PDFInfo
- Publication number
- CN112446221A CN112446221A CN201910748667.2A CN201910748667A CN112446221A CN 112446221 A CN112446221 A CN 112446221A CN 201910748667 A CN201910748667 A CN 201910748667A CN 112446221 A CN112446221 A CN 112446221A
- Authority
- CN
- China
- Prior art keywords
- translation
- training
- layer
- sentence
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013519 translation Methods 0.000 title claims abstract description 498
- 238000011156 evaluation Methods 0.000 title claims abstract description 139
- 238000003062 neural network model Methods 0.000 claims abstract description 62
- 238000013441 quality evaluation Methods 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims description 223
- 239000013598 vector Substances 0.000 claims description 125
- 238000000034 method Methods 0.000 claims description 39
- 238000004891 communication Methods 0.000 claims description 15
- 238000002372 labelling Methods 0.000 claims description 10
- 230000002457 bidirectional effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 99
- 238000010586 diagram Methods 0.000 description 10
- 238000001303 quality assessment method Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Machine Translation (AREA)
Abstract
本发明实施例提供了一种机器翻译评估方法、装置、系统及计算机存储介质，其中，翻译评估方法包括：获取包括原文语句和对应的机器译文语句的待评估数据；将所述待评估数据输入翻译评估神经网络模型的第一部分，通过所述第一部分的编码器、基于注意力机制的正向解码器和反向解码器，获得第一部分输出数据，其中，所述第一部分输出数据包括：与所述原文语句对应的译文预测语句和所述译文预测语句的语义特征信息；将所述第一部分输出数据输入翻译评估神经网络模型的第二部分，获得所述机器译文语句的机器翻译质量评估结果。通过本发明实施例，降低了机器翻译质量评估的实现成本，提高了质量评估效率。
Description
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种翻译评估方法、装置、系统及计算机存储介质。
背景技术
机器翻译又称为自动翻译，是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。
随着机器翻译在真实场景中的应用越来越多，翻译质量评估也受到很大的关注。对于翻译质量评估方法来说，最常用的评价机器翻译质量的指标是BLEU(BilingualEvaluation Understudy，双语评估替换)方法的BLEU值。BLEU方法的核心思想是机器翻译的译文越接近人类专业译文，那么翻译的质量就越好。所以从本质上来说，BLEU值仅仅只是在计算机器翻译的译文与人工翻译的参考译文之间的相似性。此外，虽然BLEU值计算非常迅速，但它仅考虑词语层级的统计相似性，常忽略了语义和语法等特征。且其它如常用词、译文长度、同义词等很多情况都会影响到BLEU值的评判，因此它只能评估机器翻译的译文与人工翻译的参考译文之间的大致相似度。并且，BLEU值的计算依赖于人工生产的高质量参考译文，人工生产的特性限制了该评估方法能够评估的数量，通常只能达到上千或者上万的数据量，这远远不能满足实际的业务场景需求。
因此，如何在没有任何参考译文的前提下，也能够实时地大量地进行机器翻译质量评估，成为亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供一种翻译评估方案，以至少部分解决上述问题。
根据本发明实施例的第一方面，提供了一种翻译评估系统，包括：编码层，所述编码层用于对输入的翻译数据进行特征编码；解码层，所述解码层与所述编码层通信连接，所述解码层用于对所述特征编码的结果进行基于注意力机制的正向解码和反向解码，获取第一译文预测结果；重建层，所述重建层与所述解码层通信连接，所述重建层用于根据所述第一译文预测结果和重构预测词，确定第二译文预测结果；输出层，所述输出层与所述重建层通信连接，所述输出层用于至少基于所述重建层输出的第二译文预测结果对翻译质量进行评估。
根据本发明实施例的第二方面，提供了一种翻译评估方法，包括：获取包括原文语句和对应的机器译文语句的待评估数据；将所述待评估数据输入翻译评估神经网络模型的第一部分，通过所述第一部分的编码器、基于注意力机制的正向解码器和反向解码器，获得第一部分输出数据，其中，所述第一部分输出数据包括：与所述原文语句对应的译文预测语句和所述译文预测语句的语义特征信息；将所述第一部分输出数据输入所述翻译评估神经网络模型的第二部分，获得所述机器译文语句的机器翻译质量评估结果。
根据本发明实施例的第三方面，提供了一种翻译评估装置，包括：第一获取模块，用于获取包括原文语句和对应的机器译文语句的待评估数据；第二获取模块，用于将所述待评估数据输入翻译评估神经网络模型的第一部分，通过所述第一部分的编码器、基于注意力机制的正向解码器和反向解码器，获得第一部分输出数据，其中，所述第一部分输出数据包括：与所述原文语句对应的译文预测语句和所述译文预测语句的语义特征信息；第三获取模块，用于将所述第一部分输出数据输入所述翻译评估神经网络模型的第二部分，获得所述机器译文语句的机器翻译质量评估结果。
根据本发明实施例的第四方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第二方面所述的翻译评估方法对应的操作。
根据本发明实施例的第五方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第二方面所述的翻译评估方法。
根据本发明实施例提供的翻译评估方案，其在使用基于注意力机制的正向解码器根据特征编码的结果的正向语义信息进行译文预测的同时，还使用基于注意力机制的反向解码器根据该特征编码的结果的反向语义信息进行译文预测，通过正向和反向语义信息的结合使用，使得预测出的译文更为准确合理。此外，其在使用译文预测结果同时，还使用了从解码器获得的语义特征信息生成的重构预测词，由此，可以结合原文语句的语义以及较为准确的译文预测结果，来对机器译文语句的翻译质量进行有效评估。
可见，通过本发明实施例提供的方案，即使在没有任何人工的参考译文的前提下，也能够通过实时地大量地进行机器翻译质量评估，降低了机器翻译质量评估的实现成本，提高了质量评估效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例一的一种翻译评估系统的结构示意图；
图2为根据本发明实施例二的一种翻译评估系统的架构示意图；
图3为根据本发明实施例三的一种翻译评估方法的步骤流程图；
图4为根据本发明实施例四的一种翻译评估方法的步骤流程图；
图5为根据本发明实施例五的一种翻译评估装置的结构框图；
图6为根据本发明实施例六的一种翻译评估装置的结构框图；
图7为根据本发明实施例七的一种电子设备的结构示意图。
具体实施方式
为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
下面结合本发明实施例附图进一步说明本发明实施例具体实现。
实施例一
参照图1，示出了根据本发明实施例一的一种翻译评估系统的结构示意图。
本实施例的翻译评估系统包括：编码层101，所述编码层101用于对输入的翻译数据进行特征编码；解码层103，所述解码层103与所述编码层101通信连接，所述解码层103用于对所述特征编码的结果进行基于注意力机制的正向解码和反向解码，获取第一译文预测结果；重建层105，所述重建层105与所述解码层103通信连接，所述重建层105用于根据所述第一译文预测结果和重构预测词，确定第二译文预测结果；输出层107，所述输出层107与所述重建层105通信连接，所述输出层107用于至少基于所述重建层105输出的第二译文预测结果对翻译质量进行评估。
因本实施例的翻译评估系统用于对机器翻译的质量进行评估，因此，输入的翻译数据一般包括成对的源语言的原文语句和机器自动翻译的机器译文语句；或者，在对翻译评估系统进行训练时，输入的翻译数据包括成对的原文语句和参考译文语句(已翻译完成的且满足一定标准如准确率的译文语句)。
翻译评估系统通过编码层101对输入的翻译数据进行特征编码，生成编码后的特征向量，其中，所述编码层101可以采用任意适当的编码方式实现，本实施例对此不作限制。
编码层101编码输出的结果传递给解码层103，本实施例中的解码层103与常规解码层不同，其同时设置有正向解码层和反向解码层，且所述正向解码层和反向解码层均基于注意力机制。由此，通过本实施例的解码层103可以同时对特征编码的结果进行正向解码和反向解码，获取翻译数据中的语义特征信息。因采用了注意力机制，因此获取的语义特征信息的更能体现数据的特征表达；又因同时采用了正向的反向解码，使得获得的语义特征信息更为全面和准确。通过解码层103可以获得相应的译文预测结果，即第一译文预测结果。
继而，获得的第一译文预测结果将输入重建层105，以根据重构预测词确定第二译文预测结果。其中，重构预测词根据正向解码获得的正向语义特征向量和反向解码获得的反向语义特征向量生成，用于对第一译文预测结果进行修正。通过重建层105，获得第二译文预测结果。
进一步地，获得第二译文预测结果后，即可通过输出层107基于第二译文预测结果对机器翻译质量进行评估并输出。在一种可行方式中，输出层107可以采用Bi-LSTM结构，以实现翻译质量的评估。但不限于此，其它可基于译文预测结果对翻译质量进行评估的结构也同样适用。
需要说明的是，若处于翻译评估系统的训练过程中，则输出层107的输出可以作为翻译评估系统的训练参数的调整依据，对翻译评估系统中的训练参数进行调整，直至满足训练完成条件，如达到设定训练次数或者输出结果符合设定要求等。
通过本实施例的翻译评估系统，其在使用基于注意力机制的正向解码器根据特征编码的结果的正向语义信息进行译文预测的同时，还使用基于注意力机制的反向解码器根据该特征编码的结果的反向语义信息进行译文预测，通过正向和反向语义信息的结合使用，使得预测出的译文更为准确合理。此外，其在使用译文预测结果同时，还使用了从解码器获得的语义特征信息生成的重构预测词，由此，可以结合原文语句的语义以及较为准确的译文预测结果，来对机器译文语句的翻译质量进行有效评估。
可见，通过本实施例的翻译评估系统，即使在没有任何人工的参考译文的前提下，也能够通过实时地大量地进行机器翻译质量评估，降低了机器翻译质量评估的实现成本，提高了质量评估效率。
实施例二
本实施例的翻译评估系统对实施例一中的翻译评估系统进行了进一步的优化。
首先，如实施例一中所述，该翻译评估系统包括前述编码层101、解码层103、重建层105和输出层107。
在一种可行方案中，所述编码层101包括两层，每个编码层包括二个子层；其中，第一个子层为自注意力子层；第二个子层为全连接子层。
在另一种可行方案中，解码层103包括：用于对编码层101输出的所述特征编码的结果进行基于注意力机制的正向解码的两个正向解码层，和，用于对所述特征编码的结果进行基于注意力机制的反向解码的两个反向解码层。
其中，每个正向解码层包括三个子层，其中，第一个子层为自注意力子层；第二个子层为以所述编码层的输出作为Key和Value，以所述第一个子层的输出作为Query的自注意力子层；第三个子层为全连接子层。
每个反向解码层包括三个子层；其中，第一个子层为自注意力子层；第二个子层为以所述编码层的输出作为Key和Value，以所述第一个子层的输出作为Query的自注意力子层；第三个子层为全连接子层。
可选地，上述两种可行方案，所述自注意力子层可以均为遮挡多头自注意力(Masked multi-head self-attention)子层。
在再一种可行方案中，重建层105中的所述重构预测词根据从所述正向解码层获得的正向语义特征向量和从所述反向解码层获得的反向语义特征向量生成。
在又一种可行方案中，所述输出层107为双向长短时记忆网络(Bi-LSTM)层。
可选地，所述输出层107基于所述重建层105输出的第二译文预测结果和所述第二译文预测结果的语义特征信息，对翻译质量进行评估。
但不限于此，所述输出层107还可以基于所述重建层105输出的第二译文预测结果、所述第二译文预测结果的语义特征信息、输入的原文语句、和所述第二译文预测结果与输入的与原文语句对应的译文语句，对翻译质量进行评估。
以下，以一个具体实例为例，对上述翻译评估系统进行说明。如图2所示，示出了该翻译评估系统的架构示意图。
该翻译评估系统包括第一部分即图中的双语专家模型(Bilingual ExpertModel)部分，和，第二部分即质量评估模型(Bi-LSTM Quality Estimator)部分。
如图2中所示，双语专家模型部分包括编码层、解码层和重建层。
其中，双语专家模型部分中的编码层采用了引入了Self-Attention机制的编码器，可选地，可以选用Transformer模型中的编码器结构。Transformer模型不仅在原文端和译文端之间进行注意力机制的计算，同时原文和译文内部也引入自注意力的机制，使得两端深层的语义信息能够很好得被学习到。可选地，所述Self-Attention机制采用“Multi-head self-attention"注意力机制。“Multi-head self-attention"注意力机制的结构能够双语专家模型中每一层对不同位置的计算是并行的，大大提高了学习效率。在对原文进行编码的过程中，编码器由相同的两个编码层构成，每一个编码层都有两个子层。其中，第一个子层为Multi-head self-attention(多头自注意力)子层；第二个子层为全连接子层，其主要作用在于注意子层的特征。输入编码器的输入向量(如图2中所示的“press thebutton”中每个词对应的词向量及相应的位置向量(Pos Emb))首先流向Multi-head self-attention子层，Multi-head self-attention子层可以通过句子中的其他单词，针对某个特定的词进行编码，Multi-head self-attention子层的输出流入一个前馈的全连接神经网络，这样每一个编码器都重点关注输入的句子中的该特定的词。同时，每一个子层都还添加有残差连接和层级归一化。
图2所示双语专家模型部分中的解码层采用解码器结构，所述解码器包括正向解码器和反向解码器。其中，正向解码器(图2中右侧下方所示解码器)包括两个正向解码层，每个正向解码层包括三个子层；其中，第一个子层为Masked multi-head self-attention(遮挡多头自注意力)子层；第二个子层为以编码器的输出作为Key和Value，以其第一个子层的输出作为Query的Multi-head self-attention(多头自注意力)子层；第三个子层为全连接子层。反向解码器(图2中右侧上方所示解码器)包括两个反向解码层，每个反向解码层包括三个子层；其中，第一个子层为Masked multi-head self-attention(遮挡多头自注意力)子层；第二个子层为以编码器的输出作为Key和Value，以其第一个子层的输出作为Query的Multi-head self-attention(多头自注意力)子层；第三个子层为全连接子层。
其中，正向解码器的第一个子层即Masked multi-head self-attention子层计算输入向量的self-attention，但是因为是生成过程，因此在时刻i的时候，大于i的时刻都没有结果，只有小于i的时刻有结果，因此需要对大于i时刻的数据做Mask；而反向解码器的第一个子层则因方向与正向解码器相反，因此在时刻i的时候，小于i的时刻都没有结果，只有大于i的时刻有结果，因此需要对小于i时刻的数据做Mask。
第二个子层采用了multi-head self-attention机制，使用编码器的输出作为Key和Value，使用相应解码层的第一个子层的输出作为Query。因正向解码器和反向解码器的处理方向不同，各自第一个子层的输出也不同，因此，各自第二个子层处理的数据也不同。
正向解码器和反向解码器的第三个子层均为全连接网络。
此外，与编码器类似，两个解码器的每一个子层同样会加上残差连接与层级归一化。可以将本发明实施例中的解码器简单理解为构造了一个双向的Transformer解码器，其真正作用不是翻译系统中的解码器，而更像一个编码器或者特征表示器。
在使用正向解码器和反向解码器进行具体处理时，以原文语句为<s>abc<e>为例，其中，<s>是表征句子开始的指示符，<e>是表征句子结束的指示符。例如，在需要预测b位置的时候，使用正向解码器处理的“<s>a”的隐含层获得的特征，和，反向解码器处理的“c<e>”的隐含层获得的特征，将这两个特征拼接，根据拼接结果进行“b”的预测。
由上可见，每一次在预测译文的当前词时，双语专家模型需要使用正向与反向两部分信息。若当前预测译文的第j个词，对于正向序列而言，第一模型需要使用译文第j-1个词的前向语义特征向量和第j-1个词的词向量。而对于反向序列而言，双语专家模型需要使用译文第j+1个词的反向语义特征向量与第j+1个词的词向量。
通过双语专家模型，可获得用于进行机器翻译质量评估的信息，包括：与原文语句对应的译文预测语句和所述译文预测语句的语义特征信息。
而对于第二部分即质量评估模型部分，则可以采用Bi-LSTM模型。通过双语专家模型得到前述用于进行机器翻译质量评估的信息，作为Bi-LSTM的输入进行隐含层计算，最后质量打分利用Bi-LSTM的最后一个时间步的隐含层拼接转化为一个回归的问题。
通过上述双语专家模型部分和质量评估模型部分，即可获得机器翻译的质量评估结果。
通过本实施例的翻译评估系统，其在使用基于注意力机制的正向解码器根据特征编码的结果的正向语义信息进行译文预测的同时，还使用基于注意力机制的反向解码器根据该特征编码的结果的反向语义信息进行译文预测，通过正向和反向语义信息的结合使用，使得预测出的译文更为准确合理。此外，其在使用译文预测结果同时，还使用了从解码器获得的语义特征信息生成的重构预测词，由此，可以结合原文语句的语义以及较为准确的译文预测结果，来对机器译文语句的翻译质量进行有效评估。
可见，通过本实施例的翻译评估系统，即使在没有任何人工的参考译文的前提下，也能够通过实时地大量地进行机器翻译质量评估，降低了机器翻译质量评估的实现成本，提高了质量评估效率。
实施例三
参照图3，示出了根据本发明实施例三的一种翻译评估方法的步骤流程图。
本实施例的翻译评估方法包括以下步骤：
步骤S102：获取包括原文语句和对应的机器译文语句的待评估数据。
在评估机器翻译质量时，源语言的原文语句(如中文语句)和机器自动翻译的机器译文语句(如英文语句)成对出现，作为待评估数据一起输入翻译评估神经网络模型的第一部分中。
步骤S104：将待评估数据输入翻译评估神经网络模型的第一部分，通过第一部分的编码器、基于注意力机制的正向解码器和反向解码器，获得第一部分输出数据。
其中，所述第一部分输出数据包括：与原文语句对应的译文预测语句和所述译文预测语句的语义特征信息。
本实施例中，所述翻译评估神经网络模型包括第一部分和第二部分，其中，第一部分用于获得与原文语句对应的译文预测语句和所述译文预测语句的语义特征信息；第二部分用于根据第一部分的输出对机器翻译质量进行评估。其中，第一部分至少包括编码层和解码层。
在一种可行方式中，本实施例的翻译评估神经网络模型可以采用实施例一或实施例二中的翻译评估系统，此种情况下，其中的第一部分可以为包括编码层、解码层和重建层在内的部分，第二部分可以为输出层的部分。在采用图2所示的系统时，其中的第一部分可以为双语专家模型部分，第二部分可以为质量评估模型部分。
本实施例中，第一部分中的编码层实现为编码器的方式，解码层实现为解码器的方式，该解码器包括正向解码器和反向解码器。
其中，编码器用于将输入的向量编码为后续可被解码器使用的中间向量(即编码向量)，在实际应用中，该编码器可以采用任意适当的结构实现。在一种可行方式中，可以采用引入了注意力ATTENTION机制的Transformer模型中的编码器结构实现。
解码器用于根据从编码器接收的编码向量进行解码预测，以获取译文向量。与Transformer模型中的解码器结构不同，本发明实施例中，设置有正向和反向两个解码器，以在解码过程中使用当前词(机器译文语句中的某个词)的正向语义信息(原文语句所有词的语义信息和机器译文语句中当前词之前的词的语义信息)和当前词的反向语义信息(原文语句所有词的语义信息和机器译文语句中当前词之后的词的语义信息)，以在充分理解当前词的语义的基础上，对当前词做出正确的解码预测。在一种可行方式中，正向解码器和反向解码器均包括两个解码层。每个解码层又包括采用Masked multi-head self-attention(遮挡多头自注意力)的第一子层、采用Multi-head self-attention(多头自注意力)的第二子层，和采用全连接的第三子层。其中，第二子层以编码器的输出作为Key和Value，以第一个子层的输出作为Query(ATTENTION机制通常表示为将Query和Key-Valuepairs映射到输出上)。因正向解码器和反向解码器的方向不同，因此，造成第二子层处理的数据如Key、Value和Query也不同。
但不限于上述编码器和解码器的实现方式，在实际应用中，其它可实现本发明实施例的编码器和解码器的功能，输出相关数据的翻译评估神经网络模型的第一部分均可适用本发明实施例的方案。
通过第一部分的处理，可以获得相应的第一部分输出数据，包括但不限于：与原文语句对应的译文预测语句和所述译文预测语句的语义特征信息。
步骤S106：将第一部分输出数据输入翻译评估神经网络模型的第二部分，获得机器译文语句的机器翻译质量评估结果。
翻译评估神经网络模型的第二部分用于对机器译文语句的翻译质量做出评估，在一种可行方式中，第二部分可以采用相关的Bi-LSTM(双向长短时记忆网络)模型实现，对其进行相应训练，以达到准确输出翻译质量评估结果(如，评估等级或评估分数或评估类别等)即可。
根据本实施例，通过翻译评估神经网络模型实现对机器翻译质量的评估。其中，对于翻译评估神经网络模型的第一部分，其在使用正向解码器根据某个待翻译词语的正向语义信息进行译文预测的同时，还使用反向解码器根据该待翻译词语的反向语义信息进行译文预测，通过正向和反向语义信息的结合使用，使得预测出的译文更为准确合理。而对于翻译评估神经网络模型的第二部分，其在使用第一部分的译文预测结果即译文预测语句的同时，还使用了从第一部分获得的语义特征信息，由此，可以结合原文语句的语义以及较为准确的译文预测结果，来对机器译文语句的翻译质量进行有效评估。
可见，通过本实施例，即使在没有任何人工的参考译文的前提下，也能够通过翻译评估神经网络模型实时地大量地进行机器翻译质量评估，降低了机器翻译质量评估的实现成本，提高了质量评估效率。
本实施例的翻译评估方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。
实施例四
参照图4，示出了根据本发明实施例四的一种翻译评估方法的步骤流程图。
如前所述，翻译评估神经网络模型可以采用实施例一或实施例二中的翻译评估系统，其中的第一部分可以为包括编码层、解码层和重建层在内的部分，第二部分可以为输出层的部分。在采用图2所示的系统时，其中的第一部分可以为双语专家模型部分，第二部分可以为质量评估模型部分。本实施例中，以翻译评估神经网络模型采用如图2所示的翻译评估系统为例，对本发明实施例提供的翻译评估方法进行说明。
基于图2所示的翻译评估系统，本实施例的翻译评估方法包括以下步骤：
步骤S202：训练翻译评估神经网络模型的第一部分和第二部分。
包括：使用包括训练原文语句和对应的参考译文语句的训练样本，对翻译评估神经网络模型的第一部分进行翻译训练，以获得第一部分的训练输出数据，其中，所述训练输出数据包括：与训练原文语句对应的训练译文预测语句和训练译文预测语句的语义特征信息；将训练原文语句、训练输出数据、训练译文预测语句对应的质量标注信息、及训练译文预测语句与参考译文语句的差异信息输入翻译评估神经网络模型的第二部分，对第二部分进行翻译质量评估训练。
以下，分别对翻译评估神经网络模型的第一部分的训练和第二部分的训练进行说明。
其中，对翻译评估神经网络模型的第一部分的训练包括：
步骤A1：获取训练样本。
其中，所述训练样本包括：多个原文训练语句及与每个原文训练语句对应的参考译文语句。
本实施例中，使用正确率满足设定阈值的双向平行语料库(bi-directionalparallel corpora)中的数据作为训练样本。平行语料库是由原文文本及其平行对应的译文文本构成的双语/多语语料库，其对齐程度为句级、段级和篇级几种，本实施例中采用句级对齐程度。所述设定阈值可以由本领域技术人员根据实际需求适当设定，如设定为正确率等于或高于80％，正确率越高，训练效果越好。也即，本实施例中的训练样本采用翻译正确率达到设定阈值(如80％)的句级对齐双向平行语料数据集的训练样本，以提高模型训练准确度和训练效率。
步骤B1：针对参考译文语句中的每个词，获取与当前词对应的训练数据。
其中，当前词为参考译文语句中需要被预测的某个词，当前词随着训练的进程而变化。例如，参考译文语句为“I like watching movies”，若按照从前到后的顺序进行译文预测，则在第一次预测时，当前词为“I”，第二次预测时的当前词为“like”，第三次预测时的当前词为“watching”，第四次预测时的当前词为“movies”。当前词对应的训练数据包括：原文训练语句的所有词的词向量，和，参考译文语句中除当前词之外的其它译文词的词向量。
本实施例中，在以词向量形式给定原文训练语句中所有词和参考译文语句除当前词以外的上下文的条件下，希望翻译评估神经网络模型的第一部分能使用这些词的信息预测出当前词。这一过程潜在的假设即第一部分与第二部分高度相关，它能传递有用的信息来执行质量评估任务。如果译文的质量非常高，那么这种基于条件语言的第一部分能基于原文训练语句和参考译文语句的上下文准确预测出当前词。本实施例中，基于翻译正确率达到设定阈值的句级对齐双向平行语料数据集的训练样本，可以有效达到上述目的。
步骤C1：将所述训练数据输入翻译评估神经网络模型的第一部分，通过第一部分的编码器对所述训练数据进行编码，获得编码向量。
其中，所述编码向量包括编码词向量和语义特征向量。
本实施例中，编码器可以采用常规方式对输入的当前词的训练数据进行编码处理，以获得相应的编码向量。
其中，因训练数据包括参考译文语句中除当前词之外的其它译文词的词向量，因此，通过当前词之前的其它译文词的词向量和原文语句所有词的词向量，可以获得当前词的前向语义特征向量；通过当前词之后的其它译文词的词向量和原文语句所有词的词向量，可以获得当前词的反向语义特征向量。也即，本步骤获得的语义特征向量包括前向语义特征向量和反向语义特征向量。通过这种方式，除着重提取译文自身的深度语义特征外，还同时将原文的语义特征作为条件，包含在了译文语义特征中，使得第一部分能够达到更好的效果。
步骤D1：分别使用正向解码器根据当前词对应的编码词向量中的前向词向量和语义特征向量中的前向语义特征向量，以及，使用反向解码器根据当前词对应的编码词向量中的反向词向量和语义特征向量中的反向语义特征向量，对当前词进行译文预测。
在参考译文语句对应的编码词向量部分，以当前词为界，编码词向量中当前词之前的向量为当前词的前向词向量；相应地，编码词向量中当前词之后的向量为当前词的反向词向量。
在对当前词通过解码器进行译文预测时，针对该词，将正向解码器隐含层的结果和反向解码器的隐含层的结果拼接在一起，来预测当前词。
使用解码器进行译文预测的具体实现方式可以采用适当的方式实现，如采用Transformer模型中解码器使用的译文预测方式实现，等等。
步骤E1：根据译文预测的结果，获得与当前词对应的译文预测词。
通过解码器的译文预测，即可获得相应的结果，即，与当前词对应的译文预测词。
一种译文预测方式可以表述为如下方程式：
其中，x表示训练原文语句对应的编码词向量，j表示待预测的当前词的序号，y-j表示参考译文语句中的第j个词(即当前词)，y1…yj-1表示当前词的前向语义特征向量，yj+1…yTy表示当前词的反向语义特征向量，p表示概率函数，y|x,y-j表示基于x和y-j的译文预测词y。其中，p可以由本领域技术人员根据实际需要采用任意适当的概率函数实现。
但不限于此，为进一步提高译文预测词的准确度，在一种可行方式中，本步骤可选地可以实现为：获取译文预测的结果和重构预测词，其中，所述重构预测词根据从正向解码器获得的正向语义特征向量和从反向解码器获得的反向语义特征向量生成；根据所述译文预测的结果和所述重构预测词，确定与当前词对应的译文预测词。
从解码器获得的语义特征包含：正向语义特征(正向语义特征包含了原文训练语句的所有词的所有语义信息和参考译文语句中第k个词(当前词)之前的语义信息)和反向语义特征(反向语义特征包含了原文训练语句的所有词的所有语义信息和参考译文语句中第k个词(当前词)之后的语义信息)，以及，第k-1个词的词义信息和第k+1个词的词义信息。基于此，在解码预测过程中，本实施例利用上述语义特征重构了预测词，生成重构预测词(Token Reconstruction)。在第一种方式中，如果解码器强制将当前词解码预测为参考译文语句中的译文词，则提取该译文词的特征信息(包括概率信息)；在第二种方式中，如果解码器保留实际预测出的译文词(即重构预测词)，则获得该词的特征信息(包括概率信息)。通过第一种方式，可以使得预测结果更贴近翻译质量较高的参考译文；而通过第二种方式，输出概率最高的预测结果，则可以进一步提升翻译质量。
步骤F1：更新当前词，并返回针对所述参考译文语句中的每个词，获取与当前词对应的训练数据的操作(步骤B1)继续执行，并在获得与当前原文训练语句对应的所有译文预测词并生成对应的译文预测向量后，使用下一原文训练语句对所述翻译评估神经网络模型的第一部分继续进行翻译训练，直至满足训练结束条件。
当前词随着训练的进展而更新，仍以<s>abc<e>为例，在首次针对该样本的训练中，当前词为“a”，在输出针对“a”的预测结果如“a’”后，对“b”进行训练，则“b”成为新的当前词；在输出针对“b”的预测结果如“b’”后，对“c”进行训练，则“c”又成为新的当前词，依次类推，直至完成该训练样本中的每个词的训练。
在针对该训练样本的训练完成后，将生成该训练样本对应的训练译文预测语句，如“<s>a’b’c’<e>”。
然后，再使用下一训练样本继续进行第一部分的训练，直至达到训练结束条件，如，训练次数满足预定次数或者训练译文预测语句与参考译文语句的差异满足设定阈值，等等。
基于上述过程，翻译评估神经网络模型的第一部分输出用于后续进行翻译质量评估的输出数据，包括：与训练原文语句对应的训练译文预测语句和训练译文预测语句的语义特征信息。
进一步地，基于第一部分的输出对第二部分的训练包括：
获取第一部分输出的训练译文预测语句，并获取对训练译文预测语句进行翻译质量标注后的质量标注信息；以及，获取训练原文语句、训练输出数据、及所述训练译文预测语句与所述参考译文语句的差异信息；对质量标注信息、训练原文语句、训练输出数据、及所述训练译文预测语句与所述参考译文语句的差异信息进行拼接，生成第二部分的输入向量；将所述输入向量输入第二部分，以对第二部分进行翻译质量评估训练。
在一般情况下，所述译文预测语句与所述机器译文语句的差异信息可以表征为任意适当的信息，如相似度信息等。但在一种可行方式中，对第二部分进行训练的训练译文预测语句与所述参考译文语句的差异信息可以包括：解码器将当前词解码为参考译文语句中与当前词对应的译文词的第一概率信息、解码器将当前词解码为概率最高的译文预测词的第二概率信息、第一概率信息与第二概率信息的差异信息，所述第一概率对应的译文词与所述第二概率对应的译文预测词是否一致的信息(可以使用0和1指示)。需要说明的是，译文预测语句中的每一个词都有对应的上述差异信息。上述差异信息指示了质量差的译文区别于质量好的译文的差异信息，以更有针对性地对翻译评估神经网络模型的第二部分进行训练，提升训练准确度和效果。
在获得了翻译评估神经网络模型的第一部分输出的与训练原文语句对应的训练译文预测语句及训练译文预测语句的语义特征信息后，可以将它们与人工对所述训练译文预测语句进行质量标注的质量标注信息、训练原文语句、及所述训练译文预测语句与所述参考译文语句的差异信息一起作为第二部分的输入来进行第二部分的翻译质量评估训练。
通过将上述所有信息以特征向量的形式拼接在一起，且每一个特征向量视为一个时间步(timestep)，就能充分利用从训练原文语句和对应的参考译文语句中抽取的语义信息。
以第二部分为Bi-LSTM为例，对于训练原文语句x，第二部分首先将每一个词都表征为词向量，然后再馈送到正向和反向两条LSTM，每一个时间步需要同时结合正向和反向LSTM的隐藏状态并作为最终的输出。对于训练译文预测语句y，在第j个词之前的序列使用正向LSTM建模，而第j个词之后的序列使用反向的LSTM建模。最后在预测第j个词时，需要使用训练原文语句x的上下文向量c_j(由注意力机制得出)、训练译文预测语句第j个词的前一个词及前面序列的语义信息、训练译文预测语句第j个词的后一个词及后面序列的语义信息。
在句子级别的翻译质量评估任务中，Bi-LSTM模型的前向的最后一个时间步与后向的最后一个时间步的隐藏特征联合计算一个实数值以表示翻译质量，而在词级别的评估任务中，Bi-LSTM编码对应的译文预测词的每一个时间步的前后向量隐藏特征联合计算一个值以将它们分为“好”或“坏”两类。
通过上述过程实现了对翻译评估神经网络模型的第一部分和第二部分的训练，训练好的翻译评估神经网络模型不需要参考译文，在只输入原文和译文的情况下，即可进行待评估数据的翻译质量评估。
步骤S204：获取包括原文语句和对应的机器译文语句的待评估数据。
步骤S206：将待评估数据输入翻译评估神经网络模型的第一部分，通过第一部分的编码器、正向解码器和反向解码器，获得第一部分输出数据。
其中，第一部分输出数据包括：与原文语句对应的译文预测语句和译文预测语句的语义特征信息。
第一部分使用编码器、正向解码器和反向解码器对待评估数据的具体处理可参见步骤S202中第一部分的训练过程中的相关部分，在此不再赘述。
步骤S208：将第一部分输出数据输入第二部分，获得机器译文语句的机器翻译质量评估结果。
本步骤中，与第二部分的训练过程不同的是，无需再使用所述质量标注信息，使用训练好的第二部分，将原文语句和第一部分输出的与原文语句对应的译文预测语句、译文预测语句的语义特征信息和所述差异信息输入第二部分即可获得相应的机器翻译质量评估结果。
根据本实施例，通过翻译评估神经网络模型实现对机器翻译质量的评估。其中，对于翻译评估神经网络模型的第一部分，其在使用正向解码器根据某个待翻译词语的正向语义信息进行译文预测的同时，还使用反向解码器根据该待翻译词语的反向语义信息进行译文预测，通过正向和反向语义信息的结合使用，使得预测出的译文更为准确合理。而对于翻译评估神经网络模型的第二部分，其在使用第一部分的译文预测结果即译文预测语句的同时，还使用了从第一部分获得的语义特征信息，由此，可以结合原文语句的语义以及较为准确的译文预测结果，来对机器译文语句的翻译质量进行有效评估。
可见，通过本实施例，即使在没有任何人工的参考译文的前提下，也能够通过翻译评估神经网络模型实时地大量地进行机器翻译质量评估，降低了机器翻译质量评估的实现成本，提高了质量评估效率。
本实施例的翻译评估方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如手机、PAD等)和PC机等。
实施例五
参照图5，示出了根据本发明实施例五的一种翻译评估装置的结构框图。
本实施例的翻译评估装置包括：第一获取模块302，用于获取包括原文语句和对应的机器译文语句的待评估数据；第二获取模块304，用于将所述待评估数据输入翻译评估神经网络模型的第一部分，通过所述第一部分的编码器、基于注意力机制的正向解码器和反向解码器，获得第一部分输出数据，其中，所述第一部分输出数据包括：与所述原文语句对应的译文预测语句和所述译文预测语句的语义特征信息；第三获取模块306，用于将所述第一部分输出数据输入翻译评估神经网络模型的第二部分，获得所述机器译文语句的机器翻译质量评估结果。
本实施例的翻译评估装置用于实现前述多个方法实施例中相应的翻译评估方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的翻译评估装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
实施例六
参照图6，示出了根据本发明实施例六的一种翻译评估装置的结构框图。
本实施例的翻译评估装置包括：第一获取模块402，用于获取包括原文语句和对应的机器译文语句的待评估数据；第二获取模块404，用于将所述待评估数据输入翻译评估神经网络模型的第一部分，通过所述第一部分的编码器、基于注意力机制的正向解码器和反向解码器，获得第一部分输出数据，其中，所述第一部分输出数据包括：与所述原文语句对应的译文预测语句和所述译文预测语句的语义特征信息；第三获取模块406，用于将所述第一部分输出数据输入翻译评估神经网络模型的第二部分，获得所述机器译文语句的机器翻译质量评估结果。
可选地，本实施例的翻译评估装置还包括：第一训练模块408，用于在所述第一获取模块获取包括原文语句和对应的机器译文语句的待评估数据之前，使用包括训练原文语句和对应的参考译文语句的训练样本，对所述第一部分进行翻译训练，以获得所述第一部分的训练输出数据，其中，所述训练输出数据包括：与所述训练原文语句对应的训练译文预测语句和所述训练译文预测语句的语义特征信息；第二训练模块410，用于将所述训练原文语句、所述训练输出数据、所述训练译文预测语句对应的质量标注信息、及所述训练译文预测语句与所述参考译文语句的差异信息输入翻译评估神经网络模型的第二部分，对所述第二部分进行翻译质量评估训练。
可选地，所述第一训练模块408包括：训练数据获取模块4082，用于针对所述参考译文语句中的每个词，获取与当前词对应的训练数据，其中，所述当前词对应的训练数据包括：所述原文训练语句的所有词的词向量，和，所述参考译文语句中除所述当前词之外的其它译文词的词向量；编码模块4084，用于将所述训练数据输入第一部分，通过所述第一部分的编码器对所述训练数据进行编码，获得编码向量，其中，所述编码向量包括编码词向量和语义特征向量；解码模块4086，用于分别使用正向解码器根据当前词对应的所述编码词向量中的前向词向量和所述语义特征向量中的前向语义特征向量，以及，使用反向解码器根据当前词对应的所述编码词向量中的反向词向量和所述语义特征向量中的反向语义特征向量，对当前词进行译文预测；预测词获取模块4088，用于根据译文预测的结果，获得与当前词对应的译文预测词；继续训练模块4080，用于更新当前词，并返回所述训练数据获取模块4082继续执行，并在获得与当前原文训练语句对应的所有译文预测词并生成对应的译文预测向量后，使用下一原文训练语句对所述第一部分继续进行翻译训练，直至满足训练结束条件。
可选地，所述预测词获取模块4088，用于获取译文预测的结果和重构预测词，其中，所述重构预测词根据从所述正向解码器获得的正向语义特征向量和从所述反向解码器获得的反向语义特征向量生成；根据所述译文预测的结果和所述重构预测词，确定与当前词对应的译文预测词。
可选地，所述训练译文预测语句与所述参考译文语句的差异信息包括：解码器将当前词解码为参考译文语句中与当前词对应的译文词的第一概率信息、解码器将当前词解码为概率最高的译文预测词的第二概率信息、第一概率信息与第二概率信息的差异信息，所述第一概率对应的译文词与所述第二概率对应的译文预测词是否一致的信息。
可选地，第二训练模块410包括：输入信息获取模块4102，用于获取所述翻译评估神经网络模型的第一部分输出的训练译文预测语句，并获取对所述训练译文预测语句进行翻译质量标注后的质量标注信息；以及，获取所述训练原文语句、所述训练输出数据、及所述训练译文预测语句与所述参考译文语句的差异信息；输入向量生成模块4104，用于对所述质量标注信息、所述训练原文语句、所述训练输出数据、及所述训练译文预测语句与所述参考译文语句的差异信息进行拼接，生成所述翻译评估神经网络模型的第二部分的输入向量；质量评估训练模块4106，用于将所述输入向量输入所述第二部分，以对所述第二部分进行翻译质量评估训练。
可选地，所述包括训练原文语句和对应的参考译文语句的训练样本包括：翻译正确率达到设定阈值的句级对齐双向平行语料数据集的训练样本。
可选地，所述第一部分中的正向解码器包括两个正向解码层，每个正向解码层包括三个子层；其中，第一个子层为遮挡多头自注意力Masked multi-head self-attention子层；第二个子层为以所述编码器的输出作为Key和Value，以所述第一个子层的输出作为Query的多头自注意力Multi-head self-attention子层；第三个子层为全连接子层；所述第一部分中的反向解码器包括两个反向解码层，每个反向解码层包括三个子层；其中，第一个子层为遮挡多头自注意力Masked multi-head self-attention子层；第二个子层为以所述编码器的输出作为Key和Value，以所述第一个子层的输出作为Query的多头自注意力Multi-head self-attention子层；第三个子层为全连接子层。
可选地，所述第一部分中的编码器包括两个编码层，每个编码层包括二个子层；其中，第一个子层为多头自注意力Multi-head self-attention子层；第二个子层为全连接子层；所述翻译评估神经网络模型的第二部分为双向长短时记忆网络Bi-LSTM模型。
本实施例的翻译评估装置用于实现前述多个方法实施例中相应的翻译评估方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的翻译评估装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。
实施例七
参照图7，示出了根据本发明实施例七的一种电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
如图7所示，该电子设备可以包括：处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中：
处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504，用于与其它电子设备或服务器进行通信。
处理器502，用于执行程序510，具体可以执行上述翻译评估方法实施例中的相关步骤。
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行以下操作：获取包括原文语句和对应的机器译文语句的待评估数据；将所述待评估数据输入翻译评估神经网络模型的第一部分，通过所述第一部分的编码器、基于注意力机制的正向解码器和反向解码器，获得第一部分输出数据，其中，所述第一部分输出数据包括：与所述原文语句对应的译文预测语句和所述译文预测语句的语义特征信息；将所述第一部分输出数据输入翻译评估神经网络模型的第二部分，获得所述机器译文语句的机器翻译质量评估结果。
在一种可选的实施方式中，程序510还用于使得处理器502在获取包括原文语句和对应的机器译文语句的待评估数据之前，使用包括训练原文语句和对应的参考译文语句的训练样本，对所述第一部分进行翻译训练，以获得所述第一部分的训练输出数据，其中，所述训练输出数据包括：与所述训练原文语句对应的训练译文预测语句和所述训练译文预测语句的语义特征信息；将所述训练原文语句、所述训练输出数据、所述训练译文预测语句对应的质量标注信息、及所述训练译文预测语句与所述参考译文语句的差异信息输入翻译评估神经网络模型的第二部分，对所述第二部分进行翻译质量评估训练。
在一种可选的实施方式中，程序510还用于使得处理器502在使用包括训练原文语句和对应的参考译文语句的训练样本，对所述第一部分进行翻译训练，以获得所述第一部分的训练输出数据时：针对所述参考译文语句中的每个词，获取与当前词对应的训练数据，其中，所述当前词对应的训练数据包括：所述原文训练语句的所有词的词向量，和，所述参考译文语句中除所述当前词之外的其它译文词的词向量；将所述训练数据输入第一部分，通过所述第一部分的编码器对所述训练数据进行编码，获得编码向量，其中，所述编码向量包括编码词向量和语义特征向量；分别使用正向解码器根据当前词对应的所述编码词向量中的前向词向量和所述语义特征向量中的前向语义特征向量，以及，使用反向解码器根据当前词对应的所述编码词向量中的反向词向量和所述语义特征向量中的反向语义特征向量，对当前词进行译文预测；根据译文预测的结果，获得与当前词对应的译文预测词；更新当前词，并返回针对所述参考译文语句中的每个词，获取与当前词对应的训练数据的操作继续执行，并在获得与当前原文训练语句对应的所有译文预测词并生成对应的译文预测向量后，使用下一原文训练语句对所述第一部分继续进行翻译训练，直至满足训练结束条件。
在一种可选的实施方式中，程序510还用于使得处理器502在根据译文预测的结果，获得与当前词对应的译文预测词时：获取译文预测的结果和重构预测词，其中，所述重构预测词根据从所述正向解码器获得的正向语义特征向量和从所述反向解码器获得的反向语义特征向量生成；根据所述译文预测的结果和所述重构预测词，确定与当前词对应的译文预测词。
在一种可选的实施方式中，所述训练译文预测语句与所述参考译文语句的差异信息包括：解码器将当前词解码为参考译文语句中与当前词对应的译文词的第一概率信息、解码器将当前词解码为概率最高的译文预测词的第二概率信息、第一概率信息与第二概率信息的差异信息，所述第一概率对应的译文词与所述第二概率对应的译文预测词是否一致的信息。
在一种可选的实施方式中，程序510还用于使得处理器502在将所述训练原文语句、所述训练输出数据、所述训练译文预测语句对应的质量标注信息、及所述训练译文预测语句与所述参考译文语句的差异信息输入翻译评估神经网络模型的第二部分，对所述第二部分进行翻译质量评估训练时：获取所述第一部分输出的训练译文预测语句，并获取对所述训练译文预测语句进行翻译质量标注后的质量标注信息；以及，获取所述训练原文语句、所述训练输出数据、及所述训练译文预测语句与所述参考译文语句的差异信息；对所述质量标注信息、所述训练原文语句、所述训练输出数据、及所述训练译文预测语句与所述参考译文语句的差异信息进行拼接，生成所述第二部分的输入向量；将所述输入向量输入所述第二部分，以对所述第二部分进行翻译质量评估训练。
在一种可选的实施方式中，所述包括训练原文语句和对应的参考译文语句的训练样本包括：翻译正确率达到设定阈值的句级对齐双向平行语料数据集的训练样本。
在一种可选的实施方式中，所述翻译评估神经网络模型的第一部分中的正向解码器包括两个正向解码层，每个正向解码层包括三个子层；其中，第一个子层为遮挡多头自注意力Masked multi-head self-attention子层；第二个子层为以所述编码器的输出作为Key和Value，以所述第一个子层的输出作为Query的多头自注意力Multi-head self-attention子层；第三个子层为全连接子层；所述第一部分中的反向解码器包括两个反向解码层，每个反向解码层包括三个子层；其中，第一个子层为遮挡多头自注意力Maskedmulti-head self-attention子层；第二个子层为以所述编码器的输出作为Key和Value，以所述第一个子层的输出作为Query的多头自注意力Multi-head self-attention子层；第三个子层为全连接子层。
在一种可选的实施方式中，所述第一部分中的编码器包括两个编码层，每个编码层包括二个子层；其中，第一个子层为多头自注意力Multi-head self-attention子层；第二个子层为全连接子层；所述翻译评估神经网络模型的第二部分采用双向长短时记忆网络Bi-LSTM模型。
程序510中各步骤的具体实现可以参见上述翻译评估方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
通过本实施例的电子设备，通过翻译评估神经网络模型实现对机器翻译质量的评估。其中，对于翻译评估神经网络模型的第一部分，其在使用正向解码器根据某个待翻译词语的正向语义信息进行译文预测的同时，还使用反向解码器根据该待翻译词语的反向语义信息进行译文预测，通过正向和反向语义信息的结合使用，使得预测出的译文更为准确合理。而对于翻译评估神经网络模型的第二部分，其在使用第一部分的译文预测结果即译文预测语句的同时，还使用了从第一部分获得的语义特征信息，由此，可以结合原文语句的语义以及较为准确的译文预测结果，来对机器译文语句的翻译质量进行有效评估。
可见，通过本实施例的电子设备，即使在没有任何人工的参考译文的前提下，也能够通过翻译评估神经网络模型实时地大量地进行机器翻译质量评估，降低了机器翻译质量评估的实现成本，提高了质量评估效率。
需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的机器翻译评估方法。此外，当通用计算机访问用于实现在此示出的机器翻译评估方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的机器翻译评估方法的专用计算机。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。
Claims (20)
1.一种翻译评估系统，包括：
编码层，所述编码层用于对输入的翻译数据进行特征编码；
解码层，所述解码层与所述编码层通信连接，所述解码层用于对所述特征编码的结果进行基于注意力机制的正向解码和反向解码，获取第一译文预测结果；
重建层，所述重建层与所述解码层通信连接，所述重建层用于根据所述第一译文预测结果和重构预测词，确定第二译文预测结果；
输出层，所述输出层与所述重建层通信连接，所述输出层用于至少基于所述重建层输出的第二译文预测结果对翻译质量进行评估。
2.根据权利要求1所述的系统，其中，所述解码层包括：用于对所述特征编码的结果进行基于注意力机制的正向解码的两个正向解码层，和，用于对所述特征编码的结果进行基于注意力机制的反向解码的两个反向解码层。
3.根据权利要求2所述的系统，其中，
每个正向解码层包括三个子层；其中，第一个子层为自注意力子层；第二个子层为以所述编码层的输出作为Key和Value，以所述第一个子层的输出作为Query的自注意力子层；第三个子层为全连接子层；
每个反向解码层包括三个子层；其中，第一个子层为自注意力子层；第二个子层为以所述编码层的输出作为Key和Value，以所述第一个子层的输出作为Query的自注意力子层；第三个子层为全连接子层。
4.根据权利要求1所述的系统，其中，所述编码层包括两层，每个编码层包括二个子层；其中，第一个子层为自注意力子层；第二个子层为全连接子层。
5.根据权利要求3或4所述的系统，其中，所述自注意力子层均为遮挡多头自注意力(Masked multi-head self-attention)子层。
6.根据权利要求1所述的系统，其中，所述输出层为双向长短时记忆网络(Bi-LSTM)层。
7.根据权利要求2所述的系统，其中，所述重构预测词根据从所述正向解码层获得的正向语义特征向量和从所述反向解码层获得的反向语义特征向量生成。
8.根据权利要求1所述的系统，其中，所述输出层基于所述重建层输出的第二译文预测结果和所述第二译文预测结果的语义特征信息，对翻译质量进行评估。
9.根据权利要求8所述的系统，其中，所述输出层基于所述重建层输出的第二译文预测结果、所述第二译文预测结果的语义特征信息、输入的原文语句、和所述第二译文预测结果与输入的与原文语句对应的译文语句，对翻译质量进行评估。
10.一种翻译评估方法，包括：
获取包括原文语句和对应的机器译文语句的待评估数据；
将所述待评估数据输入翻译评估神经网络模型的第一部分，通过所述第一部分的编码器、基于注意力机制的正向解码器和反向解码器，获得第一部分输出数据，其中，所述第一部分输出数据包括：与所述原文语句对应的译文预测语句和所述译文预测语句的语义特征信息；
将所述第一部分输出数据输入所述翻译评估神经网络模型的第二部分，获得所述机器译文语句的机器翻译质量评估结果。
11.根据权利要求10所述的方法，其中，所述方法还包括：
使用包括训练原文语句和对应的参考译文语句的训练样本，对所述第一部分进行翻译训练，以获得所述第一部分的训练输出数据，其中，所述训练输出数据包括：与所述训练原文语句对应的训练译文预测语句和所述训练译文预测语句的语义特征信息；
将所述训练原文语句、所述训练输出数据、所述训练译文预测语句对应的质量标注信息、及所述训练译文预测语句与所述参考译文语句的差异信息输入第二部分，对所述第二部分进行翻译质量评估训练。
12.根据权利要求11所述的方法，其中：
针对所述参考译文语句中的每个词，获取与当前词对应的训练数据，其中，所述当前词对应的训练数据包括：所述原文训练语句的所有词的词向量，和，所述参考译文语句中除所述当前词之外的其它译文词的词向量；
将所述训练数据输入第一部分，通过所述第一部分的编码器对所述训练数据进行编码，获得编码向量，其中，所述编码向量包括编码词向量和语义特征向量；
分别使用正向解码器根据当前词对应的所述编码词向量中的前向词向量和所述语义特征向量中的前向语义特征向量，以及，使用反向解码器根据当前词对应的所述编码词向量中的反向词向量和所述语义特征向量中的反向语义特征向量，对当前词进行译文预测；
根据译文预测的结果，获得与当前词对应的译文预测词；
更新当前词，并返回针对所述参考译文语句中的每个词，获取与当前词对应的训练数据的操作继续执行，并在获得与当前原文训练语句对应的所有译文预测词并生成对应的译文预测向量后，使用下一原文训练语句对所述第一部分继续进行翻译训练，直至满足训练结束条件。
13.根据权利要求12所述的方法，其中，所述根据译文预测的结果，获得与当前词对应的译文预测词，包括：
获取译文预测的结果和重构预测词，其中，所述重构预测词根据从所述正向解码器获得的正向语义特征向量和从所述反向解码器获得的反向语义特征向量生成；
根据所述译文预测的结果和所述重构预测词，确定与当前词对应的译文预测词。
14.根据权利要求11-13任一项所述的方法，其中，所述训练译文预测语句与所述参考译文语句的差异信息包括：解码器将当前词解码为参考译文语句中与当前词对应的译文词的第一概率信息、解码器将当前词解码为概率最高的译文预测词的第二概率信息、第一概率信息与第二概率信息的差异信息，所述第一概率对应的译文词与所述第二概率对应的译文预测词是否一致的信息。
15.根据权利要求11-13任一项所述的方法，其中：
获取所述第一部分输出的训练译文预测语句，并获取对所述训练译文预测语句进行翻译质量标注后的质量标注信息；以及，获取所述训练原文语句、所述训练输出数据、及所述训练译文预测语句与所述参考译文语句的差异信息；
对所述质量标注信息、所述训练原文语句、所述训练输出数据、及所述训练译文预测语句与所述参考译文语句的差异信息进行拼接，生成所述第二部分的输入向量；
将所述输入向量输入所述第二部分，以对所述第二部分进行翻译质量评估训练。
16.根据权利要求11-13任一项所述的方法，其中，所述包括训练原文语句和对应的参考译文语句的训练样本包括：翻译正确率达到设定阈值的句级对齐双向平行语料数据集的训练样本。
17.根据权利要求10-13任一项所述的方法，其中，
所述第一部分中的正向解码器包括两个正向解码层，每个正向解码层包括三个子层；其中，第一个子层为遮挡多头自注意力(Masked multi-head self-attention)子层；第二个子层为以所述编码器的输出作为Key和Value，以所述第一个子层的输出作为Query的多头自注意力(Multi-head self-attention)子层；第三个子层为全连接子层；
所述第一部分中的反向解码器包括两个反向解码层，每个反向解码层包括三个子层；其中，第一个子层为遮挡多头自注意力(Masked multi-head self-attention)子层；第二个子层为以所述编码器的输出作为Key和Value，以所述第一个子层的输出作为Query的多头自注意力(Multi-head self-attention)子层；第三个子层为全连接子层。
18.根据权利要求17所述的方法，其中，
所述第一部分中的编码器包括两个编码层，每个编码层包括二个子层；其中，第一个子层为多头自注意力(Multi-head self-attention)子层；第二个子层为全连接子层；
所述第二部分为双向长短时记忆网络(Bi-LSTM)部分。
19.一种翻译评估装置，包括：
第一获取模块，用于获取包括原文语句和对应的机器译文语句的待评估数据；
第二获取模块，用于将所述待评估数据输入翻译评估神经网络模型的第一部分，通过所述第一部分的编码器、基于注意力机制的正向解码器和反向解码器，获得第一部分输出数据，其中，所述第一部分输出数据包括：与所述原文语句对应的译文预测语句和所述译文预测语句的语义特征信息；
第三获取模块，用于将所述第一部分输出数据输入所述翻译评估神经网络模型的第二部分，获得所述机器译文语句的机器翻译质量评估结果。
20.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求10-18中任一所述的翻译评估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910748667.2A CN112446221B (zh) | 2019-08-14 | 2019-08-14 | 翻译评估方法、装置、系统及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910748667.2A CN112446221B (zh) | 2019-08-14 | 2019-08-14 | 翻译评估方法、装置、系统及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112446221A true CN112446221A (zh) | 2021-03-05 |
| CN112446221B CN112446221B (zh) | 2023-12-15 |
Family
ID=74740606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910748667.2A Active CN112446221B (zh) | 2019-08-14 | 2019-08-14 | 翻译评估方法、装置、系统及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112446221B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113609875A (zh) * | 2021-08-06 | 2021-11-05 | 科大讯飞股份有限公司 | 翻译质量评估方法、装置、电子设备和存储介质 |
| CN113761950A (zh) * | 2021-04-28 | 2021-12-07 | 腾讯科技（深圳）有限公司 | 一种翻译模型的测试方法及装置 |
| CN114266224A (zh) * | 2021-12-02 | 2022-04-01 | 北京捷通华声科技股份有限公司 | 一种句对中片段语料的表示方法和装置 |
| CN114298061A (zh) * | 2022-03-07 | 2022-04-08 | 阿里巴巴（中国）有限公司 | 机器翻译及模型训练质量评估方法、电子设备及存储介质 |
| CN114997188A (zh) * | 2022-06-01 | 2022-09-02 | 阿里巴巴（中国）有限公司 | 翻译评估方法、翻译评估模型训练方法及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012079247A1 (zh) * | 2010-12-17 | 2012-06-21 | 北京交通大学 | 机器翻译测评装置及方法 |
| CN107729329A (zh) * | 2017-11-08 | 2018-02-23 | 苏州大学 | 一种基于词向量连接技术的神经机器翻译方法及装置 |
| CN109829172A (zh) * | 2019-01-04 | 2019-05-31 | 北京先声智能科技有限公司 | 一种基于神经翻译的双向解码自动语法改错模型 |
-
2019
- 2019-08-14 CN CN201910748667.2A patent/CN112446221B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012079247A1 (zh) * | 2010-12-17 | 2012-06-21 | 北京交通大学 | 机器翻译测评装置及方法 |
| CN107729329A (zh) * | 2017-11-08 | 2018-02-23 | 苏州大学 | 一种基于词向量连接技术的神经机器翻译方法及装置 |
| CN109829172A (zh) * | 2019-01-04 | 2019-05-31 | 北京先声智能科技有限公司 | 一种基于神经翻译的双向解码自动语法改错模型 |
Non-Patent Citations (2)
| Title |
|---|
| IVAN FUNG等: "Multi-Head Attention for End-to-End Neural Machine Translation", 《IEEE XPLORE》 * |
| 陈志明;李茂西;王明文;: "基于神经网络特征的句子级别译文质量估计", 计算机研究与发展, no. 08 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113761950A (zh) * | 2021-04-28 | 2021-12-07 | 腾讯科技（深圳）有限公司 | 一种翻译模型的测试方法及装置 |
| CN113609875A (zh) * | 2021-08-06 | 2021-11-05 | 科大讯飞股份有限公司 | 翻译质量评估方法、装置、电子设备和存储介质 |
| CN113609875B (zh) * | 2021-08-06 | 2024-02-20 | 中国科学技术大学 | 翻译质量评估方法、装置、电子设备和存储介质 |
| CN114266224A (zh) * | 2021-12-02 | 2022-04-01 | 北京捷通华声科技股份有限公司 | 一种句对中片段语料的表示方法和装置 |
| CN114298061A (zh) * | 2022-03-07 | 2022-04-08 | 阿里巴巴（中国）有限公司 | 机器翻译及模型训练质量评估方法、电子设备及存储介质 |
| CN114997188A (zh) * | 2022-06-01 | 2022-09-02 | 阿里巴巴（中国）有限公司 | 翻译评估方法、翻译评估模型训练方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112446221B (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112446221B (zh) | 翻译评估方法、装置、系统及计算机存储介质 | |
| CN108363790B (zh) | 用于对评论进行评估的方法、装置、设备和存储介质 | |
| CN112036162B (zh) | 文本纠错的适配方法、装置、电子设备及存储介质 | |
| CN110598224A (zh) | 翻译模型的训练方法、文本处理方法、装置及存储介质 | |
| CN112528637B (zh) | 文本处理模型训练方法、装置、计算机设备和存储介质 | |
| CN111651589B (zh) | 一种针对长文档的两阶段文本摘要生成方法 | |
| CN112257437B (zh) | 语音识别纠错方法、装置、电子设备和存储介质 | |
| CN111401079A (zh) | 神经网络机器翻译模型的训练方法、装置及存储介质 | |
| CN111144140B (zh) | 基于零次学习的中泰双语语料生成方法及装置 | |
| CN110717345A (zh) | 一种译文重对齐的循环神经网络跨语言机器翻译方法 | |
| CN111783478B (zh) | 机器翻译质量估计方法、装置、设备及存储介质 | |
| CN111767833A (zh) | 模型生成方法、装置、电子设备及存储介质 | |
| CN113609824A (zh) | 基于文本编辑和语法纠错的多轮对话改写方法及系统 | |
| CN116822464A (zh) | 一种文本纠错方法、系统、设备及存储介质 | |
| CN115756597A (zh) | 一种基于多模态代码表示的注释自动生成方法 | |
| US11694041B2 (en) | Chapter-level text translation method and device | |
| CN112528598B (zh) | 基于预训练语言模型和信息论的自动化文本摘要评测方法 | |
| CN109979461A (zh) | 一种语音翻译方法及装置 | |
| CN116245102B (zh) | 一种基于多头注意力和图神经网络的多模态情感识别方法 | |
| CN111178097B (zh) | 基于多级翻译模型生成中泰双语语料的方法及装置 | |
| CN117173269A (zh) | 一种人脸图像生成方法、装置、电子设备和存储介质 | |
| JP2023062150A (ja) | 文字認識モデルトレーニング、文字認識方法、装置、機器及び媒体 | |
| CN115879480A (zh) | 语义约束机器翻译方法、装置、电子设备及存储介质 | |
| CN115169297A (zh) | 文本改写方法、装置、电子设备和存储介质 | |
| CN114925175A (zh) | 基于人工智能的摘要生成方法、装置、计算机设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |