CN109190132A - 翻译质量测评方法及装置 - Google Patents

Abstract

本申请提供一种翻译质量测评方法及装置，所述方法包括：采集原始数据，所述原始数据包括翻译员的ID、翻译员的级别、机器翻译的引擎ID、待翻译的原文、机器翻译的译文及翻译员修改后的译文；对所述待翻译原文的语种及涉及的行业领域进行识别；将机器翻译的译文与翻译员翻译的译文进行差异量化，得到差异量化值；判断差异量化值是否超过阈值，若差异量化值超过阈值，则判定对此次机器翻译的测评结果为译文质量不合格；若差异量化值不超过阈值，则判定对此次机器翻译的测评结果为译文质量合格。通过对翻译引擎的翻译结果进行多次测评，得到该翻译引擎所擅长的语种及领域，以提升机器翻译的质量。

Description

翻译质量测评方法及装置

技术领域

本申请涉及互联网翻译行业智能处理领域，具体而言，涉及一种翻译质量测评方法及装置。

背景技术

随着互联网的兴起，翻译服务业正朝着大规模产业化的方向发展,由于经济飞速发展，各国之间交流日益频繁，各语言之间转换需求与日俱增，机器翻译应运而生。

机器翻译技术标志着自动机器翻译的新时代，当今可用的训练有素的机器翻译系统将会有可能替代人类翻译。虽然机器翻译技术可能会对翻译市场产生革命性影响，但目前由于缺少有效的机器翻译质量检测手段，导致基于机器的应用开发和采用受到阻碍。

发明内容

为了解决上述问题，本申请实施例提供一种翻译质量测评方法及装置。

第一方面，本申请实施例提供一种翻译质量测评方法，所述方法包括：

采集原始数据，所述原始数据包括翻译员的ID、翻译员的级别、机器翻译的引擎ID、待翻译的原文、机器翻译的译文、翻译员修改后的译文及翻译时间；

对所述待翻译原文的语种及涉及的行业领域进行识别；

将机器翻译的译文与翻译员翻译的译文进行差异量化，得到差异量化值；

判断所述差异量化值是否超过阈值，若差异量化值超过阈值，则判定对此次机器翻译的测评结果为译文质量不合格；若差异量化值不超过阈值，则判定对此次机器翻译的测评结果为译文质量合格。

可选地，在本实施例中，所述方法还包括：

根据同一翻译引擎的在不同语种和行业领域下的翻译合格率，得到翻译引擎擅长的翻译语种及行业领域。

可选地，在本实施例中，在根据同一翻译引擎的在不同语种和行业领域下的翻译合格率，得到翻译引擎擅长的翻译语种及行业领域之前，所述方法还包括：

对翻译引擎在同一语种及行业领域下进行多次翻译测评，根据多次翻译测评得出所述翻译引擎在所述语种及行业领域下的翻译合格率。

可选地，在本实施例中，在判断所述差异量化值是否超过阈值之前，所述方法包括：

为不同级别的翻译员配置不同的阈值，其中，所述翻译员的级别越高，配置的阈值越大。

可选地，在本实施例中，将机器翻译的译文与翻译员翻译的译文进行差异量化，得到差异量化值，包括：

计算机器翻译的译文字符串个数；

计算将机器翻译的译文修改为翻译员修改后的译文需要编辑单个字符的最少次数；

将需要编辑单个字符的最少次数与译文字符串个数的比值，作为差异量化值。

第二方面，本申请实施例还提供一种翻译质量测评装置，所述装置包括：

数据采集模块，用于采集原始数据，所述原始数据包括翻译员的ID、翻译员的级别、机器翻译的引擎ID、待翻译的原文、机器翻译的译文及翻译员修改后的译文；

识别模块，用于对所述待翻译原文的语种及涉及的行业领域进行识别；

差异量化模块，用于将机器翻译的译文与翻译员翻译的译文进行差异量化，得到差异量化值；

判断模块，用于判断所述差异量化值是否超过阈值，若差异量化值超过阈值，则判定对此次机器翻译的测评结果为译文质量不合格；若差异量化值不超过阈值，则判定对此次机器翻译的测评结果为译文质量合格。

可选地，在本实施例中，所述装置还包括：

分析模块，用于根据同一翻译引擎的在不同语种和行业领域下的翻译合格率，分析得到翻译引擎擅长的翻译语种及行业领域。

可选地，在本实施例中，所述装置还包括：

计算模块，用于对翻译引擎在同一语种及行业领域下进行多次翻译测评，根据多次翻译测评得出所述翻译引擎在所述语种及行业领域下的翻译合格率。

可选地，在本实施例中，所述装置还包括：

阈值配置模块，用于为不同级别的翻译员配置不同的阈值，其中，所述翻译员的级别越高，配置的阈值越大。

可选地，在本实施例中，所述差值量化模块具体用于：

计算机器翻译的译文字符串个数；

计算将机器翻译的译文修改为翻译员修改后的译文需要编辑单个字符的最少次数；

将需要编辑单个字符的最少次数与译文字符串个数的比值，作为差异量化值。

相对于现有技术，本申请实施例具有以下有益效果：

本申请提供一种翻译质量测评方法及装置，所述方法包括：采集原始数据，所述原始数据包括翻译员的ID、翻译员的级别、机器翻译的引擎ID、待翻译的原文、机器翻译的译文及翻译员修改后的译文；对所述待翻译原文的语种及涉及的行业领域进行识别；将机器翻译的译文与翻译员翻译的译文进行差异量化，得到差异量化值；判断差异量化值是否超过阈值，若差异量化值超过阈值，则判定对此次机器翻译的测评结果为译文质量不合格；若差异量化值不超过阈值，则判定对此次机器翻译的测评结果为译文质量合格。通过对翻译引擎的翻译结果进行多次测评，得到该翻译引擎所擅长的语种及领域，以提升机器翻译的质量。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的翻译质量测评方法的流程图之一；

图2为本申请实施例提供的翻译质量测评方法的流程图之二；

图3为本申请实施例提供的差异量化步骤的流程图；

图4为本申请实施例提供的翻译质量测评装置的功能模块图。

图标：401-数据采集模块；402-识别模块；403-差异量化模块；404-判断模块；405-分析模块；406-计算模块；407-阈值配置模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，需要说明的是，术语“第一”、“第二”“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

目前市面上有许多的翻译引擎，由于不同的翻译引擎使用的核心技术和训练方法差异较大，是的各个翻译引擎在不同语种和行业领域下的翻译质量参差不齐，为了解决上述问题，发明人通过研究提供下面实施例给出解决方案。

请参照图1，图1为本申请实施例提供的翻译质量测评方法的流程图之一，在本实施例中，所述方法包括：

步骤S110，采集原始数据。

在本实施例中，所述原始数据包括翻译员的ID、翻译员的级别、机器翻译的引擎ID、待翻译的原文、机器翻译的译文、翻译员修改后的译文及翻译时间。

翻译员的ID为每个翻译员的唯一编号，翻译员的级别是指翻译员的能力级别，通常分为低级翻译员、中级翻译员和高级翻译员。

通过机器翻译的引擎ID指示当前所选用的翻译引擎。

步骤S120，对所述待翻译原文的语种及涉及的行业领域进行识别。

在本实施例中，使用python开源插件langid即可完成语种的自动识别，程序代码如下：

import langid

s1＝“这是一种语检查工具”

s2＝“This is a language checker”

print(langid.classify(s1))

print(langid.classify(s2))

print(langid.classify(s3))

通过上述代码能够识别出待翻译原文的语种。

在本实施例中，采用THUCTC开源文本分类工具包以实现对用户自定义的文本的训练和分类，通过对文本的训练和测试能够识别出待翻译原文涉及的行业领域。使用THUCTC自带的训练数据集的分类标准：财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐作为行业领域标准。

步骤S130，将机器翻译的译文与翻译员翻译的译文进行差异量化，得到差异量化值。

若要对翻译引擎的翻译质量进行评价，则需要设置一个统一的指标对机器翻译的质量进行评价。

下面通过举例说明差异量化的方法，例如翻译员将kitten修改为sitting，需要将k修改为s，将e修改为i，增加字符g，因此最少修改次数为3次，修改前的字符数为6，将3与6的比值作为差异量化值，以对机器翻译的质量进行评价。

值得说明的是，当待翻译的原文字符数较大，修改次数较小时，可将修改次数与原文字符数的比值扩展10倍或100倍作为差异量化值，同时，设置的阈值需要扩展相同的倍数。

步骤S140，判断所述差异量化值是否超过阈值。

在本实施例中，通过比较差异量化值与预先设置的阈值的大小来判断机器翻译的译文是否合格。

步骤S150，若差异量化值超过阈值，则判定对此次机器翻译的测评结果为译文质量不合格。

步骤S160，若差异量化值不超过阈值，则判定对此次机器翻译的测评结果为译文质量合格。

在本实施例中，所述差异量化值代表了翻译员对译文的修改幅度，差异量化值越大，则说明翻译员对译文的改动越多，若是差异量化值超过了预设的阈值，则表示翻译员对此次机器翻译的译文不满意，判定此次机器翻译的译文质量不合格。反之，若差异量化值未超过阈值，则判定此次机器翻译的译文质量合格。

请参照图2，图2为本申请实施例提供的翻译质量测评方法的流程图之二，在本实施例中，所述方法还包括：

步骤S210，对翻译引擎在同一语种及行业领域下进行多次翻译测评，根据多次翻译测评得出所述翻译引擎在所述语种及行业领域下的翻译合格率。

为了提高测评结果的准确率及可信度，采用同一个翻译引擎在相同的语种及行业领域下对不同的待翻译原文进行翻译，得出每一次翻译测评的差异量化值，并根据差异量化值与阈值的比较结果得出每一次的翻译结果是否合格，根据多次翻译测评计算出该翻译引擎在此语种及行业领域下的翻译合格率。

例如，采用某翻译引擎A在语种为中文，行业领域为社会进行翻译测评，若总共测评了10次，则翻译引擎A需要翻译10段不同的待翻译原文，所述待翻译原文语种均为中文，行业领域均为社会。若这10次测评中，翻译结果为合格的次数为6次，则计算所述翻译引擎A在中文语种、社会领域下的翻译合格率为60％。

请继续参照图2，在本实施例中，所述方法还包括：

步骤S220，根据同一翻译引擎的在不同语种和行业领域下的翻译合格率，得到翻译引擎擅长的翻译语种及行业领域。

采用上述提到的方法对翻译引擎A在不同的语种和不同的行业领域下进行翻译测评，得出翻译引擎A在不同的语种和行业领域下的翻译合格率，比较翻译合格率的大小即可得出该翻译引擎A擅长的语种及行业领域。

在本实施例中，在判断所述差异量化值是否超过阈值之前，所述方法包括：为不同级别的翻译员配置不同的阈值，其中，所述翻译员的级别越高，配置的阈值越大。

根据翻译员的能力级别可将翻译员分为低级翻译员、中级翻译员、高级翻译员等，能力级别越高的翻译员对机器翻译后的译文修改幅度越大，因此在设置阈值时，翻译员的级别越高，设置的阈值越大。

请参照图3，图3为本申请实施例提供的差异量化步骤的流程图，在本实施例中，所述将机器翻译的译文与翻译员翻译的译文进行差异量化，得到差异量化值，包括：

步骤S310，计算机器翻译的译文字符串个数。

步骤S320，计算将机器翻译的译文修改为翻译员修改后的译文需要编辑单个字符的最少次数；

步骤S330，将需要编辑单个字符的最少次数与译文字符串个数的比值，作为差异量化值。

计算出差异量化值后，将差异量化值与阈值比较即可得出此次翻译测评结果是否合格。

请参照图4，图4为本申请实施例提供的翻译质量测评装置的功能模块图，所述装置包括：

数据采集模块401，用于采集原始数据，所述原始数据包括翻译员的ID、翻译员的级别、机器翻译的引擎ID、待翻译的原文、机器翻译的译文及翻译员修改后的译文；

识别模块402，用于对所述待翻译原文的语种及涉及的行业领域进行识别；

差异量化模块403，用于将机器翻译的译文与翻译员翻译的译文进行差异量化，得到差异量化值；

判断模块404，用于判断所述差异量化值是否超过阈值，若差异量化值超过预设阈值，则判定对此次机器翻译的测评结果为译文质量不合格；若差异量化值不超过预设阈值，则判定对此次机器翻译的测评结果为译文质量合格。

在本实施例中，所述装置还包括：

分析模块405，用于根据同一翻译引擎的在不同语种和行业领域下的翻译合格率，分析得到翻译引擎擅长的翻译语种及行业领域。

在本实施例中，所述装置还包括：

计算模块406，用于对翻译引擎在同一语种及行业领域下进行多次翻译测评，根据多次翻译测评得出所述翻译引擎在所述语种及行业领域下的翻译合格率。

在本实施例中，所述装置还包括：

阈值配置模块407，用于为不同级别的翻译员配置不同的阈值，其中，所述翻译员的级别越高，配置的阈值越大。

在本实施例中，所述差值量化模块403具体用于：

计算机器翻译的译文字符串个数；

计算将机器翻译的译文修改为翻译员修改后的译文需要编辑单个字符的最少次数；

将需要编辑单个字符的最少次数与译文字符串个数的比值，作为差异量化值。

综上所述，本申请提供一种翻译质量测评方法及装置，所述方法包括：采集原始数据，所述原始数据包括翻译员的ID、翻译员的级别、机器翻译的引擎ID、待翻译的原文、机器翻译的译文及翻译员修改后的译文；对所述待翻译原文的语种及涉及的行业领域进行识别；将机器翻译的译文与翻译员翻译的译文进行差异量化，得到差异量化值；判断差异量化值是否超过阈值，若差异量化值超过阈值，则判定对此次机器翻译的测评结果为译文质量不合格；若差异量化值不超过阈值，则判定对此次机器翻译的测评结果为译文质量合格。通过对翻译引擎的翻译结果进行多次测评，得到该翻译引擎所擅长的语种及领域，以提升机器翻译的质量。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种翻译质量测评方法，其特征在于，所述方法包括：

采集原始数据，所述原始数据包括翻译员的ID、翻译员的级别、机器翻译的引擎ID、待翻译的原文、机器翻译的译文、翻译员修改后的译文及翻译时间；

对所述待翻译原文的语种及涉及的行业领域进行识别；

将机器翻译的译文与翻译员翻译的译文进行差异量化，得到差异量化值；

判断所述差异量化值是否超过阈值，若差异量化值超过阈值，则判定对此次机器翻译的测评结果为译文质量不合格；若差异量化值不超过阈值，则判定对此次机器翻译的测评结果为译文质量合格。

2.根据权利要求1所述的翻译质量测评方法，所述方法还包括：

根据同一翻译引擎的在不同语种和行业领域下的翻译合格率，得到翻译引擎擅长的翻译语种及行业领域。

3.根据权利要求2所述的翻译质量测评方法，其特征在于，在根据同一翻译引擎的在不同语种和行业领域下的翻译合格率，得到翻译引擎擅长的翻译语种及行业领域之前，所述方法还包括：

对翻译引擎在同一语种及行业领域下进行多次翻译测评，根据多次翻译测评得出所述翻译引擎在所述语种及行业领域下的翻译合格率。

4.根据权利要求1所述的翻译质量测评方法，其特征在于，在判断所述差异量化值是否超过阈值之前，所述方法包括：

为不同级别的翻译员配置不同的阈值，其中，所述翻译员的级别越高，配置的阈值越大。

5.根据权利要求1所述的翻译质量测评方法，其特征在于，将机器翻译的译文与翻译员翻译的译文进行差异量化，得到差异量化值，包括：

计算机器翻译的译文字符串个数；

计算将机器翻译的译文修改为翻译员修改后的译文需要编辑单个字符的最少次数；

将需要编辑单个字符的最少次数与译文字符串个数的比值，作为差异量化值。

6.一种翻译质量测评装置，其特征在于，所述装置包括：

数据采集模块，用于采集原始数据，所述原始数据包括翻译员的ID、翻译员的级别、机器翻译的引擎ID、待翻译的原文、机器翻译的译文及翻译员修改后的译文；

识别模块，用于对所述待翻译原文的语种及涉及的行业领域进行识别；

差异量化模块，用于将机器翻译的译文与翻译员翻译的译文进行差异量化，得到差异量化值；

判断模块，用于判断所述差异量化值是否超过阈值，若差异量化值超过阈值，则判定对此次机器翻译的测评结果为译文质量不合格；若差异量化值不超过阈值，则判定对此次机器翻译的测评结果为译文质量合格。

7.根据权利要求6所述的翻译质量测评装置，其特征在于，所述装置还包括：

分析模块，用于根据同一翻译引擎的在不同语种和行业领域下的翻译合格率，分析得到翻译引擎擅长的翻译语种及行业领域。

8.根据权利要求7所述的翻译质量测评装置，其特征在于，所述装置还包括：

计算模块，用于对翻译引擎在同一语种及行业领域下进行多次翻译测评，根据多次翻译测评得出所述翻译引擎在所述语种及行业领域下的翻译合格率。

9.根据权利要求6所述的翻译质量测评装置，其特征在于，所述装置还包括：

阈值配置模块，用于为不同级别的翻译员配置不同的阈值，其中，所述翻译员的级别越高，配置的阈值越大。

10.根据权利要求6所述的翻译质量测评装置，其特征在于，所述差异量化模块具体用于：

计算机器翻译的译文字符串个数；

计算将机器翻译的译文修改为翻译员修改后的译文需要编辑单个字符的最少次数；

将需要编辑单个字符的最少次数与译文字符串个数的比值，作为差异量化值。