CN108959276A - 一种用于翻译的术语发现方法及其系统 - Google Patents

Abstract

本发明涉及一种用于翻译的术语发现方法及其系统。利用该方法，可以提前识别出哪些可能被翻译错误的术语，并在翻译前对待译语料进行相应的处理，在翻译后在进行匹配替换，从而输出正确的翻译结果。在翻译过程中，可以发现相应的术语库中术语在平行语料中的对应链指关系，通过这种链指关系的发现，可以将术语库中的术语进行对应的替换，这样可以提高翻译的准确性。在本发明的另一个方面，提供了一种基于AC自动机的术语处理系统，该系统主要包括术语库模块、AC自动机、翻译阵列模块以及输入、输出模块。

Description

一种用于翻译的术语发现方法及其系统

技术领域

本发明属于模式识别技术领域，尤其涉及一种用于翻译的术语发现方法及其系统。

背景技术

现阶段翻译技术可以分为三种：人工翻译、计算机辅助翻译以及机器翻译。

人工翻译准确度较高，但是速度较慢，并且准确度取决于译员自身的能力水平；面对大规模语料翻译时，更多的是采用计算机辅助翻译以及机器翻译方法。

然而，大部分机器翻译的结果并不能直接拿来使用，因为通常会存在明显的错翻以及语法错误；并且，不同的翻译引擎对于同一个术语的翻译结果通常不一致；此外，某些术语在特定的上下文环境中具备特定的含义，而翻译引擎通常只会给出其最常见的结果，该初步翻译结果明显不符合特定的上下文环境。因此，计算机辅助翻译以及机器翻译的结果还需要人工二次检查并校正。

然而，在现有技术中，人工检查缺乏针对性并且是盲目的，其至少需要概览所有的初步翻译结果，一一阅读上下文标记处所有可能的错误部分，然后对其进行校正，该过程极其耗费时间精力，并且容易出现错漏。

另一方面，初步翻译结果虽然存在错误，但是根据实际经验，其错误的部分只在某些特定语境中出现，大部分翻译结果的语义都是准确的，因此，实际检查也没有必要一一检查所有的文本。

尽管如此，现有技术对于初步翻译结果的检查校对并不能实现自动化的查找和替换，从而导致效率低下。

发明内容

为解决现有技术在翻译过程中存在术语翻译错误并且不能实现高效率查找校对的问题，本发明提出了一种用于翻译的术语发现方法。利用该方法，可以提前识别出哪些可能被翻译错误的术语，并在翻译前对待译语料进行相应的处理，在翻译后在进行匹配替换，从而输出正确的翻译结果。

在本发明的第一个方面，一种用于翻译的术语发现方法，其包括如下步骤：

（1）建立待译语料的特殊术语库。

所述特殊术语库可以是根据本次待翻译语料的属性，例如领域、关键词、摘要等因素，建立一个包含“术语-翻译结果（目标术语）”的语料库。这里的术语，可以相对常见术语较特殊的术语，也可以是本来该术语含义普通，但是由于本次待译语料描述的语境特殊而具备特殊含义。

所述术语库可以是包含多语种术语的术语库，其每一个“术语-翻译结果”包含相应的限定条件，例如，上下文语境、词性等；只有满足相应的限定条件时，该“术语-翻译结果”才发挥作用。

（2）将所述特殊术语库加载进AC自动机，所述AC自动机根据所述特殊术语库，查找输入的待译语料中满足限定条件的特殊术语；

（3）将待译语料中所述满足限定条件的特殊术语替换成不能被翻译引擎识别的特殊标记；

（4）将待译语料输入翻译引擎得出初步翻译结果；

（5）根据所述初步翻译结果，AC自动机基于所述特殊术语库，将初步翻译结果中的所述特殊标记替换为目标术语，从而输出处理后的翻译结果。

其中，所述翻译引擎包含多个翻译组件；所述翻译引擎选择所述多个翻译组件之一对所述待译语料进行翻译，并返回结果；当所述被选择的翻译组件返回不及时或无法响应时，所述翻译引擎自动切换为其他翻译组件。

所述特殊术语库包含多种语种的术语库，所述AC自动机根据待译语料的属性，自动选择对应语种的术语库并通知所述翻译引擎选择相应翻译组件的相应语种翻译功能。

利用本发明的上述方法，在翻译过程中，可以发现相应的术语库中术语在平行语料中的对应链指关系，通过这种链指关系的发现，可以将术语库中的术语进行对应的替换，这样可以提高翻译的准确性。

在本发明的另一个方面，提供了一种基于AC自动机的术语处理系统，该系统主要包括术语库模块、AC自动机、翻译阵列模块以及输入、输出模块。其中，术语库模块连接AC自动机，AC自动机接收输入模块输入的待译语料（源语种）与翻译阵列模块进行数据交互，并结合术语库模块，通过输出模块输出翻译结果（目标语种）。

其中，AC自动机接收输入的待译语料并进行第一处理后输入翻译阵列，翻译阵列输出初步翻译结果后，由AC自动机对初步翻译结果进行第二处理后输出翻译结果；

所述第一处理和第二处理均是基于加载至AC自动机的术语库进行；

可选的，所述第一处理为:

所述AC自动机根据所述特殊术语库，查找输入的待译语料中满足限定条件的特殊术语，将待译语料中所述满足限定条件的特殊术语替换成不能被翻译引擎识别的特殊标记；

可选的，所述第二处理为;

根据所述初步翻译结果，AC自动机基于所述特殊术语库，将初步翻译结果中的所述特殊标记替换为目标术语，从而输出处理后的翻译结果。

作为本申请的一个重要改进的体现，所述翻译阵列模块与所述AC自动机可解耦。

所述术语库模块包括多种语种的术语库，当所述翻译阵列选择的翻译引擎功能改变时，AC自动机自动加载对应语种的术语库。所述AC自动机根据输入的待译语料的属性，自动选择对应语种的术语库并通知所述翻译阵列选择相应翻译引擎的相应语种翻译功能。

作为本发明的一个创新点，上述方法引入了AC自动机技术。AC自动机（Aho-Corasick automation），又称trie图，是一种DFA。在翻译过程中引入AC自动机技术，是发明人在长期的翻译过程中发现的有效方法，而现有技术并没有出现该做法；

作为本发明的另一个创新点，是采用AC自动机技术在待译语料被翻译之前就进行匹配处理。不同于现有技术中是等待机器翻译结果出来之后再进行手动查找并手动替换的低效率做法，本发明的方法在机器翻译之前就执行匹配替换。由于是在机器翻译之前替换，要替换的术语可以通过AC自动机自动查找出来并自动替换，从而大大的提高了效率，减轻了负担；

作为本发明的第三个创新点，采用翻译阵列进行前后处理，保证术语链指关系发现的效果和服务高可用。由于不同的翻译引擎对于不同特色标记和句式的处理不一致，将多个翻译引擎组合形成翻译阵列，对喂入的不同句式和标记进行规则匹配，保证最合适的替换效果，同时使用阵列可以保证整个服务保证高可用，在某些引擎返回不及时和出问题的时候，能实时切换。

最后，也是最重要的一点，本发明中AC自动机和翻译模型是解耦的，互相独立，是一个可拔插组件，可以和任意翻译引擎对接，完成平行语料中术语链指关系的识别。

在本发明中，技术特征名称“术语库”、“特殊术语库”具备相同含义，其表示译员根据实际情况自己预先配置的某些术语的翻译结果对照库,该术语可能本身就是通常的术语但是在某种情况下具备特殊含义；也可能本身就是一个不常见的术语，翻译引擎无法给出正确结果。

作为本领域人员，本发明还可以采用计算机装置以及相应的计算机存贮指令实现。

附图说明

图1是现有技术对于特殊术语的处理流程图

图2是本发明的术语发现方法流程图

图3是本发明的术语处理系统的架构图

图4是本发明与现有技术的时间成本对比图

具体实施例

在本实施例中，以一个简单的例子为例，待译语料为“give me a magazine”，来从原理上示意性的描述本发明的各个查找、替换步骤。当然，实际翻译过程远不止简单的查找、替换就能完成（否则就不必采用AC自动机技术），还包括其他AC自动机对翻译过程实现的步骤，本领域技术人员应当理解，该例子仅仅是原理性示意，便于公众阅读，整个技术方案实现应当以权利要求限定的整个技术方案的实质为准。

参照图1，由于“magazine”存在多种通用含义（杂志、期刊、文本、军械……），如果一个待译语料中存在多个类似词，现有技术通常是直接将“give me a magazine”输入翻译引擎，于是输出结果中，有的是“给我一本杂志”，有的是“给我一份期刊”，有的是“给我一份文本”……，结果都不准确，译员接下来只能手动查找，而不能自动查找（因为计算机无法确定该查找哪个词），译员一一手动查找出翻译结果中的“杂志、期刊、文本、军械”等，再将其手动替换为“弹匣”。该过程效率及其低下。

现有技术中，某些翻译组件也可以支持用户实现设置某些特殊词的特殊翻译含义，使得输出的翻译结果中对于该特殊词指定输出特殊翻译含义而不输出其他含义，但是，该过程仍然是手动的一一输入配置（针对每一个特殊术语），对于大规模语料翻译，这种手动操作显然是不可行的。

此外，现有技术中，即使预先配置了特殊术语库，该过程也无法自动实现，如图1所示。

参见图2，本发明的术语发现方法流程图如下：

（1）建立待译语料的特殊术语库。

所述特殊术语库可以是根据本次待翻译语料的属性，例如领域、关键词、摘要等因素，建立一个包含“术语-翻译结果”的语料库。这里的术语，可以相对常见术语较特殊的术语，也可以是本来该术语含义普通，但是由于本次待译语料描述的语境特殊而具备特殊含义。

所述术语库可以是包含多语种术语的术语库，其每一个“术语-翻译结果”包含相应的限定条件，例如，上下文语境、词性等；只有满足相应的限定条件时，该“术语-翻译结果”才发挥作用。

所述特殊术语库是译员预先配置的某种翻译结果对照库。之所以要配置该数据库，是由于机器翻译或者计算机翻译通常只是机械的给出最可能的翻译结果，而不会结合具体的语料上下文。如前所述，对于“give me a magazine”，大多数翻译引擎的翻译结果：给我一本杂志。

然而，译员如果面对的是一个描述枪战的待译语料，其准确的翻译结果应当是：给我一个弹匣。此时，“magazine”并没有得到准确翻译，因此，译员需要预先建立“一个包含“magazine—弹匣”的术语库，该术语库可以根据语义上下文予以限定条件；

(2)将所述特殊术语库加载进AC自动机，所述AC自动机根据所述特殊术语库，查找输入的待译语料中满足限定条件的特殊术语。

具体而言，AC自动机基于特殊术语库以及上下文条件、待译语料语境等条件，判断出待译“give me a magazine”中“magazine”为满足限定条件的特殊术语；

（3）将待译语料中所述满足限定条件的特殊术语替换成不能被翻译引擎识别的特殊标记。

具体实现时，使用AC自动机对待译语料进行匹配，将匹配上的源术语替换成特殊标记。

例如，“magazine”属于AC自动机根据自动匹配上的源术语，匹配过程可以考虑语义上下文由AC自动机机制实现。

该源术语由于不能得到正确的翻译，本发明中将其替换为某种特殊标记，例如“%……%”，只要这种标记不能被翻译引擎识别即可；

（4）将待译语料输入翻译引擎得出初步翻译结果

具体而言，进入翻译阵列的待译语料为“give me a %……%”，返回的翻译过的初步翻译结果为“给我一个%……%”；

（5）根据所述初步翻译结果，AC自动机基于所述特殊术语库，将初步翻译结果中的所述特殊标记替换为目标术语，从而输出处理后的翻译结果。

此时，“给我一个%……%”可以输出正确的翻译结果：给我一个弹匣。

根据上述步骤可以看出，由于将术语库与AC自动机结合，上述过程可以自动化实现并且保证结果准确，极大的提高了效率。

使用AC自动机进行多模式串字符匹配，保证了在源语句中匹配字典中术语，特别是在术语库特别大时，匹配此语句中出现了哪些特殊术语，整个时间成本可以下降到原来的对数级别。

作为优选，还可以根据输出的翻译结果，对所述术语库进行更新。

参照图3，本发明的术语处理系统，包括术语库模块、AC自动机、翻译阵列模块以及输入、输出模块。其中，术语库模块连接AC自动机，AC自动机接收输入模块输入的待译语料（源语种）与翻译阵列模块进行数据交互，并结合术语库模块，通过输出模块输出翻译结果（目标语种）。

其中，AC自动机接收输入的待译语料并进行第一处理后输入翻译阵列，翻译阵列输出初步翻译结果后，由AC自动机对初步翻译结果进行第二处理后输出翻译结果；其特征在于，

所述第一处理和第二处理均是基于加载至AC自动机的术语库进行；

作为进一步的改进，所述翻译阵列模块与所述AC自动机解耦，二者可以互相独立，配置为可插拔组件。AC自动机可以与其他任意翻译引擎对接，翻译阵列模块中的翻译组件也可以实现替换，从而完成任意语言的翻译。

进一步的，所述术语库包含多种语种的术语库，当所述翻译阵列选择的翻译引擎功能改变时，AC自动机自动加载对应语种的术语库。

作为优选，所述翻译阵列中至少包含2种以上的翻译引擎组件，在某些引擎返回不及时和出问题的时候，能实时切换。

作为优选，所述特殊术语库包含多种语种的术语库，所述AC自动机根据待译语料的属性，自动选择对应语种的术语库并通知所述翻译阵列选择相应翻译引擎的相应语种翻译功能。

作为优选，所述翻译引擎组件包括google翻译、youdao翻译、baidu翻译等多种常见翻译工具，所述每一种翻译工具均具有多语种翻译功能。

参照图4，是对于不同数量级的翻译语料，采用现有技术和本发明所述的的方法，达到同一准确度翻译结果时时间成本对比图。

图中，实线为现有技术方法，虚线为本发明所述方法。可见，语料规模越大，本发明的优势越明显。

Claims (10)

1.一种用于翻译的术语发现方法，包括如下步骤：

（1）建立待译语料的特殊术语库；

（2）将所述特殊术语库加载进AC自动机，所述AC自动机根据所述特殊术语库，查找输入的待译语料中满足限定条件的特殊术语；

（3）将待译语料中所述满足限定条件的特殊术语替换成不能被翻译引擎识别的特殊标记；

（4）将待译语料输入翻译引擎得出初步翻译结果；

（5）根据所述初步翻译结果，AC自动机基于所述特殊术语库，将初步翻译结果中的所述特殊标记替换为目标术语，从而输出处理后的翻译结果；

其特征在于：

所述匹配、替换、输出操作是所述AC自动机基于所述特殊术语库进行。

2.如权利要求1所述的方法，其中，步骤（4）具体包括，所述翻译引擎包含多个翻译组件，翻译引擎选择其中之一对所述输入的待译语料进行翻译。

3.如前述任一权利要求所述的方法，其中，所述特殊术语库包含多种语种的术语库，所述AC自动机根据待译语料的属性，自动选择对应语种的术语库并通知所述翻译阵列选择相应翻译引擎的相应语种翻译功能。

4.一种基于AC自动机的术语处理系统，包括术语库模块、翻译阵列模块以及输入、输出模块，其中，AC自动机接收输入的待译语料并进行第一处理后输入翻译阵列模块，翻译阵列模块输出初步翻译结果后，由AC自动机对初步翻译结果进行第二处理后输出翻译结果；其特征在于，

所述第一处理和第二处理均是基于加载至AC自动机的术语库进行；

所述翻译阵列模块与所述AC自动机可解耦。

5.如权利要求4所述的系统，其中，所述第一处理为:

所述AC自动机根据所述特殊术语库，查找输入的待译语料中满足限定条件的特殊术语，将待译语料中所述满足限定条件的特殊术语替换成不能被翻译引擎识别的特殊标记。

6.如权利要求4或5之一所述的系统，其中，所述第二处理为;

根据所述初步翻译结果，AC自动机基于所述特殊术语库，将初步翻译结果中的所述特殊标记替换为目标术语，从而输出处理后的翻译结果。

7.如权利要求4或5之一所述的系统，还包括：术语库更新模块，其根据所述第二处理后输出的翻译结果更新所述术语库。

8.如权利要求7所述的系统，其中，所述术语库模块包括多种语种的术语库，当所述翻译阵列选择的翻译引擎功能改变时，AC自动机自动加载对应语种的术语库。

9.如权利要求4或5或8任一所述的系统，其中，所述AC自动机根据输入的待译语料的属性，自动选择对应语种的术语库并通知所述翻译阵列选择相应翻译引擎的相应语种翻译功能。

10.一种计算机存储介质，其上存储有计算机可执行指令，通过计算机存储器以及处理器执行所述指令，用于实现权利要求1-3任一项所述的方法。