CN102681985A - 一种面向形态丰富语言的翻译方法和系统 - Google Patents

Abstract

一种面向形态丰富语言的翻译方法和系统，所述方法包括：步骤1，对形态丰富语言进行形态分析，获得词干和词缀信息；步骤2，在抽取翻译规则时，以词干作为原子翻译单元，并保留相应的词缀分布信息；步骤3，在翻译时，对于待翻译的片段，获取其词干、词缀分布；词干序列用来查询规则表，词缀分布信息和规则候选的词缀分布计算相似度，表征两者的相似程度，指导解码，所述词干序列是由多个词干组成的序列。

Description

一种面向形态丰富语言的翻译方法和系统

技术领域

本发明属于自然语言处理技术领域，具体地说，本发明涉及一种面向形态丰富语言的翻译方法和系统。

背景技术

目前的统计机器翻译（Statistical Machine Translation）相关技术主要源自英语和类似的语言。它假定词是原子翻译单元，在这个假定的基础上，提出了基于词、基于短语，以及基于句法的翻译模型；在语料库规模较大的前提下，这类方法有效地改善了孤立语（如汉语）和形态变化不丰富的语言（如英语、法语）的翻译。

但对形态丰富语言而言，它存在一系列形态变化过程：曲折变化、语音和谐、一致性、复合等；因此，对一个给定的词干（stem form）,理论上它可以产生成百上千种新的词形（surface form）。如果我们将每个词形当成独立的词，数据稀疏问题将会非常严重。

为了缓解数据稀疏现象，关于形态丰富语言翻译的研究主要集中在同一词干的不同词形上。通过形态分析来对输入进行优化表示，以改善对齐和翻译效果。但总的来说，相关研究还停留在将词形、词干，或者词素（morpheme）作为原子翻译单元上，而并没有区别对待词干和词缀（affix）。

（Zhiyang Wang,Yajuan Lv,and Qun Liu.2011.Multi-granularityword alignment and decoding for agglutinative language translation.In Proceedings of MT SUMMIT,pages 360–367.）论文实验表明了将词干作为原子翻译单元，可以有效的缓解数据稀疏现象，并改善了维吾尔语到汉语的翻译质量。但这一方法毕竟丢掉了词缀信息，翻译规则中存在一定的歧义现象。词缀，尤其是构形词缀（inflectional affix），表征了很多语法信息，像时态、人称、数目、格等。这些信息对翻译规则消歧是有用的。

发明内容

为解决上述问题，本发明的目的是提出一种面向形态丰富语言的翻译方法和系统。通过区别对待词干和词缀，将词干作为原子翻译单元，缓解数据稀疏问题；翻译规则关联的词缀用来对翻译规则消歧，从而改善形态丰富语言翻译的质量。

本发明公开一种面向形态丰富语言的翻译方法，包括：

步骤1，对形态丰富语言进行形态分析，获得词干和词缀信息；

步骤2，在抽取翻译规则时，以词干作为原子翻译单元，并保留相应的词缀分布信息；

步骤3，在翻译时，对于待翻译的片段，获取其词干、词缀分布；词干序列用来查询规则表，词缀分布信息和规则候选的词缀分布计算相似度，表征两者的相似程度，指导解码，所述词干序列是由多个词干组成的序列。

所述的面向形态丰富语言的翻译方法，所述步骤1还包括：

步骤21，通过形态分析获得所述词干、词缀信息；

所述的面向形态丰富语言的翻译方法，所述步骤2还包括：

所述翻译规则包括四部分：规则源端、规则目标端、词缀分布信息，以及相应的翻译概率特征。

所述的面向形态丰富语言的翻译方法，所述步骤2词缀分布信息还包括：

步骤41，在抽取词干原子翻译单元的翻译规则时，同时保留词缀信息；

步骤42，源端相同的翻译规则构成一个集合，在这个集合上，使用TF-IDF方法来表示规则相关的词缀权重，所述TF-IDF为词频-倒文档频率；

步骤43，在同一集合内，对于目标端也相同的翻译规则，使用基于质心的分类算法来表示词缀分布结果。

所述的面向形态丰富语言的翻译方法，所述步骤3还包括：

步骤51，使用词干作为原子翻译单元，缓解数据稀疏问题；相应的词缀分布用来衡量待翻译片断与候选翻译规则的匹配程度，指导选择更合适的翻译规则。

本发明还公开一种面向形态丰富语言的翻译系统，包括：

形态分析模块，用于对形态丰富语言进行形态分析，获得词干和词缀信息；

抽取规则模块，用于在抽取翻译规则时，以词干作为原子翻译单元，并保留相应的词缀分布信息；

翻译模块，用于在翻译时，对于待翻译的片段，获取其词干、词缀分布；词干序列用来查询规则表，词缀分布信息和规则候选的词缀分布计算相似度，表征两者的相似程度，指导解码，所述词干序列是由多个词干组成的序列。

所述的面向形态丰富语言的翻译系统，所述形态分析模块还包括：

获得信息模块，用于通过形态分析获得所述词干、词缀信息；

所述的面向形态丰富语言的翻译系统，所述抽取规则模块还包括：

所述翻译规则包括四部分：规则源端、规则目标端、词缀分布信息，以及相应的翻译概率特征。

所述的面向形态丰富语言的翻译系统，所述抽取规则模块还包括：

保留信息模块，用于在抽取词干原子翻译单元的翻译规则时，同时保留词缀信息；

构成集合模块，用于源端相同的翻译规则构成一个集合，在这个集合上，使用TF-IDF方法来表示规则相关的词缀权重，所述TF-IDF为词频-倒文档频率；

表示结果模块，用于在同一集合内，对于目标端也相同的翻译规则，使用基于质心的分类算法来表示词缀分布结果。

所述的面向形态丰富语言的翻译系统，所述翻译模块还包括：

衡量匹配模块，用于使用词干作为原子翻译单元，缓解数据稀疏问题；相应的词缀分布用来衡量待翻译片断与候选翻译规则的匹配程度，指导选择更合适的翻译规则。

本发明的有益效果为：

本发明区别对待词干词缀，词干用来生成翻译候选，词缀用来对翻译候选消歧，从而更明确地指导翻译规则选择。在5万平行双语语料数据集上，本发明的形态丰富语言翻译模型的性能较传统的基于短语的方法都有所提高：在维吾尔语到汉语翻译上提高了+2.6个点BLEU值；在哈萨克语到汉语翻译上提高了+2.27个点BLEU值；在柯尔克孜语到汉语的翻译上提高了+0.91个点BLEU值。

附图说明

图1为本发明提供的面向形态丰富语言翻译方法总体技术方案的实现流程图；

图2A为规则实例，在抽取词干原子翻译单元规则的同时，保留相关的词缀信息；

图2B表示在源端相同的翻译规则的集合上，使用TF-IDF来表示相关的词缀权重；

图2C则是对目标端也相同的翻译规则的使用质心分类算法来表示最终的词缀分布结果（这里使用向量表示）；

图3为本发明面向形态丰富语言的翻译系统示意图。

具体实施方式

下面给出本发明的具体实施方式，结合附图对本发明做出了详细描述。

本发明的目的是提出一种面向形态丰富语言的翻译方法。通过区别对待词干和词缀，将词干作为原子翻译单元，缓解数据稀疏问题；翻译规则关联的词缀用来对翻译规则消歧，从而改善形态丰富语言翻译的质量。

为实现上述发明目的，本发明提供了具体的机器翻译方法，包括以下步骤：

步骤1）对形态丰富语言进行形态分析，获得词干和词缀信息；

步骤2）在抽取翻译规则时，以词干作为原子翻译单元，并保留相应的词缀分布。翻译规则由四部分组成：规则源端（使用词干原子翻译单元表示），规则目标端，词缀分布以及规则得分。和传统的翻译规则相比，这里的规则多了词缀分布信息。

步骤3）在翻译时，对于待翻译的片段，获取每个词的词干和词缀信息；其中，词干序列用来查询规则表，词缀分布和规则候选的词缀分布计算相似度，表征两者的相似程度，指导解码，所述词干序列是由多个词干组成的序列。

上述技术方案中，所述步骤1）中，形态分析的结果可以通过形态分析工具获得，如开源的无监督形态分析工具Morfessor，可参考Mathias Creutzand Krista Lagus(2005).Inducing the Morphological Lexicon of aNatural Language from Unannotated Text.In Proceedings of theInternational and Interdisciplinary Conference on Adaptive KnowledgeRepresentation and Reasoning(AKRR'05),Espoo,Finland,15-17June.。

上述技术方案中，所述步骤2）中，和传统的翻译规则相比，所述翻译规则多出一部分，即相应的词缀分布信息。

上述技术方案中，所述步骤2）中，规则源端（形态丰富语言）使用词干来表示对应的原词，并使用词干作为原子翻译单元，进行对齐和翻译规则抽取。在抽取翻译规则时，同时保留相应的词缀分布信息。

上述技术方案中，所述步骤2）中，词缀分布的计算按以下方法获得：

1、在抽取词干原子翻译单元的翻译规则时，同时保留词缀信息；

2、源端相同的翻译规则构成一个集合，在这个集合上，使用TF-IDF（词频-倒文档频率）方法来表示规则相关的词缀权重；

3、在同一集合内，对于目标端也相同的翻译规则，使用基于质心的分类算法来表示词缀分布结果（向量表示）。

上述技术方案中，所述步骤3）中，在得到待翻译片断的词干、词缀组成后，使用词干序列查询规则候选，再计算匹配规则和翻译片断之间词缀分布的相似度，并将相似度作为一个动态特征加入到解码器中。

上述技术方案中，所述步骤3）中，词缀分布的相似度可以通过向量的夹角余弦来表示。

如图1所示，图1为本发明提供的面向形态丰富语言翻译方法总体技术方案的实现流程图，该方法包括以下步骤：

步骤101）、利用形态分析工具分析形态丰富语言串，并输出相应的词干和词缀序列；

形态分析的主要任务是对形态丰富语言进行分析，以获得每个词形的词干和词缀组成。形态分析结果可以通过无监督方法获得。本实施例中，采用的是芬兰赫尔辛基大学开放的无监督形态分析工具Morfessor，

步骤102）、通过将形态丰富语言表示为词干-词缀序列，使用词干原子翻译单元来进行对齐和规则抽取；并保留相应的词缀分布。具体的词缀分布的计算方式可参照图2。在抽取词干原子翻译单元规则的同时，保留相关的词缀信息；然后，在源端相同的翻译规则的集合上，使用TF-IDF来表示相关的词缀权重；最后对目标端也相同的翻译规则的使用质心分类算法来表示最终的词缀分布结果。

步骤103）、在翻译时，首先获得待翻译片断的词干、词缀序列；其词干序列用来搜索翻译规则表，计算其词缀分布与相应的翻译规则候选的词缀分布的相似度，并将相似度作为一个动态特征加入到解码器中。在5万平行双语语料数据集上，本发明的形态丰富语言翻译模型的性能较传统的基于短语的方法都有所提高：在维吾尔语到汉语翻译上提高了+2.6个点BLEU值；在哈萨克语到汉语翻译上提高了+2.27个点BLEU值；在柯尔克孜语到汉语的翻译上提高了+0.91个点BLEU值。

如图3所示，本发明还公开一种面向形态丰富语言的翻译系统，包括：

形态分析模块，用于对形态丰富语言进行形态分析，获得词干和词缀信息；

抽取规则模块，用于在抽取翻译规则时，以词干作为原子翻译单元，并保留相应的词缀分布信息；

翻译模块，用于在翻译时，对于待翻译的片段，获取其词干、词缀分布；词干序列用来查询规则表，词缀分布信息和规则候选的词缀分布计算相似度，表征两者的相似程度，指导解码，所述词干序列是由多个词干组成的序列。

所述的面向形态丰富语言的翻译系统，所述形态分析模块还包括：

获得信息模块，用于通过形态分析获得所述词干、词缀信息；

所述的面向形态丰富语言的翻译系统，所述抽取规则模块还包括：

所述翻译规则包括四部分：规则源端、规则目标端、词缀分布信息，以及相应的翻译概率特征。

所述的面向形态丰富语言的翻译系统，所述抽取规则模块还包括：

保留信息模块，用于在抽取词干原子翻译单元的翻译规则时，同时保留词缀信息；

构成集合模块，用于源端相同的翻译规则构成一个集合，在这个集合上，使用TF-IDF方法来表示规则相关的词缀权重，所述TF-IDF为词频-倒文档频率；

表示结果模块，用于在同一集合内，对于目标端也相同的翻译规则，使用基于质心的分类算法来表示词缀分布结果。

所述的面向形态丰富语言的翻译系统，所述翻译模块还包括：

衡量匹配模块，用于使用词干作为原子翻译单元，缓解数据稀疏问题；相应的词缀分布用来衡量待翻译片断与候选翻译规则的匹配程度，指导选择更合适的翻译规则。

本领域的技术人员在不脱离权利要求书确定的本发明的精神和范围的条件下，还可以对以上内容进行各种各样的修改。因此本发明的范围并不仅限于以上的说明，而是由权利要求书的范围来确定的。

Claims (10)

1.一种面向形态丰富语言的翻译方法，其特征在于，包括：

步骤1，对形态丰富语言进行形态分析，获得词干和词缀信息；

步骤2，在抽取翻译规则时，以词干作为原子翻译单元，并保留相应的词缀分布信息；

步骤3，在翻译时，对于待翻译的片段，获取其词干、词缀分布；词干序列用来查询规则表，词缀分布信息和规则候选的词缀分布计算相似度，表征两者的相似程度，指导解码，所述词干序列是由多个词干组成的序列。

2.根据权利要求1所述的面向形态丰富语言的翻译方法，其特征在于，所述步骤1还包括：

步骤21，通过形态分析获得所述词干、词缀信息；

3.根据权利要求1所述的面向形态丰富语言的翻译方法，其特征在于，所述步骤2还包括：

所述翻译规则包括四部分：规则源端、规则目标端、词缀分布信息，以及相应的翻译概率特征。

4.根据权利要求1、3任一所述的面向形态丰富语言的翻译方法，其特征在于，所述步骤2词缀分布信息还包括：

步骤41，在抽取词干原子翻译单元的翻译规则时，同时保留词缀信息；

步骤42，源端相同的翻译规则构成一个集合，在这个集合上，使用TF-IDF方法来表示规则相关的词缀权重，所述TF-IDF为词频-倒文档频率；

步骤43，在同一集合内，对于目标端也相同的翻译规则，使用基于质心的分类算法来表示词缀分布结果。

5.根据权利要求1所述的面向形态丰富语言的翻译方法，其特征在于，所述步骤3还包括：

步骤51，使用词干作为原子翻译单元，缓解数据稀疏问题；相应的词缀分布用来衡量待翻译片断与候选翻译规则的匹配程度，指导选择更合适的翻译规则。

6.一种面向形态丰富语言的翻译系统，其特征在于，包括：

形态分析模块，用于对形态丰富语言进行形态分析，获得词干和词缀信息；

抽取规则模块，用于在抽取翻译规则时，以词干作为原子翻译单元，并保留相应的词缀分布信息；

翻译模块，用于在翻译时，对于待翻译的片段，获取其词干、词缀分布；词干序列用来查询规则表，词缀分布信息和规则候选的词缀分布计算相似度，表征两者的相似程度，指导解码，所述词干序列是由多个词干组成的序列。

7.根据权利要求6所述的面向形态丰富语言的翻译系统，其特征在于，所述形态分析模块还包括：

获得信息模块，用于通过形态分析获得所述词干、词缀信息；

8.根据权利要求6所述的面向形态丰富语言的翻译系统，其特征在于，所述抽取规则模块还包括：

所述翻译规则包括四部分：规则源端、规则目标端、词缀分布信息，以及相应的翻译概率特征。

9.根据权利要求6、8任一所述的面向形态丰富语言的翻译系统，其特征在于，所述抽取规则模块还包括：

保留信息模块，用于在抽取词干原子翻译单元的翻译规则时，同时保留词缀信息；

构成集合模块，用于源端相同的翻译规则构成一个集合，在这个集合上，使用TF-IDF方法来表示规则相关的词缀权重，所述TF-IDF为词频-倒文档频率；

表示结果模块，用于在同一集合内，对于目标端也相同的翻译规则，使用基于质心的分类算法来表示词缀分布结果。

10.根据权利要求6所述的面向形态丰富语言的翻译系统，其特征在于，所述翻译模块还包括：

衡量匹配模块，用于使用词干作为原子翻译单元，缓解数据稀疏问题；相应的词缀分布用来衡量待翻译片断与候选翻译规则的匹配程度，指导选择更合适的翻译规则。

Images