CN107861952A - 基于最长名词短语分治策略的神经机器翻译方法 - Google Patents

Abstract

本发明涉及一种基于最长名词短语分治策略的神经机器翻译方法，基步骤为：抽取：对句子中长度不小于2个词的MNP进行抽取，对句子进行短语结构句法分析；翻译：采用双语MNP扩展后的平行语料训练得到神经机器翻译模型，分别短语结构句法分析识别出的MNP，以及将MNP作为组块后与句子其他成分共同组成的句子框架进行翻译，得到MNP译文；重组：将句中的原有框架和MNP译文进行重新组合，即将MNP译文替换到句子框架译文中的对应位置，以获得完整的译文。本发明将MNP独立处理带来更高质量的MNP和句子框架译文的优势，与神经机器翻译学习能力强、译文具有较高准确度和流畅度等优势相结合，从而达到提升译文整体质量的目的。

Description

基于最长名词短语分治策略的神经机器翻译方法

技术领域

本发明涉及一种自然语言翻译技术，具体为一种基于最长名词短语分治策略的神经机器翻译方法。

背景技术

端到端神经机器翻译作为一种全新的机器翻译方法，近年来获得了迅速发展。然而，端到端神经机器翻译仅仅使用一个非线性的神经网络实现自然语言之间的转换，相比于统计机器翻译，译文质量对句子长度更为敏感。如何在神经机器翻译中将一个句子在尽量不损失语义信息的前提下，进行长度上的缩减和结构上的简化是一个值得探究的方向。

研究人员将现有的方法和策略引入端到端的神经网络，以实现翻译性能的提升。Ilya Sutskever等人将长短期记忆引入神经机器翻译，以缓解递归神经网络训练时“梯度消失”的问题，并且在“编码-解码”框架两端同时采用递归神经网络。针对准确实现编码问题，Yoshua Bengio提出了基于注意力的端到端神经机器翻译。解码器在生成目标词yi时，动态地注意源语言句子中与之相关的上下文，而不再关注整个源语言句子。图1和图2分别给出了Sutskever等人提出的神经机器翻译模型和Bengio给出的基于注意力的神经机器翻译模型。

尽管长短期记忆和注意力机制的引入能够更好的处理词语之间的长距离依存关系，从而提升端到端神经机器翻译的性能。然而，自然语言中的句子长短不一、结构复杂，通过单一神经网络学习翻译知识的方法受到限制。如何利用语言学知识结合分治策略对句子的各部分进行分治与整合，是一个值得研究的问题。

发明内容

针对现有技术中神经机器翻系统在长句子翻译任务上的不足，本发明要解决的问题是提供一种可提升译文整体质量的基于最长名词短语分治策略的神经机器翻译方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明一种基于最长名词短语分治策略的神经机器翻译方法，基于“抽取-翻译-重组”的最长名词短语处理框架，包括以下步骤：

1)抽取：对句子中长度不小于2个词的MNP进行抽取，对句子进行短语结构句法分析；

2)翻译：采用双语MNP扩展后的平行语料训练得到神经机器翻译模型，分别短语结构句法分析识别出的MNP，以及将MNP作为组块后与句子其他成分共同组成的句子框架进行翻译，得到MNP译文；

3)重组：将句中的原有框架和MNP译文进行重新组合，即将MNP译文替换到句子框架译文中的对应位置，以获得完整的译文。

步骤1)中，通过保留标记的方法对句子中长度不小于2个词的MNP进行抽取，采用“MNPi”(i＝1，2，……)作为句子框架中的标识，保留MNP和特殊标识“MNPi”的对齐关系。

步骤1)中，将MNP核心词保留在句子框架中，训练词对齐信息，以作为词表实现从句子框架译文中定位MNP核心词的位置。

步骤3)中，根据MNP抽取时保留的标识不同，重组过程中采用不同方法，当通过保留标记的方法对句子中长度不小于2个词的MNP进行抽取时，使用第i个MNP译文替换句子框架译文中的标识“MNPi”。

当将MNP核心词保留在句子框架中时，通过事先训练好的词对齐信息查找MNP核心词的可能译文，当译文出现在句子框架译文中时，对其进行替换。

本发明具有以下有益效果及优点：

1.本发明提出一种基于MNP分治策略的神经机器翻译方法，该方法主要基于一个“抽取-翻译-重组”的MNP处理框架，旨在将MNP独立处理带来更高质量的MNP和句子框架译文的优势，与神经机器翻译学习能力强、译文具有较高准确度和流畅度等优势相结合，从而达到提升译文整体质量的目的。

2.实验结果表明，本发明在译文BLEU分值上都获得了一定的提升，相比于基线系统，保留特殊标识“MNPi”的方法BLEU提升了0.36个百分点，保留MNP核心词的方法BLEU提升了0.89个百分点。

附图说明

图1为现有技术中端到端神经机器翻译模型图示；

图2为现有技术中基于注意力的神经机器翻译模型图示；

图3为本发明中神经机器翻译系统的“抽取-翻译-重组”过程图示；

图4为本发明中神经机器翻译模型对MNP及句子框架的“分治”翻译流程图。

具体实施方式

下面结合说明书附图对本发明作进一步阐述。

本发明针对神经机器翻译在长句子翻译任务上的不足，也考虑到MNP的处理可以在一定程度上简化结构复杂的长句子。本发明提出一种基于MNP分治策略的神经机器翻译方法，该方法主要基于一个“抽取-翻译-重组”的MNP处理框架，旨在将MNP独立处理带来更高质量的MNP和句子框架译文的优势，与神经机器翻译学习能力强、译文具有较高准确度和流畅度等优势相结合，从而达到提升译文整体质量的目的。

本发明一种基于最长名词短语分治策略的神经机器翻译方法，基于“抽取-翻译-重组”的MNP(Maximal-length Noun Phrase，最长名词短语)处理框架，包括以下步骤：

1)抽取：对句子中长度不小于2个词的MNP进行抽取，对句子进行短语结构句法分析；

2)翻译：采用双语MNP扩展后的平行语料训练得到神经机器翻译模型，分别短语结构句法分析识别出的MNP，以及将MNP作为组块后与句子其他成分共同组成的句子框架进行翻译，得到MNP译文；

3)重组：将句中的原有框架和MNP译文进行重新组合，即将MNP译文替换到句子框架译文中的对应位置，以获得完整的译文。

如图3所示，本发明采用分治策略，将单个复杂问题转化为多个相对简单的问题，并分而治之。鉴于MNP在句子中使用频率高、句法功能丰富以及边界易于识别等事实，本发明基于“抽取-翻译-重组”的MNP处理框架，以实现分治策略的神经机器翻译。基于“抽取-翻译-重组”的MNP处理框架具体描述如下：

步骤1)抽取

步骤1)中，通过保留标记的方法对句子中长度不小于2个词的MNP进行抽取，采用“MNPi”(i＝1，2，……)作为句子框架中的标识，保留MNP和特殊标识“MNPi”的对齐关系。或者，步骤1)中，将MNP核心词保留在句子框架中，训练词对齐信息，以作为词表实现从句子框架译文中定位MNP核心词的位置。

抽取过程的核心任务是对句子进行短语结构句法分析。考虑到抽取较短的MNP，对缩减句子长度、降低句子结构复杂度影响较小。因此，本发明只对句子中长度不小于2个词的MNP进行抽取。

抽取过程的另一个重要问题是，抽取MNP时在句子框架中保留何种标记以实现更好的分治效果。本文主要尝试以下两种保留标记的方法：

方法1：为保留MNP与句子框架中标记的对齐关系，采用“MNPi”(i＝1，2，……)作为句子框架中的特殊标识。

方法2：方法1可以实现经过翻译后保留MNP和特殊标识“MNPi”的对齐关系，为后续的译文重组过程带来积极影响。然而，将“MNPi”保留在句子框架中破坏了句子的流畅度，甚至改变了句子的原本含义。鉴于此，方法2采用将MNP核心词保留在句子框架中。该方法尽管能够最大程度的保证句子框架的流畅度，从而得到较好的句子框架译文，但面临着MNP核心词无法准确对齐到句子框架译文中的对应位置的挑战。为此，需额外训练词对齐信息，以作为词表实现从句子框架译文中定位MNP核心词的位置。

例如：

原句：儿童基金会为难民营中成千上万个流离失所家庭发放了紧急现金援助。

短语结构句法分析：((IP(IP(NP(NN儿童)(NN基金会))(VP(PP(P为)(NP(LCP(NP(NN难民营))(LC中))(QP(CD成千上万)(CLP(M个)))(NP(NN流离失所)(NN家庭))))(VP(VV发放)(AS了)(NP(ADJP(JJ紧急))(NP(NN现金)(NN援助))))))(PU。)))

句子框架与MNP：

主干：MNP1为MNP2发放了MNP3。

MNP1：儿童基金会

MNP2：难民营中成千上万个流离失所家庭

MNP3：紧急现金援助

步骤2)翻译

采用双语MNP扩展后的平行语料训练得到神经机器翻译模型。

图4给出了神经机器翻译模型采用分治策略，分别对句子中句法分析识别的MNP以及将MNP作为组块后与句子其他成分共同组成的句子框架进行翻译。

例如：

句子框架与MNP译文：

主干：MNP1 has provided MNP3 to MNP2，and UNHCR has provided MNP4 toMNP5.

MNP1：Children's Fund

MNP2：thousands of internally displaced families in camps

MNP3：emergency cash assistance

步骤3)重组

重组过程主要是对句中的句子框架和MNP的译文进行重新组合，即将MNP译文替换到句子框架译文中的对应位置，以获得完整的译文。根据MNP抽取时保留的特殊标识不同，重组过程中也包含以下两种方法：

方法1：使用第i个MNP译文替换句子框架译文中的特殊标识“MNPi”；

方法2：通过事先训练好的词对齐信息查找MNP核心词的可能译文，当译文出现在句子框架译文中时，对其进行替换。

例如：

原句：儿童基金会为难民营中成千上万个流离失所家庭发放了紧急现金援助。

完整译文：Children's Fund has provided emergency cash assistance tothousands of internally displaced families in camps。

自然语言中语义的基本单位是短语。因此，将句子级别的对齐和翻译进行到亚句子(Sub-sentence)的短语一级显得尤为重要。句子中的实体和概念通常可由名词短语(Noun Phrase，NP)来描述。其捆绑了一个相对完整的语义信息，具有丰富的句法功能，可在句子中充当主语和宾语等成分。最长名词短语(Maximal-length Noun Phrase，MNP)，指不被其他任何名词短语嵌套的名词短语与一般名词短语相比，MNP具有更大的粒度，边界特征较为明显，有利于句子的整体结构分析。采用分治策略处理MNP，既能在亚句子一级上获得更准确的译文，也将句子缩短为包含主干信息的句子框架。因此，准确的识别和翻译MNP，是利用分治策略提升机器翻译性能的一个有力手段。

本实施例中，实验主要针对汉英翻译任务。语料来源于联合国语料库中的中英双语平行语料。其中，训练数据集共15,886,041双语平行句对，实验过程只随机抽取部分语料。官方开发集和测试集各4,000双语平行句对。

表1测试数据说明

表2译文质量对比

由表1可以看出，使用基于MNP的分治策略后，句子框架的平均长度和MNP平均长度都在原句子的平均长度上有了一定的缩减。缓解了神经机器翻译对句子长度敏感的问题。

由表2可以看出，基于“抽取-翻译-重组”的MNP处理框架在基线系统上都有一定的提升。相比于基线系统，保留特殊标识“MNPi”的方法BLEU提升了0.36个百分点，保留MNP核心词的方法BLEU提升了0.89个百分点。

实验证明，本发明基于最长名词短语分治策略的神经机器翻译方法的有效性。

Claims (5)

1.一种基于最长名词短语分治策略的神经机器翻译方法，其特征在于：基于“抽取-翻译-重组”的最长名词短语处理框架，包括以下步骤：

1)抽取：对句子中长度不小于2个词的MNP进行抽取，对句子进行短语结构句法分析；

2)翻译：采用双语MNP扩展后的平行语料训练得到神经机器翻译模型，分别短语结构句法分析识别出的MNP，以及将MNP作为组块后与句子其他成分共同组成的句子框架进行翻译，得到MNP译文；

3)重组：将句中的原有框架和MNP译文进行重新组合，即将MNP译文替换到句子框架译文中的对应位置，以获得完整的译文。

2.按权利要求1所述的基于最长名词短语分治策略的神经机器翻译方法，其特征在于：步骤1)中，通过保留标记的方法对句子中长度不小于2个词的MNP进行抽取，采用“MNPi”(i＝1，2，……)作为句子框架中的标识，保留MNP和特殊标识“MNPi”的对齐关系。

3.按权利要求1所述的基于最长名词短语分治策略的神经机器翻译方法，其特征在于：步骤1)中，将MNP核心词保留在句子框架中，训练词对齐信息，以作为词表实现从句子框架译文中定位MNP核心词的位置。

4.按权利要求1所述的基于最长名词短语分治策略的神经机器翻译方法，其特征在于步骤3)中，根据MNP抽取时保留的标识不同，重组过程中采用不同方法，当通过保留标记的方法对句子中长度不小于2个词的MNP进行抽取时，使用第i个MNP译文替换句子框架译文中的标识“MNPi”。

5.按权利要求4所述的基于最长名词短语分治策略的神经机器翻译方法，其特征在于：当将MNP核心词保留在句子框架中时，通过事先训练好的词对齐信息查找MNP核心词的可能译文，当译文出现在句子框架译文中时，对其进行替换。