CN110895660A - 一种基于句法依存关系动态编码的语句处理方法及装置 - Google Patents

Abstract

本发明的实施例公开了一种基于句法依存关系动态编码的语句处理方法及装置，该方法在进行翻译的过程中，通过依存树挖掘出语句中各单词之间的依存关系，基于挖掘出的依存关系和各源端单词的原始隐藏状态向量对各源端单词进行编码，得到对应于各源端单词的编码隐藏状态向量。根据各源端单词的编码隐藏状态向量进行解码得到用目标语言表示的语句。该方法在对源端单词的编码过程中，通过依存树充分挖掘了语句之间的依存关系和句法信息，避免了高层节点复用低层节点信息导致的过度翻译问题。另一方面，该方法中模型的计算过程简单，计算资源的占用较少，更易于部署与应用。

Description

一种基于句法依存关系动态编码的语句处理方法及装置

技术领域

本发明实施例涉及机器翻译技术领域，尤其是涉及一种基于句法依存关系动态编码的语句处理方法及装置。

背景技术

语言是人与人之间沟通的基本工具，是知识和信息传播的重要载体。随着互联网的迅猛发展，社会信息化程度的提高，经济全球化以及全球化交流的增强，克服语言障碍、实现跨语言之间的翻译正变得越发重要。然而，世界上存在的语言种类繁多，各有特征，形式灵活，使得语言的自动处理，包括语言之间的机器翻译，成为尚待解决的难题。近十几年来，得益于机器学习方法的发展和大规模语料库的建立，自动机器翻译的研究取得了一定的进展。

随着基于神经网络的端到端机器翻译模型的兴起，机器翻译的性能取得了巨大提升。然而现有的机器翻译方法要么无法充分捕获源语言的句法信息以及长距离词之间的关系，要么模型复杂，导致单词的重复翻译，占用计算资源巨大，难以在实际应用中部署。

在实现本发明实施例的过程中，发明人发现现有的机器翻译方法无法在不过度翻译的前提下，充分挖掘出语句的句法信息和各单词之间的依存关系。

发明内容

本发明要解决现有的机器翻译方法无法在不过度翻译的前提下，充分挖掘出语句的句法信息和各单词之间的依存关系的问题。

针对以上技术问题，本发明的实施例提供了一种基于句法依存关系动态编码的语句处理方法，包括：

获取欲翻译成目标语言的源语言语句，计算所述源语言语句中每一源端单词对应的原始隐藏状态向量；

生成表示所述源语言语句中各源端单词之间的依存关系的依存树，结合所述依存树和每一源端单词对应的原始隐藏状态向量编码对应于每一源端单词的编码隐藏状态向量；

根据每一源端单词对应的编码隐藏状态向量和存储的所述目标语言的词表解码出对应于所述源语言语句的目标语言语句，输出所述目标语言语句。

本发明提供了一种基于句法依存关系动态编码的语句处理装置，包括：

获取模块，用于获取欲翻译成目标语言的源语言语句，计算所述源语言语句中每一源端单词对应的原始隐藏状态向量；

编码模块，用于生成表示所述源语言语句中各源端单词之间的依存关系的依存树，结合所述依存树和每一源端单词对应的原始隐藏状态向量编码对应于每一源端单词的编码隐藏状态向量；

解码模块，用于根据每一源端单词对应的编码隐藏状态向量和存储的所述目标语言的词表解码出对应于所述源语言语句的目标语言语句，输出所述目标语言语句。

本实施例提供了一种电子设备，包括：

至少一个处理器、至少一个存储器、通信接口和总线；其中，

所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述通信接口用于该电子设备和其它电子设备的通信设备之间的信息传输；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行对应于监管设备的任一所述的方法。

本实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行对应于监管设备的任一项所述的方法。

本发明的实施例提供了一种基于句法依存关系动态编码的语句处理方法及装置，该方法在进行翻译的过程中，通过依存树挖掘出语句的各单词之间的依存关系，基于挖掘出的依存关系和各源端单词的原始隐藏状态向量对各源端单词进行编码，得到对应于各源端单词的编码隐藏状态向量。根据各源端单词的编码隐藏状态向量进行解码得到用目标语言表示的语句。该方法在对源端单词的编码过程中，通过依存树充分挖掘了语句之间的依存关系和句法信息，避免了高层节点复用低层节点信息导致的过度翻译问题。另一方面，该方法中模型的计算过程简单，计算资源的占用较少，更易于部署与应用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的作为对比的对语句进行处理的方法过程示意图；

图2是本发明另一个实施例提供的基于句法依存关系动态编码的语句处理方法的流程示意图；

图3是本发明另一个实施例提供的依存句法分析器对语句“we live indifferent places on the earth”中各单词之间依存关系进行划分的示意图；

图4是本发明另一个实施例提供的源语言语句的依存树中各单词节点关系的示意图；

图5是本发明另一个实施例提供的由低维隐含向量计算动态参数，通过动态参数、低维隐含向量和原始隐藏状态向量计算包含了依存关系的编码隐藏状态向量的示意图；

图6是本发明另一个实施例提供的基于句法依存关系动态编码的语句处理装置的结构框图；

图7是本发明另一个实施例提供的电子设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在介绍本申请提出的基于句法依存关系动态编码的语句处理方法，介绍一种作为对比的对语句进行处理的方法，图1示出了该方法的原理示意图，参见图1，该方法通过基于序列的编码方法和基于句法树的编码方法对源语言句子进行编码。

基于序列的编码方法使用递归神经网络顺序地处理词序列，如图1所示，通过双向编码得到对应于每一单词的隐藏状态向量，例如，we的隐藏状态向量

live的隐藏状态向量

由于其模型简单、编码快速、占用计算资源小而得到了广泛应用，但很多研究表明，这种方法无法充分捕获源语言的句法信息以及长距离词之间的依存关系。

当然，存在基于句法树的编码方法，该方法首先根据源语言句子构建一棵句法成分树，进而使用基于树的递归神经网络从叶子节点递归地编码到根节点。例如，如图1所示，图1中的句法树中仅考虑词组之间的关系，没有考虑各单词在整个句子中的成分信息，导致语句的句法信息和各单词之间的依存关系挖掘不充分，对通过该方法编码出的语句进行解码后的句子无法准确表达源语言语句的意思。虽然该方法对于句法信息的捕获能力强，但面临的问题包括：词法信息递归地从叶子节点向根节点传递，使得大量相同或相似信息在内部节点中复用，导致过度翻译问题(同一源语言内容多次被翻译)；树节点表示的生成使用单一模型参数，难以充分捕获句法和语义丰富性；现存基于树模型依赖基于序列模型所生成的叶子节点，致使模型复杂，占用计算资源巨大，难以在实际应用中部署。

基于上述问题，本实施例提供了一种基于句法依存关系动态编码的语句处理方法，图2是本实施例提供的一种基于句法依存关系动态编码的语句处理方法的流程示意图，参见图2，该方法包括：

201：获取欲翻译成目标语言的源语言语句，计算所述源语言语句中每一源端单词对应的原始隐藏状态向量；

202：生成表示所述源语言语句中各源端单词之间的依存关系的依存树，结合所述依存树和每一源端单词对应的原始隐藏状态向量编码对应于每一源端单词的编码隐藏状态向量；

203：根据每一源端单词对应的编码隐藏状态向量和存储的所述目标语言的词表解码出对应于所述源语言语句的目标语言语句，输出所述目标语言语句。

本实施例提供的方法由进行机器翻译的设备执行，例如，服务器或者终端。例如，用户需要将源语言语句(例如，源语言是英语)翻译成目标语言语句(例如，目标语言是汉语)，则只需将源语言语句输入到该设备，该设备执行上述方法将源语言语句翻译成目标语言语句，输出翻译的目标语言语句即可。

原始隐藏状态向量为直接通过递归神经网络对源语言语句进行双向编码得到的隐藏状态向量。编码隐藏状态向量是通过原始隐藏状态向量和依存树中各源端单词之间的依存关系计算得到的隐藏状态向量，编码隐藏状态向量反应了各单词在语句中的句法信息。将源语言语句中的每一单词编码为编码隐藏状态向量后，通过解码计算即可将源语言语句翻译成目标语言语句。

本实施例提供了一种基于句法依存关系动态编码的语句处理方法，该方法在进行翻译的过程中，通过依存树挖掘出语句的各单词之间的依存关系，基于挖掘出的依存关系和各源端单词的原始隐藏状态向量对各源端单词进行编码，得到对应于各源端单词的编码隐藏状态向量。根据各源端单词的编码隐藏状态向量进行解码得到用目标语言表示的语句。该方法在对源端单词的编码过程中，通过依存树充分挖掘了语句之间的依存关系和句法信息，避免了高层节点复用低层节点信息导致的过度翻译问题。另一方面，该方法中模型的计算过程简单，计算资源的占用较少，更易于部署与应用。

进一步地，在上述实施例的基础上，所述生成表示所述源语言语句中各源端单词之间的依存关系的依存树，结合所述依存树和每一源端单词对应的原始隐藏状态向量编码对应于每一源端单词的编码隐藏状态向量，包括：

通过预先训练的依存句法分析器生成对应于所述源语言语句的依存树；

对所述源语言语句中的任一待编码源端单词，在所述依存树中，获取所述待编码源端单词所在的当前节点的目标父节点和目标兄弟节点，得到所述目标父节点处的第一源端单词和所述目标兄弟节点处的第二源端单词，根据所述第一源端单词对应的原始隐藏状态向量、所述第二源端单词对应的原始隐藏状态向量和所述待编码源端单词对应的原始隐藏状态向量计算对应于所述待编码源端单词的低维隐含向量；

根据对应于所述待编码源端单词的低维隐含向量计算对应于所述待编码源端单词的目标动态矩阵参数和目标动态偏差参数，由所述目标动态矩阵参数、所述目标动态偏差参数、所述第一源端单词对应的原始隐藏状态向量、所述第二源端单词对应的原始隐藏状态向量和所述待编码源端单词对应的原始隐藏状态向量计算对应于所述待编码源端单词的编码隐藏状态向量。

依存句法分析器为预先训练好的模型，在应用中直接调用该依存句法分析器的接口即可实现句法分析。例如，集成到HanLP中的句法分析器，其通过预先划分好的各单词之间的依存关系的语句对模型进行训练得到。图3为本实施例提供的依存句法分析器对语句“we live in different places on the earth”中各单词之间依存关系进行划分的示意图。图4为源语言语句的依存树中各单词节点关系的示意图，参见图4，在计算低维隐含向量时，从最高层的父节点开始计算，例如，先计算“live”对应的低维隐含向量。需要说明的是，最高层的父节点本身在依存图中不存在父节点，因此在计算“live”对应的低维隐含向量时，用初始根节点的隐藏状态向量

作为“live”的父节点对应的隐藏状态向量。对于其它节点，则根据目标父节点、目标兄弟节点和当前的待编码源端单词的当前节点来计算当前节点处的低维隐含向量。

图5为本实施例提供的由低维隐含向量计算动态参数，通过动态参数、低维隐含向量和原始隐藏状态向量计算包含了依存关系的编码隐藏状态向量的示意图，参见图5，θ₇表示根据对应于源语言语句中第7个单词的低维隐含向量z₇生成的动态矩阵参数和动态偏差参数，从图5可以看出，通过第7个单词的动态矩阵参数、动态偏差参数、父节点的原始隐藏状态向量、兄弟节点的原始隐藏状态向量和第7个单词本身的原始隐藏状态向量即可计算出第7个单词对应的编码隐藏状态向量。同理，θ₈表示根据对应于源语言语句中第8个单词的低维隐含向量z₈生成的动态矩阵参数和动态偏差参数。

本实施例提供了一种基于句法依存关系动态编码的语句处理方法，在每个节点的编码中，根据上下文信息，通过低维隐含向量求解动态矩阵参数，充分捕获丰富的句法结构与语义信息。

进一步地，在上述各实施例的基础上，所述根据所述第一源端单词对应的原始隐藏状态向量、所述第二源端单词对应的原始隐藏状态向量和所述待编码源端单词对应的原始隐藏状态向量计算对应于所述待编码源端单词的低维隐含向量，包括：

通过GRU模型，根据公式：

计算对应于所述待编码源端单词的低维隐含向量；

其中，h_p为所述第一源端单词对应的原始隐藏状态向量，h_s为所述第二源端单词对应的原始隐藏状态向量，h^l为所述待编码源端单词对应的原始隐藏状态向量，z为对应于所述待编码源端单词的低维隐含向量，

以及

是模型矩阵参数，

是模型偏差参数，*为GRU模型中的参数u、r或h，σ和tanh分别表示神经网络中的sigmoid以及双曲正切阈值函数，操作符

意为向量中逐元素相乘。

其中，u为GRU模型中的更新门控向量，r为GRU模型中的重置门控向量。

进一步地，在上述各实施例的基础上，所述由所述目标动态矩阵参数、所述目标动态偏差参数、所述第一源端单词对应的原始隐藏状态向量、所述第二源端单词对应的原始隐藏状态向量和所述待编码源端单词对应的原始隐藏状态向量计算对应于所述待编码源端单词的编码隐藏状态向量，包括：

通过GRU模型，根据公式：

u＝σ(W_(u)(z)h_p+U_(u)(z)h_s+V_(u)(z)h^l+b_(u)(z))

r＝σ(W_(r)(z)h_p+U_(r)(z)h_s+V_(r)(z)h^l+b_(r)(z))

h＝(1-u)h′+u(h_p+h_s)

计算对应于所述待编码源端单词的编码隐藏状态向量；

其中，h_p为所述第一源端单词对应的原始隐藏状态向量，h_s为所述第二源端单词对应的原始隐藏状态向量，h^l为所述待编码源端单词对应的原始隐藏状态向量，h为对应于所述待编码源端单词的编码隐藏状态向量，W_(*)(z)，U_(*)(z)以及V_(*)(z)是根据对应于所述待编码源端单词的低维隐含向量z生成的目标动态矩阵参数，b_(*)(z)是根据对应于所述待编码源端单词的低维隐含向量z生成的目标动态偏差参数，*为GRU模型中的参数u、r或h。

进一步地，在上述各实施例的基础上，所述根据对应于所述待编码源端单词的低维隐含向量计算对应于所述待编码源端单词的目标动态矩阵参数和目标动态偏差参数，包括：

根据公式M(z)＝PD(z)Q计算对应于所述待编码源端单词的目标动态矩阵参数，通过b(z)＝Bz，计算对应于所述待编码源端单词的目标动态偏差参数；

其中，P、Q和B均为模型中训练的静态矩阵参数，目标动态矩阵参数中的W_(*)(z)，U_(*)(z)以及V_(*)(z)分别为由不同的P和Q计算得到的M(z)，D(z)表示所述待编码源端单词的低维隐含向量z的对角矩阵。

具体来说，本实施例提供的方法可以具体描述为以下几个步骤：

A、使用递归神经网络对源语言句子进行双向序列编码获得树节点隐藏状态向量；

B、根据每个句子的依存句法树结构从树的根节点向叶子节点方向使用动态参数进行递归编码；

C、将编码好的源端表示输入解码器进行解码。

如图4所示，其中的步骤B根据词汇化的依存树结构，自根节点到各叶子节点，递归的进行编码，每个节点隐藏状态向量的生成包括：

B1、根据父亲节点隐藏状态向量、兄弟节点隐藏状态向量以及当前节点隐藏状态向量生成动态参数；

B2、使用动态参数对当前节点进行编码。

对于步骤B1，具体实现过程包括：

输入父亲节点隐藏状态向量h_p、已编码的兄弟节点隐藏状态向量h_s以及当前节点经过序列编码获得的隐藏状态向量h^l输入到GRU网络中获得低维隐含向量z，计算低维隐含向量z的公式为：

然后，依赖低维隐含向量z生成模型参数，动态矩阵和偏差参数的生成分别使用公式M(z)＝PD(z)Q和公式b(z)＝Bz，其中，P、Q以及B为静态矩阵参数，D(z)表示向量z的对角矩阵。

模型动态参数生成后，通过B2使用GRU模型对每一单词进行编码(所用公式与生成隐含状态z的公式相似，不同的是，当前公式所用参数全部由z动态生成)，编码使用的公式为：

u＝σ(W_(u)(z)h_p+U_(u)(z)h_s+V_(u)(z)h^l+b_(u)(z))

r＝σ(W_(r)(z)h_p+U_(r)(z)h_s+V_(r)(z)h^l+b_(r)(z))

h(1-u)h′+u(h_p+h_s)

递归地进行B1，B2步，将树结构中各个节点的隐藏状态向量按依存图顺序生成。初始根节点的隐藏状态向量定义如下：

至此，全部源端节点的完成编码。

进一步地，在上述各实施例的基础上，所述根据每一单词对应的编码隐藏状态向量和存储的所述目标语言的词表解码出对应于所述源语言语句的目标语言语句，包括：

对所述源语言语句中每一源端单词对应的编码隐藏状态向量求平均，得到解码的初始解码隐藏状态向量，根据设定的解码所述目标语言语句的句首符号和得到的初始的解码隐藏状态向量，计算第一个单词对应的解码隐藏状态向量，由解码出的第一个单词对应的解码隐藏状态向量，根据公式

得到解码出的各单词对应的解码隐藏状态向量；

对于解码出的任一目标解码隐藏状态向量，通过公式p(y_j|y_＜j，X)＝f_softmax(y_j-1，s_j，d_j)计算出在所述目标语言的词表中每一单词作为所述目标解码隐藏状态向量对应的单词的概率，按照计算出的概率由大到小的顺序从所述目标语言的词表中获取预设个数的单词，作为解码出的对应于所述目标解码隐藏状态向量的单词；

对由解码出的各解码隐藏状态向量对应的单词组成的语句，根据公式

计算各语句的概率，将得到的概率最大的语句作为解码出的对应于所述源语言语句的目标语言语句。

解码所述目标语言语句的句首符号为设定的解码过程的初始值，基于该句首符号和初始的解码隐藏状态向量通过公式

计算出解码的每一单词对应的解码隐藏状态向量。对每一单词对应的解码隐藏状态向量，通过公式p(y_j|y_＜j，X)＝f_softmax(y_j-1，s_j，d_j)可以计算出在提供的目标语言的词表中的各单词作为对应该解码隐藏状态向量的单词的概率，由该概率确定出对应于该解码隐藏状态向量的单词，并由各个单词对应的概率可以计算出由这些单词组成的语句的概率，概率最高的语句即可作为最终解码得到的目标语言语句。其中，在公式

中，通过求平均得到的初始的解码隐藏状态向量相当于s₀，设定的句首符号相当于y₀和d₀。

具体来说，上述步骤C，使用解码器对源端表示进行解码。解码器的初始向量表示为：

目标端使用单向GRU网络逐词解码，第j个词的隐藏状态向量为：

其中y_j-1为网络上一步所生成词的词向量，s_j-1为网络前一步计算得到隐藏状态向量，d_j-1表示前一步上下文向量。上下文向量d_j由注意力模型获得，为源端表示的加权求和：

解码器当前隐藏状态向量s_j与第t个源端状态h_t的权重α_j(tj由如下公式计算：

其中，U_a，V_a，W_a及b_a为模型参数。第j个词的条件概率由非线性函数Softmax获得：

进而，目标端全句条件概率如下：

至此，解码器完成解码，翻译完成。

进一步地，在上述各实施例的基础上，所述获取欲翻译成目标语言的源语言语句，计算所述源语言语句中每一源端单词对应的原始隐藏状态向量，包括：

获取欲翻译成目标语言的源语言语句，将所述源语言语句中每一源端单词映射为词向量，通过双向门控递归单元网络GRU生成每一源端单词的对应的前向隐藏状态向量

和后向隐藏状态向量

将每一源端单词对应的前向隐藏状态向量

和后向隐藏状态向量

进行合并，得到每一源端单词对应的原始隐藏状态向量。

对于上述步骤A，具体实现过程包括：

将源语言X＝{x₁,x₂,...,x_n}编码成为一个隐藏状态向量序列H^l＝{h₁,h₂,...,h_n}，集合X中为源语言语句中单词的词向量，词向量可以通过one-hot对语句中的单词进行处理得到，具体为：

首先将源语言句子的第i个词映射为其词向量x_i，使用双向门控递归单元(GRU)网络生成第i个词的前向隐藏状态向量

和后向隐藏状态向量

其中

和

分别为前向网络和后向递归网络中前一步编码得到的隐藏状态向量。随后将两个隐藏状态向量进行连接，即

进一步地，上述步骤A前还包括步骤：

A′1、构建数据集和进行预处理：所述数据集包括待筛双语句对，用于训练句法分析器的已标注单语训练集、用于机器翻译系统的双语开发集和双语测试集；所述预处理包括对数据集中源语言文本和目标语言文本中的句子切分成词，以及统一转换大小写。

A′2、构建依存句法树：使用已标注依存树结构的单语语料训练依存句法分析器，将得到的分析器用于双语语料中的每个源语言句子的句法分析，进而生成对应的依存句法树。依存句法树的形式如图2的例中所示。

与传统基于序列的编码技术相比，本实施例提供的方法将句法信息引入模型，对源语言建模，能够更有效的捕获源语言句子的句法与语义信息。而与现有基于句法树的编码模型相比，本实施例提供的方法使用词汇化的依存句法结构代替传统句法成分树，从根本上解决了传统递归树编码方法中，高层节点复用低层节点信息导致的过度翻译问题；该方法在每个节点的编码中，根据上下文信息，动态地计算模型参数，进而充分捕获丰富的句法结构与语义信息；由于词汇化的依存树的节点要远远少于句法成分树，本发明的编码速度优于传统方法，而动态参数方法的应用使得编码器所需参数大大降低，减少了计算资源的占用，更易于部署与应用。

图6示出了本发明的实施例提供的一种基于句法依存关系动态编码的语句处理装置的结构框图，参见图6，本实施例提供的基于句法依存关系动态编码的语句处理装置包括获取模块601、编码模块602和解码模块603，其中，

获取模块601，用于获取欲翻译成目标语言的源语言语句，计算所述源语言语句中每一源端单词对应的原始隐藏状态向量；

编码模块602，用于生成表示所述源语言语句中各源端单词之间的依存关系的依存树，结合所述依存树和每一源端单词对应的原始隐藏状态向量编码对应于每一源端单词的编码隐藏状态向量；

解码模块603，用于根据每一源端单词对应的编码隐藏状态向量和存储的所述目标语言的词表解码出对应于所述源语言语句的目标语言语句，输出所述目标语言语句。

本实施例提供的基于句法依存关系动态编码的语句处理装置适用于上述实施例中提供的基于句法依存关系动态编码的语句处理方法，在此不再赘述。

本发明的实施例提供了一种基于句法依存关系动态编码的语句处理装置，该装置在进行翻译的过程中，通过依存树挖掘出语句的各单词之间的依存关系，基于挖掘出的依存关系和各源端单词的原始隐藏状态向量对各源端单词进行编码，得到对应于各源端单词的编码隐藏状态向量。根据各源端单词的编码隐藏状态向量进行解码得到用目标语言表示的语句。该方法在对源端单词的编码过程中，通过依存树充分挖掘了语句之间的依存关系和句法信息，避免了高层节点复用低层节点信息导致的过度翻译问题。另一方面，该方法中模型的计算过程简单，计算资源的占用较少，更易于部署与应用。

图7是示出本实施例提供的电子设备的结构框图。

参照图7，所述电子设备包括：处理器(processor)701、存储器(memory)702、通信接口(Communications Interface)703和总线704；

其中，

所述处理器701、存储器702、通信接口703通过所述总线704完成相互间的通信；

所述通信接口703用于该电子设备和其它电子设备的通信设备之间的信息传输；

所述处理器701用于调用所述存储器702中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取欲翻译成目标语言的源语言语句，计算所述源语言语句中每一源端单词对应的原始隐藏状态向量；表示所述源语言语句中各源端单词之间的依存关系的依存树，结合所述依存树和每一源端单词对应的原始隐藏状态向量编码对应于每一源端单词的编码隐藏状态向量；根据每一源端单词对应的编码隐藏状态向量和存储的所述目标语言的词表解码出对应于所述源语言语句的目标语言语句，输出所述目标语言语句。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取欲翻译成目标语言的源语言语句，计算所述源语言语句中每一源端单词对应的原始隐藏状态向量；表示所述源语言语句中各源端单词之间的依存关系的依存树，结合所述依存树和每一源端单词对应的原始隐藏状态向量编码对应于每一源端单词的编码隐藏状态向量；根据每一源端单词对应的编码隐藏状态向量和存储的所述目标语言的词表解码出对应于所述源语言语句的目标语言语句，输出所述目标语言语句。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如，包括：获取欲翻译成目标语言的源语言语句，计算所述源语言语句中每一源端单词对应的原始隐藏状态向量；表示所述源语言语句中各源端单词之间的依存关系的依存树，结合所述依存树和每一源端单词对应的原始隐藏状态向量编码对应于每一源端单词的编码隐藏状态向量；根据每一源端单词对应的编码隐藏状态向量和存储的所述目标语言的词表解码出对应于所述源语言语句的目标语言语句，输出所述目标语言语句。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的电子设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。

Claims (10)

1.一种基于句法依存关系动态编码的语句处理方法，其特征在于，包括：

获取欲翻译成目标语言的源语言语句，计算所述源语言语句中每一源端单词对应的原始隐藏状态向量；

生成表示所述源语言语句中各源端单词之间的依存关系的依存树，结合所述依存树和每一源端单词对应的原始隐藏状态向量编码对应于每一源端单词的编码隐藏状态向量；

根据每一源端单词对应的编码隐藏状态向量和存储的所述目标语言的词表解码出对应于所述源语言语句的目标语言语句，输出所述目标语言语句。

2.根据权利要求1所述的方法，其特征在于，所述生成表示所述源语言语句中各源端单词之间的依存关系的依存树，结合所述依存树和每一源端单词对应的原始隐藏状态向量编码对应于每一源端单词的编码隐藏状态向量，包括：

通过预先训练的依存句法分析器生成对应于所述源语言语句的依存树；

对所述源语言语句中的任一待编码源端单词，在所述依存树中，获取所述待编码源端单词所在的当前节点的目标父节点和目标兄弟节点，得到所述父节点处的第一源端单词和所述兄弟节点处的第二源端单词，根据所述第一源端单词对应的原始隐藏状态向量、所述第二源端单词对应的原始隐藏状态向量和所述待编码源端单词对应的原始隐藏状态向量计算对应于所述待编码源端单词的低维隐含向量；

根据对应于所述待编码源端单词的低维隐含向量计算对应于所述待编码源端单词的目标动态矩阵参数和目标动态偏差参数，由所述目标动态矩阵参数、所述目标动态偏差参数、所述第一源端单词对应的原始隐藏状态向量、所述第二源端单词对应的原始隐藏状态向量和所述待编码源端单词对应的原始隐藏状态向量计算对应于所述待编码源端单词的编码隐藏状态向量。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一源端单词对应的原始隐藏状态向量、所述第二源端单词对应的原始隐藏状态向量和所述待编码源端单词对应的原始隐藏状态向量计算对应于所述待编码源端单词的低维隐含向量，包括：

通过GRU模型，根据公式：

计算对应于所述待编码源端单词的低维隐含向量；

其中，h_p为所述第一源端单词对应的原始隐藏状态向量，h_s为所述第二源端单词对应的原始隐藏状态向量，h^l为所述待编码源端单词对应的原始隐藏状态向量，z为对应于所述待编码源端单词的低维隐含向量，

以及

是模型矩阵参数，

是模型偏差参数，*为GRU模型中的参数u、r或h，σ和tanh分别表示神经网络中的sigmoid以及双曲正切阈值函数，操作符

意为向量中逐元素相乘。

4.根据权利要求3所述的方法，其特征在于，所述由所述目标动态矩阵参数、所述目标动态偏差参数、所述第一源端单词对应的原始隐藏状态向量、所述第二源端单词对应的原始隐藏状态向量和所述待编码源端单词对应的原始隐藏状态向量计算对应于所述待编码源端单词的编码隐藏状态向量，包括：

通过GRU模型，根据公式：

u＝σ(W_(u)(z)h_p+U_(u)(z)h_s+V_(u)(z)h^l+b_(u)(z))

r＝σ(W_(r)(z)h_p+U_(r)(z)h_s+V_(r)(z)h^l+b_(r)(z))

h＝(1-u)h′+u(h_p+h_s)

计算对应于所述待编码源端单词的编码隐藏状态向量；

其中，h_p为所述第一源端单词对应的原始隐藏状态向量，h_s为所述第二源端单词对应的原始隐藏状态向量，h^l为所述待编码源端单词对应的原始隐藏状态向量，h为对应于所述待编码源端单词的编码隐藏状态向量，W_(*)(z)，U_(*)(z)以及V_(*)(z)是根据对应于所述待编码源端单词的低维隐含向量z生成的目标动态矩阵参数，b_(*)(z)是根据对应于所述待编码源端单词的低维隐含向量z生成的目标动态偏差参数，*为GRU模型中的参数u、r或h。

5.根据权利要求4所述的方法，其特征在于，所述根据对应于所述待编码源端单词的低维隐含向量计算对应于所述待编码源端单词的目标动态矩阵参数和目标动态偏差参数，包括：

根据公式M(z)＝PD(z)Q计算对应于所述待编码源端单词的目标动态矩阵参数，通过b(z)＝Bz，计算对应于所述待编码源端单词的目标动态偏差参数；

其中，P、Q和B均为模型中训练的静态矩阵参数，目标动态矩阵参数中的W_(*)(z)，U_(*)(z)以及V_)*)(z)分别为由不同的P和Q计算得到的M(z)，D(z)表示所述待编码源端单词的低维隐含向量z的对角矩阵。

6.根据权利要求1所述的方法，其特征在于，所述根据每一源端单词对应的编码隐藏状态向量和存储的所述目标语言的词表解码出对应于所述源语言语句的目标语言语句，输出所述目标语言语句，包括：

对所述源语言语句中每一源端单词对应的编码隐藏状态向量求平均，得到初始的解码隐藏状态向量，根据设定的解码所述目标语言语句的句首符号和得到的初始的解码隐藏状态向量，计算目标语言第一个单词对应的解码隐藏状态向量，由解码出的第一个单词对应的解码隐藏状态向量，根据公式

得到解码出的各单词对应的解码隐藏状态向量；

对于解码出的任一目标解码隐藏状态向量，通过公式

p(y_j|y＜j，X)＝f_softmax(y_j-1，s_j，d_j)

计算出在所述目标语言的词表中每一单词作为所述目标解码隐藏状态向量对应的单词的概率，按照计算出的概率由大到小的顺序从所述目标语言的词表中获取预设个数的单词，作为解码出的对应于所述目标解码隐藏状态向量的单词；

对由解码出的各解码隐藏状态向量对应的单词组成的语句，根据公式

计算各语句的概率，将得到的概率最大的语句作为解码出的对应于所述源语言语句的目标语言语句。

7.根据权利要求1所述的方法，其特征在于，所述获取欲翻译成目标语言的源语言语句，计算所述源语言语句中每一源端单词对应的原始隐藏状态向量，包括：

获取欲翻译成目标语言的源语言语句，将所述源语言语句中每一源端单词映射为词向量，通过双向门控递归单元网络GRU生成每一源端单词的对应的前向隐藏状态向量

和后向隐藏状态向量

将每一源端单词对应的前向隐藏状态向量

和后向隐藏状态向量

进行合并，得到每一源端单词对应的原始隐藏状态向量。

8.一种基于句法依存关系动态编码的语句处理装置，其特征在于，包括：

获取模块，用于获取欲翻译成目标语言的源语言语句，计算所述源语言语句中每一源端单词对应的原始隐藏状态向量；

编码模块，用于生成表示所述源语言语句中各源端单词之间的依存关系的依存树，结合所述依存树和每一源端单词对应的原始隐藏状态向量编码对应于每一源端单词的编码隐藏状态向量；

解码模块，用于根据每一源端单词对应的编码隐藏状态向量和存储的所述目标语言的词表解码出对应于所述源语言语句的目标语言语句，输出所述目标语言语句。

9.一种电子设备，其特征在于，包括：

至少一个处理器、至少一个存储器、通信接口和总线；其中，

所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述通信接口用于该电子设备和其它电子设备的通信设备之间的信息传输；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7中任一项所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一项所述的方法。

Images