CN111178099B - 一种文本翻译的方法以及相关装置 - Google Patents

一种文本翻译的方法以及相关装置 Download PDF

Info

Publication number
CN111178099B
CN111178099B CN202010165878.6A CN202010165878A CN111178099B CN 111178099 B CN111178099 B CN 111178099B CN 202010165878 A CN202010165878 A CN 202010165878A CN 111178099 B CN111178099 B CN 111178099B
Authority
CN
China
Prior art keywords
vector
word
sequence
text
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010165878.6A
Other languages
English (en)
Other versions
CN111178099A (zh
Inventor
涂兆鹏
耿昕伟
王龙跃
王星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010165878.6A priority Critical patent/CN111178099B/zh
Publication of CN111178099A publication Critical patent/CN111178099A/zh
Application granted granted Critical
Publication of CN111178099B publication Critical patent/CN111178099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种文本翻译的方法，该方法应用于人工智能领域，该方法包括：获取待翻译文本序列；对待翻译文本序列进行编码处理，得到第一隐含状态序列；获取第一状态向量；根据第一状态向量以及第一隐含状态序列，生成第二隐含状态序列；根据第二隐含状态序列以及第一状态向量，生成当前词语所对应的上下文向量；根据上下文向量、第一状态向量以及第一目标词，确定第二目标词。本发明还公开了一种文本翻译装置。本发明实施例在对源语言文本所对应的待翻译文本序列进行编码的过程中，引入了解码得到的上下文向量，由此增强对待翻译文本序列的表示，从而提升翻译质量。

Description

一种文本翻译的方法以及相关装置
本申请为2018年11月28日提交中国专利局、申请号为201811448899.8、发明名称为“一种文本翻译的方法以及相关装置”的中国专利申请的分案申请。
技术领域
本发明涉及人工智能领域，尤其涉及一种文本翻译的方法以及相关装置。
背景技术
近年来，编码器——解码器框架在文本处理任务中取得突出的成果，文本处理任务包括机器对话、机器问答以及机器翻译等。在机器翻译这个项目中，可以对不同语种进行翻译，比如输入序列是英文句子，那么输出可以是该英文句子的中文翻译结果。
目前，利用编码器——解码器框架作为翻译模型进行翻译的过程具体为，首先将源语言句子转化成向量表示，再将向量表示的序列输入至编码器，编码后得到中间向量，最后，由解码器对该中间向量进行解码，从而生成目标语言所对应的翻译结果。
然而，采用编码器——解码器框架进行翻译，虽然可以达到翻译的目的，但是翻译质量并不高，尤其对于长句而言，更容易出现翻译上的偏差，从而导致翻译效果较差。
发明内容
本发明实施例提供了一种文本翻译的方法以及相关装置，在对源语言文本所对应的待翻译文本序列进行编码的过程中，引入了解码得到的上下文向量，由此增强对待翻译文本序列的表示，加强对源语言文本的理解，从而提升翻译质量，尤其对于长句而言，翻译效果更佳。
有鉴于此，本发明的第一方面提供了一种文本翻译的方法，包括：
获取待翻译文本序列，其中，所述待翻译文本序列为根据源语言文本生成的，所述源语言文本包括至少一个词语；
对所述待翻译文本序列进行编码处理，得到第一隐含状态序列；
获取第一状态向量，其中，所述第一状态向量为当前词语的上一个词语所对应的状态向量，所述当前词语表示所述源语言文本中待翻译的词语，所述上一个词语表示所述源语言文本中已被翻译的词语；
根据所述第一状态向量以及所述第一隐含状态序列，生成第二隐含状态序列；
根据所述第二隐含状态序列以及所述第一状态向量，生成所述当前词语所对应的上下文向量；
根据所述上下文向量、所述第一状态向量以及第一目标词，确定第二目标词，其中，所述第一目标词为所述上一个词语所对应的翻译结果，所述第二目标词为所述当前词语所对应的翻译结果。获取待翻译文本序列，其中，所述待翻译文本序列包括至少一个向量，所述待翻译文本序列为根据源语言文本生成的；
本发明的第二方面提供了一种文本翻译装置，包括：
获取模块，用于获取待翻译文本序列，其中，所述待翻译文本序列为根据源语言文本生成的，所述源语言文本包括至少一个词语；
编码模块，用于对所述获取模块获取的所述待翻译文本序列进行编码处理，得到第一隐含状态序列；
所述获取模块，还用于获取第一状态向量，其中，所述第一状态向量为当前词语的上一个词语所对应的状态向量，所述当前词语表示所述源语言文本中待翻译的词语，所述上一个词语表示所述源语言文本中已被翻译的词语；
生成模块，用于根据所述获取模块获取的所述第一状态向量以及所述第一隐含状态序列，生成第二隐含状态序列；
所述生成模块，还用于根据所述第二隐含状态序列以及所述第一状态向量，生成所述当前词语所对应的上下文向量；
确定模块，用于根据所述生成模块生成的所述上下文向量、所述第一状态向量以及第一目标词，确定第二目标词，其中，所述第一目标词为所述上一个词语所对应的翻译结果，所述第二目标词为所述当前词语所对应的翻译结果。
在一种可能的设计中，在本申请实施例的第二方面的第一种实现方式中，所述生成模块，具体用于根据目标隐含状态向量以及所述第一状态向量计算门函数，其中，所述目标隐含状态向量属于所述第一隐含状态序列中的一个隐含状态向量；
根据所述门函数以及所述目标隐含状态向量计算目标浅层理解向量；
根据所述目标浅层理解向量生成浅层理解序列，其中，所述浅层理解序列与所述第一隐含状态序列具有对应关系；
对所述浅层理解序列进行编码处理，得到所述第二隐含状态序列。
在一种可能的设计中，在本申请实施例的第二方面的第二种实现方式中，
所述生成模块，具体用于采用如下方式计算所述门函数：
Figure GDA0003912316190000031
其中，所述
Figure GDA0003912316190000032
表示所述门函数，所述σ(·)表示sigmoid函数，所述Wz表示第一网络参数，所述Uz表示第二网络参数，所述bz表示第三网络参数，所述hj表示所述目标隐含状态向量，所述si-1表示所述第一状态向量；
所述根据所述门函数以及所述目标隐含状态向量计算目标浅层理解向量，包括：
采用如下方式计算所述目标浅层理解向量：
Figure GDA0003912316190000033
其中，所述
Figure GDA0003912316190000034
表示所述目标浅层理解向量，所述⊙表示元素级相乘。
在一种可能的设计中，在本申请实施例的第三方面的第三种实现方式中，
所述生成模块203，具体用于采用如下方式计算所述第二隐含状态序列：
Figure GDA0003912316190000035
其中，所述
Figure GDA0003912316190000036
表示所述第二隐含状态序列，所述encoderre(·)表示第二次编码处理，所述
Figure GDA0003912316190000037
表示第一个浅层理解向量，所述
Figure GDA0003912316190000038
表示所述目标浅层理解向量，所述
Figure GDA0003912316190000039
表示第J个浅层理解向量。
在一种可能的设计中，在本申请实施例的第二方面的第四种实现方式中，所述文本翻译装置还包括计算模块；
所述计算模块，用于所述确定模块根据所述上下文向量、所述第一状态向量以及第一目标词，确定第二目标词之后，根据所述上下文向量、第二状态向量以及所述第二目标词所对应的词向量，计算目标输出概率，其中，所述第二状态向量为所述当前词语所对应的状态向量；
所述计算模块，还用于根据所述目标输出概率计算连续采样向量，其中，所述连续采样向量用于生成连续采样序列；
所述计算模块，还用于根据所述连续采样向量计算离散采样向量，其中，所述离散采样向量用于生成离散采样序列；
所述计算模块，还用于根据所述离散采样向量计算编码处理结果；
所述确定模块，还用于根据所述计算模块计算得到的所述编码处理结果确定处理模式，其中，所述处理模式包括第一处理模式以及第二处理模式，所述第一处理模式表示采用已有的编码结果，所述第二处理模式表示所述第一隐含状态序列进行编码处理。
在一种可能的设计中，在本申请实施例的第二方面的第五种实现方式中，
所述计算模块，具体用于采用如下方式计算所述目标输出概率：
π(ai\mi)＝softmax(Wpmi+bp)；
mi＝tanh(W’p[si；Eyi；ci]+b’p)；
其中，所述π(ai\mi)表示所述目标输出概率，所述ai表示输出动作，所述mi表示策略函数的状态，所述Wp表示第四网络参数，所述bp表示第五网络参数，所述W’p表示第六网络参数，所述b’p表示第七网络参数，所述si表示所述第二状态向量，所述Eyi表示所述第二目标词所对应的词向量，所述ci表示所述上下文向量，所述softmax(·)表示归一化指数函数，所述tanh(·)表示双曲正切函数。
在一种可能的设计中，在本申请实施例的第二方面的第六种实现方式中，
所述计算模块，具体用于采用如下方式计算所述连续采样向量：
Figure GDA0003912316190000051
Figure GDA0003912316190000052
Figure GDA0003912316190000053
其中，所述
Figure GDA0003912316190000054
表示所述连续采样向量，所述exp(·)表示以自然常数e为底的指数函数，所述
Figure GDA0003912316190000055
表示未进行归一化的第一概率，所述
Figure GDA0003912316190000056
表示第一噪声，所述
Figure GDA0003912316190000057
表示未进行归一化的第二概率，所述
Figure GDA0003912316190000058
表示第二噪声，所述τ表示第一超参数，所述
Figure GDA0003912316190000059
表示采样参数，所述～表示采样操作，所述Uniform(0,1)表示在0至1的范围内均匀分布，所述K表示输出动作的总维度。
在一种可能的设计中，在本申请实施例的第二方面的第七种实现方式中，
所述计算模块，具体用于采用如下方式计算所述离散采样向量：
Figure GDA00039123161900000510
其中，所述
Figure GDA00039123161900000511
表示所述离散采样向量，所述argmaxk’表示所述
Figure GDA00039123161900000512
取最大值所对应的所述k’，所述otherwise表示
Figure GDA00039123161900000513
的情况。
在一种可能的设计中，在本申请实施例的第二方面的第八种实现方式中，
所述计算模块，具体用于采用如下方式计算编码处理结果：
Figure GDA00039123161900000514
其中，所述
Figure GDA00039123161900000515
表示所述编码处理结果，所述
Figure GDA00039123161900000516
表示第一离散采样向量，所述第一离散采样向量与所述第一处理模式具有对应关系，所述
Figure GDA00039123161900000517
表示第二离散采样向量，所述第二离散采样向量与所述第二处理模式具有对应关系，所述
Figure GDA00039123161900000518
表示所述第二隐含状态序列，所述
Figure GDA00039123161900000519
表示第三隐含状态序列，所述第三隐含状态序列表示经过第二次编码后生成的隐含状态序列。
在一种可能的设计中，在本申请实施例的第二方面的第九种实现方式中，
获取模块，还用于采用如下方式获取第一损失函数：
Figure GDA0003912316190000061
Figure GDA0003912316190000062
其中，所述
Figure GDA0003912316190000063
表示所述第一损失函数，所述第一损失函数用于表示模型质量，所述
Figure GDA0003912316190000064
表示第二损失函数，所述
Figure GDA0003912316190000065
表示模型的预测值，所述y表示模型的真实值，所述
Figure GDA0003912316190000066
表示惩罚项，所述
Figure GDA0003912316190000067
表示第二离散采样向量，所述第二离散采样向量与所述第二处理模式具有对应关系，所述I表示所述源语言文本的词语总数，所述α表示第二超参数。
本发明的第三方面提供了一种文本翻译装置，包括：存储器、收发器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，包括如下步骤：
获取待翻译文本序列，其中，所述待翻译文本序列为根据源语言文本生成的，所述源语言文本包括至少一个词语；
对所述待翻译文本序列进行编码处理，得到第一隐含状态序列；
获取第一状态向量，其中，所述第一状态向量为当前词语的上一个词语所对应的状态向量，所述当前词语表示所述源语言文本中待翻译的词语，所述上一个词语表示所述源语言文本中已被翻译的词语；
根据所述第一状态向量以及所述第一隐含状态序列，生成第二隐含状态序列；
根据所述第二隐含状态序列以及所述第一状态向量，生成所述当前词语所对应的上下文向量；
根据所述上下文向量、所述第一状态向量以及第一目标词，确定第二目标词，其中，所述第一目标词为所述上一个词语所对应的翻译结果，所述第二目标词为所述当前词语所对应的翻译结果；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例中，提供了一种文本翻译的方法，首先获取待翻译文本序列，待翻译文本序列包括至少一个向量，待翻译文本序列为根据源语言文本生成的，对待翻译文本序列进行编码处理，得到第一隐含状态序列，然后根据第一状态向量以及第一隐含状态序列，生成第二隐含状态序列，第一状态向量为上一个词语所对应的状态向量，再根据第二隐含状态序列以及第一状态向量，生成当前词语所对应的上下文向量，最后根据上下文向量、第一状态向量以及第一目标词，确定第二目标词，第一目标词为上一个词语所对应的翻译结果，第二目标词为当前词语所对应的翻译结果。通过上述方式，在对源语言文本所对应的待翻译文本序列进行编码的过程中，引入了解码得到的上下文向量，由此增强对待翻译文本序列的表示，加强对源语言文本的理解，从而提升翻译质量，尤其对于长句而言，翻译效果更佳。
附图说明
图1为本发明实施例中文本翻译系统的一个架构示意图；
图2为本发明实施例中解码器-精炼器-解码器的一个框架示意图；
图3为本发明实施例中文本翻译的方法一个实施例示意图；
图4为本发明实施例中解码器-精炼器-解码器的一个网络结构示意图；
图5为本发明应用场景中不同句子长度翻译质量的一个对比示意图；
图6为本发明实施例中文本翻译装置一个实施例示意图；
图7为本发明实施例中文本翻译装置另一个实施例示意图；
图8为本发明实施例中文本翻译装置一个结构示意图；
图9为本发明实施例中文本翻译装置另一个结构示意图。
具体实施方式
本发明实施例提供了一种文本翻译的方法以及相关装置，在对源语言文本所对应的待翻译文本序列进行编码的过程中，引入了解码得到的上下文向量，由此增强对待翻译文本序列的表示，加强对源语言文本的理解，从而提升翻译质量，尤其对于长句而言，翻译效果更佳。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解，本申请提供的技术方案具体应用于基于人工智能(ArtificialIntelligence，AI)的自然语言处理(Nature Language processing，NLP)领域，其中，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
而自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
应理解，本发明所提供的文本翻译方法可以应用于问答系统、对话系统、自然语言推理以及文本摘要等场景。为了提升翻译的质量，本发明提出在对源语言句子编码过程融入目标端的上下文向量，从而实现对源语言表示的改进，使其尽可能多的包含与当前上下文向量相关的信息，并去除与当前目标端上下文向量无关的内容。具体的，首先在源语言表示中引入目标端的上下文向量，从而实现对源语言表示的浅层的重新理解。其次，以此浅层理解的结果为输入，引入另外一个编码器对其进行重新编码，从而得到对源端表示的深层理解。可选地，为了降低编码和解码的时间复杂度，我们还引入选择策略动态的决定是否需要对当前的源语言表示进行重新的编码。
以文本翻译场景为例进行介绍，请参阅图1，图1为本发明实施例中文本翻译系统的一个架构示意图，如图所示，将本发明提供的文本翻译模型部署于服务器上，在终端设备向服务器发送源语言文本之后，由服务器对源语言文本进行编码处理、提炼处理以及解码处理，从而生成翻译结果，服务器再将翻译结果发送至终端设备，由终端设备展示翻译结果。可选地，在实际应用中，文本翻译模型也可以直接部署在终端设备上，即由终端设备在离线的状态下也可以采用该文本翻译模型对源语言文本进行翻译，并生成翻译结果，最后仍然由终端设备展示翻译结果。可以理解的是，终端设备包含但不仅限于平板电脑、手机、笔记本电脑、个人电脑(personal computer，PC)以及掌上电脑。
为了在编码过程中引入目标端的上下文向量，本发明提出编码器-提炼器-解码器(encoder-refiner-decoder)框架，其网络结构如图2所示。为了便于理解，请参阅图2，图2为本发明实施例中解码器-精炼器-解码器的一个框架示意图，如图所示，首先，我们使用标准的解码器将源语言句子编码成连续的序列，然后在解码的过程中，我们通过引入目标端的上下文向量实现对源端连续序列的提炼，使文本序列所包含的内容与当前的解码内容更加相关，最终解码获得一个完整的目标端文本序列，从而得到翻译结果。
在encoder-refiner-decoder框架中，其中，refiner是新增的网络层，也是是本发明提出的核心模块。refiner的主要功能是通过考虑目标端的上下文向量，从而实现对输入序列表示的重新理解，提炼其中对于当前decoder比较重要的信息，而去除不相关的内容。为了达到这个目的，本发明中的refiner包含以下重要功能，具体为以当前的解码器的状态作为上下文向量以及源端的连续序列为输入，实现对其的浅层理解。然后以此结果为输入，通过重新对其进行编码实现对其深度理解。与此同时，为了降低模型的时间复杂度，通过强化学习条件化的理解策略来决定是否有必要对源端表示进行精炼。
下面将对本发明中文本翻译的方法进行介绍，请参阅图3，本发明实施例中文本翻译的方法一个实施例包括：
101、获取待翻译文本序列，其中，待翻译文本序列为根据源语言文本生成的，源语言文本包括至少一个词语；
本实施例中，首先，文本翻译装置的encoder获取源语言文本，其中，源语言可以是中文、英文、法文、日文以及德文等不同国家的语言，源语言文本包括至少一个词语，通常情况下包括多个词语，源语言文本可以表示为“I have a pen”，这样的话，源语言文本即包括4个词语。
与源语言相对的就是翻译后得到的目标语言，目标语言也可以是中文、英文、法文、日文以及德文等不同国家的语言。在encoder获取源语言文本之后，需要对源语言文本进行词嵌入(embedding)处理，即encoder通过词嵌入用N维向量表示每个单词。相似单词具有相似词嵌入，在N维嵌入空间中距离相近。词嵌入基于在某种语言任务上训练的模型得到。假设使用300维的词嵌入。将输入句子表示为词嵌入序列后，可以传入编码器的循环层。
其中，源语言文本可以表示为x＝x1,...,xj,...xJ，相应的，目标语言文本可以表示为y＝y1,...,yi,...yI。
102、对待翻译文本序列进行编码处理，得到第一隐含状态序列；
本实施例中，在encoder获取待翻译文本序列之后，开始对该待翻译文本序列进行编码处理，从而得到第一隐含状态序列。其中，可以是采用循环神经网络(RecurrentNeural Network，RNN)对待翻译文本序列进行编码，从而得到第一隐含状态序列。RNN是一种将序列建模转变为时序建模的网络模型，它将状态在自身网络中循环传递。
在处理序列的每一步中，RNN的隐藏状态传给接收序列下一项作为输入的RNN的下一次迭代。迭代同时为批次中的每个样本输出一个编码向量。序列处理的每一步都输出这样一个“矩阵”，并与相应的反向处理序列的RNN步骤输出的矩阵相连接。
可以理解的是，在实际应用中，还可采用其他类型的神经网络进行编码，比如，长短时记忆网络(Long Short-Term Memory，LSTM)、门控循环单元(Gated Recurrent Unit，GRU)、卷积神经网络(Convolutional Neural Network，CNN)或者自关注神经网络(self-attention network，SAN)，此处仅为一个示意，不应理解为对本发明的限定。
103、获取第一状态向量，其中，第一状态向量为当前词语的上一个词语所对应的状态向量，当前词语表示源语言文本中待翻译的词语，上一个词语表示源语言文本中已被翻译的词语；
本实施例中，文本翻译装置获取第一状态向量，其中，第一状态向量是上一个词语所对应的状态向量，假设源语言文本是“many airports were forced close”，当前翻译到的词语是“airport”，那么当前词语即为“airport”。“airport”的前一个已经翻译过的词语为“many”，那么“many”即为当前词语的上一个词语。
104、根据第一状态向量以及第一隐含状态序列，生成第二隐含状态序列；
本实施例中，文本翻译装置的refiner利用上一个词语所对应的状态向量以及第一隐含状态序列，对该第一隐含状态序列进行提炼，从而得到第二隐含状态序列。具体地，可以利用上一个词语“many”的状态向量(即第一状态向量)和第一隐含状态序列作为refiner的输入，由此相当于对第一隐含状态序列进行提炼，生成第二隐含状态序列。
105、根据第二隐含状态序列以及第一状态向量，生成当前词语所对应的上下文向量；
本实施例中，文本翻译装置的refiner在得到第二隐含状态序列之后，使用注意力模型，将第二隐含状态序列与第一状态向量输入至注意力(attention)模型，decoder最终输入为注意力加权的refiner输出，以及循环单元前一步的预测单词。并输出相应的上下文向量。
106、根据上下文向量、第一状态向量以及第一目标词，确定第二目标词，其中，第一目标词为上一个词语所对应的翻译结果，第二目标词为当前词语所对应的翻译结果。
本实施例中，最后，文本翻译装置的decoder根据上下文向量、第一状态向量以及第一目标词，解码得到第二目标词。其中，第一目标词为上一个词语所对应的翻译结果，第二目标词为当前词语所对应的翻译结果。假设源语言文本是“many airports were forcedclose”，被翻译成中文“许多机场被迫关闭”。假设当前需要翻译“airport”这个词，那么“机场”即为第二目标词。第一目标词为“许多”。
本发明实施例中，提供了一种文本翻译的方法，首先获取待翻译文本序列，待翻译文本序列包括至少一个向量，待翻译文本序列为根据源语言文本生成的，对待翻译文本序列进行编码处理，得到第一隐含状态序列，然后根据第一状态向量以及第一隐含状态序列，生成第二隐含状态序列，第一状态向量为上一个词语所对应的状态向量，再根据第二隐含状态序列以及第一状态向量，生成当前词语所对应的上下文向量，最后根据上下文向量、第一状态向量以及第一目标词，确定第二目标词，第一目标词为上一个词语所对应的翻译结果，第二目标词为当前词语所对应的翻译结果。通过上述方式，在对源语言文本所对应的待翻译文本序列进行编码的过程中，引入了解码得到的上下文向量，由此增强对待翻译文本序列的表示，加强对源语言文本的理解，从而提升翻译质量，尤其对于长句而言，翻译效果更佳。
可选地，在上述图3对应的实施例的基础上，本发明实施例提供的文本翻译的方法第一个可选实施例中，根据第一状态向量以及第一隐含状态序列，生成第二隐含状态序列，可以包括：
根据目标隐含状态向量以及第一状态向量计算门函数，其中，目标隐含状态向量属于第一隐含状态序列中的一个隐含状态向量；
根据门函数以及目标隐含状态向量计算目标浅层理解向量；
根据目标浅层理解向量生成浅层理解序列，其中，浅层理解序列与第一隐含状态序列具有对应关系；
对浅层理解序列进行编码处理，得到第二隐含状态序列。
本实施例中，将介绍文本翻译装置如何生成第二隐含状态序列。为了便于介绍，请参阅图4，图4为本发明实施例中解码器-精炼器-解码器的一个网络结构示意图，如图所示，在decoder解码的每一步中，使用上一步解码器状态si-1以及源端的连续表示序列h为输入，最终获取得到提炼后的序列hi。
具体地，根据目标隐含状态向量hj以及第一状态向量si-1计算门函数
Figure GDA0003912316190000131
然后门函数
Figure GDA0003912316190000132
和目标隐含状态向量hj计算得到目标浅层理解向量
Figure GDA0003912316190000133
经过一系列的计算，得出各个浅层理解向量，从而生成浅层理解序列
Figure GDA0003912316190000134
浅层理解序列与第一隐含状态序列具有对应关系，即第一隐含状态序列中的h1与浅层理解序列中的
Figure GDA0003912316190000135
对应，第一隐含状态序列中的h2与浅层理解序列中的
Figure GDA0003912316190000136
对应，以此类推。最后，refiner对浅层理解序列进行编码处理，得到第二隐含状态序列
Figure GDA0003912316190000137
其次，本发明实施例中，介绍了一种根据第一状态向量以及第一隐含状态序列，生成第二隐含状态序列的方法，首先根据目标隐含状态向量以及第一状态向量计算门函数，然后根据门函数以及目标隐含状态向量计算目标浅层理解向量，再根据目标浅层理解向量生成浅层理解序列，其中，浅层理解序列与第一隐含状态序列具有对应关系，最后对浅层理解序列进行编码处理，得到第二隐含状态序列。通过上述方式，引入门函数来控制源端编码中信息的传递，从而实现源端信息表示的动态化，由此提升模型的识别能力。
可选地，在上述图3对应的第一个实施例的基础上，本发明实施例提供的文本翻译的方法第二个可选实施例中，根据目标隐含状态向量以及第一状态向量计算门函数，可以包括：
采用如下方式计算门函数：
Figure GDA0003912316190000138
其中，
Figure GDA0003912316190000139
表示门函数，σ(·)表示sigmoid函数，Wz表示第一网络参数，Uz表示第二网络参数，bz表示第三网络参数，hj表示目标隐含状态向量，si-1表示第一状态向量；
根据门函数以及目标隐含状态向量计算目标浅层理解向量，可以包括：
采用如下方式计算目标浅层理解向量：
Figure GDA00039123161900001310
其中，
Figure GDA0003912316190000141
表示目标浅层理解向量，⊙表示元素级相乘。
本实施例中，介绍了计算门函数以及计算目标浅层理解向量的具体方式。首先，文本翻译装置的refiner采用sigmoid函数计算门函数。计算方式如下：
Figure GDA0003912316190000142
其中，
Figure GDA0003912316190000143
表示门函数，σ(·)表示sigmoid函数，Wz表示第一网络参数，Uz表示第二网络参数，bz表示第三网络参数，hj表示目标隐含状态向量，si-1表示第一状态向量。可以理解的是，门函数可以用于控制信息流动程度。sigmoid函数作为非线性函数，其取值范围在0到1。
接下来，利用门函数以及目标隐含状态向量计算目标浅层理解向量，这里采用元素级相乘的方式计算目标浅层理解向量。假设一组数据为[a1,a2,a3]，另一组数据为[b1,b2,b3]，元素级相乘就是得到这样的一组数据[a1b1,a2b2,a3b3]，也即是向量之间相乘得到结果。
再次，本发明实施例中，提供了一种计算门函数以及计算目标浅层理解向量的具体方式。通过上述方式，一方面为目标浅层理解向量的计算提供具体的实现依据，从而提升方案的可行性。另一方面，在实际应用中，能够更准确地生成目标浅层理解向量，从而提升方案的实用性。
可选地，在上述图3对应的第一个实施例的基础上，本发明实施例提供的文本翻译的方法第三个可选实施例中，对浅层理解序列进行编码处理，得到第二隐含状态序列，可以包括：
采用如下方式计算第二隐含状态序列：
Figure GDA0003912316190000144
其中，
Figure GDA0003912316190000145
表示第二隐含状态序列，encoderre(·)表示第二次编码处理，
Figure GDA0003912316190000146
表示第一个浅层理解向量，
Figure GDA0003912316190000147
表示目标浅层理解向量，
Figure GDA0003912316190000148
表示第J个浅层理解向量。
本实施例中，在文本翻译装置完成浅层理解，即得到浅层理解序列之后，还可以额外引入一个encoder对浅层理解序列进行深层理解。输入的浅层理解序列
Figure GDA0003912316190000149
使用另外的编码器encoderre来对其进行重新的编码，获得深层理解的表示，即第二隐含状态序列
Figure GDA0003912316190000151
其中，encoderre和encoder使用不同的参数集合。
再次，本发明实施例中，文本翻译装置还需要对浅层理解序列进行编码处理，得到第二隐含状态序列。通过上述方式，实现对浅层理解序列的深度理解。并且引入额外的编码器对浅层理解序列进行重新编码，从而提升了方案的可操作性和可行性。
可选地，在上述图3以及图3对应的第一个至第三个实施例中任一项的基础上，本发明实施例提供的文本翻译的方法第四个可选实施例中，根据上下文向量、第一状态向量以及第一目标词，确定第二目标词之后，还可以包括：
根据上下文向量、第二状态向量以及第二目标词所对应的词向量，计算目标输出概率，其中，第二状态向量为当前词语所对应的状态向量；
根据目标输出概率计算连续采样向量，其中，连续采样向量用于生成连续采样序列；
根据连续采样向量计算离散采样向量，其中，离散采样向量用于生成离散采样序列；
根据离散采样向量计算编码处理结果；
根据编码处理结果确定处理模式，其中，处理模式包括第一处理模式以及第二处理模式，第一处理模式表示采用已有的编码结果，第二处理模式表示第一隐含状态序列进行编码处理。
本实施例中，提出了一种条件化的提炼选择策略，如果提出的encoder-refiner-decoder框架在解码的每一步都对源语言文本都表示进行重新的理解，时间复杂度是非常高的。而实际上，并不需要在每一步的解码都进行源语言文本编码的重新提炼和理解，比如在同一个完整的语义单元(比如短语)中，由于其语义比较接近，只需要在语义单元开始的时候进行一次提炼即可，之后在整个语义单元翻译的过程中，均使用该提炼结果。因此，为了降低模型的时间复杂性，提出条件化机制来控制当前步是否需要重新提炼源端的编码。
具体地，文本翻译装置可以预测是否需要对下一个词语进行提炼，首先，根据上下文向量、第二状态向量以及第二目标词所对应的词向量，计算目标输出概率，然后根据目标输出概率计算连续采样向量，其中，连续采样向量用于生成连续采样序列，文本翻译装置再根据连续采样向量计算离散采样向量，其中，离散采样向量用于生成离散采样序列。最后，文本翻译装置根据离散采样向量计算编码处理结果，并根据编码处理结果确定处理模式，其中，处理模式包括第一处理模式以及第二处理模式，第一处理模式表示采用已有的编码结果，第二处理模式表示第一隐含状态序列进行编码处理。
进一步地，本发明实施例中，还可以预测是否需要对下一个词语进行提炼，在根据上下文向量、第二状态向量以及第二目标词所对应的词向量，计算目标输出概率之后，先根据目标输出概率计算连续采样向量，然后根据连续采样向量计算离散采样向量，最后，根据离散采样向量计算编码处理结果，根据编码处理结果确定处理模式，其中，处理模式包括第一处理模式以及第二处理模式，第一处理模式表示对下一个词语进行一次编码处理，且得到一个隐含状态，第二处理模式表示对下一个词语进行两次编码处理，且得到两个隐含状态。通过上述方式，可以不必对每个词语都进行提炼，从而降低了模型的复杂度，通过提出条件化的精炼策略，可以动态决定是否需要对当前的表示进行精炼，进而提升方案的灵活性和实用性。
可选地，在上述图3对应的第四个实施例的基础上，本发明实施例提供的文本翻译的方法第五个可选实施例中，根据上下文向量、第二状态向量以及第二目标词所对应的词向量，计算目标输出概率，可以包括：
采用如下方式计算目标输出概率：
π(ai\mi)＝softmax(Wpmi+bp)；
mi＝tanh(W’p[si；Eyi；ci]+b’p)；
其中，π(ai\mi)表示目标输出概率，ai表示输出动作，mi表示策略函数的状态，Wp表示第四网络参数，bp表示第五网络参数，W’p表示第六网络参数，b’p表示第七网络参数，si表示第二状态向量，Eyi表示第二目标词所对应的词向量，ci表示上下文向量，softmax(·)表示归一化指数函数，tanh(·)表示双曲正切函数。
本实施例中，在引入条件化的提炼选择策略之后，可以设置两个输出动作，一个输出动作是对源语言文本的编码进行重新提炼，即生成
Figure GDA0003912316190000171
另一个输出动作是选择使用上一步的提炼的结果，即获取
Figure GDA0003912316190000172
于是，我们使用两层的前馈神经网络计算输出动作ai的概率π(ai\mi)：
π(ai\mi)＝softmax(Wpmi+bp)；
其中，mi是策略函数的状态，其计算方法如下：
mi＝tanh(W’p[si；Eyi；ci]+b’p)；
因为输出动作ai预测的是下一时刻(下一个词语)是否进行提炼，所以使用当前时刻(当前词语)的第二状态向量si、第二目标词所对应的词向量Eyi以及上下文向量ci。策略函数mi输出的是连续的概率值，而输出动作是表示是否需要进行提炼的离散值，可以通过采样函数来实现从连续的概率值到离散的输出动作。这个采样函数根据概率进行采样，概率值越大，其采样对应的动作次数越多。
更进一步地，本发明实施例中，介绍了文本翻译装置根据上下文向量、第二状态向量以及第二目标词所对应的词向量，计算目标输出概率的方式。通过上述方式，一方面为目标输出概率的计算提供具体的实现依据，从而提升方案的可行性。另一方面，在实际应用中，能够更准确地表示提炼的可能性，从而提升方案的可操作性。
可选地，在上述图3对应的第五个实施例的基础上，本发明实施例提供的文本翻译的方法第六个可选实施例中，根据目标输出概率计算连续采样向量，可以包括：
采用如下方式计算连续采样向量：
Figure GDA0003912316190000173
Figure GDA0003912316190000174
Figure GDA0003912316190000175
其中，
Figure GDA0003912316190000176
表示连续采样向量，exp(·)表示以自然常数e为底的指数函数，
Figure GDA0003912316190000177
表示未进行归一化的第一概率，
Figure GDA0003912316190000178
表示第一噪声，
Figure GDA0003912316190000179
表示未进行归一化的第二概率，
Figure GDA0003912316190000181
表示第二噪声，τ表示第一超参数，
Figure GDA0003912316190000182
表示采样参数，～表示采样操作，Uniform(0,1)表示在0至1的范围内均匀分布，K表示输出动作的总维度。
本实施例中，由于训练过程中需要对策略函数进行采样，以生成相应的动作序列。为了优化该网络，可以使用Gumbel-softmax将离散的
Figure GDA0003912316190000183
进行连续化处理。其中，Gumbel-softmax可以认为是一种采样函数。采样函数可以对目标输出概率π(ai\mi)进行采样，得到输出动作ai。利用离散变量ai采样得到具有连续表示的分布向量
Figure GDA0003912316190000184
之所以要对离散化的数值进行连续化表示，是因为模型需要计算梯度，而连续化的数值才具有梯度。通过Gumbel-softmax近似采样过程，使得最后结果是连续可导的。
可以理解的是，采样函数就如同掷硬币，投掷硬币的结果是正面或者反面，即表示采样函数的输出，如果出现正面的概率是0.7，反面的概率是0.3，概率越大表示出现相应结果的可能性越大。
更进一步地，本发明实施例中，介绍了文本翻译装置根据目标输出概率计算连续采样向量的具体方式。通过上述方式，可以将离散化的目标输出概率变得连续化，即生成连续采样向量。由于连续采样向量没有梯度，以此可以求导，也可以模拟采样过程，符合数据处理的规则，从而提升方案的可行性和可操作性。
可选地，在上述图3对应的第六个实施例的基础上，本发明实施例提供的文本翻译的方法第七个可选实施例中，根据连续采样向量计算离散采样向量，可以包括：
采用如下方式计算离散采样向量：
Figure GDA0003912316190000185
其中，
Figure GDA0003912316190000186
表示离散采样向量，argmaxk’表示
Figure GDA0003912316190000187
取最大值所对应的k’，otherwise表示
Figure GDA0003912316190000188
的情况。
本实施例中，文本翻译装置使用Straight-Through Gumbel-softmax(ST Gumbel-softmax)对连续采样向量进行离散化处理，输出离散化结果
Figure GDA0003912316190000189
具体的计算方式如下所示：
Figure GDA0003912316190000191
其中，
Figure GDA0003912316190000192
表示第一离散采样向量，其中，k＝1的情况可以表示为“REUSE”，也就是使用上一步的提炼的结果
Figure GDA0003912316190000193
k＝2的情况可以表示为“REFINE”，也就是对源端编码进行重新的提炼。
更进一步地，本发明实施例中，介绍了文本翻译装置根据连续采样向量计算离散采样向量的方式。通过上述方式，一方面为离散采样向量的计算提供具体的实现依据，从而提升方案的可行性。另一方面，在实际应用中，需要对连续化的连续采样向量进行离散处理，从而有利于表示编码处理结果，进而提升方案的实用性。
可选地，在上述图3对应的第七个实施例的基础上，本发明实施例提供的文本翻译的方法第八个可选实施例中，根据离散采样向量计算编码处理结果，可以包括：
采用如下方式计算编码处理结果：
Figure GDA0003912316190000194
其中，
Figure GDA0003912316190000195
表示编码处理结果，
Figure GDA0003912316190000196
表示第一离散采样向量，第一离散采样向量与第一处理模式具有对应关系，
Figure GDA0003912316190000197
表示第二离散采样向量，第二离散采样向量与第二处理模式具有对应关系，
Figure GDA0003912316190000198
表示第二隐含状态序列，
Figure GDA0003912316190000199
表示第三隐含状态序列，第三隐含状态序列表示经过第二次编码后生成的隐含状态序列。
本实施例中，下面将介绍计算编码处理结果的方式。
Figure GDA00039123161900001910
表示第一离散采样向量，其中，k＝1的情况可以表示为“REUSE”，也就是使用上一步的提炼的结果
Figure GDA00039123161900001911
k＝2的情况可以表示为“REFINE”，也就是对源端编码进行重新的提炼，得到第三隐含状态序列
Figure GDA00039123161900001912
第三隐含状态序列表示经过第二次编码后生成的隐含状态序列。
更进一步地，本发明实施例中，提供了一种根据离散采样向量计算编码处理结果的具体方式。通过上述方式，一方面为编码处理结果的计算提供具体的实现依据，从而提升方案的可行性。另一方面，在实际应用中，能够更高效地预测是否需要对下一个词语进行提炼，从而提升方案的实用性。
可选地，在上述图3对应的第四个实施例的基础上，本发明实施例提供的文本翻译的方法第九个可选实施例中，还可以包括：
采用如下方式获取第一损失函数：
Figure GDA0003912316190000201
Figure GDA0003912316190000202
其中，
Figure GDA0003912316190000203
表示第一损失函数，
Figure GDA0003912316190000204
表示第二损失函数，
Figure GDA0003912316190000205
表示模型的预测值，y表示模型的真实值，
Figure GDA0003912316190000206
表示惩罚项，
Figure GDA0003912316190000207
表示第二离散采样向量，第二离散采样向量与第二处理模式具有对应关系，I表示源语言文本的词语总数，α表示第二超参数。
本实施例中，当在训练神经网络模型的时候，特别是一些线性分类器，往往需要定义一个损失函数，即设置一个第二损失函数，模型的训练就是要通过样本将损失函数最小化，当函数值为0时，说明模型预测与真实值已经完全相符。为了对重炼动作数量进行限制，本发明在原本的第二损失函数基础上，增加了一个新的函数，即惩罚项。
基于第二损失函数
Figure GDA0003912316190000208
增加惩罚项
Figure GDA0003912316190000209
后得到如下第一损失函数：
Figure GDA00039123161900002010
采用上述第一损失函数实现损失函数的最小化。
需要说明的是，损失函数的类型较多，可以是交叉熵损失函数，此处不做限定。
更进一步地，本发明实施例中，提供了一种限制提炼动作的方式，也就是也原有的损失函数基础上，增加一个惩罚项。通过上述方式，为了训练一个更加更合适的选择策略，可以对重新精炼动作数量进行限制，从而鼓励模型重用之前的结果。以增加惩罚项实现上述约束，由此提升方案的可行性和可靠性。
为了便于理解，本发明可以应用于需要强化局部信息，并针对离散队列建模的神经网络模型中。以机器翻译为例，在美国国家标准与技术研究院(National Institute ofStandards and Technology，NIST)的中英机器翻译任务测试中，采用本发明所提供的方案可以显著提升翻译质量。请参阅
表1，表1为采用本发明所提供的方案在机器翻译系统上所取得的效果。
模型 参数数量 MT03 MT04 MT05 MT06 MT08 Ave. Δ
基准 86.69M 37.26 40.50 36.67 37.10 28.54 36.01 -
浅层理解 92.69M 38.12 41.35 38.51 37.85 29.32 37.03 +1.02
深层理解 110.70M 39.23 42.72 39.90 39.24 30.68 38.35 +2.34
条件化 112.95M 38.61 41.99 38.89 38.04 29.36 37.38 +1.37
由此可见，双语评价研究(bilingual evaluation understudy，BLEU)一般提高超过0.5个点即是显著提高，该栏的Δ是指提高的绝对数值，参数数量的单位为百万(M)，MT03、MT 04、MT 05、MT 06和MT 08是NIST机器翻译测试集。
请参阅图5，图5为本发明应用场景中不同句子长度翻译质量的一个对比示意图，如图所示，基线(baseline)表示采用标准神经网络机器翻译(Neural MachineTranslation，NMT)模型训练的，浅层提炼(shallow refiner)表示添加上下文向量后的序列，深层提炼(deep refiner)表示对shallow refiner进行重新编码后生成的序列，条件化(contiditonal)表示提炼的条件。由此可见，本发明所提出方法在较长句子的翻译上表现出色，且经过两次编码后得到的翻译质量也更好。
下面对本发明中的文本翻译装置进行详细描述，请参阅图6，图6为本发明实施例中文本翻译装置一个实施例示意图，文本翻译装置20包括：
获取模块201，用于获取待翻译文本序列，其中，所述待翻译文本序列为根据源语言文本生成的，所述源语言文本包括至少一个词语；
编码模块202，用于对所述获取模块201获取的所述待翻译文本序列进行编码处理，得到第一隐含状态序列；
所述获取模块201，还用于获取第一状态向量，其中，所述第一状态向量为当前词语的上一个词语所对应的状态向量，所述当前词语表示所述源语言文本中待翻译的词语，所述上一个词语表示所述源语言文本中已被翻译的词语；
生成模块203，用于根据所述获取模块201获取的所述第一状态向量以及所述第一隐含状态序列，生成第二隐含状态序列；
所述生成模块203，还用于根据所述第二隐含状态序列以及所述第一状态向量，生成所述当前词语所对应的上下文向量；
确定模块204，用于根据所述生成模块203生成的所述上下文向量、所述第一状态向量以及第一目标词，确定第二目标词，其中，所述第一目标词为所述上一个词语所对应的翻译结果，所述第二目标词为所述当前词语所对应的翻译结果。
本实施例中，获取模块201获取待翻译文本序列，其中，所述待翻译文本序列为根据源语言文本生成的，所述源语言文本包括至少一个词语编码模块202对所述获取模块201获取的所述待翻译文本序列进行编码处理，得到第一隐含状态序列，所述获取模块201获取第一状态向量，其中，所述第一状态向量为当前词语的上一个词语所对应的状态向量，所述当前词语表示所述源语言文本中待翻译的词语，所述上一个词语表示所述源语言文本中已被翻译的词语，生成模块203根据所述获取模块201获取的所述第一状态向量以及所述第一隐含状态序列，生成第二隐含状态序列，所述生成模块203根据所述第二隐含状态序列以及所述第一状态向量，生成所述当前词语所对应的上下文向量，确定模块204根据所述生成模块203生成的所述上下文向量、所述第一状态向量以及第一目标词，确定第二目标词，其中，所述第一目标词为所述上一个词语所对应的翻译结果，所述第二目标词为所述当前词语所对应的翻译结果。
本发明实施例中，提供了一种文本翻译装置，首先获取待翻译文本序列，待翻译文本序列包括至少一个向量，待翻译文本序列为根据源语言文本生成的，对待翻译文本序列进行编码处理，得到第一隐含状态序列，然后根据第一状态向量以及第一隐含状态序列，生成第二隐含状态序列，第一状态向量为上一个词语所对应的状态向量，再根据第二隐含状态序列以及第一状态向量，生成当前词语所对应的上下文向量，最后根据上下文向量、第一状态向量以及第一目标词，确定第二目标词，第一目标词为上一个词语所对应的翻译结果，第二目标词为当前词语所对应的翻译结果。通过上述方式，在对源语言文本所对应的待翻译文本序列进行编码的过程中，引入了解码得到的上下文向量，由此增强对待翻译文本序列的表示，加强对源语言文本的理解，从而提升翻译质量，尤其对于长句而言，翻译效果更佳。
可选地，在上述图6所对应的实施例的基础上，本发明实施例提供的文本翻译装置20的另一实施例中，
所述生成模块203，具体用于根据目标隐含状态向量以及所述第一状态向量计算门函数，其中，所述目标隐含状态向量属于所述第一隐含状态序列中的一个隐含状态向量；
根据所述门函数以及所述目标隐含状态向量计算目标浅层理解向量；
根据所述目标浅层理解向量生成浅层理解序列，其中，所述浅层理解序列与所述第一隐含状态序列具有对应关系；
对所述浅层理解序列进行编码处理，得到所述第二隐含状态序列。
其次，本发明实施例中，介绍了一种根据第一状态向量以及第一隐含状态序列，生成第二隐含状态序列的方法，首先根据目标隐含状态向量以及第一状态向量计算门函数，然后根据门函数以及目标隐含状态向量计算目标浅层理解向量，再根据目标浅层理解向量生成浅层理解序列，其中，浅层理解序列与第一隐含状态序列具有对应关系，最后对浅层理解序列进行编码处理，得到第二隐含状态序列。通过上述方式，引入门函数来控制源端编码中信息的传递，从而实现源端信息表示的动态化，由此提升模型的识别能力。
可选地，在上述图6所对应的实施例的基础上，本发明实施例提供的文本翻译装置20的另一实施例中，
所述生成模块203，具体用于采用如下方式计算所述门函数：
Figure GDA0003912316190000231
其中，所述
Figure GDA0003912316190000232
表示所述门函数，所述σ(·)表示sigmoid函数，所述Wz表示第一网络参数，所述Uz表示第二网络参数，所述bz表示第三网络参数，所述hj表示所述目标隐含状态向量，所述si-1表示所述第一状态向量；
所述根据所述门函数以及所述目标隐含状态向量计算目标浅层理解向量，包括：
采用如下方式计算所述目标浅层理解向量：
Figure GDA0003912316190000241
其中，所述
Figure GDA0003912316190000242
表示所述目标浅层理解向量，所述⊙表示元素级相乘。
再次，本发明实施例中，提供了一种计算门函数以及计算目标浅层理解向量的具体方式。通过上述方式，一方面为目标浅层理解向量的计算提供具体的实现依据，从而提升方案的可行性。另一方面，在实际应用中，能够更准确地生成目标浅层理解向量，从而提升方案的实用性。
可选地，在上述图6所对应的实施例的基础上，本发明实施例提供的文本翻译装置20的另一实施例中，
所述生成模块203，具体用于采用如下方式计算所述第二隐含状态序列：
Figure GDA0003912316190000243
其中，所述
Figure GDA0003912316190000244
表示所述第二隐含状态序列，所述encoderre(·)表示第二次编码处理，所述
Figure GDA0003912316190000245
表示第一个浅层理解向量，所述
Figure GDA0003912316190000246
表示所述目标浅层理解向量，所述
Figure GDA0003912316190000247
表示第J个浅层理解向量。
再次，本发明实施例中，文本翻译装置还需要对浅层理解序列进行编码处理，得到第二隐含状态序列。通过上述方式，实现对浅层理解序列的深度理解。并且引入额外的编码器对浅层理解序列进行重新编码，从而提升了方案的可操作性和可行性。
可选地，在上述图6所对应的实施例的基础上，请参阅图7，本发明实施例提供的文本翻译装置20的另一实施例中，所述文本翻译装置20还包括计算模块205；
所述计算模块205，用于所述确定模块204根据所述上下文向量、所述第一状态向量以及第一目标词，确定第二目标词之后，根据所述上下文向量、第二状态向量以及所述第二目标词所对应的词向量，计算目标输出概率，其中，所述第二状态向量为所述当前词语所对应的状态向量；
所述计算模块205，还用于根据所述目标输出概率计算连续采样向量，其中，所述连续采样向量用于生成连续采样序列；
所述计算模块205，还用于根据所述连续采样向量计算离散采样向量，其中，所述离散采样向量用于生成离散采样序列；
所述计算模块205，还用于根据所述离散采样向量计算编码处理结果；
所述确定模块204，还用于根据所述计算模块205计算得到的所述编码处理结果确定处理模式，其中，所述处理模式包括第一处理模式以及第二处理模式，所述第一处理模式表示采用已有的编码结果，所述第二处理模式表示所述第一隐含状态序列进行编码处理。
进一步地，本发明实施例中，还可以预测是否需要对下一个词语进行提炼，在根据上下文向量、第二状态向量以及第二目标词所对应的词向量，计算目标输出概率之后，先根据目标输出概率计算连续采样向量，然后根据连续采样向量计算离散采样向量，最后，根据离散采样向量计算编码处理结果，根据编码处理结果确定处理模式，其中，处理模式包括第一处理模式以及第二处理模式，第一处理模式表示对下一个词语进行一次编码处理，且得到一个隐含状态，第二处理模式表示对下一个词语进行两次编码处理，且得到两个隐含状态。通过上述方式，可以不必对每个词语都进行提炼，从而降低了模型的复杂度，通过提出条件化的精炼策略，可以动态决定是否需要对当前的表示进行精炼，进而提升方案的灵活性和实用性。
可选地，在上述图7所对应的实施例的基础上，本发明实施例提供的文本翻译装置20的另一实施例中，
所述计算模块205，具体用于采用如下方式计算所述目标输出概率：
π(ai\mi)＝softmax(Wpmi+bp)；
mi＝tanh(W’p[si；Eyi；ci]+b’p)；
其中，所述π(ai\mi)表示所述目标输出概率，所述ai表示输出动作，所述mi表示策略函数的状态，所述Wp表示第四网络参数，所述bp表示第五网络参数，所述W’p表示第六网络参数，所述b’p表示第七网络参数，所述si表示所述第二状态向量，所述Eyi表示所述第二目标词所对应的词向量，所述ci表示所述上下文向量，所述softmax(·)表示归一化指数函数，所述tanh(·)表示双曲正切函数。
更进一步地，本发明实施例中，介绍了文本翻译装置根据上下文向量、第二状态向量以及第二目标词所对应的词向量，计算目标输出概率的方式。通过上述方式，一方面为目标输出概率的计算提供具体的实现依据，从而提升方案的可行性。另一方面，在实际应用中，能够更准确地表示提炼的可能性，从而提升方案的可操作性。
可选地，在上述图7所对应的实施例的基础上，本发明实施例提供的文本翻译装置20的另一实施例中，
所述计算模块205，具体用于采用如下方式计算所述连续采样向量：
Figure GDA0003912316190000261
Figure GDA0003912316190000262
Figure GDA0003912316190000263
其中，所述
Figure GDA0003912316190000264
表示所述连续采样向量，所述exp(·)表示以自然常数e为底的指数函数，所述
Figure GDA0003912316190000265
表示未进行归一化的第一概率，所述
Figure GDA0003912316190000266
表示第一噪声，所述
Figure GDA0003912316190000267
表示未进行归一化的第二概率，所述
Figure GDA0003912316190000268
表示第二噪声，所述τ表示第一超参数，所述
Figure GDA0003912316190000269
表示采样参数，所述～表示采样操作，所述Uniform(0,1)表示在0至1的范围内均匀分布，所述K表示输出动作的总维度。
更进一步地，本发明实施例中，介绍了文本翻译装置根据目标输出概率计算连续采样向量的具体方式。通过上述方式，可以将离散化的目标输出概率变得连续化，即生成连续采样向量。由于连续采样向量没有梯度，以此可以求导，也可以模拟采样过程，符合数据处理的规则，从而提升方案的可行性和可操作性。
可选地，在上述图7所对应的实施例的基础上，本发明实施例提供的文本翻译装置20的另一实施例中，
所述计算模块205，具体用于采用如下方式计算所述离散采样向量：
Figure GDA0003912316190000271
其中，所述
Figure GDA0003912316190000272
表示所述离散采样向量，所述argmaxk’表示所述
Figure GDA0003912316190000273
取最大值所对应的所述k’，所述otherwise表示
Figure GDA0003912316190000274
的情况。
更进一步地，本发明实施例中，介绍了文本翻译装置根据连续采样向量计算离散采样向量的方式。通过上述方式，一方面为离散采样向量的计算提供具体的实现依据，从而提升方案的可行性。另一方面，在实际应用中，需要对连续化的连续采样向量进行离散处理，从而有利于表示编码处理结果，进而提升方案的实用性。
可选地，在上述图7所对应的实施例的基础上，本发明实施例提供的文本翻译装置20的另一实施例中，
所述计算模块205，具体用于采用如下方式计算编码处理结果：
Figure GDA0003912316190000275
其中，所述
Figure GDA0003912316190000276
表示所述编码处理结果，所述
Figure GDA0003912316190000277
表示第一离散采样向量，所述第一离散采样向量与所述第一处理模式具有对应关系，所述
Figure GDA0003912316190000278
表示第二离散采样向量，所述第二离散采样向量与所述第二处理模式具有对应关系，所述
Figure GDA0003912316190000279
表示所述第二隐含状态序列，所述
Figure GDA00039123161900002710
表示第三隐含状态序列，所述第三隐含状态序列表示经过第二次编码后生成的隐含状态序列。
更进一步地，本发明实施例中，提供了一种根据离散采样向量计算编码处理结果的具体方式。通过上述方式，一方面为编码处理结果的计算提供具体的实现依据，从而提升方案的可行性。另一方面，在实际应用中，能够更高效地预测是否需要对下一个词语进行提炼，从而提升方案的实用性。
可选地，在上述图6或图7所对应的实施例的基础上，本发明实施例提供的文本翻译装置20的另一实施例中，
获取模块201，还用于采用如下方式获取第一损失函数：
Figure GDA00039123161900002711
Figure GDA00039123161900002712
其中，所述
Figure GDA0003912316190000281
表示所述第一损失函数，所述第一损失函数用于表示模型质量，所述
Figure GDA0003912316190000282
表示第二损失函数，所述
Figure GDA0003912316190000283
表示模型的预测值，所述y表示模型的真实值，所述
Figure GDA0003912316190000284
表示惩罚项，所述
Figure GDA0003912316190000285
表示第二离散采样向量，所述第二离散采样向量与所述第二处理模式具有对应关系，所述I表示所述源语言文本的词语总数，所述α表示第二超参数。
更进一步地，本发明实施例中，提供了一种限制提炼动作的方式，也就是也原有的损失函数基础上，增加一个惩罚项。通过上述方式，为了训练一个更加更合适的选择策略，可以对重新精炼动作数量进行限制，从而鼓励模型重用之前的结果。以增加惩罚项实现上述约束，由此提升方案的可行性和可靠性。
图8是本发明实施例提供的一种服务器结构示意图，该服务器300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在服务器300上执行存储介质330中的一系列指令操作。
服务器300还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图8所示的服务器结构。
在本发明实施例中，该服务器所包括的CPU 322还具有以下功能：
获取待翻译文本序列，其中，所述待翻译文本序列为根据源语言文本生成的，所述源语言文本包括至少一个词语；
对所述待翻译文本序列进行编码处理，得到第一隐含状态序列；
获取第一状态向量，其中，所述第一状态向量为当前词语的上一个词语所对应的状态向量，所述当前词语表示所述源语言文本中待翻译的词语，所述上一个词语表示所述源语言文本中已被翻译的词语；
根据所述第一状态向量以及所述第一隐含状态序列，生成第二隐含状态序列；
根据所述第二隐含状态序列以及所述第一状态向量，生成所述当前词语所对应的上下文向量；
根据所述上下文向量、所述第一状态向量以及第一目标词，确定第二目标词，其中，所述第一目标词为所述上一个词语所对应的翻译结果，所述第二目标词为所述当前词语所对应的翻译结果。
可选地，该服务器所包括的CPU 322具体用于执行如下步骤：
根据目标隐含状态向量以及所述第一状态向量计算门函数，其中，所述目标隐含状态向量属于所述第一隐含状态序列中的一个隐含状态向量；
根据所述门函数以及所述目标隐含状态向量计算目标浅层理解向量；
根据所述目标浅层理解向量生成浅层理解序列，其中，所述浅层理解序列与所述第一隐含状态序列具有对应关系；
对所述浅层理解序列进行编码处理，得到所述第二隐含状态序列。
可选地，该服务器所包括的CPU 322具体用于执行如下步骤：
采用如下方式计算所述门函数：
Figure GDA0003912316190000291
其中，所述
Figure GDA0003912316190000292
表示所述门函数，所述σ(·)表示sigmoid函数，所述Wz表示第一网络参数，所述Uz表示第二网络参数，所述bz表示第三网络参数，所述hj表示所述目标隐含状态向量，所述si-1表示所述第一状态向量；
所述根据所述门函数以及所述目标隐含状态向量计算目标浅层理解向量，包括：
采用如下方式计算所述目标浅层理解向量：
Figure GDA0003912316190000293
其中，所述
Figure GDA0003912316190000294
表示所述目标浅层理解向量，所述⊙表示元素级相乘。
可选地，该服务器所包括的CPU 322具体用于执行如下步骤：
采用如下方式计算所述第二隐含状态序列：
Figure GDA0003912316190000301
其中，所述
Figure GDA0003912316190000302
表示所述第二隐含状态序列，所述encoderre(·)表示第二次编码处理，所述
Figure GDA0003912316190000303
表示第一个浅层理解向量，所述
Figure GDA0003912316190000304
表示所述目标浅层理解向量，所述
Figure GDA0003912316190000305
表示第J个浅层理解向量。
可选地，该服务器所包括的CPU 322还用于执行如下步骤：
根据所述上下文向量、第二状态向量以及所述第二目标词所对应的词向量，计算目标输出概率，其中，所述第二状态向量为所述当前词语所对应的状态向量；
根据所述目标输出概率计算连续采样向量，其中，所述连续采样向量用于生成连续采样序列；
根据所述连续采样向量计算离散采样向量，其中，所述离散采样向量用于生成离散采样序列；
根据所述离散采样向量计算编码处理结果；
根据所述编码处理结果确定处理模式，其中，所述处理模式包括第一处理模式以及第二处理模式，所述第一处理模式表示采用已有的编码结果，所述第二处理模式表示所述第一隐含状态序列进行编码处理。
可选地，该服务器所包括的CPU 322具体用于执行如下步骤：
采用如下方式计算所述目标输出概率：
π(ai\mi)＝softmax(Wpmi+bp)；
mi＝tanh(W’p[si；Eyi；ci]+b’p)；
其中，所述π(ai\mi)表示所述目标输出概率，所述ai表示输出动作，所述mi表示策略函数的状态，所述Wp表示第四网络参数，所述bp表示第五网络参数，所述W’p表示第六网络参数，所述b’p表示第七网络参数，所述si表示所述第二状态向量，所述Eyi表示所述第二目标词所对应的词向量，所述ci表示所述上下文向量，所述softmax(·)表示归一化指数函数，所述tanh(·)表示双曲正切函数。
可选地，该服务器所包括的CPU 322具体用于执行如下步骤：
采用如下方式计算所述连续采样向量：
Figure GDA0003912316190000311
Figure GDA0003912316190000312
Figure GDA0003912316190000313
其中，所述
Figure GDA0003912316190000314
表示所述连续采样向量，所述exp(·)表示以自然常数e为底的指数函数，所述
Figure GDA0003912316190000315
表示未进行归一化的第一概率，所述
Figure GDA0003912316190000316
表示第一噪声，所述
Figure GDA0003912316190000317
表示未进行归一化的第二概率，所述
Figure GDA0003912316190000318
表示第二噪声，所述τ表示第一超参数，所述
Figure GDA0003912316190000319
表示采样参数，所述～表示采样操作，所述Uniform(0,1)表示在0至1的范围内均匀分布，所述K表示输出动作的总维度。
可选地，该服务器所包括的CPU 322具体用于执行如下步骤：
采用如下方式计算所述离散采样向量：
Figure GDA00039123161900003110
其中，所述
Figure GDA00039123161900003111
表示所述离散采样向量，所述argmaxk’表示所述
Figure GDA00039123161900003112
取最大值所对应的所述k’，所述otherwise表示
Figure GDA00039123161900003113
的情况。
可选地，该服务器所包括的CPU 322具体用于执行如下步骤：
采用如下方式计算编码处理结果：
Figure GDA00039123161900003114
其中，所述
Figure GDA00039123161900003115
表示所述编码处理结果，所述
Figure GDA00039123161900003116
表示第一离散采样向量，所述第一离散采样向量与所述第一处理模式具有对应关系，所述
Figure GDA00039123161900003117
表示第二离散采样向量，所述第二离散采样向量与所述第二处理模式具有对应关系，所述
Figure GDA00039123161900003118
表示所述第二隐含状态序列，所述
Figure GDA00039123161900003119
表示第三隐含状态序列，所述第三隐含状态序列表示经过第二次编码后生成的隐含状态序列。
可选地，该服务器所包括的CPU 322还用于执行如下步骤：
采用如下方式获取第一损失函数：
Figure GDA0003912316190000321
Figure GDA0003912316190000322
其中，所述
Figure GDA0003912316190000323
表示所述第一损失函数，所述第一损失函数用于表示模型质量，所述
Figure GDA0003912316190000324
表示第二损失函数，所述
Figure GDA0003912316190000325
表示模型的预测值，所述y表示模型的真实值，所述
Figure GDA0003912316190000326
表示惩罚项，所述
Figure GDA0003912316190000327
表示第二离散采样向量，所述第二离散采样向量与所述第二处理模式具有对应关系，所述I表示所述源语言文本的词语总数，所述α表示第二超参数。
本发明实施例还提供了另一种文本翻译装置，如图9所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(personal digital assistant，PDA)、销售终端(point of sales，POS)、车载电脑等任意终端设备，以终端为手机为例：
图9示出的是与本发明实施例提供的终端设备相关的手机的部分结构的框图。参考图9，手机包括：射频(radio frequency，RF)电路410、存储器420、输入单元430、显示单元440、传感器450、音频电路460、无线保真(wireless fidelity，WiFi)模块470、处理器480、以及电源490等部件。本领域技术人员可以理解，图9中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图9对手机的各个构成部件进行具体的介绍：
RF电路410可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器480处理；另外，将设计上行的数据发送给基站。通常，RF电路410包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noiseamplifier，LNA)、双工器等。此外，RF电路410还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(globalsystem of mobile communication，GSM)、通用分组无线服务(general packet radioservice，GPRS)、码分多址(code division multiple access，CDMA)、宽带码分多址(wideband code division multiple access,WCDMA)、长期演进(long term evolution，LTE)、电子邮件、短消息服务(short messaging service，SMS)等。
存储器420可用于存储软件程序以及模块，处理器480通过运行存储在存储器420的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元430可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元430可包括触控面板431以及其他输入设备432。触控面板431，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板431上或在触控面板431附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板431可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器480，并能接收处理器480发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板431。除了触控面板431，输入单元430还可以包括其他输入设备432。具体地，其他输入设备432可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元440可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元440可包括显示面板441，可选的，可以采用液晶显示器(liquid crystaldisplay，LCD)、有机发光二极管(organic light-emitting diode，OLED)等形式来配置显示面板441。进一步的，触控面板431可覆盖显示面板441，当触控面板431检测到在其上或附近的触摸操作后，传送给处理器480以确定触摸事件的类型，随后处理器480根据触摸事件的类型在显示面板441上提供相应的视觉输出。虽然在图9中，触控面板431与显示面板441是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板431与显示面板441集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器450，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板441的亮度，接近传感器可在手机移动到耳边时，关闭显示面板441和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路460、扬声器461，传声器462可提供用户与手机之间的音频接口。音频电路460可将接收到的音频数据转换后的电信号，传输到扬声器461，由扬声器461转换为声音信号输出；另一方面，传声器462将收集的声音信号转换为电信号，由音频电路460接收后转换为音频数据，再将音频数据输出处理器480处理后，经RF电路410以发送给比如另一手机，或者将音频数据输出至存储器420以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块470可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图9示出了WiFi模块470，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器480是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器420内的软件程序和/或模块，以及调用存储在存储器420内的数据，执行手机的各种功能和处理数据。可选的，处理器480可包括一个或多个处理单元；可选的，处理器480可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器480中。
手机还包括给各个部件供电的电源490(比如电池)，可选的，电源可以通过电源管理系统与处理器480逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本发明实施例中，该终端设备所包括的处理器480还具有以下功能：
获取待翻译文本序列，其中，所述待翻译文本序列为根据源语言文本生成的，所述源语言文本包括至少一个词语；
对所述待翻译文本序列进行编码处理，得到第一隐含状态序列；
获取第一状态向量，其中，所述第一状态向量为当前词语的上一个词语所对应的状态向量，所述当前词语表示所述源语言文本中待翻译的词语，所述上一个词语表示所述源语言文本中已被翻译的词语；
根据所述第一状态向量以及所述第一隐含状态序列，生成第二隐含状态序列；
根据所述第二隐含状态序列以及所述第一状态向量，生成所述当前词语所对应的上下文向量；
根据所述上下文向量、所述第一状态向量以及第一目标词，确定第二目标词，其中，所述第一目标词为所述上一个词语所对应的翻译结果，所述第二目标词为所述当前词语所对应的翻译结果。
可选地，该终端设备所包括的处理器480具体用于执行如下步骤：
根据目标隐含状态向量以及所述第一状态向量计算门函数，其中，所述目标隐含状态向量属于所述第一隐含状态序列中的一个隐含状态向量；
根据所述门函数以及所述目标隐含状态向量计算目标浅层理解向量；
根据所述目标浅层理解向量生成浅层理解序列，其中，所述浅层理解序列与所述第一隐含状态序列具有对应关系；
对所述浅层理解序列进行编码处理，得到所述第二隐含状态序列。
可选地，该终端设备所包括的处理器480具体用于执行如下步骤：
采用如下方式计算所述门函数：
Figure GDA0003912316190000361
其中，所述
Figure GDA0003912316190000362
表示所述门函数，所述σ(·)表示sigmoid函数，所述Wz表示第一网络参数，所述Uz表示第二网络参数，所述bz表示第三网络参数，所述hj表示所述目标隐含状态向量，所述si-1表示所述第一状态向量；
所述根据所述门函数以及所述目标隐含状态向量计算目标浅层理解向量，包括：
采用如下方式计算所述目标浅层理解向量：
Figure GDA0003912316190000363
其中，所述
Figure GDA0003912316190000364
表示所述目标浅层理解向量，所述⊙表示元素级相乘。
可选地，该终端设备所包括的处理器480具体用于执行如下步骤：
采用如下方式计算所述第二隐含状态序列：
Figure GDA0003912316190000365
其中，所述
Figure GDA0003912316190000366
表示所述第二隐含状态序列，所述encoderre(·)表示第二次编码处理，所述
Figure GDA0003912316190000367
表示第一个浅层理解向量，所述
Figure GDA0003912316190000368
表示所述目标浅层理解向量，所述
Figure GDA0003912316190000369
表示第J个浅层理解向量。
可选地，该终端设备所包括的处理器480还用于执行如下步骤：
根据所述上下文向量、第二状态向量以及所述第二目标词所对应的词向量，计算目标输出概率，其中，所述第二状态向量为所述当前词语所对应的状态向量；
根据所述目标输出概率计算连续采样向量，其中，所述连续采样向量用于生成连续采样序列；
根据所述连续采样向量计算离散采样向量，其中，所述离散采样向量用于生成离散采样序列；
根据所述离散采样向量计算编码处理结果；
根据所述编码处理结果确定处理模式，其中，所述处理模式包括第一处理模式以及第二处理模式，所述第一处理模式表示采用已有的编码结果，所述第二处理模式表示所述第一隐含状态序列进行编码处理。
可选地，该终端设备所包括的处理器480具体用于执行如下步骤：
采用如下方式计算所述目标输出概率：
π(ai\mi)＝softmax(Wpmi+bp)；
mi＝tanh(W’p[si；Eyi；ci]+b’p)；
其中，所述π(ai\mi)表示所述目标输出概率，所述ai表示输出动作，所述mi表示策略函数的状态，所述Wp表示第四网络参数，所述bp表示第五网络参数，所述W’p表示第六网络参数，所述b’p表示第七网络参数，所述si表示所述第二状态向量，所述Eyi表示所述第二目标词所对应的词向量，所述ci表示所述上下文向量，所述softmax(·)表示归一化指数函数，所述tanh(·)表示双曲正切函数。
可选地，该终端设备所包括的处理器480具体用于执行如下步骤：
采用如下方式计算所述连续采样向量：
Figure GDA0003912316190000371
Figure GDA0003912316190000372
Figure GDA0003912316190000373
其中，所述
Figure GDA0003912316190000374
表示所述连续采样向量，所述exp(·)表示以自然常数e为底的指数函数，所述
Figure GDA0003912316190000375
表示未进行归一化的第一概率，所述
Figure GDA0003912316190000376
表示第一噪声，所述
Figure GDA0003912316190000377
表示未进行归一化的第二概率，所述
Figure GDA0003912316190000378
表示第二噪声，所述τ表示第一超参数，所述
Figure GDA0003912316190000379
表示采样参数，所述～表示采样操作，所述Uniform(0,1)表示在0至1的范围内均匀分布，所述K表示输出动作的总维度。
可选地，该终端设备所包括的处理器480具体用于执行如下步骤：
采用如下方式计算所述离散采样向量：
Figure GDA0003912316190000381
其中，所述
Figure GDA0003912316190000382
表示所述离散采样向量，所述argmaxk’表示所述
Figure GDA0003912316190000383
取最大值所对应的所述k’，所述otherwise表示
Figure GDA0003912316190000384
的情况。
可选地，该终端设备所包括的处理器480具体用于执行如下步骤：
采用如下方式计算编码处理结果：
Figure GDA0003912316190000385
其中，所述
Figure GDA0003912316190000386
表示所述编码处理结果，所述
Figure GDA0003912316190000387
表示第一离散采样向量，所述第一离散采样向量与所述第一处理模式具有对应关系，所述
Figure GDA0003912316190000388
表示第二离散采样向量，所述第二离散采样向量与所述第二处理模式具有对应关系，所述
Figure GDA0003912316190000389
表示所述第二隐含状态序列，所述
Figure GDA00039123161900003810
表示第三隐含状态序列，所述第三隐含状态序列表示经过第二次编码后生成的隐含状态序列。
可选地，该终端设备所包括的处理器480还用于执行如下步骤：
采用如下方式获取第一损失函数：
Figure GDA00039123161900003811
Figure GDA00039123161900003812
其中，所述
Figure GDA00039123161900003813
表示所述第一损失函数，所述第一损失函数用于表示模型质量，所述
Figure GDA00039123161900003814
表示第二损失函数，所述
Figure GDA00039123161900003815
表示模型的预测值，所述y表示模型的真实值，所述
Figure GDA00039123161900003816
表示惩罚项，所述
Figure GDA00039123161900003817
表示第二离散采样向量，所述第二离散采样向量与所述第二处理模式具有对应关系，所述I表示所述源语言文本的词语总数，所述α表示第二超参数。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种文本翻译的方法，其特征在于，包括：
获取待翻译文本序列所对应的第一隐含状态序列，其中，所述待翻译文本序列为根据源语言文本生成的，所述源语言文本包括至少一个词语；
获取第一状态向量，其中，所述第一状态向量为当前词语的上一个词语所对应的状态向量，所述当前词语表示所述源语言文本中待翻译的词语，所述上一个词语表示所述源语言文本中已被翻译的词语；
根据所述第一状态向量以及所述第一隐含状态序列，生成所述当前词语所对应的上下文向量；
根据所述上下文向量、所述第一状态向量以及第一目标词，确定第二目标词，其中，所述第一目标词为所述上一个词语所对应的翻译结果，所述第二目标词为所述当前词语所对应的翻译结果；
根据所述上下文向量、第二状态向量以及所述第二目标词所对应的词向量，计算目标输出概率，其中，所述第二状态向量为所述当前词语所对应的状态向量；
根据所述目标输出概率计算连续采样向量，其中，所述连续采样向量用于生成连续采样序列；
根据所述连续采样向量计算离散采样向量，其中，所述离散采样向量用于生成离散采样序列；
根据所述离散采样向量计算编码处理结果；
根据所述编码处理结果确定处理模式，以通过条件化机制控制是否需要对下一个词语重新提炼源端的编码。
2.根据权利要求1所述的方法，其特征在于，所述获取待翻译文本序列所对应的第一隐含状态序列，包括：
获取所述源语言文本；
根据所述源语言文本生成所述待翻译文本序列；
采用编码器对待翻译文本序列进行编码处理，得到第一隐含状态序列。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一状态向量以及所述第一隐含状态序列，生成所述当前词语所对应的上下文向量，包括：
根据所述第一状态向量以及所述第一隐含状态序列，生成第二隐含状态序列；
基于所述第二隐含状态序列以及所述第一状态向量，通过注意力模型获取所述当前词语所对应的上下文向量。
4.根据权利要求1所述的方法，其特征在于，所述根据所述上下文向量、所述第一状态向量以及第一目标词，确定第二目标词，包括：
采用解码器对所述上下文向量、所述第一状态向量以及第一目标词进行解码处理，得到第二目标词。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述编码处理结果确定处理模式之后，所述方法还包括：
若所述处理模式为第一处理模式，则采用已有的编码结果；
若所述处理模式为第二处理模式，则对所述第一隐含状态序列进行编码处理。
6.一种文本翻译装置，其特征在于，包括：
获取模块，用于获取待翻译文本序列所对应的第一隐含状态序列，其中，所述待翻译文本序列为根据源语言文本生成的，所述源语言文本包括至少一个词语；
所述获取模块，还用于获取第一状态向量，其中，所述第一状态向量为当前词语的上一个词语所对应的状态向量，所述当前词语表示所述源语言文本中待翻译的词语，所述上一个词语表示所述源语言文本中已被翻译的词语；
生成模块，用于根据所述第一状态向量以及所述第一隐含状态序列，生成所述当前词语所对应的上下文向量；
确定模块，用于根据所述上下文向量、所述第一状态向量以及第一目标词，确定第二目标词，其中，所述第一目标词为所述上一个词语所对应的翻译结果，所述第二目标词为所述当前词语所对应的翻译结果；
计算模块，用于根据所述上下文向量、第二状态向量以及所述第二目标词所对应的词向量，计算目标输出概率，其中，所述第二状态向量为所述当前词语所对应的状态向量；
所述计算模块，还用于根据所述目标输出概率计算连续采样向量，其中，所述连续采样向量用于生成连续采样序列；
所述计算模块，还用于根据所述连续采样向量计算离散采样向量，其中，所述离散采样向量用于生成离散采样序列；
所述计算模块，还用于根据所述离散采样向量计算编码处理结果；
所述确定模块，还用于根据所述编码处理结果确定处理模式，以通过条件化机制控制是否需要对下一个词语重新提炼源端的编码。
7.一种文本翻译装置，其特征在于，所述文本翻译装置部署于计算机设备，所述计算机设备包括：存储器、收发器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，包括执行如上述权利要求1至5中任一项所述的方法；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
8.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至5中任一项所述的方法。
CN202010165878.6A 2018-11-28 2018-11-28 一种文本翻译的方法以及相关装置 Active CN111178099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010165878.6A CN111178099B (zh) 2018-11-28 2018-11-28 一种文本翻译的方法以及相关装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811448899.8A CN109543199B (zh) 2018-11-28 2018-11-28 一种文本翻译的方法以及相关装置
CN202010165878.6A CN111178099B (zh) 2018-11-28 2018-11-28 一种文本翻译的方法以及相关装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201811448899.8A Division CN109543199B (zh) 2018-11-28 2018-11-28 一种文本翻译的方法以及相关装置

Publications (2)

Publication Number Publication Date
CN111178099A CN111178099A (zh) 2020-05-19
CN111178099B true CN111178099B (zh) 2023-03-10

Family

ID=65851171

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811448899.8A Active CN109543199B (zh) 2018-11-28 2018-11-28 一种文本翻译的方法以及相关装置
CN202010165878.6A Active CN111178099B (zh) 2018-11-28 2018-11-28 一种文本翻译的方法以及相关装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201811448899.8A Active CN109543199B (zh) 2018-11-28 2018-11-28 一种文本翻译的方法以及相关装置

Country Status (3)

Country Link
US (1) US20210182504A1 (zh)
CN (2) CN109543199B (zh)
WO (1) WO2020108400A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543199B (zh) * 2018-11-28 2022-06-10 腾讯科技（深圳）有限公司 一种文本翻译的方法以及相关装置
CN111368564B (zh) * 2019-04-17 2022-04-08 腾讯科技（深圳）有限公司 文本处理方法、装置、计算机可读存储介质和计算机设备
US11908457B2 (en) * 2019-07-03 2024-02-20 Qualcomm Incorporated Orthogonally constrained multi-head attention for speech tasks
CN110929532B (zh) * 2019-11-21 2023-03-21 腾讯科技（深圳）有限公司 数据处理方法、装置、设备及存储介质
CN111931517B (zh) * 2020-08-26 2023-12-12 腾讯科技（深圳）有限公司 文本翻译方法、装置、电子设备以及存储介质
CN112488290B (zh) * 2020-10-21 2021-09-07 上海旻浦科技有限公司 具有依赖关系的自然语言多任务建模、预测方法及系统
CN112651248B (zh) * 2020-12-21 2024-02-13 科大讯飞股份有限公司 扫描翻译方法、装置、扫描笔及相关产品
CN112633019B (zh) * 2020-12-29 2023-09-05 北京奇艺世纪科技有限公司 一种双语样本生成方法、装置、电子设备及存储介质
CN113486681A (zh) * 2021-08-02 2021-10-08 科大讯飞股份有限公司 一种同传翻译方法、装置、设备及存储介质
CN113705652A (zh) * 2021-08-23 2021-11-26 西安交通大学 一种基于指针生成网络的任务型对话状态追踪系统及方法
CN114676234A (zh) * 2022-02-22 2022-06-28 华为技术有限公司 一种模型训练方法及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368476A (zh) * 2017-07-25 2017-11-21 深圳市腾讯计算机系统有限公司 一种翻译的方法、目标信息确定的方法及相关装置
CN107870902A (zh) * 2016-09-26 2018-04-03 谷歌公司 神经机器翻译系统
CN108268452A (zh) * 2018-01-15 2018-07-10 东北大学 一种基于深度学习的专业领域机器同步翻译装置及方法
CN108304388A (zh) * 2017-09-12 2018-07-20 腾讯科技（深圳）有限公司 机器翻译方法及装置
WO2018197921A1 (en) * 2017-04-25 2018-11-01 Systran A translation system and a method thereof

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5806027A (en) * 1996-09-19 1998-09-08 Texas Instruments Incorporated Variable framerate parameter encoding
JP4650461B2 (ja) * 2007-07-13 2011-03-16 ソニー株式会社 符号化装置、符号化方法、プログラム、及び記録媒体
US20140350914A1 (en) * 2012-01-27 2014-11-27 Nec Corporation Term translation acquisition method and term translation acquisition apparatus
JP2014235599A (ja) * 2013-06-03 2014-12-15 独立行政法人情報通信研究機構 翻訳装置、学習装置、翻訳方法、およびプログラム
US9646634B2 (en) * 2014-09-30 2017-05-09 Google Inc. Low-rank hidden input layer for speech recognition neural network
KR20180001889A (ko) * 2016-06-28 2018-01-05 삼성전자주식회사 언어 처리 방법 및 장치
WO2018053187A1 (en) * 2016-09-15 2018-03-22 Google Inc. Deep reinforcement learning for robotic manipulation
CN107885756B (zh) * 2016-09-30 2020-05-08 华为技术有限公司 基于深度学习的对话方法、装置及设备
US10558750B2 (en) * 2016-11-18 2020-02-11 Salesforce.Com, Inc. Spatial attention model for image captioning
WO2018097439A1 (ko) * 2016-11-28 2018-05-31 삼성전자 주식회사 발화의 문맥을 공유하여 번역을 수행하는 전자 장치 및 그 동작 방법
WO2018156373A1 (en) * 2017-02-24 2018-08-30 Google Llc Sequence processing using online attention
US10565318B2 (en) * 2017-04-14 2020-02-18 Salesforce.Com, Inc. Neural machine translation with latent tree attention
US10474709B2 (en) * 2017-04-14 2019-11-12 Salesforce.Com, Inc. Deep reinforced model for abstractive summarization
US20180329884A1 (en) * 2017-05-12 2018-11-15 Rsvp Technologies Inc. Neural contextual conversation learning
US10817650B2 (en) * 2017-05-19 2020-10-27 Salesforce.Com, Inc. Natural language processing using context specific word vectors
CN107729329B (zh) * 2017-11-08 2021-03-26 苏州大学 一种基于词向量连接技术的神经机器翻译方法及装置
US11170158B2 (en) * 2018-03-08 2021-11-09 Adobe Inc. Abstractive summarization of long documents using deep learning
CN108776832B (zh) * 2018-06-05 2021-08-24 腾讯科技（深圳）有限公司 信息处理方法、装置、计算机设备和存储介质
US11514252B2 (en) * 2018-06-10 2022-11-29 Adobe Inc. Discriminative caption generation
US11216510B2 (en) * 2018-08-03 2022-01-04 Asapp, Inc. Processing an incomplete message with a neural network to generate suggested messages
CN109543199B (zh) * 2018-11-28 2022-06-10 腾讯科技（深圳）有限公司 一种文本翻译的方法以及相关装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107870902A (zh) * 2016-09-26 2018-04-03 谷歌公司 神经机器翻译系统
WO2018197921A1 (en) * 2017-04-25 2018-11-01 Systran A translation system and a method thereof
CN107368476A (zh) * 2017-07-25 2017-11-21 深圳市腾讯计算机系统有限公司 一种翻译的方法、目标信息确定的方法及相关装置
CN108304388A (zh) * 2017-09-12 2018-07-20 腾讯科技（深圳）有限公司 机器翻译方法及装置
CN108268452A (zh) * 2018-01-15 2018-07-10 东北大学 一种基于深度学习的专业领域机器同步翻译装置及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Incorporating Statistical Machine Translation Word Knowledge Into Neural Machine Translation;Xing Wang 等;《 IEEE/ACM Transactions on Audio, Speech, and Language Processing》;20180726;第26卷(第12期);第2255-2266页 *
基于简单循环单元的深层神经网络机器翻译模型;张文 等;《中文信息学报》;20181031;第32卷(第10期);第36-44页 *

Also Published As

Publication number Publication date
WO2020108400A1 (zh) 2020-06-04
CN109543199B (zh) 2022-06-10
CN111178099A (zh) 2020-05-19
US20210182504A1 (en) 2021-06-17
CN109543199A (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
CN111178099B (zh) 一种文本翻译的方法以及相关装置
CN110334360B (zh) 机器翻译方法及装置、电子设备及存储介质
CN109543195B (zh) 一种文本翻译的方法、信息处理的方法以及装置
CN107608532B (zh) 一种联想输入方法、装置及电子设备
KR20190130636A (ko) 기계번역 방법, 장치, 컴퓨터 기기 및 기억매체
CN111816159B (zh) 一种语种识别方法以及相关装置
CN111553162A (zh) 一种意图识别的方法以及相关装置
CN110634474B (zh) 一种基于人工智能的语音识别方法和装置
WO2020147369A1 (zh) 自然语言处理方法、训练方法及数据处理设备
CN110162600B (zh) 一种信息处理的方法、会话响应的方法及装置
CN110555337B (zh) 一种指示对象的检测方法、装置以及相关设备
CN110717026B (zh) 一种文本信息识别的方法、人机对话的方法及相关装置
CN111597804B (zh) 一种实体识别模型训练的方法以及相关装置
CN111105852A (zh) 一种电子病历推荐方法、装置、终端及存储介质
CN109543014B (zh) 人机对话方法、装置、终端及服务器
CN112749252A (zh) 一种基于人工智能的文本匹配方法和相关装置
CN115952810A (zh) 文本翻译方法、装置及存储介质
CN110990549B (zh) 获取答案的方法、装置、电子设备及存储介质
CN112488157A (zh) 一种对话状态追踪方法、装置、电子设备及存储介质
CN112328783A (zh) 一种摘要确定方法和相关装置
CN112307198B (zh) 一种单文本的摘要确定方法和相关装置
CN114840563B (zh) 一种字段描述信息的生成方法、装置、设备及存储介质
CN116306612A (zh) 一种词句生成方法及相关设备
CN113569043A (zh) 一种文本类别确定方法和相关装置
CN113392686A (zh) 视频分析方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant