CN107368476A - 一种翻译的方法、目标信息确定的方法及相关装置 - Google Patents

一种翻译的方法、目标信息确定的方法及相关装置 Download PDF

Info

Publication number
CN107368476A
CN107368476A CN201710612833.7A CN201710612833A CN107368476A CN 107368476 A CN107368476 A CN 107368476A CN 201710612833 A CN201710612833 A CN 201710612833A CN 107368476 A CN107368476 A CN 107368476A
Authority
CN
China
Prior art keywords
vector
source
translation
moment
target information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710612833.7A
Other languages
English (en)
Other versions
CN107368476B (zh
Inventor
涂兆鹏
周浩
史树明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tencent Computer Systems Co Ltd
Original Assignee
Shenzhen Tencent Computer Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tencent Computer Systems Co Ltd filed Critical Shenzhen Tencent Computer Systems Co Ltd
Priority to CN201710612833.7A priority Critical patent/CN107368476B/zh
Publication of CN107368476A publication Critical patent/CN107368476A/zh
Priority to JP2020503957A priority patent/JP7025090B2/ja
Priority to PCT/CN2018/095231 priority patent/WO2019019916A1/zh
Priority to KR1020207002392A priority patent/KR102382499B1/ko
Priority to EP18837956.4A priority patent/EP3660707A4/en
Priority to US16/749,243 priority patent/US11928439B2/en
Application granted granted Critical
Publication of CN107368476B publication Critical patent/CN107368476B/zh
Priority to US18/390,153 priority patent/US20240169166A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种目标信息确定的方法，包括：对待处理文本信息进行编码处理，以得到源端向量表示序列；根据源端向量表示序列获取第一时刻对应的源端上下文向量，源端上下文向量用于表示待处理的源端内容；根据源端向量表示序列以及源端上下文向量确定第一翻译向量和/或第二翻译向量，第一翻译向量指示第一时刻内在源端向量表示序列中未被翻译的源端内容，第二翻译向量指示第二时刻内在源端向量表示序列中已经被翻译的源端内容；对第一翻译向量和/或第二翻译向量以及源端上下文向量进行解码处理，以得到第一时刻的目标信息。本发明还提供一种翻译的方法以及目标信息确定装置。本发明可以降低解码器的模型训练难度，提高翻译系统的翻译效果。

Description

一种翻译的方法、目标信息确定的方法及相关装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种翻译的方法、目标信息确定的方法及相关装置。
背景技术
机器翻译(machine translation，MT)是指使用机器将文本或言语从一种语言转化为具有相同含义内容的另一种语言的过程。随着深度学习的兴起，最近两年深层神经网络技术在MT上也得到应用，神经网络机器翻译(neural machine translation，NMT)成为新一代翻译技术。
目前，NMT使用编码器-解码器框架来实现理解语义再翻译的过程，该过程主要包括编码器生成当前时刻的源端向量表示，然后由解码器根据源端向量表示和当前时刻源端上下文，输出当前时刻的解码器状态，最后根据该解码器状态选择相似度最高的一个词作为目标词。
然而，在现有方案中，解码器需要建立语言模型，记录过去翻译过的信息以及记录未来需要翻译的信息，这些操作都会增加解码器的模型训练难度，降低模型训练的准确度，从而容易出现重复翻译和遗漏翻译的情况。
发明内容
本发明实施例提供了一种翻译的方法、目标信息确定的方法及相关装置，可以对源端向量表示序列中未被翻译的源端内容和/或已被翻译的源端内容进行建模处理，即把这部分内容从原来的语言模型中剥离出来进行训练，从而降低解码器的模型训练难度，提高翻译系统的翻译效果。
有鉴于此，本发明第一方面提供了一种翻译的方法，所述方法应用于神经网络机器翻译NMT系统，所述方法包括：
采用编码器对待处理文本信息进行编码处理，以得到源端向量表示序列，其中，所述待处理文本信息属于第一语言；
根据所述源端向量表示序列获取第一时刻对应的源端上下文向量，其中，所述源端上下文向量用于表示待处理的源端内容；
根据所述源端向量表示序列以及所述源端上下文向量确定第一翻译向量和/或第二翻译向量，其中，所述第一翻译向量指示第一时刻内在所述源端向量表示序列中未被翻译的源端内容，第二翻译向量指示第二时刻内在所述源端向量表示序列中已经被翻译的源端内容，所述第二时刻为所述第一时刻之前相邻的一个时刻；
采用解码器对所述第一翻译向量和/或所述第二翻译向量以及所述源端上下文向量进行解码处理，以得到第一时刻的目标信息，其中，所述目标信息属于第二语言。
本发明第二方面提供了一种目标信息确定的方法，包括：
对待处理文本信息进行编码处理，以得到源端向量表示序列；
根据所述源端向量表示序列获取第一时刻对应的源端上下文向量，其中，所述源端上下文向量用于表示待处理的源端内容；
根据所述源端向量表示序列以及所述源端上下文向量确定第一翻译向量和/或第二翻译向量，其中，所述第一翻译向量指示第一时刻内在所述源端向量表示序列中未被翻译的源端内容，第二翻译向量指示第二时刻内在所述源端向量表示序列中已经被翻译的源端内容，所述第二时刻为所述第一时刻之前相邻的一个时刻；
对所述第一翻译向量和/或所述第二翻译向量以及所述源端上下文向量进行解码处理，以得到第一时刻的目标信息。
本发明第三方面提供了一种目标信息确定装置，包括：
编码模块，用于对待处理文本信息进行编码处理，以得到源端向量表示序列；
第一获取模块，用于根据所述编码模块编码得到的所述源端向量表示序列获取第一时刻对应的源端上下文向量，其中，所述源端上下文向量用于表示待处理的源端内容；
第一确定模块，用于根据所述编码模块编码得到的所述源端向量表示序列以及所述第一获取模块获取的所述源端上下文向量确定第一翻译向量和/或第二翻译向量，其中，所述第一翻译向量指示第一时刻内在所述源端向量表示序列中未被翻译的源端内容，第二翻译向量指示第二时刻内在所述源端向量表示序列中已经被翻译的源端内容，所述第二时刻为所述第一时刻之前相邻的一个时刻；
解码模块，用于对所述第一确定模块确定的所述第一翻译向量和/或所述第二翻译向量以及所述源端上下文向量进行解码处理，以得到第一时刻的目标信息。
本发明第四方面提供了一种目标信息确定装置，包括：存储器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，包括如下步骤：
对待处理文本信息进行编码处理，以得到源端向量表示序列；
根据所述源端向量表示序列获取第一时刻对应的源端上下文向量，其中，所述源端上下文向量用于表示待处理的源端内容；
根据所述源端向量表示序列以及所述源端上下文向量确定第一翻译向量和/或第二翻译向量，其中，所述第一翻译向量指示第一时刻内在所述源端向量表示序列中未被翻译的源端内容，第二翻译向量指示第二时刻内在所述源端向量表示序列中已经被翻译的源端内容，所述第二时刻为所述第一时刻之前相邻的一个时刻；
对所述第一翻译向量和/或所述第二翻译向量以及所述源端上下文向量进行解码处理，以得到第一时刻的目标信息；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
本发明的第五方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例中，提供了一种目标信息确定的方法，首先由目标信息确定装置对待处理文本信息进行编码处理，以得到源端向量表示序列，然后根据源端向量表示序列获取第一时刻对应的源端上下文向量，该源端上下文向量用于表示待处理的源端内容，根据源端向量表示序列以及源端上下文向量确定第一翻译向量和/或第二翻译向量，该第一翻译向量指示第一时刻内在源端向量表示序列中未被翻译的源端内容，第二翻译向量指示第二时刻内在源端向量表示序列中已经被翻译的源端内容，第二时刻为第一时刻之前相邻的一个时刻，最后目标信息确定装置对第一翻译向量和/或第二翻译向量以及源端上下文向量进行解码处理，以得到第一时刻的目标信息。通过上述方式，可以对源端向量表示序列中未被翻译的源端内容和/或已被翻译的源端内容进行建模处理，即把这部分内容从原来的语言模型中剥离出来进行训练，从而降低解码器的模型训练难度，提高翻译系统的翻译效果。
附图说明
图1为本发明实施例中目标信息确定装置的架构图；
图2为本发明实施例中目标信息确定的方法一个流程示意图；
图3为本发明实施例中目标信息确定的方法一个实施例示意图；
图4为本发明实施例中门控循环单元的一个结构示意图；
图5为本发明实施例中门控循环单元的另一个结构示意图；
图6为本发明实施例中门控循环单元的另一个结构示意图；
图7为本发明实施例中增强注意力模块的一个实施例示意图；
图8为本发明实施例中增强解码器状态的一个实施例示意图；
图9为本发明应用场景中翻译源端向量表示序列中第一个源端内容的实施例示意图；
图10为本发明应用场景中翻译源端向量表示序列中第二个源端内容的实施例示意图；
图11为本发明实施例中目标信息确定装置一个实施例示意图；
图12为本发明实施例中目标信息确定装置另一个实施例示意图；
图13为本发明实施例中目标信息确定装置另一个实施例示意图；
图14为本发明实施例中目标信息确定装置另一个实施例示意图；
图15为本发明实施例中目标信息确定装置另一个实施例示意图；
图16为本发明实施例中目标信息确定装置另一个实施例示意图；
图17为本发明实施例中目标信息确定装置另一个实施例示意图；
图18为本发明实施例中目标信息确定装置另一个实施例示意图；
图19为本发明实施例中目标信息确定装置另一个实施例示意图；
图20为本发明实施例中目标信息确定装置一个结构示意图。
具体实施方式
本发明实施例提供了一种翻译的方法、目标信息确定的方法及相关装置，可以对源端向量表示序列中未被翻译的源端内容和/或已被翻译的源端内容进行建模处理，即把这部分内容从原来的语言模型中剥离出来进行训练，从而降低解码器的模型训练难度，提高翻译系统的翻译效果。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解，本发明实施例主要应用于编码-解码模型(encoder-decoder)，所谓编码，就是将输入序列转化成一个长度的向量，而所谓解码，就是根据编码器生成的向量序列再转化成输出序列。encoder-decoder模型有很多的应用，例如翻译、文档摘取和问答系统等。在翻译中，输入序列是待翻译的文本，输出序列是翻译后的文本。在问答系统中，输入序列是提出的问题，而输出序列是答案。
可以理解的是，在具体实现的时候，编码器和解码器都不是固定的，可选的有卷积神经网络(convolutional neural networks，CNN)、循环神经网络(recurrent neuralnetworks，RNN)、门控循环单元(gated recurrent unit，GRU)、时间递归神经网络(longshort term memory，LSTM)以及双向循环神经网络(bidirectional recurrent neuralnetworks，BiRNN)等，还可以在编码和解码时采用不同的神经网络，例如，编码时使用BiRNN解码时使用RNN，或者在编码时使用RNN解码时使用LSTM，此次不做限定。
请参阅图1，图1为本发明实施例中目标信息确定装置的架构图，如图所示，在解码器中额外引入两个隐层，这两个隐层可以用向量序列来表示。图中的表示第t-1时刻所对应的第二翻译向量，第二翻译向量是指已经翻译的源端内容，即过去翻译向量。图中的表示第t时刻所对应的第一翻译向量，第一翻译向量是指还未翻译的源端内容，即未来翻译向量。图中ct表示第t时刻对应的源端上下文向量。图中st表示第t时刻的解码器状态。
本发明通过引入额外的隐层，在语义层面直接对过去翻译(已被翻译内容)和未来翻译(未被翻译内容)进行建模，将相关内容从解码器状态中剥离出来，提高神经网络翻译系统对相关内容的储存及利用，从而提高翻译系统效果。本发明提供的方法可以用在主流神经网络机器翻译系统中。
为了便于理解，请参阅图2，图2为本发明实施例中目标信息确定的方法一个流程示意图，如图所示，具体为：
首先，编码器模块S1在步骤101中输入一个需要被处理的句子，然后由该编码器模块S2输出源端向量表示序列。接下来由注意力模块S2、过去未来模块S3和解码器模块S4重复以下的步骤，直到全部译文生成为止。
注意力模块S2读入第t-1时刻的过去翻译向量和未来翻译向量，其中，过去翻译向量的初始为全零向量，表示没有源端内容被翻译，而未来翻译向量的初始为源端向量表示序列的最后一个向量，表示源端句子的总结。注意力模块S2在步骤103中输出当前时刻，即第t时刻的源端上下文向量。过去未来模块S3读取当前时刻的源端上下文向量，在步骤104中更新第t时刻的过去翻译向量和未来翻译向量。解码器模块S4读取第t时刻的未来翻译向量、第t-1时刻的过去翻译向量、第t时刻的源端上下文向量以及其他标准输入，并在步骤105中生成第t时刻的目标词。
本发明可以用于NMT系统，下面将介绍本发明所提供的一种翻译的方法，本发明实施例中翻译的方法一个实施例包括：
在NMT系统中，首先采用编码器对待处理文本信息进行编码处理，以得到源端向量表示序列，其中，待处理文本信息属于第一语言，例如中文，可以理解的是，在实际应用中，还可以是其他类型的语言。
编码处理的流程具体为，将待处理文本信息输入至NMT系统中的编码器，然后采用该编码器对待处理文本信息进行编码处理，最后根据编码处理的结果获取源端向量表示序列，源端向量表示序列中各个源端向量属于第一语言。
假设第一语言是中文，那么待处理文本信息可以是一个中文的句子，这个句子中包含了若干个词组。在对这个中文句子进行编码处理后，记旷课得到源端向量表示序列，进而获取当前时刻，即第一时刻所对应的源端上下文向量，其中，源端上下文向量用于表示待处理的源端内容，源端内容具体可以为这个中文句子中的某个词语。
接下来，NMT系统会根据源端向量表示序列以及源端上下文向量确定第一翻译向量和/或第二翻译向量，其中，第一翻译向量指示第一时刻内在源端向量表示序列中未被翻译的源端内容，而第二翻译向量指示第二时刻内在源端向量表示序列中已经被翻译的源端内容，第二时刻为第一时刻之前相邻的一个时刻。如果第一时刻是t时刻，那么第二时刻便是t-1时刻。
举个例子，假设源端向量表示序列为“每月到世界各地的航班多达1300个。”于是，源端向量所对应的词语即为“每月”、“到”、“世界各地”、“的”、“航班”、“多达”和“1300个”。如果当前时刻翻译到“世界各地”这个词语，那么第一翻译向量可理解为未被翻译的“世界各地”、“的”、“航班”、“多达”和“1300个”，第二翻译向量可理解为已被翻译的“每月”和“到”。
最后，在NMT系统中采用解码器对第一翻译向量和/或第二翻译向量以及源端上下文向量进行解码处理，以得到第一时刻的目标信息，其中，目标信息属于第二语言。可以理解的是，第二语言是与第一语言不同的一门语言，可以是英语、法语或者日语等，此处不做限定。
假设第一时刻翻译到“世界各地”这个词语，那么输出的目标信息可以为“allparts of the world”，也就是第一语言为中文，第二语言为英文，至此结束了机器翻译的过程。
本发明实施例中，提供了一种翻译的方法，可以对源端向量表示序列中未被翻译的源端内容和/或已被翻译的源端内容进行建模处理，即把这部分内容从原来的语言模型中剥离出来进行训练，从而降低解码器的模型训练难度，提高翻译系统的翻译效果。
下面将对本发明中目标信息确定的方法进行介绍，请参阅图3，图3为本发明实施例中目标信息确定的方法一个实施例包括：
201、对待处理文本信息进行编码处理，以得到源端向量表示序列；
本实施例中，目标信息确定装置中的编码器对待处理文本信息进行编码处理，其中，待处理文本信息可以是一个待翻译的句子，例如“多个机场被关闭。”句子在经过编码处理后，可得到源端向量表示序列。
源端向量表示序列中每个向量对应的一个源端内容(源端词)，例如，在“多个机场被关闭。”这个句子中的源端内容分别为“多个”、“机场”、“被”、“关闭”、“。”和“<eos>”。根据此序列，目标信息确定装置中的解码器逐词生成译文。
202、根据源端向量表示序列获取第一时刻对应的源端上下文向量，其中，源端上下文向量用于表示待处理的源端内容；
本实施例中，目标信息确定装置根据源端向量表示序列，可以获取第一时刻对应的源端上下文向量，第一时刻即为本发明实施例中的第t时刻，源端上下文向量用于表示待处理的源端内容。
具体地，目标信息确定装置为每个源端内容输出一个对齐概率，例如0.0或者0.2等，源端向量表示序列中各个对齐概率之和为1，且对其概率越大，表示这个源端内容和待生成的目标信息越相关。将对齐概率和语义向量加权即可生成第t时刻的源端上下文向量。
203、根据源端向量表示序列以及源端上下文向量确定第一翻译向量和/或第二翻译向量，其中，第一翻译向量指示第一时刻内在源端向量表示序列中未被翻译的源端内容，第二翻译向量指示第二时刻内在源端向量表示序列中已经被翻译的源端内容，第二时刻为第一时刻之前相邻的一个时刻；
本实施例中，目标信息确定装置可以根据源端向量表示序列以及源端上下文向量确定第一翻译向量，或者根据源端向量表示序列以及源端上下文向量确定第二翻译向量，又或者根据源端向量表示序列以及源端上下文向量确定第一翻译向量和第二翻译向量。其中，第一翻译向量指示第一时刻内在源端向量表示序列中未被翻译的源端内容，第二翻译向量指示第二时刻内在源端向量表示序列中已经被翻译的源端内容，第二时刻为第一时刻之前相邻的一个时刻。
具体地，第一翻译向量表示第t时刻的未来翻译向量，第二翻译向量表示第t-1时刻的过去翻译向量。当生成完一个目标信息后，就把相应的ct加到前一时刻的过去翻译向量得到新的过去翻译向量，并从前一时刻的未来翻译向量中减去ct得到新的未来翻译向量。
204、对第一翻译向量和/或第二翻译向量以及源端上下文向量进行解码处理，以得到第一时刻的目标信息。
本实施例中，目标信息确定装置中的解码器使用一个神经网络输出层，对第一翻译向量以及源端上下文向量进行解码处理，可以得到第一时刻的目标信息。或者，对第二翻译向量以及源端上下文向量进行解码处理，可以得到第一时刻的目标信息。又或者，对第一翻译向量、第二翻译向量以及源端上下文向量进行解码处理，可以得到第一时刻的目标信息。
在生成目标信息的过程中可以生成多个待选择的信息，最后输出相似度最高的一个词语作为目标信息。例如，“多个机场被关闭。”这个句子中，“多个”可以被翻译成“many”或者“much”，然而根据解码器状态向量中存储的语义知识可以知道，在可数名词之前使用“many”，因此，这里的“多个”最后被翻译成“many”。
本发明实施例中，提供了一种目标信息确定的方法，首先由目标信息确定装置对待处理文本信息进行编码处理，以得到源端向量表示序列，然后根据源端向量表示序列获取第一时刻对应的源端上下文向量，该源端上下文向量用于表示待处理的源端内容，根据源端向量表示序列以及源端上下文向量确定第一翻译向量和/或第二翻译向量，该第一翻译向量指示第一时刻内在源端向量表示序列中未被翻译的源端内容，第二翻译向量指示第二时刻内在源端向量表示序列中已经被翻译的源端内容，第二时刻为第一时刻之前相邻的一个时刻，最后目标信息确定装置对第一翻译向量和/或第二翻译向量以及源端上下文向量进行解码处理，以得到第一时刻的目标信息。通过上述方式，可以对源端向量表示序列中未被翻译的源端内容和/或已被翻译的源端内容进行建模处理，即把这部分内容从原来的语言模型中剥离出来进行训练，从而降低解码器的模型训练难度，提高翻译系统的翻译效果。
可选地，在上述图3对应的实施例的基础上，本发明实施例提供的目标信息确定的方法第一个可选实施例中，根据源端向量表示序列以及源端上下文向量确定第一翻译向量，可以包括：
根据源端向量表示序列获取第二时刻对应的第三翻译向量；
采用预设神经网络模型对第三翻译向量和源端上下文向量进行处理，以得到第一翻译向量。
本实施例中，目标信息确定装置可以根据源端向量表示序列以及源端上下文向量确定第一翻译向量，即先根据源端向量表示序列获取第二时刻对应的第三翻译向量，然后采用预设神经网络模型对第三翻译向量和源端上下文向量进行处理，以此得到第一翻译向量。
具体地，假设第一时刻为第t时刻，第二时刻为第t-1时刻，那么目标信息确定装置需要读入第一时刻的源端上下文向量(表示第一时刻被翻译的源端内容)，进而更新存储的未来翻译向量。未来翻译向量的初始化为源端句子的总结(通常为源端向量表示序列的最后一个向量)，表示起始的所有源端内容都没有被翻译。于是在每一时刻，更新如下：
其中，表示第t个时刻的未来翻译向量，即第一翻译向量，表示第t-1个时刻的未来翻译向量，即第三翻译向量，ct表示第t时刻的源端上下文向量，RNN()表示采用RNN模型进行计算。
需要说明的是，这里将RNN作为预设神经网络模型仅为一个示意，在实际应用中，预设神经网络模型可以是LSTM、时延网络模型或者闸控卷积神经网络，还可以是其他类型的神经网络结构，此处不做限定。
其次，本发明实施例中，介绍了如何根据源端向量表示序列以及源端上下文向量确定第一翻译向量，即根据源端向量表示序列获取第二时刻对应的第三翻译向量，然后采用预设神经网络模型对第三翻译向量和源端上下文向量进行处理，以得到第一翻译向量。通过上述方式，利用预设神经网络模型输出第一翻译向量，可以提高未来翻译向量的准确度。
可选地，在上述图3对应的实施例的基础上，本发明实施例提供的目标信息确定的方法第二个可选实施例中，根据源端向量表示序列以及源端上下文向量确定第一翻译向量和第二翻译向量，可以包括：
根据源端向量表示序列获取第二时刻对应的第三翻译向量；
采用预设神经网络模型对第三翻译向量和源端上下文向量进行处理，以得到第一翻译向量；
根据源端上下文向量在源端向量表示序列中出现的位置，获取第二翻译向量，其中，第二翻译向量用于更新第一时刻所对应的第四翻译向量，第四翻译向量为采用预设神经网络模型对第二翻译向量和源端上下文向量处理后得到的。
本实施例中，假设第一时刻为第t时刻，第二时刻为第t-1时刻，第一时刻的源端上下文向量(即正在被翻译的源端语义内容)表示为ct，是由注意力模块得到的，ct同时也被用来更新过去翻译向量以及未来翻译向量。更新如下：
其中，表示第t个时刻的未来翻译向量，即第一翻译向量，表示第t-1个时刻的未来翻译向量，即第三翻译向量，ct表示第t时刻的源端上下文向量，RNN()表示采用RNN模型进行计算。
其中，表示第t个时刻的过去翻译向量，即第二翻译向量，表示第t-1个时刻的过去翻译向量，即第四翻译向量，ct表示第t时刻的源端上下文向量，RNN()表示采用RNN模型进行计算。
需要说明的是，这里将RNN作为预设神经网络模型仅为一个示意，在实际应用中，预设神经网络模型可以是LSTM、时延网络模型或者闸控卷积神经网络，还可以是其他类型的神经网络结构，此处不做限定。
我们希望能通过建模达到“累积”这一规律，即将第t时刻的的源端上下文向量ct(第t时刻被翻译的源端内容)和第t-1时刻过去翻译向量(直到第t-1时刻已经被翻译的源端内容)，因此我们选择RNN结构，因为RNN能很好地总结到第t时刻为止的历史信息，与预期相符。例如，以及
其次，本发明实施例中，介绍了如何根据源端向量表示序列以及源端上下文向量确定第一翻译向量和第二翻译向量，即根据源端向量表示序列获取第二时刻对应的第三翻译向量，然后采用预设神经网络模型对第三翻译向量和源端上下文向量进行处理，以得到第一翻译向量，还可以根据源端上下文向量在源端向量表示序列中出现的位置，获取第二翻译向量，其中，第二翻译向量用于更新第一时刻所对应的第四翻译向量，第四翻译向量为采用预设神经网络模型对第二翻译向量和源端上下文向量处理后得到的。通过上述方式，可以提高过去翻译向量和未来翻译向量的准确度。
可选地，在上述图3对应的实施例的基础上，本发明实施例提供的目标信息确定的方法第三个可选实施例中，根据源端向量表示序列以及源端上下文向量确定第二翻译向量，可以包括：
根据源端上下文向量在源端向量表示序列中出现的位置，获取第二翻译向量，其中，第二翻译向量用于生成第一时刻所对应的第四翻译向量，第四翻译向量为采用预设神经网络模型对第二翻译向量和源端上下文向量处理后得到的。
本实施例中，目标信息确定装置可以根据第一时刻的源端上下文向量在源端向量表示序列中出现的位置，获取第二时刻的第二翻译向量。
具体地，假设第一时刻为第t时刻，第二时刻为第t-1时刻，那么目标信息确定装置需要读入第t-2时刻的源端上下文向量以及第t-2时刻的过去翻译向量，然后，采用预设神经网络模型对第t-2时刻的源端上下文向量以及第t-2时刻的过去翻译向量进行处理，以获取t-1时刻第二翻译向量。过去翻译向量初始化为全零向量表示起始没有任何源端内容被翻译。于是在每一时刻，更新如下：
其中，表示第t个时刻的过去翻译向量，即第二翻译向量，表示第t-1个时刻的过去翻译向量，即第四翻译向量，ct表示第t时刻的源端上下文向量，RNN()表示采用RNN模型进行计算。
需要说明的是，这里将RNN作为预设神经网络模型仅为一个示意，在实际应用中，预设神经网络模型可以是LSTM、时延网络模型或者闸控卷积神经网络，还可以是其他类型的神经网络结构，此处不做限定。
其次，本发明实施例中，介绍了如何根据源端向量表示序列以及源端上下文向量确定第二翻译向量，即根据源端上下文向量在源端向量表示序列中出现的位置，获取第二翻译向量，第二翻译向量用于生成第一时刻所对应的第四翻译向量，第四翻译向量为采用预设神经网络模型对第二翻译向量和源端上下文向量处理后得到的。通过上述方式，利用预设神经网络模型输出第二翻译向量，可以提高过去翻译向量的准确度。
可选地，在上述图3对应的第一个或第二个实施例的基础上，本发明实施例提供的目标信息确定的方法第四个可选实施例中，采用预设神经网络模型对第三翻译向量和源端上下文向量进行处理，以得到第一翻译向量，可以包括：
采用门控循环单元GRU从第三翻译向量中减去源端上下文向量，以得到第一翻译向量。
本实施例中，在得到未来翻译向量的过程中需要通过建模来达到“累减”的规律。假设第一时刻为第t时刻，第二时刻为第t-1时刻，即将第一时刻的源端上下文向量ct(第一时刻被翻译的源端内容)从第二时刻(直到第二时刻还未被翻译的源端内容)中减去。这里我们设计了几种结构，以建模这种“累减”规律。本发明可适用于多种RNN结构，这里我们以主流的GRU为例进行介绍。
请参阅图4，图4为本发明实施例中门控循环单元的一个结构示意图，根据图4对应的标准GRU结构，可以建立“递减”模型，且希望GRU的参数能自动学习到如下规律：
其中，表示第t时刻的未来翻译向量，即第一翻译向量，表示第t-1时刻的未来翻译向量，即第三翻译向量，ct表示第一时刻的源端上下文向量，ut表示第一时刻的更新门，表示GRU生成的更新状态候选，即中间向量，rt表示输出的权重向量，tanh()表示双曲正切函数，σ()表示sigmoid函数。U、W、Ur、Wr、Uu和Wu表示函数相关的参数，这些参数和神经网络翻译系统的其他参数统一进行训练。
然后图4对应的GRU结构并没有给出需要“递减”的信号，这样会增加GRU学习规律的难度，因此，可以对该GRU结构进行改进，以得到图5对应的的GRU-o结构。请参阅图5，图5为本发明实施例中门控循环单元的另一个结构示意图，在这个结构中，我们先将第一时刻(即第t时刻)的源端上下文向量ct从第二时刻(即第t-1时刻)的未来翻译向量中减去，其中，第二时刻的未来翻译向量即为第三翻译向量。得到需要的第一翻译向量，再传到GRU结构中，具体地，请参阅如下公式：
其中，表示将ct从中减去，Um和Wm表示表示函数相关的参数，这些参数和神经网络翻译系统的其他参数统一进行训练。
再次，本发明实施例中，可以采用GRU从第三翻译向量中减去源端上下文向量，以得到第一翻译向量，再将得到的第一翻译向量传递到GRU结构中。通过上述方式，可以在GRU中给出递减的信号，这样有利于学习规律。从而提升模型训练的准确度。
可选地，在上述图3对应的第一个或第二个实施例的基础上，本发明实施例提供的目标信息确定的方法第五个可选实施例中，采用预设神经网络模型对第三翻译向量和源端上下文向量进行处理，以得到第一翻译向量，可以包括：
采用GRU对第三翻译向量和源端上下文向量进行处理，以得到中间向量；
将中间向量与第三翻译向量进行插值合并，以得到第一翻译向量。
本实施例中，还可以在GRU内部执行“累减”的操作，请参阅图6，图6为本发明实施例中门控循环单元的另一个结构示意图，假设第一时刻为第t时刻，第二时刻为第t-1时刻，GRU的参数能自动学习到如下规律：
其中，表示GRU生成的更新状态候选，即中间向量，rt表示输出的权重向量，tanh()表示双曲正切函数，表示第t-1时刻的未来翻译向量，即第三翻译向量，ct表示第一时刻的源端上下文向量。
得到之后可以与第t-1时刻的第三翻译向量进行插值合并，得到最终的第一翻译向量
采用上述操作，可以在每个时刻都得到过去翻译向量和未来翻译向量，表示直到t时刻为止已经被翻译的源端内容，表示到t时刻为止未被翻译的源端内容。
再次，本发明实施例中，目标信息确定装置采用预设神经网络模型对第三翻译向量和源端上下文向量进行处理，以得到第一翻译向量的过程可以是，先采用GRU对第三翻译向量和源端上下文向量进行处理，以得到中间向量，再将中间向量与第三翻译向量进行插值合并，以得到第一翻译向量。通过上述方式，在GRU内部执行递减的操作有利于提升操作的准确度，并增加操作的效率。
可选地，在上述图3对应的实施例基础上，本发明实施例提供的目标信息确定的方法第六个可选实施例中，根据源端向量表示序列获取第一时刻对应的源端上下文向量，可以包括：
根据第二时刻的解码器状态、第二翻译向量、第三翻译向量以及源端向量表示序列中源端内容的向量，确定源端内容的对齐概率；
根据源端内容的对齐概率以及源端内容的语义向量，确定第一时刻对应的源端上下文向量。
本实施例中，将介绍目标信息确定装置如何根据源端向量表示序列获取第一时刻对应的源端上下文向量，为了便于理解，请参阅图7，图7为本发明实施例中增强注意力模块的一个实施例示意图，具体地，假设第一时刻为第t时刻，第二时刻为第t-1时刻，目标信息确定装置包含编码器和解码器，解码器第二时刻的解码器状态st-1、第二翻译向量第三翻译向量以及源端向量表示序列中源端内容的向量hi，确定源端内容的对齐概率αt,i。
即采用如下公式计算对齐概率αt,i：
其中，αt,i指由注意力机制输出的对每个源端内容的对齐概率分布，对齐概率分布的总和为1，hi是编码器对输入句子中第i个源端内容的向量表示，softmax()表示归一化操作，神经网络输入的值通常是一个可负可正的值，所以通常会先使用它的指数值转化成一个正数值，再把所有的指数值归一化，以得到概率分布。a()是注意力模块的操作。
在得到源端内容的对齐概率αt,i之后，与对应的源端内容的语义向量xi进行加权求和，以得到第一时刻对应的源端上下文向量。例如，第一时刻的αt,1为0.5，αt,2为0.3，αt,3为0.2，x1为2，x2为4，x3为6，于是第一时刻对应的源端上下文向量ct的计算方式为：
ct＝0.5×2+0.3×4+0.2×6＝3.4
可以理解的是，在实际应用中，对齐概率αt,i的计算方式还可以是
或者
其次，本发明实施例中，首先根据第二时刻的解码器状态、第二翻译向量、第三翻译向量以及源端向量表示序列中源端内容的向量，可以确定源端内容的对齐概率，然后根据源端内容的对齐概率以及源端内容的语义向量，确定第一时刻对应的源端上下文向量。通过上述方式，可以使得目标信息确定装置中的注意力模块知道哪些源端内容已经被翻译，而哪些源端内容还未被翻译，从而把注意力更多的放在未被翻译的内容，而减少对已经翻译内容的关注，以此达到缓解遗漏翻译和重复翻译的问题。
可选地，在上述图3对应的实施例的基础上，本发明实施例提供的目标信息确定的方法第七个可选实施例中，对第一翻译向量和/或第二翻译向量以及源端上下文向量进行解码处理，以得到第一时刻的目标信息之前，还可以包括：
根据第二时刻的解码器状态、第二时刻的目标信息、源端上下文向量、第一翻译向量以及第二翻译向量，确定第一时刻的解码器状态；
对第一翻译向量和/或第二翻译向量以及源端上下文向量进行解码处理，以得到第一时刻的目标信息，可以包括：
对第一时刻的解码器状态、源端上下文向量、第一翻译向量和/或第二翻译向量进行解码处理，以得到第一时刻的目标信息。
本实施例中，在目标信息确定装置得到第一时刻的目标信息之前，首先需要根据第二时刻的解码器状态、第二时刻的目标信息、源端上下文向量、第一翻译向量以及第二翻译向量，确定第一时刻的解码器状态，其中，第一时刻即为第t时刻，也作为当前时刻，而第二时刻即为第t-1时刻，也作为上一个时刻。
具体地，请参阅图8，图8为本发明实施例中增强解码器状态的一个实施例示意图，第二时刻的解码器状态即为st-1，第二时刻的目标信息即为yt-1，源端上下文向量即为ct，第一翻译向量即为第二翻译向量即为利用如下公式可以计算得到第一时刻的解码器状态st：
其中，f()表示更新解码器状态的激活函数(activation function)，也是神经网络翻译模型的标准配置，它的输入可以根据实际需求灵活变化。
其次，本发明实施例中，首先需要根据第二时刻的解码器状态、第二时刻的目标信息、源端上下文向量、第一翻译向量以及第二翻译向量，确定第一时刻的解码器状态，然后对第一时刻的解码器状态、源端上下文向量、第一翻译向量和/或第二翻译向量进行解码处理，以得到第一时刻的目标信息。通过上述方式，将第一翻译向量和/或第二翻译向量的建模从解码器状态中独立出来，可以和第一时刻的由注意力模块输出的源端上下文向量构成完整的源端语义向量表示，并且传给解码器，以生成更准确的目标信息。
可选地，在上述图3对应的第六个或第七个实施例的基础上，本发明实施例提供的目标信息确定的方法第八个可选实施例中，还可以包括：
根据第一翻译向量以及第三翻译向量，获取第一指标期望值，其中，第一指标期望值用于表示未来翻译向量变化与第一时刻的目标信息之间语义的一致性情况；
根据第二翻译向量以及第四翻译向量，获取第二指标期望值，其中，第二指标期望值用于表示过去翻译向量变化与第一时刻的目标信息之间语义的一致性情况；
根据第一指标期望值以及第二指标期望值确定训练目标，其中，训练目标用于构建预设神经网络模型。
本实施例中，还提供了一种增加训练目标的方法，通过增加训练目标可以更好地训练得到预设神经网络模型。为了便于介绍，下面将以训练未来翻译向量为例进行介绍，可以理解的是，训练过去翻译向量的方式类似，此处不做赘述。以未来翻译向量为例，需要尽可能达到即相邻时刻的两个翻译向量的信息差与该时刻被翻译的源端内容大致相同，以满足对未来翻译向量的建模。由于在翻译中源端内容和目标信息的语义内容大致相等，即ct≈E(yt)，所以我们定义了一个新的指标期望值，直接评估未来翻译向量变化和生成对应目标信息在语义层面上的一致性。
可以采用如下方式计算第一指标期望值：
其中，E(yt)表示目标信息，yt为目标信息的向量表示，是评判未来翻译向量的更新是否如我们预期(比如，更新量和被翻译的源端内容基本相等)的指标期望值。指标期望值越高，也就越符合我们的预期。是第一翻译向量与第三翻译向量之差的绝对值。
类似的，第二指标期望值也可以根据第二翻译向量以及第四翻译向量计算得到进而得到第二指标期望值
根据第一指标期望值以及第二指标期望值，可以采用如下方式计算训练目标：
其中，J(θ,γ)表示通过训练得到的参数，这是训练目标的通用表示。θ表示NMT系统的参数，γ表示新引入的过去未来模块的参数，表示得到最大分数的训练目标(即式中的likelihood,、future loss以及past loss)对应的参数。表示标准神经网络翻译模型的训练目标，即最大化每个目标信息的生成概率，或者可以表述为最大化目标词生成的似然(likelihood)分数。表示未来翻译向量的第一指标期望值，表示过去翻译向量的第二指标期望值。
再次，本发明实施例中，根据第一翻译向量以及第三翻译向量，获取第一指标期望值，并根据第二翻译向量以及第四翻译向量，获取第二指标期望值，然后根据第一指标期望值以及第二指标期望值确定训练目标，其中，训练目标用于构建预设神经网络模型。通过上述方式，可以增加训练目标，且这部分的训练目标能够较好的满足语义层面上的一致性，从而提升训练的准确度可可行性。
为便于理解，下面可以以一个具体应用场景对本发明中目标信息确定的过程进行详细描述，请参阅图9，图9为本发明应用场景中翻译源端向量表示序列中第一个源端内容的实施例示意图，具体为：
编码器读入输入句子“多个机场被迫关闭。<eos>”，<eos>表示句子终结符号，然后输出一个源端向量表示序列，其中，每个向量(即图9中的圆点直条)对应一个源端内容。根据此源端向量表示序列，解码器生成译文。
首先将对齐概率和语义向量加权，生成第1个时刻的源端上下文向量c1，对齐概率即为图9中的0.5、0.2、0.2、0.1、0.0以及0.0。接下来根据c1更新过去翻译向量和未来翻译向量，即采用如下公式：
其中，表示第1个时刻的未来翻译向量，表示初始时刻的未来翻译向量，表示第1个时刻的过去翻译向量，表示初始时刻的过去翻译向量。
解码器对c1、和初始时刻的解码器状态s0进行解码，可以更新第1个时刻的解码器状态s1，根据s0和c1，使用一个神经网络输出层，并和所有目标端词进行比较，选择相似度最高的一个词作为目标信息y1，该y1即为“多个”的译文“many”。
请参阅图10，图10为本发明应用场景中翻译源端向量表示序列中第二个源端内容的实施例示意图，如图所示，首先将对齐概率和语义向量加权，生成第2个时刻的源端上下文向量c2，对齐概率即为图10中的0.3、0.6、0.1、0.0、0.0以及0.0。接下来根据c2更新过去翻译向量和未来翻译向量，即采用如下公式：
其中，表示第2个时刻的未来翻译向量，表示第1个时刻的未来翻译向量，表示第2个时刻的过去翻译向量，表示第1个时刻的过去翻译向量。
解码器对c2、和第1个时刻的解码器状态s1进行解码，可以更新第2个时刻的解码器状态，根据s1、c2和前一个生成的目标信息y1，使用一个神经网络输出层，并和所有目标端词进行比较，选择相似度最高的一个词作为目标信息y2，该y2即为“机场”的译文“airports”。
以此类推，直到翻译完整个输入句子。
下面对本发明中的目标信息确定装置进行详细描述，请参阅图11，本发明实施例中的目标信息确定装置30包括：
编码模块301，用于对待处理文本信息进行编码处理，以得到源端向量表示序列；
第一获取模块302，用于根据所述编码模块301编码得到的所述源端向量表示序列获取第一时刻对应的源端上下文向量，其中，所述源端上下文向量用于表示待处理的源端内容；
第一确定模块303，用于根据所述编码模块301编码得到的所述源端向量表示序列以及所述第一获取模块302获取的所述源端上下文向量确定第一翻译向量和/或第二翻译向量，其中，所述第一翻译向量指示第一时刻内在所述源端向量表示序列中未被翻译的源端内容，第二翻译向量指示第二时刻内在所述源端向量表示序列中已经被翻译的源端内容，所述第二时刻为所述第一时刻之前相邻的一个时刻；
解码模块304，用于对所述第一确定模块303确定的所述第一翻译向量和/或所述第二翻译向量以及所述源端上下文向量进行解码处理，以得到第一时刻的目标信息。
本实施例中，编码模块301对待处理文本信息进行编码处理，以得到源端向量表示序列，第一获取模块302根据所述编码模块301编码得到的所述源端向量表示序列获取第一时刻对应的源端上下文向量，其中，所述源端上下文向量用于表示待处理的源端内容，第一确定模块303根据所述编码模块301编码得到的所述源端向量表示序列以及所述第一获取模块302获取的所述源端上下文向量确定第一翻译向量和/或第二翻译向量，其中，所述第一翻译向量指示第一时刻内在所述源端向量表示序列中未被翻译的源端内容，第二翻译向量指示第二时刻内在所述源端向量表示序列中已经被翻译的源端内容，所述第二时刻为所述第一时刻之前相邻的一个时刻，解码模块304对所述第一确定模块303确定的所述第一翻译向量和/或所述第二翻译向量以及所述源端上下文向量进行解码处理，以得到第一时刻的目标信息。
本发明实施例中，提供了一种目标信息确定装置，首先由目标信息确定装置对待处理文本信息进行编码处理，以得到源端向量表示序列，然后根据源端向量表示序列获取第一时刻对应的源端上下文向量，该源端上下文向量用于表示待处理的源端内容，根据源端向量表示序列以及源端上下文向量确定第一翻译向量和/或第二翻译向量，该第一翻译向量指示第一时刻内在源端向量表示序列中未被翻译的源端内容，第二翻译向量指示第二时刻内在源端向量表示序列中已经被翻译的源端内容，第二时刻为第一时刻之前相邻的一个时刻，最后目标信息确定装置对第一翻译向量和/或第二翻译向量以及源端上下文向量进行解码处理，以得到第一时刻的目标信息。通过上述方式，可以对源端向量表示序列中未被翻译的源端内容和/或已被翻译的源端内容进行建模处理，即把这部分内容从原来的语言模型中剥离出来进行训练，从而降低解码器的模型训练难度，提高翻译系统的翻译效果。
可选地，在上述图11所对应的实施例的基础上，请参阅图12，本发明实施例提供的目标信息确定装置30的另一实施例中，
所述第一确定模块303包括：
第一获取单元3031，用于根据所述源端向量表示序列获取所述第二时刻对应的第三翻译向量；
第一处理单元3032，用于采用预设神经网络模型对所述第一获取单元3031获取的所述第三翻译向量和所述源端上下文向量进行处理，以得到所述第一翻译向量。
其次，本发明实施例中，介绍了如何根据源端向量表示序列以及源端上下文向量确定第一翻译向量，即根据源端向量表示序列获取第二时刻对应的第三翻译向量，然后采用预设神经网络模型对第三翻译向量和源端上下文向量进行处理，以得到第一翻译向量。通过上述方式，利用预设神经网络模型输出第一翻译向量，可以提高未来翻译向量的准确度。
可选地，在上述图11所对应的实施例的基础上，请参阅图13，本发明实施例提供的目标信息确定装置30的另一实施例中，
所述第一确定模块303包括：
第二获取单元3033，用于根据所述源端向量表示序列获取所述第二时刻对应的第三翻译向量；
第二处理单元3034，用于采用预设神经网络模型对所述第二获取单元3033获取的所述第三翻译向量和所述源端上下文向量进行处理，以得到所述第一翻译向量；
第三获取单元3035，用于根据所述源端上下文向量在所述源端向量表示序列中出现的位置，获取所述第二翻译向量，其中，所述第二翻译向量用于更新所述第一时刻所对应的第四翻译向量，所述第四翻译向量为采用所述预设神经网络模型对所述第二翻译向量和所述源端上下文向量处理后得到的。
其次，本发明实施例中，介绍了如何根据源端向量表示序列以及源端上下文向量确定第一翻译向量和第二翻译向量，即根据源端向量表示序列获取第二时刻对应的第三翻译向量，然后采用预设神经网络模型对第三翻译向量和源端上下文向量进行处理，以得到第一翻译向量，还可以根据源端上下文向量在源端向量表示序列中出现的位置，获取第二翻译向量，其中，第二翻译向量用于更新第一时刻所对应的第四翻译向量，第四翻译向量为采用预设神经网络模型对第二翻译向量和源端上下文向量处理后得到的。通过上述方式，可以提高过去翻译向量和未来翻译向量的准确度。
可选地，在上述图11所对应的实施例的基础上，请参阅图14，本发明实施例提供的目标信息确定装置30的另一实施例中，
所述第一确定模块303包括：
第四获取单元3036，用于根据所述源端上下文向量在所述源端向量表示序列中出现的位置，获取所述第二翻译向量，其中，所述第二翻译向量用于生成所述第一时刻所对应的第四翻译向量，所述第四翻译向量为采用所述预设神经网络模型对所述第二翻译向量和所述源端上下文向量处理后得到的。
其次，本发明实施例中，介绍了如何根据源端向量表示序列以及源端上下文向量确定第二翻译向量，即根据源端上下文向量在源端向量表示序列中出现的位置，获取第二翻译向量，第二翻译向量用于生成第一时刻所对应的第四翻译向量，第四翻译向量为采用预设神经网络模型对第二翻译向量和源端上下文向量处理后得到的。通过上述方式，利用预设神经网络模型输出第二翻译向量，可以提高过去翻译向量的准确度。
可选地，在上述图12或图13所对应的实施例的基础上，请参阅图15，本发明实施例提供的目标信息确定装置30的另一实施例中，
所述第一处理单元3032包括：
相减子单元30321，用于采用门控循环单元GRU从所述第三翻译向量中减去所述源端上下文向量，以得到所述第一翻译向量。
再次，本发明实施例中，可以采用GRU从第三翻译向量中减去源端上下文向量，以得到第一翻译向量，再将得到的第一翻译向量传递到GRU结构中。通过上述方式，可以在GRU中给出递减的信号，这样有利于学习规律。从而提升模型训练的准确度。
可选地，在上述图12或图13所对应的实施例的基础上，请参阅图16，本发明实施例提供的目标信息确定装置30的另一实施例中，
所述第一处理单元3032包括：
处理子单元30322，用于采用GRU对所述第三翻译向量和所述源端上下文向量进行处理，以得到中间向量；
合并子单元30323，用于将所述处理子单元30322处理得到的所述中间向量与所述第三翻译向量进行插值合并，以得到所述第一翻译向量。
再次，本发明实施例中，目标信息确定装置采用预设神经网络模型对第三翻译向量和源端上下文向量进行处理，以得到第一翻译向量的过程可以是，先采用GRU对第三翻译向量和源端上下文向量进行处理，以得到中间向量，再将中间向量与第三翻译向量进行插值合并，以得到第一翻译向量。通过上述方式，在GRU内部执行递减的操作有利于提升操作的准确度，并增加操作的效率。
可选地，在上述图11所对应的实施例的基础上，请参阅图17，本发明实施例提供的目标信息确定装置30的另一实施例中，
所述第一获取模块302包括：
第一确定单元3021，用于根据所述第二时刻的解码器状态、所述第二翻译向量、第三翻译向量以及所述源端向量表示序列中源端内容的向量，确定源端内容的对齐概率；
第二确定单元3022，用于根据所述第一确定单元3021确定的所述源端内容的对齐概率以及所述源端内容的语义向量，确定所述第一时刻对应的所述源端上下文向量。
其次，本发明实施例中，首先根据第二时刻的解码器状态、第二翻译向量、第三翻译向量以及源端向量表示序列中源端内容的向量，可以确定源端内容的对齐概率，然后根据源端内容的对齐概率以及源端内容的语义向量，确定第一时刻对应的源端上下文向量。通过上述方式，可以使得目标信息确定装置中的注意力模块知道哪些源端内容已经被翻译，而哪些源端内容还未被翻译，从而把注意力更多的放在未被翻译的内容，而减少对已经翻译内容的关注，以此达到缓解遗漏翻译和重复翻译的问题。
可选地，在上述图11所对应的实施例的基础上，请参阅图18，本发明实施例提供的目标信息确定装置30的另一实施例中，所述目标信息确定装置30还可以包括：
第二确定模块305，用于所述解码模块304对所述第一翻译向量和/或所述第二翻译向量以及所述源端上下文向量进行解码处理，以得到第一时刻的目标信息之前，根据所述第二时刻的解码器状态、所述第二时刻的目标信息、所述源端上下文向量、所述第一翻译向量以及所述第二翻译向量，确定所述第一时刻的解码器状态；
所述解码模块304包括：
解码单元3041，用于对所述第一时刻的解码器状态、所述源端上下文向量、所述第一翻译向量和/或所述第二翻译向量进行解码处理，以得到所述第一时刻的目标信息。
其次，本发明实施例中，首先需要根据第二时刻的解码器状态、第二时刻的目标信息、源端上下文向量、第一翻译向量以及第二翻译向量，确定第一时刻的解码器状态，然后对第一时刻的解码器状态、源端上下文向量、第一翻译向量和/或第二翻译向量进行解码处理，以得到第一时刻的目标信息。通过上述方式，将第一翻译向量和/或第二翻译向量的建模从解码器状态中独立出来，可以和第一时刻的由注意力模块输出的源端上下文向量构成完整的源端语义向量表示，并且传给解码器，以生成更准确的目标信息。
可选地，在上述图17或图18所对应的实施例的基础上，请参阅图19，本发明实施例提供的目标信息确定装置30的另一实施例中，所述目标信息确定装置30还可以包括：
第二获取模块306，用于根据所述第一翻译向量以及所述第三翻译向量，获取第一指标期望值，其中，所述第一指标期望值用于表示未来翻译向量变化与所述第一时刻的目标信息之间语义的一致性情况；
第三获取模块307，用于根据所述第二翻译向量以及所述第四翻译向量，获取第二指标期望值，其中，所述第二指标期望值用于表示过去翻译向量变化与所述第一时刻的目标信息之间语义的一致性情况；
第二确定模块308，用于根据所述第二获取模块306获取的所述第一指标期望值以及所述第三获取模块307获取的所述第二指标期望值确定训练目标，其中，所述训练目标用于构建预设神经网络模型。
再次，本发明实施例中，根据第一翻译向量以及第三翻译向量，获取第一指标期望值，并根据第二翻译向量以及第四翻译向量，获取第二指标期望值，然后根据第一指标期望值以及第二指标期望值确定训练目标，其中，训练目标用于构建预设神经网络模型。通过上述方式，可以增加训练目标，且这部分的训练目标能够较好的满足语义层面上的一致性，从而提升训练的准确度可可行性。
图20是本发明实施例提供的一种目标信息确定装置结构示意图，该目标信息确定装置300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对目标信息确定装置中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在目标信息确定装置300上执行存储介质330中的一系列指令操作。
目标信息确定装置300还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由目标信息确定装置所执行的步骤可以基于该图20所示的目标信息确定装置结构。
CPU 322用于执行如下步骤：
对待处理文本信息进行编码处理，以得到源端向量表示序列；
根据所述源端向量表示序列获取第一时刻对应的源端上下文向量，其中，所述源端上下文向量用于表示待处理的源端内容；
根据所述源端向量表示序列以及所述源端上下文向量确定第一翻译向量和/或第二翻译向量，其中，所述第一翻译向量指示第一时刻内在所述源端向量表示序列中未被翻译的源端内容，第二翻译向量指示第二时刻内在所述源端向量表示序列中已经被翻译的源端内容，所述第二时刻为所述第一时刻之前相邻的一个时刻；
对所述第一翻译向量和/或所述第二翻译向量以及所述源端上下文向量进行解码处理，以得到第一时刻的目标信息。
可选地，CPU 322具体用于执行如下步骤：
根据所述源端向量表示序列获取所述第二时刻对应的第三翻译向量；
采用预设神经网络模型对所述第三翻译向量和所述源端上下文向量进行处理，以得到所述第一翻译向量。
可选地，CPU 322具体用于执行如下步骤：
根据所述源端向量表示序列获取所述第二时刻对应的第三翻译向量；
采用预设神经网络模型对所述第三翻译向量和所述源端上下文向量进行处理，以得到所述第一翻译向量；
根据所述源端上下文向量在所述源端向量表示序列中出现的位置，获取所述第二翻译向量，其中，所述第二翻译向量用于更新所述第一时刻所对应的第四翻译向量，所述第四翻译向量为采用所述预设神经网络模型对所述第二翻译向量和所述源端上下文向量处理后得到的。
可选地，CPU 322具体用于执行如下步骤：
根据所述源端上下文向量在所述源端向量表示序列中出现的位置，获取所述第二翻译向量，其中，所述第二翻译向量用于生成所述第一时刻所对应的第四翻译向量，所述第四翻译向量为采用所述预设神经网络模型对所述第二翻译向量和所述源端上下文向量处理后得到的。
可选地，CPU 322具体用于执行如下步骤：
采用门控循环单元GRU从所述第三翻译向量中减去所述源端上下文向量，以得到所述第一翻译向量。
可选地，CPU 322具体用于执行如下步骤：
采用GRU对所述第三翻译向量和所述源端上下文向量进行处理，以得到中间向量；
将所述中间向量与所述第三翻译向量进行插值合并，以得到所述第一翻译向量。
可选地，CPU 322具体用于执行如下步骤：
根据所述第二时刻的解码器状态、所述第二翻译向量、所述第三翻译向量以及所述源端向量表示序列中源端内容的向量，确定源端内容的对齐概率；
根据所述源端内容的对齐概率以及所述源端内容的语义向量，确定所述第一时刻对应的所述源端上下文向量。
可选地，CPU 322还用于执行如下步骤：
根据所述第二时刻的解码器状态、所述第二时刻的目标信息、所述源端上下文向量、所述第一翻译向量以及所述第二翻译向量，确定所述第一时刻的解码器状态。
CPU 322具体用于执行如下步骤：
对所述第一时刻的解码器状态、所述第一翻译向量、所述第二翻译向量以及所述源端上下文向量进行解码处理，以得到所述第一时刻的目标信息。
可选地，CPU 322还用于执行如下步骤：
根据所述第一翻译向量以及所述第三翻译向量，获取第一指标期望值，其中，所述第一指标期望值用于表示未来翻译向量变化与所述第一时刻的目标信息之间语义的一致性情况；
根据所述第二翻译向量以及所述第四翻译向量，获取第二指标期望值，其中，所述第二指标期望值用于表示过去翻译向量变化与所述第一时刻的目标信息之间语义的一致性情况；
根据所述第一指标期望值以及所述第二指标期望值确定训练目标，其中，所述训练目标用于构建预设神经网络模型。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (15)

1.一种翻译的方法，其特征在于，所述方法应用于神经网络机器翻译NMT系统，所述方法包括：
采用编码器对待处理文本信息进行编码处理，以得到源端向量表示序列，其中，所述待处理文本信息属于第一语言；
根据所述源端向量表示序列获取第一时刻对应的源端上下文向量，其中，所述源端上下文向量用于表示待处理的源端内容；
根据所述源端向量表示序列以及所述源端上下文向量确定第一翻译向量和/或第二翻译向量，其中，所述第一翻译向量指示第一时刻内在所述源端向量表示序列中未被翻译的源端内容，第二翻译向量指示第二时刻内在所述源端向量表示序列中已经被翻译的源端内容，所述第二时刻为所述第一时刻之前相邻的一个时刻；
采用解码器对所述第一翻译向量和/或所述第二翻译向量以及所述源端上下文向量进行解码处理，以得到第一时刻的目标信息，其中，所述目标信息属于第二语言。
2.根据权利要求1所述的方法，其特征在于，所述采用编码器对待处理文本信息进行编码处理，以得到源端向量表示序列，包括：
将所述待处理文本信息输入至所述编码器；
采用所述编码器对所述待处理文本信息进行编码处理；
根据编码处理的结果获取所述源端向量表示序列，其中，所述源端向量表示序列中各个源端向量属于所述第一语言。
3.根据权利要求1或2所述的方法，其特征在于，所述采用解码器对所述第一翻译向量和/或所述第二翻译向量以及所述源端上下文向量进行解码处理，以得到第一时刻的目标信息，包括：
将所述第一翻译向量和/或所述第二翻译向量以及所述源端上下文向量输入至所述解码器；
采用所述解码器对所述第一翻译向量和/或所述第二翻译向量以及所述源端上下文向量进行解码处理；
根据解码处理的结果获取所述待处理文本信息的翻译内容，其中，所述翻译内容为所述第一时刻的目标信息。
4.一种目标信息确定的方法，其特征在于，包括：
对待处理文本信息进行编码处理，以得到源端向量表示序列；
根据所述源端向量表示序列获取第一时刻对应的源端上下文向量，其中，所述源端上下文向量用于表示待处理的源端内容；
根据所述源端向量表示序列以及所述源端上下文向量确定第一翻译向量和/或第二翻译向量，其中，所述第一翻译向量指示第一时刻内在所述源端向量表示序列中未被翻译的源端内容，第二翻译向量指示第二时刻内在所述源端向量表示序列中已经被翻译的源端内容，所述第二时刻为所述第一时刻之前相邻的一个时刻；
对所述第一翻译向量和/或所述第二翻译向量以及所述源端上下文向量进行解码处理，以得到第一时刻的目标信息。
5.根据权利要求4所述的方法，其特征在于，所述根据所述源端向量表示序列以及所述源端上下文向量确定第一翻译向量，包括：
根据所述源端向量表示序列获取所述第二时刻对应的第三翻译向量；
采用预设神经网络模型对所述第三翻译向量和所述源端上下文向量进行处理，以得到所述第一翻译向量。
6.根据权利要求4所述的方法，其特征在于，所述根据所述源端向量表示序列以及所述源端上下文向量确定第一翻译向量和第二翻译向量，包括：
根据所述源端向量表示序列获取所述第二时刻对应的第三翻译向量；
采用预设神经网络模型对所述第三翻译向量和所述源端上下文向量进行处理，以得到所述第一翻译向量；
根据所述源端上下文向量在所述源端向量表示序列中出现的位置，获取所述第二翻译向量，其中，所述第二翻译向量用于更新所述第一时刻所对应的第四翻译向量，所述第四翻译向量为采用所述预设神经网络模型对所述第二翻译向量和所述源端上下文向量处理后得到的。
7.根据权利要求4所述的方法，其特征在于，所述根据所述源端向量表示序列以及所述源端上下文向量确定第二翻译向量，包括：
根据所述源端上下文向量在所述源端向量表示序列中出现的位置，获取所述第二翻译向量，其中，所述第二翻译向量用于生成所述第一时刻所对应的第四翻译向量，所述第四翻译向量为采用所述预设神经网络模型对所述第二翻译向量和所述源端上下文向量处理后得到的。
8.根据权利要求5或6所述的方法，其特征在于，所述采用预设神经网络模型对所述第三翻译向量和所述源端上下文向量进行处理，以得到所述第一翻译向量，包括：
采用门控循环单元GRU从所述第三翻译向量中减去所述源端上下文向量，以得到所述第一翻译向量。
9.根据权利要求5或6所述的方法，其特征在于，所述采用预设神经网络模型对所述第三翻译向量和所述源端上下文向量进行处理，以得到所述第一翻译向量，包括：
采用GRU对所述第三翻译向量和所述源端上下文向量进行处理，以得到中间向量；
将所述中间向量与所述第三翻译向量进行插值合并，以得到所述第一翻译向量。
10.根据权利要求4所述的方法，其特征在于，所述根据所述源端向量表示序列获取第一时刻对应的源端上下文向量，包括：
根据所述第二时刻的解码器状态、所述第二翻译向量、第三翻译向量以及所述源端向量表示序列中源端内容的向量，确定源端内容的对齐概率；
根据所述源端内容的对齐概率以及所述源端内容的语义向量，确定所述第一时刻对应的所述源端上下文向量。
11.根据权利要求4所述的方法，其特征在于，所述对所述第一翻译向量和/或所述第二翻译向量以及所述源端上下文向量进行解码处理，以得到第一时刻的目标信息之前，所述方法还包括：
根据所述第二时刻的解码器状态、所述第二时刻的目标信息、所述源端上下文向量、所述第一翻译向量以及所述第二翻译向量，确定所述第一时刻的解码器状态；
所述对所述第一翻译向量和/或所述第二翻译向量以及所述源端上下文向量进行解码处理，以得到第一时刻的目标信息，包括：
对所述第一时刻的解码器状态、所述源端上下文向量、所述第一翻译向量和/或所述第二翻译向量进行解码处理，以得到所述第一时刻的目标信息。
12.根据权利要求10或11所述的方法，其特征在于，所述方法还包括：
根据所述第一翻译向量以及所述第三翻译向量，获取第一指标期望值，其中，所述第一指标期望值用于表示未来翻译向量变化与所述第一时刻的目标信息之间语义的一致性情况；
根据所述第二翻译向量以及所述第四翻译向量，获取第二指标期望值，其中，所述第二指标期望值用于表示过去翻译向量变化与所述第一时刻的目标信息之间语义的一致性情况；
根据所述第一指标期望值以及所述第二指标期望值确定训练目标，其中，所述训练目标用于构建预设神经网络模型。
13.一种目标信息确定装置，其特征在于，包括：
编码模块，用于对待处理文本信息进行编码处理，以得到源端向量表示序列；
第一获取模块，用于根据所述编码模块编码得到的所述源端向量表示序列获取第一时刻对应的源端上下文向量，其中，所述源端上下文向量用于表示待处理的源端内容；
第一确定模块，用于根据所述编码模块编码得到的所述源端向量表示序列以及所述第一获取模块获取的所述源端上下文向量确定第一翻译向量和/或第二翻译向量，其中，所述第一翻译向量指示第一时刻内在所述源端向量表示序列中未被翻译的源端内容，第二翻译向量指示第二时刻内在所述源端向量表示序列中已经被翻译的源端内容，所述第二时刻为所述第一时刻之前相邻的一个时刻；
解码模块，用于对所述第一确定模块确定的所述第一翻译向量和/或所述第二翻译向量以及所述源端上下文向量进行解码处理，以得到第一时刻的目标信息。
14.一种目标信息确定装置，其特征在于，包括：存储器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，包括如下步骤：
对待处理文本信息进行编码处理，以得到源端向量表示序列；
根据所述源端向量表示序列获取第一时刻对应的源端上下文向量，其中，所述源端上下文向量用于表示待处理的源端内容；
根据所述源端向量表示序列以及所述源端上下文向量确定第一翻译向量和/或第二翻译向量，其中，所述第一翻译向量指示第一时刻内在所述源端向量表示序列中未被翻译的源端内容，第二翻译向量指示第二时刻内在所述源端向量表示序列中已经被翻译的源端内容，所述第二时刻为所述第一时刻之前相邻的一个时刻；
对所述第一翻译向量和/或所述第二翻译向量以及所述源端上下文向量进行解码处理，以得到第一时刻的目标信息；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
15.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求4-12所述的方法。
CN201710612833.7A 2017-07-25 2017-07-25 一种翻译的方法、目标信息确定的方法及相关装置 Active CN107368476B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201710612833.7A CN107368476B (zh) 2017-07-25 2017-07-25 一种翻译的方法、目标信息确定的方法及相关装置
JP2020503957A JP7025090B2 (ja) 2017-07-25 2018-07-11 翻訳方法、ターゲット情報決定方法および関連装置、ならびにコンピュータプログラム
PCT/CN2018/095231 WO2019019916A1 (zh) 2017-07-25 2018-07-11 翻译的方法、目标信息确定的方法及相关装置、存储介质
KR1020207002392A KR102382499B1 (ko) 2017-07-25 2018-07-11 번역 방법, 타깃 정보 결정 방법, 관련 장치 및 저장 매체
EP18837956.4A EP3660707A4 (en) 2017-07-25 2018-07-11 TRANSLATION PROCEDURES, TARGET INFORMATION DETERMINATION PROCESS AND ASSOCIATED DEVICE AND STORAGE MEDIUM
US16/749,243 US11928439B2 (en) 2017-07-25 2020-01-22 Translation method, target information determining method, related apparatus, and storage medium
US18/390,153 US20240169166A1 (en) 2017-07-25 2023-12-20 Translation method, target information determining method, related apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710612833.7A CN107368476B (zh) 2017-07-25 2017-07-25 一种翻译的方法、目标信息确定的方法及相关装置

Publications (2)

Publication Number Publication Date
CN107368476A true CN107368476A (zh) 2017-11-21
CN107368476B CN107368476B (zh) 2020-11-03

Family

ID=60306920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710612833.7A Active CN107368476B (zh) 2017-07-25 2017-07-25 一种翻译的方法、目标信息确定的方法及相关装置

Country Status (6)

Country Link
US (2) US11928439B2 (zh)
EP (1) EP3660707A4 (zh)
JP (1) JP7025090B2 (zh)
KR (1) KR102382499B1 (zh)
CN (1) CN107368476B (zh)
WO (1) WO2019019916A1 (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197123A (zh) * 2018-02-07 2018-06-22 云南衍那科技有限公司 一种基于智能手表的云翻译系统和方法
CN108363763A (zh) * 2018-02-05 2018-08-03 深圳市腾讯计算机系统有限公司 一种自动问答方法、装置和存储介质
CN108984539A (zh) * 2018-07-17 2018-12-11 苏州大学 基于模拟未来时刻的翻译信息的神经机器翻译方法
CN109062897A (zh) * 2018-07-26 2018-12-21 苏州大学 基于深度神经网络的句子对齐方法
CN109146064A (zh) * 2018-09-05 2019-01-04 腾讯科技（深圳）有限公司 神经网络训练方法、装置、计算机设备和存储介质
CN109274814A (zh) * 2018-08-20 2019-01-25 维沃移动通信有限公司 一种消息提示方法、装置及终端设备
CN109271646A (zh) * 2018-09-04 2019-01-25 腾讯科技（深圳）有限公司 文本翻译方法、装置、可读存储介质和计算机设备
WO2019019916A1 (zh) * 2017-07-25 2019-01-31 腾讯科技（深圳）有限公司 翻译的方法、目标信息确定的方法及相关装置、存储介质
CN109446534A (zh) * 2018-09-21 2019-03-08 清华大学 机器翻译方法及装置
CN109543199A (zh) * 2018-11-28 2019-03-29 腾讯科技（深圳）有限公司 一种文本翻译的方法以及相关装置
CN109543195A (zh) * 2018-11-19 2019-03-29 腾讯科技（深圳）有限公司 一种文本翻译的方法、信息处理的方法以及装置
CN109858045A (zh) * 2019-02-01 2019-06-07 北京字节跳动网络技术有限公司 机器翻译方法和装置
CN109933809A (zh) * 2019-03-15 2019-06-25 北京金山数字娱乐科技有限公司 一种翻译方法及装置、翻译模型的训练方法及装置
CN110110337A (zh) * 2019-05-08 2019-08-09 网易有道信息技术（北京）有限公司 翻译模型训练方法、介质、装置和计算设备
WO2019154210A1 (zh) * 2018-02-08 2019-08-15 腾讯科技（深圳）有限公司 机器翻译的方法、设备以及计算机可读存储介质
WO2019161753A1 (zh) * 2018-02-26 2019-08-29 腾讯科技（深圳）有限公司 信息转换方法、装置、存储介质和电子装置
CN110472255A (zh) * 2019-08-20 2019-11-19 腾讯科技（深圳）有限公司 神经网络机器翻译方法、模型、电子终端以及存储介质
WO2019218809A1 (zh) * 2018-05-15 2019-11-21 科大讯飞股份有限公司 一种篇章级文本翻译方法及装置
CN111597829A (zh) * 2020-05-19 2020-08-28 腾讯科技（深圳）有限公司 翻译方法和装置、存储介质和电子设备
CN111783435A (zh) * 2019-03-18 2020-10-16 株式会社理光 共享词汇的选择方法、装置及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101328745B1 (ko) * 2011-06-13 2013-11-20 (주)우남케미칼 예비발포입자 제조 시스템
CN111209395B (zh) * 2019-12-27 2022-11-11 铜陵中科汇联科技有限公司 一种短文本相似度计算系统及其训练方法
US11741317B2 (en) * 2020-05-25 2023-08-29 Rajiv Trehan Method and system for processing multilingual user inputs using single natural language processing model
CN114254660A (zh) * 2020-09-22 2022-03-29 北京三星通信技术研究有限公司 多模态翻译方法、装置、电子设备及计算机可读存储介质
KR20220056004A (ko) * 2020-10-27 2022-05-04 삼성전자주식회사 전자 장치 및 이의 제어 방법
JPWO2022102364A1 (zh) * 2020-11-13 2022-05-19
KR20230135990A (ko) * 2022-03-17 2023-09-26 주식회사 아론티어 트랜스포머와 원자 환경을 이용한 역합성 번역 방법 및 이를 수행하기 위한 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105068998A (zh) * 2015-07-29 2015-11-18 百度在线网络技术（北京）有限公司 基于神经网络模型的翻译方法及装置
US20160179790A1 (en) * 2013-06-03 2016-06-23 National Institute Of Information And Communications Technology Translation apparatus, learning apparatus, translation method, and storage medium
CN106126507A (zh) * 2016-06-22 2016-11-16 哈尔滨工业大学深圳研究生院 一种基于字符编码的深度神经翻译方法及系统
CN106372058A (zh) * 2016-08-29 2017-02-01 中译语通科技（北京）有限公司 一种基于深度学习的短文本情感要素抽取方法及装置
CN106663092A (zh) * 2014-10-24 2017-05-10 谷歌公司 具有罕见词处理的神经机器翻译系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2612404C (en) * 2005-06-17 2014-05-27 National Research Council Of Canada Means and method for adapted language translation
US9471565B2 (en) * 2011-07-29 2016-10-18 At&T Intellectual Property I, L.P. System and method for locating bilingual web sites
SG11201404225WA (en) * 2012-01-27 2014-08-28 Nec Corp Term translation acquisition method and term translation acquisition apparatus
JP6296592B2 (ja) * 2013-05-29 2018-03-20 国立研究開発法人情報通信研究機構 翻訳語順情報出力装置、機械翻訳装置、学習装置、翻訳語順情報出力方法、学習方法、およびプログラム
US9535960B2 (en) * 2014-04-14 2017-01-03 Microsoft Corporation Context-sensitive search using a deep learning model
US9846836B2 (en) * 2014-06-13 2017-12-19 Microsoft Technology Licensing, Llc Modeling interestingness with deep neural networks
US9778929B2 (en) * 2015-05-29 2017-10-03 Microsoft Technology Licensing, Llc Automated efficient translation context delivery
CN106484682B (zh) * 2015-08-25 2019-06-25 阿里巴巴集团控股有限公司 基于统计的机器翻译方法、装置及电子设备
CN106484681B (zh) * 2015-08-25 2019-07-09 阿里巴巴集团控股有限公司 一种生成候选译文的方法、装置及电子设备
CN106672058A (zh) * 2015-11-08 2017-05-17 匡桃红 婴儿车无晃动收合关节
US9792534B2 (en) * 2016-01-13 2017-10-17 Adobe Systems Incorporated Semantic natural language vector space
US11449744B2 (en) * 2016-06-23 2022-09-20 Microsoft Technology Licensing, Llc End-to-end memory networks for contextual language understanding
US10706351B2 (en) * 2016-08-30 2020-07-07 American Software Safety Reliability Company Recurrent encoder and decoder
US20180197080A1 (en) * 2017-01-11 2018-07-12 International Business Machines Corporation Learning apparatus and method for bidirectional learning of predictive model based on data sequence
KR102637338B1 (ko) * 2017-01-26 2024-02-16 삼성전자주식회사 번역 보정 방법 및 장치와 번역 시스템
US10839790B2 (en) * 2017-02-06 2020-11-17 Facebook, Inc. Sequence-to-sequence convolutional architecture
CN107092664B (zh) * 2017-03-30 2020-04-28 华为技术有限公司 一种内容解释方法及装置
KR102329127B1 (ko) * 2017-04-11 2021-11-22 삼성전자주식회사 방언을 표준어로 변환하는 방법 및 장치
US10733380B2 (en) * 2017-05-15 2020-08-04 Thomson Reuters Enterprise Center Gmbh Neural paraphrase generator
CN108959312B (zh) * 2017-05-23 2021-01-29 华为技术有限公司 一种多文档摘要生成的方法、装置和终端
CN107368476B (zh) * 2017-07-25 2020-11-03 深圳市腾讯计算机系统有限公司 一种翻译的方法、目标信息确定的方法及相关装置
CN110309839B (zh) * 2019-08-27 2019-12-03 北京金山数字娱乐科技有限公司 一种图像描述的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160179790A1 (en) * 2013-06-03 2016-06-23 National Institute Of Information And Communications Technology Translation apparatus, learning apparatus, translation method, and storage medium
CN106663092A (zh) * 2014-10-24 2017-05-10 谷歌公司 具有罕见词处理的神经机器翻译系统
CN105068998A (zh) * 2015-07-29 2015-11-18 百度在线网络技术（北京）有限公司 基于神经网络模型的翻译方法及装置
CN106126507A (zh) * 2016-06-22 2016-11-16 哈尔滨工业大学深圳研究生院 一种基于字符编码的深度神经翻译方法及系统
CN106372058A (zh) * 2016-08-29 2017-02-01 中译语通科技（北京）有限公司 一种基于深度学习的短文本情感要素抽取方法及装置

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019019916A1 (zh) * 2017-07-25 2019-01-31 腾讯科技（深圳）有限公司 翻译的方法、目标信息确定的方法及相关装置、存储介质
US11928439B2 (en) 2017-07-25 2024-03-12 Tencent Technology (Shenzhen) Company Limited Translation method, target information determining method, related apparatus, and storage medium
CN108363763A (zh) * 2018-02-05 2018-08-03 深圳市腾讯计算机系统有限公司 一种自动问答方法、装置和存储介质
CN108363763B (zh) * 2018-02-05 2020-12-01 深圳市腾讯计算机系统有限公司 一种自动问答方法、装置和存储介质
CN108197123A (zh) * 2018-02-07 2018-06-22 云南衍那科技有限公司 一种基于智能手表的云翻译系统和方法
CN110134971A (zh) * 2018-02-08 2019-08-16 腾讯科技（深圳）有限公司 一种机器翻译的方法、设备以及计算机可读存储介质
WO2019154210A1 (zh) * 2018-02-08 2019-08-15 腾讯科技（深圳）有限公司 机器翻译的方法、设备以及计算机可读存储介质
CN111401084A (zh) * 2018-02-08 2020-07-10 腾讯科技（深圳）有限公司 一种机器翻译的方法、设备以及计算机可读存储介质
CN110134971B (zh) * 2018-02-08 2022-12-16 腾讯科技（深圳）有限公司 一种机器翻译的方法、设备以及计算机可读存储介质
US11593571B2 (en) 2018-02-08 2023-02-28 Tencent Technology (Shenzhen) Company Limited Machine translation method, device, and computer-readable storage medium
CN111401084B (zh) * 2018-02-08 2022-12-23 腾讯科技（深圳）有限公司 一种机器翻译的方法、设备以及计算机可读存储介质
US11710003B2 (en) 2018-02-26 2023-07-25 Tencent Technology (Shenzhen) Company Limited Information conversion method and apparatus, storage medium, and electronic device
WO2019161753A1 (zh) * 2018-02-26 2019-08-29 腾讯科技（深圳）有限公司 信息转换方法、装置、存储介质和电子装置
US11694041B2 (en) 2018-05-15 2023-07-04 Iflytek Co., Ltd. Chapter-level text translation method and device
CN110489761B (zh) * 2018-05-15 2021-02-02 科大讯飞股份有限公司 一种篇章级文本翻译方法及装置
WO2019218809A1 (zh) * 2018-05-15 2019-11-21 科大讯飞股份有限公司 一种篇章级文本翻译方法及装置
CN110489761A (zh) * 2018-05-15 2019-11-22 科大讯飞股份有限公司 一种篇章级文本翻译方法及装置
CN108984539B (zh) * 2018-07-17 2022-05-17 苏州大学 基于模拟未来时刻的翻译信息的神经机器翻译方法
CN108984539A (zh) * 2018-07-17 2018-12-11 苏州大学 基于模拟未来时刻的翻译信息的神经机器翻译方法
CN109062897A (zh) * 2018-07-26 2018-12-21 苏州大学 基于深度神经网络的句子对齐方法
CN109274814A (zh) * 2018-08-20 2019-01-25 维沃移动通信有限公司 一种消息提示方法、装置及终端设备
CN109274814B (zh) * 2018-08-20 2020-10-23 维沃移动通信有限公司 一种消息提示方法、装置及终端设备
CN111382584B (zh) * 2018-09-04 2022-07-29 腾讯科技（深圳）有限公司 文本翻译方法、装置、可读存储介质和计算机设备
CN111382584A (zh) * 2018-09-04 2020-07-07 腾讯科技（深圳）有限公司 文本翻译方法、装置、可读存储介质和计算机设备
CN109271646A (zh) * 2018-09-04 2019-01-25 腾讯科技（深圳）有限公司 文本翻译方法、装置、可读存储介质和计算机设备
CN109271646B (zh) * 2018-09-04 2022-07-08 腾讯科技（深圳）有限公司 文本翻译方法、装置、可读存储介质和计算机设备
CN109146064B (zh) * 2018-09-05 2023-07-25 腾讯科技（深圳）有限公司 神经网络训练方法、装置、计算机设备和存储介质
CN109146064A (zh) * 2018-09-05 2019-01-04 腾讯科技（深圳）有限公司 神经网络训练方法、装置、计算机设备和存储介质
CN109446534A (zh) * 2018-09-21 2019-03-08 清华大学 机器翻译方法及装置
CN109446534B (zh) * 2018-09-21 2020-07-31 清华大学 机器翻译方法及装置
WO2020103721A1 (zh) * 2018-11-19 2020-05-28 腾讯科技（深圳）有限公司 信息处理的方法、装置及存储介质
CN111428516A (zh) * 2018-11-19 2020-07-17 腾讯科技（深圳）有限公司 一种信息处理的方法以及装置
CN109543195A (zh) * 2018-11-19 2019-03-29 腾讯科技（深圳）有限公司 一种文本翻译的方法、信息处理的方法以及装置
CN109543195B (zh) * 2018-11-19 2022-04-12 腾讯科技（深圳）有限公司 一种文本翻译的方法、信息处理的方法以及装置
CN111428516B (zh) * 2018-11-19 2022-08-19 腾讯科技（深圳）有限公司 一种信息处理的方法以及装置
US11977851B2 (en) 2018-11-19 2024-05-07 Tencent Technology (Shenzhen) Company Limited Information processing method and apparatus, and storage medium
CN109543199B (zh) * 2018-11-28 2022-06-10 腾讯科技（深圳）有限公司 一种文本翻译的方法以及相关装置
CN111178099A (zh) * 2018-11-28 2020-05-19 腾讯科技（深圳）有限公司 一种文本翻译的方法以及相关装置
WO2020108400A1 (zh) * 2018-11-28 2020-06-04 腾讯科技（深圳）有限公司 一种文本翻译的方法、装置及存储介质
CN109543199A (zh) * 2018-11-28 2019-03-29 腾讯科技（深圳）有限公司 一种文本翻译的方法以及相关装置
CN111178099B (zh) * 2018-11-28 2023-03-10 腾讯科技（深圳）有限公司 一种文本翻译的方法以及相关装置
CN109858045A (zh) * 2019-02-01 2019-06-07 北京字节跳动网络技术有限公司 机器翻译方法和装置
CN109933809B (zh) * 2019-03-15 2023-09-15 北京金山数字娱乐科技有限公司 一种翻译方法及装置、翻译模型的训练方法及装置
CN109933809A (zh) * 2019-03-15 2019-06-25 北京金山数字娱乐科技有限公司 一种翻译方法及装置、翻译模型的训练方法及装置
CN111783435A (zh) * 2019-03-18 2020-10-16 株式会社理光 共享词汇的选择方法、装置及存储介质
CN110110337B (zh) * 2019-05-08 2023-04-18 网易有道信息技术（北京）有限公司 翻译模型训练方法、介质、装置和计算设备
CN110110337A (zh) * 2019-05-08 2019-08-09 网易有道信息技术（北京）有限公司 翻译模型训练方法、介质、装置和计算设备
CN110472255A (zh) * 2019-08-20 2019-11-19 腾讯科技（深圳）有限公司 神经网络机器翻译方法、模型、电子终端以及存储介质
CN111597829B (zh) * 2020-05-19 2021-08-27 腾讯科技（深圳）有限公司 翻译方法和装置、存储介质和电子设备
CN111597829A (zh) * 2020-05-19 2020-08-28 腾讯科技（深圳）有限公司 翻译方法和装置、存储介质和电子设备

Also Published As

Publication number Publication date
US11928439B2 (en) 2024-03-12
JP2020528625A (ja) 2020-09-24
EP3660707A1 (en) 2020-06-03
CN107368476B (zh) 2020-11-03
KR20200019740A (ko) 2020-02-24
JP7025090B2 (ja) 2022-02-24
KR102382499B1 (ko) 2022-04-01
EP3660707A4 (en) 2020-08-05
US20200226328A1 (en) 2020-07-16
US20240169166A1 (en) 2024-05-23
WO2019019916A1 (zh) 2019-01-31

Similar Documents

Publication Publication Date Title
CN107368476A (zh) 一种翻译的方法、目标信息确定的方法及相关装置
CN111310438B (zh) 基于多粒度融合模型的中文句子语义智能匹配方法及装置
CN110263323A (zh) 基于栅栏式长短时记忆神经网络的关键词抽取方法及系统
CN106997375B (zh) 基于深度学习的客服回复推荐方法
CN109614471B (zh) 一种基于生成式对抗网络的开放式问题自动生成方法
US11663483B2 (en) Latent space and text-based generative adversarial networks (LATEXT-GANs) for text generation
CN109446534A (zh) 机器翻译方法及装置
CN107680580A (zh) 文本转换模型训练方法和装置、文本转换方法和装置
CN104598611B (zh) 对搜索条目进行排序的方法及系统
CN108829684A (zh) 一种基于迁移学习策略的蒙汉神经机器翻译方法
CN112000772B (zh) 面向智能问答基于语义特征立方体的句子对语义匹配方法
CN109977250B (zh) 融合语义信息和多级相似性的深度哈希图像检索方法
CN107145484A (zh) 一种基于隐多粒度局部特征的中文分词方法
CN111274375B (zh) 一种基于双向gru网络的多轮对话方法及系统
CN110222184A (zh) 一种文本的情感信息识别方法及相关装置
CN109710953A (zh) 一种翻译方法及装置、计算设备、存储介质和芯片
CN107679225A (zh) 一种基于关键词的回复生成方法
CN109598002A (zh) 基于双向循环神经网络的神经机器翻译方法和系统
CN112000770A (zh) 面向智能问答的基于语义特征图的句子对语义匹配方法
CN113239690A (zh) 基于Bert与全连接神经网络融合的中文文本意图识别方法
CN108509539A (zh) 信息处理方法电子设备
CN110175338A (zh) 一种数据处理方法及装置
CN110298046A (zh) 一种翻译模型训练方法、文本翻译方法及相关装置
CN113449529A (zh) 一种翻译模型的训练方法及装置、翻译方法及装置
CN113705197B (zh) 一种基于位置增强的细粒度情感分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant