CN110175336B - 翻译方法、装置和电子设备 - Google Patents

翻译方法、装置和电子设备 Download PDF

Info

Publication number
CN110175336B
CN110175336B CN201910429300.4A CN201910429300A CN110175336B CN 110175336 B CN110175336 B CN 110175336B CN 201910429300 A CN201910429300 A CN 201910429300A CN 110175336 B CN110175336 B CN 110175336B
Authority
CN
China
Prior art keywords
translation
original text
target
parameter
coding information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910429300.4A
Other languages
English (en)
Other versions
CN110175336A (zh
Inventor
徐梓翔
毕天驰
张传强
熊皓
何中军
李芝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910429300.4A priority Critical patent/CN110175336B/zh
Publication of CN110175336A publication Critical patent/CN110175336A/zh
Application granted granted Critical
Publication of CN110175336B publication Critical patent/CN110175336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

本申请提出一种翻译方法、装置和电子设备，其中，方法包括：获取待翻译的目标原文；在已翻译的原文中，查询与目标原文相似的参考原文；根据参考原文对应的参考译文，对目标原文翻译，得到目标译文。该方法能够实现根据新增的参考译文，对目标原文进行翻译，可以提升翻译结果的准确性。

Description

翻译方法、装置和电子设备
技术领域
本申请涉及机器学习技术领域，尤其涉及一种翻译方法、装置和电子设备。
背景技术
基于深度学习的机器翻译方法在近年来取得了显著的进步，在各项评测中显著超越了传统基于统计的翻译方法。目前，当用户输入翻译请求时，神经机器翻译(NeuralMachine Translation，NMT)模型只能基于之前的训练数据进行翻译，翻译结果的准确性无法得到保证。
发明内容
本申请提出一种翻译方法、装置和电子设备，以实现根据新增的参考译文，对目标原文进行翻译，可以提升翻译结果的准确性，用于解决现有技术中NMT模型输出的翻译结果的准确性无法得到保证的技术问题。
本申请第一方面实施例提出了一种翻译方法，包括：
获取待翻译的目标原文；
在已翻译的原文中，查询与所述目标原文相似的参考原文；
根据所述参考原文对应的参考译文，对所述目标原文翻译，得到目标译文。
本申请实施例的翻译方法，通过获取待翻译的目标原文，之后，在已翻译的原文中，查询与目标原文相似的参考原文，最后，根据参考原文对应的参考译文，对目标原文翻译，得到目标译文。本申请中，参考译文可以为原有的训练数据和新增的训练数据，根据新增的参考译文，对目标原文进行翻译，可以提升翻译结果的准确性。
本申请第二方面实施例提出了一种翻译装置，包括：
获取模块，用于获取待翻译的目标原文；
查询模块，用于在已翻译的原文中，查询与所述目标原文相似的参考原文；
翻译模块，用于根据所述参考原文对应的参考译文，对所述目标原文翻译，得到目标译文。
本申请实施例的翻译装置，通过获取待翻译的目标原文，之后，在已翻译的原文中，查询与目标原文相似的参考原文，最后，根据参考原文对应的参考译文，对目标原文翻译，得到目标译文。本申请中，参考译文可以为原有的训练数据和新增的训练数据，根据新增的参考译文，对目标原文进行翻译，可以提升翻译结果的准确性。
本申请第三方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本申请第一方面实施例提出的翻译方法。
本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请第一方面实施例提出的翻译方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例一所提供的翻译方法的流程示意图；
图2为本申请实施例的翻译流程示意图；
图3为本申请实施例二所提供的翻译方法的流程示意图；
图4为本申请实施例中的翻译流程示意图一；
图5为本申请实施例中的无向图示意图；
图6为本申请实施例中的翻译流程示意图二；
图7为本申请实施例三所提供的翻译装置的结构示意图；
图8为本申请实施例四所提供的翻译装置的结构示意图；
图9示出了适于用来实现本申请实施方式的示例性电子设备的框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
本申请主要针对现有技术中NMT模型只能基于之前的训练数据进行翻译，翻译结果的准确性无法得到保证的技术问题，提出一种翻译方法。
本申请实施例的翻译方法，通过获取待翻译的目标原文，之后，在已翻译的原文中，查询与目标原文相似的参考原文，最后，根据参考原文对应的参考译文，对目标原文翻译，得到目标译文。本申请中，参考译文可以为原有的训练数据和新增的训练数据，根据新增的参考译文，对目标原文进行翻译，可以提升翻译结果的准确性。
下面参考附图描述本申请实施例的翻译方法、装置和电子设备。
图1为本申请实施例一所提供的翻译方法的流程示意图。
本申请实施例以翻译方法被配置于翻译装置中来举例说明，该翻译装置可以应用于任一电子设备中，以使该电子设备可以执行翻译功能。
其中，电子设备可以为个人电脑(Personal Computer，简称PC)、云端设备、移动设备、服务器等，移动设备例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
如图1所示，该翻译方法可以包括以下步骤：
步骤101，获取待翻译的目标原文。
本申请实施例中，待翻译的目标原文可以为需要进行翻译的文本信息，该目标原文可以为用户下载的文本信息、复制的文本信息、选择的文本信息、输入的文本信息等等，对此不作限制。其中，文本信息的输入方式可包括但不限于触摸输入(如滑动、点击等)、键盘输入、语音输入等。
本申请实施例中，在确定待翻译的目标原文时，翻译装置可以获取该目标原文。举例而言，目标原文可以为“我想吃苹果”。
作为一种应用场景，当该翻译装置应用于翻译类应用程序(Application，简称APP)时，用户可以触摸输入、语音输入、键盘输入待翻译的目标原文，相应的，翻译类APP可以获取用户输入的目标原文。
步骤102，在已翻译的原文中，查询与目标原文相似的参考原文。
本申请实施例中，已翻译的原文可以为翻译装置翻译过的原文，和/或，已翻译的原文可以为翻译装置获取的已翻译的原文，比如为翻译装置获取到的新增的训练数据(包括原文和译文)，或者为翻译装置获取到的原有的训练数据(包括原文和译文)，对此并不做限制。具体地，当翻译装置每对一个原文进行翻译，得到译文之后，可以将原文与对应的译文进行对应存储，和/或，在翻译装置获取到新增的训练数据，本申请中记为增量数据<原文，译文>时，也可以将原文与对应的译文进行对应存储，和/或，翻译装置还可以对原有的训练数据中的原文与译文进行对应存储。从而，本申请中，在对目标译文进行翻译时，可以从存储装置中，查询与目标原文相似的参考原文。
可选地，可以基于词频—逆文档频率(Term Frequency-Inverse DocumentFrequency，简称TF-IDF)、文本编辑距离等方式，在已翻译的原文中，查询与目标原文相似的参考原文，对此并不做限制。
仍以上述例子示例，当目标原文为“我想吃苹果”时，参考原文可以为“我喜欢吃苹果”以及“我想吃梨”。
作为一种示例，参见图2，图2为本申请实施例的翻译流程示意图。当该翻译装置应用于翻译模型-基于翻译记忆库的模型(Translation Memory Based Model)时，当获取到增量数据<原文，译文>时，可以将增量数据实时更新至数据库中，其中，上述数据库可以为Lucene等检索数据库。当用户输入目标原文，例如为“我想吃苹果”时，首先，可以从上述数据库中查找与目标原文相似的平行句对<参考原文，参考译文>，比如检索到“我喜欢吃苹果”和“我想吃梨”这两个参考原文，对应的参考译文为“I prefer to eat apples.”和“Iwant to eat pear.”，其中，相似的平行句对包含增量数据<我喜欢吃苹果，I prefer toeat apples.>。
步骤103，根据参考原文对应的参考译文，对目标原文翻译，得到目标译文。
本申请实施例中，在得到参考原文后，可以根据参考原文查询上述存储装置，获取与参考原文对应的参考译文，根据参考译文对目标原文进行翻译，得到目标译文。本申请中，参考译文可以为原有的训练数据和新增的训练数据，根据新增的参考译文，对目标原文进行翻译，可以提升翻译结果的准确性。并且，无需重新训练翻译模型，便可利用新增的训练数据改善翻译结果，推升增量数据的利用率。
例如，参见图2，基于翻译记忆库的模型，根据参考译文对目标原文进行翻译，得到的目标译文为“I want to eat apple.”。
需要说明的是，本申请仅以中译英进行示例，实际应用时，目标原文和目标译文的语种可以根据实际翻译需求进行设置。举例而言，当该翻译装置应用于图2所示的翻译模型时，例如，如当翻译模型应用于中译英的应用场景时，目标原文的语种可以为中文，目标译文的语种可以为英文，再例如，当翻译模型应用于英译法的应用场景时，目标原文的语种可以为英文，目标译文的语种可以为法文，又例如，当翻译模型应用于中法互译的应用场景时，目标原文的语种可以为中文，目标译文的语种可以为法文，或目标原文的语种可以为法文，目标译文的语种可以为中文。
本申请实施例的翻译方法，通过获取待翻译的目标原文，之后，在已翻译的原文中，查询与目标原文相似的参考原文，最后，根据参考原文对应的参考译文，对目标原文翻译，得到目标译文。本申请中，参考译文可以为原有的训练数据和新增的训练数据，根据新增的参考译文，对目标原文进行翻译，可以提升翻译结果的准确性。
参见图2，在数据库中的增量数据达到一定量级后，可以采用全量方法或者finetune方法，对基于翻译记忆库的模型进行日/周级的训练更新，提升模型性能。
其中，采用全量方法对模型进行训练的步骤包括：首先，定义基础训练数据集为TrainDataB，新增的训练数据集为TrainDataI。针对基础数据TrainDataB，训练出基础NMT模型ModelB。当获取到增量数据后，将全量数据TrainDataB∪TrainDataI作为新的训练数据，随机初始化模型参数，重新训练NMT模型，得到最终的NMT模型Model*。
采用finetune方法对模型进行训练的步骤包括：当获取到新增的训练数据集时，将ModelB的参数作为新模型的初始化参数，仅使用TrainDataI数据对模型进行训练，得到新的NMT模型Model*。由此，只需要对增量数据TrainDataI进行训练，能够减少一部分训练时间，提升模型的训练效率。并且，只有当TrainDataI达到一定量级后，才对模型进行训练，可以避免过拟合的情况。
由图2可知，即使存在极少量的增量数据，也可以对模型产生指导作用，相较于fintune方法，可以无需受限于增量数据的数据量级，提高增量数据的利用率。
作为一种可能的实现方式，在确定参考译文后，翻译装置是将目标原文和参考译文分别进行编码，将编码结果输入至解码器进行解码得到目标译文的。下面结合实施例二，对上述过程进行详细说明。
图3为本申请实施例二所提供的翻译方法的流程示意图。
如图3所示，该翻译方法可以包括以下步骤：
步骤201，获取待翻译的目标原文。
步骤202，在已翻译的原文中，查询与目标原文相似的参考原文。
步骤201至202的执行过程可以参见上述实施例中步骤101至102的执行过程，在此不做赘述。
步骤203，对目标原文进行编码，得到第一编码信息。
本申请实施例中，可以基于相关技术中的编码算法，对目标原文进行编码，得到第一编码信息，对此不作限制。
作为一种示例，参见图4，图4为本申请实施例中的解码流程示意图一。其中，可以采用信源编码(source encoding)，对目标原文进行编码，得到第一编码信息。
步骤204，对参考译文进行编码，得到第二编码信息。
作为一种示例，参见图4，可以在基于Transformer模型的NMT框架中，加入TM(Translation Memory)encoding网络层，将参考译文输入至TM encoding层，输出得到第二编码信息，即由TM encoding层，对参考译文进行编码，得到第二编码信息。
作为一种可能的实现方式，可以对每一个参考译文采用自注意力机制(self-attention)进行编码，得到编码hTM，之后，拼接各参考译文对应的编码hTM，得到第二编码信息。
举例而言，以图4示例，以中译英示例，假设参考译文分别为“I prefer to eatapples.”和“I want to eat pear.”，“I prefer to eat apples.”对应的编码为hTM,1，“Iwant to eat pear.”对应的编码为hTM,2，将hTM,1和hTM,2进行拼接处理，得到TM encoding的输出为：||hTM,i，其中，i＝1,2。
作为另一种可能的实现方式，还可以对每一句参考译文构建偏序排列(partialorder alignment)，得到无向图，对该无向图采用图注意力机制(Graph Attention)编码，得到第二编码信息。
具体地，可以对每一句参考译文进行分词处理，得到作为无向图中节点的各词条，根据各词条在参考译文中的词性，对齐各词条，并将对其的词条进行合并，之后，根据各词条在参考译文中的语序，在无向图中连接各词条，最后对无向图采用图注意力机制编码，得到第二编码信息。
举例而言，以中译英示例，假设目标原文为“我想吃苹果”，参考原文为“我想吃梨”和“我喜欢吃苹果”，参考译文分别为“I want to eat pear.”和“I prefer to eatapples.”，根据上述步骤对参考译文进行处理，得到的无向图可以如图5所示，对图5进行Graph Attention编码，可以得到第二编码信息。
步骤205，将第一编码信息和第二编码信息输入解码器进行解码，得到目标译文。
本申请实施例中，在得到第一编码信息和第二编码信息后，可以将第一编码信息和第二编码信息输入至解码器进行解码，得到目标译文。
作为一种可能的实现方式，解码器可以包括第一注意力层，通过第一注意力层对第一编码信息和第二编码信息进行解码，得到目标译文。
需要说明的是，注意力(attention)层的输出为：
Figure BDA0002068462810000061
其中，softmax表示激活函数，注意力层的三个输入分别为：
Figure BDA0002068462810000062
Figure BDA0002068462810000063
如果忽略激活函数softmax的话，公式1即为三个n×dk，dk×m，m×dv的矩阵相乘，得到一个n×dv的矩阵，即注意力层用于将n×dk的序列Q编码成为一个新的n×dv的序列。
将公式(1)中Q的逐个向量分开，则可以将公式(1)转化为下述公式：
Figure BDA0002068462810000064
其中，Z表示归一化因子，q，k，v分别是query，key，value的简写，K，V是一一对应的，例如为key-value的关系。则公式(2)表示将qt这个query，通过与各个ks内积，并softmax方式，来得到qt与各个vs的相似度，然后加权求和，得到一个dv维的向量。其中，
Figure BDA0002068462810000071
起到调节作用，使得qt与vs之间的内积不至于太大，原因为，如果内积太大的话，softmax后就非0即1了。
因此，本申请中，编码器的第一注意力层共有三个输入，分别为q，k，v，其中，第一注意力层可以将第二编码信息作为参数k和参数v取值，将第一编码信息作为参数q取值，并将参数q与参数k内积后进行归一化，得到注意力权值，最后，根据注意力权值对参数v进行加权，得到目标译文的词向量。
作为一种示例，参见图6，基于Transformer模型的编码器包括第一注意力层，例如为encoder-decoder-TM attention层，通过encoder-decoder-TM attention层，对q、k、v进行解码，得到目标译文。
本申请实施例中，根据极少量的增量数据，也可以对Transformer模型产生指导作用，输出高质量的翻译结果，可以提升增量数据的利用率。
需要说明的是，对于编码器-解码器(encoder-decoder)模型而言，解码器的输入包括编码器的输出。但是，根据常识来讲，解码器的某一个输出并不需要用到编码器输出的所有编码信息，而是只需要部分信息。举例而言，将“我是一个学生”翻译为英文“I am astudent”，在输出“student”时，用到了“I”“am”“a”以及编码器的输出。但事实上，或许并不需要“我是一个”这些无关紧要的信息，而仅仅只需要“学生”这个词的信息，就可以输出“student”(或者说“我是一个”这些信息没有“学生”重要)。此时，需要用到注意力机制来分别为“我”、“是”、“一个”、“学生”赋一个权值了。例如分别给“我”、“是”、“一个”赋值为0.1，给“学生”赋值为0.7，显然，这时“学生”的重要性就体现出来了。
因此，作为本申请实施例的一种可能的实现方式，考虑到目标原文中各文本位置对于目标译文的语义重要程度不同，为了提升翻译结果的准确性，在利用第一注意力层对第一编码信息和第二编码信息进行解码，得到目标译文之前，还可以根据目标原文中各文本位置对于目标译文的语义重要程度，对目标原文中各文本位置对应的第一编码信息进行权重调整。
具体地，解码器还包括第二注意力层，其中，第二注意力层，用于在第一注意力层将第一编码信息作为参数q取值之前，根据目标原文中各文本位置对于目标译文的语义重要程度，对目标原文中各文本位置对应的第一编码信息进行权重调整。
作为一种示例，参见图6，第二注意力层可以为encoder-decoder attention层，通过encoder-decoder attention层，根据目标原文中各文本位置对于目标译文的语义重要程度，对目标原文中各文本位置对应的第一编码信息进行权重调整。
可以理解的是，目标原文中不同词语之间的语义以及语法联系，极大地影响翻译结果的准确性，因此，本申请中，考虑到目标原文中各文本位置的语义关系以及语法联系，可以对目标原文中各文本位置对应的第一编码信息进行权重调整。
具体地，编码器还可以包括第三注意力层，其中，第三注意力层，用于在第一注意力层将第一编码信息作为参数q取值之前，根据目标原文中各文本位置的语义关系，对目标原文中各文本位置对应的第一编码信息进行权重调整。
作为一种示例，参见图6，第三注意力层可以为self attention层，通过selfattention层，根据目标原文中各文本位置的语义关系，对目标原文中各文本位置对应的第一编码信息进行权重调整。
具体地，参见图6，在翻译时，首先通过source encoding层对目标原文进行编码，得到第一编码信息，将第一编码信息作为self attention层的三个输入：参数q、参数k和参数v的取值，将参数q与参数k内积后进行归一化，得到注意力权值，根据所述注意力权值对参数v进行加权，得到权重调整后的第一编码信息，即self attention层的输出。
之后，将self attention的输出作为encoder-decoder attention层的输入参数q的取值，将第一编码信息作为encoder-decoder attention层的输入参数k和参数v的取值，将参数q与参数k内积后进行归一化，得到注意力权值，根据所述注意力权值对参数v进行加权，得到权重调整后的第一编码信息，即encoder-decoder attention层的输出。
最后，将encoder-decoder attention层的输出作为encoder-decoder-TMattention层的输入参数q的取值，将第二编码信息作为encoder-decoder-TM attention层的输入参数k和参数v的取值，将参数q与参数k内积后进行归一化，得到注意力权值，根据所述注意力权值对参数v进行加权，得到目标译文的词向量。
为了实现上述实施例，本申请还提出一种翻译装置。
图7为本申请实施例三所提供的翻译装置的结构示意图。
如图7所示，该翻译装置包括：获取模块110、查询模块120以及翻译模块130。
其中，获取模块110，用于获取待翻译的目标原文。
查询模块120，用于在已翻译的原文中，查询与目标原文相似的参考原文。
翻译模块130，用于根据参考原文对应的参考译文，对目标原文翻译，得到目标译文。
进一步地，在本申请实施例的一种可能的实现方式中，参见图8，在图7所示实施例的基础上，该翻译模块130包括：
第一编码单元131，用于对目标原文进行编码，得到第一编码信息。
第二编码单元132，用于对参考译文进行编码，得到第二编码信息。
解码单元133，用于将第一编码信息和第二编码信息输入解码器进行解码，得到目标译文。
作为一种可能的实现方式，解码器包括第一注意力层；第一注意力层，用于：将第二编码信息作为参数k和参数v取值，将第一编码信息作为参数q取值；将参数q与参数k内积后进行归一化，得到注意力权值；根据注意力权值对参数v进行加权，得到目标译文的词向量。
作为另一种可能的实现方式，解码器还包括第二注意力层；第二注意力层，用于在第一注意力层将第一编码信息作为参数q取值之前，根据目标原文中各文本位置对于目标译文的语义重要程度，对目标原文中各文本位置对应的第一编码信息进行权重调整。
作为又一种可能的实现方式，解码器还包括第三注意力层；第三注意力层，用于在第一注意力层将第一编码信息作为参数q取值之前，根据目标原文中各文本位置的语义关系，对目标原文中各文本位置对应的第一编码信息进行权重调整。
作为一种可能的实现方式，第二编码单元132，具体用于：对每一句参考译文采用自注意力机制进行编码，得到编码hTM；拼接各参考译文的编码hTM，得到第二编码信息。
作为另一种可能的实现方式，第二编码单元132，具体用于：对每一句参考译文分词，得到作为无向图中节点的各词条；根据各词条在参考译文中的词性，对齐各词条，并将对齐的词条进行合并；根据各词条在参考译文中的语序，在无向图中连接各词条；对无向图采用图注意力机制编码得到第二编码信息。
需要说明的是，前述对翻译方法实施例的解释说明也适用于该实施例的翻译装置，此处不再赘述。
本申请实施例的翻译装置，通过获取待翻译的目标原文，之后，在已翻译的原文中，查询与目标原文相似的参考原文，最后，根据参考原文对应的参考译文，对目标原文翻译，得到目标译文。本申请中，参考译文可以为原有的训练数据和新增的训练数据，根据新增的参考译文，对目标原文进行翻译，可以提升翻译结果的准确性。
为了实现上述实施例，本申请还提出一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如本申请前述实施例提出的翻译方法。
为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请前述实施例提出的翻译方法。
图9示出了适于用来实现本申请实施方式的示例性电子设备的框图。图9显示的电子设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种翻译方法，其特征在于，所述方法包括以下步骤：
获取待翻译的目标原文；
在已翻译的原文中，查询与所述目标原文相似的参考原文；
根据所述参考原文对应的参考译文，对所述目标原文翻译，得到目标译文，其中，所述参考译文包括原有的训练数据和新增的训练数据；
根据所述参考原文对应的参考译文，对所述目标原文翻译，得到目标译文，包括：
对所述目标原文进行编码，得到第一编码信息；
对所述参考译文进行编码，得到第二编码信息；
将所述第一编码信息和所述第二编码信息输入解码器进行解码，得到所述目标译文；
其中，所述解码器包括第一注意力层，所述第一注意力层包括参数k、参数v和参数q三个输入；所述第一注意力层，用于：将所述第二编码信息作为参数k和参数v取值，将所述第一编码信息作为参数q取值；将参数q与参数k内积后进行归一化，得到注意力权值；根据所述注意力权值对参数v进行加权，得到所述目标译文的词向量。
2.根据权利要求1所述的翻译方法，其特征在于，所述解码器还包括第二注意力层；所述第二注意力层，用于在所述第一注意力层将所述第一编码信息作为参数q取值之前，根据所述目标原文中各文本位置对于所述目标译文的语义重要程度，对所述目标原文中各文本位置对应的第一编码信息进行权重调整。
3.根据权利要求1所述的翻译方法，其特征在于，所述解码器还包括第三注意力层；所述第三注意力层，用于在所述第一注意力层将所述第一编码信息作为参数q取值之前，根据所述目标原文中各文本位置的语义关系，对所述目标原文中各文本位置对应的第一编码信息进行权重调整。
4.根据权利要求1所述的翻译方法，其特征在于，所述对所述参考译文进行编码，得到第二编码信息，包括：
对每一句参考译文采用自注意力机制进行编码，得到编码hTM；
拼接各参考译文的编码hTM，得到所述第二编码信息。
5.根据权利要求1所述的翻译方法，其特征在于，所述对所述参考译文进行编码，得到第二编码信息，包括：
对每一句参考译文分词，得到作为无向图中节点的各词条；
根据各词条在参考译文中的词性，对齐各词条，并将对齐的词条进行合并；
根据各词条在参考译文中的语序，在所述无向图中连接各词条；
对所述无向图采用图注意力机制编码得到所述第二编码信息。
6.一种翻译装置，其特征在于，所述装置包括：
获取模块，用于获取待翻译的目标原文；
查询模块，用于在已翻译的原文中，查询与所述目标原文相似的参考原文；
翻译模块，用于根据所述参考原文对应的参考译文，对所述目标原文翻译，得到目标译文，其中，所述参考译文包括原有的训练数据和新增的训练数据；
所述翻译模块，包括：
第一编码单元，用于对所述目标原文进行编码，得到第一编码信息；
第二编码单元，用于对所述参考译文进行编码，得到第二编码信息；
解码单元，用于将所述第一编码信息和所述第二编码信息输入解码器进行解码，得到所述目标译文；
其中，所述解码器包括第一注意力层，所述第一注意力层包括参数k、参数v和参数q三个输入；所述第一注意力层，用于：将所述第二编码信息作为参数k和参数v取值，将所述第一编码信息作为参数q取值；将参数q与参数k内积后进行归一化，得到注意力权值；根据所述注意力权值对参数v进行加权，得到所述目标译文的词向量。
7.根据权利要求6所述的翻译装置，其特征在于，所述解码器还包括第二注意力层；所述第二注意力层，用于在所述第一注意力层将所述第一编码信息作为参数q取值之前，根据所述目标原文中各文本位置对于所述目标译文的语义重要程度，对所述目标原文中各文本位置对应的第一编码信息进行权重调整。
8.根据权利要求6所述的翻译装置，其特征在于，所述解码器还包括第三注意力层；所述第三注意力层，用于在所述第一注意力层将所述第一编码信息作为参数q取值之前，根据所述目标原文中各文本位置的语义关系，对所述目标原文中各文本位置对应的第一编码信息进行权重调整。
9.根据权利要求6所述的翻译装置，其特征在于，所述第二编码单元，具体用于：
对每一句参考译文采用自注意力机制进行编码，得到编码hTM；
拼接各参考译文的编码hTM，得到所述第二编码信息。
10.根据权利要求6所述的翻译装置，其特征在于，所述第二编码单元，具体用于：
对每一句参考译文分词，得到作为无向图中节点的各词条；
根据各词条在参考译文中的词性，对齐各词条，并将对齐的词条进行合并；
根据各词条在参考译文中的语序，在所述无向图中连接各词条；
对所述无向图采用图注意力机制编码得到所述第二编码信息。
11.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-5中任一所述的翻译方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的翻译方法。
CN201910429300.4A 2019-05-22 2019-05-22 翻译方法、装置和电子设备 Active CN110175336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910429300.4A CN110175336B (zh) 2019-05-22 2019-05-22 翻译方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910429300.4A CN110175336B (zh) 2019-05-22 2019-05-22 翻译方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN110175336A CN110175336A (zh) 2019-08-27
CN110175336B true CN110175336B (zh) 2021-05-28

Family

ID=67691936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910429300.4A Active CN110175336B (zh) 2019-05-22 2019-05-22 翻译方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN110175336B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112765998A (zh) * 2019-11-01 2021-05-07 华为技术有限公司 机器翻译方法、机器翻译模型训练方法、装置及存储介质
CN110807338B (zh) * 2019-11-08 2022-03-04 北京中献电子技术开发有限公司 英汉机器翻译术语一致性自修正系统及方法
CN111428523B (zh) * 2020-03-23 2023-09-01 腾讯科技（深圳）有限公司 翻译语料生成方法、装置、计算机设备及存储介质
CN111460835B (zh) * 2020-03-31 2022-06-24 文思海辉智科科技有限公司 辅助翻译方法、装置及电子设备
CN111597826B (zh) * 2020-05-15 2021-10-01 苏州七星天专利运营管理有限责任公司 一种辅助翻译中处理术语的方法
CN112036191B (zh) * 2020-08-31 2023-11-28 文思海辉智科科技有限公司 一种数据处理方法及装置、可读存储介质
CN113191163B (zh) * 2021-05-21 2023-06-30 北京有竹居网络技术有限公司 一种翻译方法、翻译装置、翻译设备以及存储介质
CN113807106B (zh) * 2021-08-31 2023-03-07 北京百度网讯科技有限公司 翻译模型的训练方法、装置、电子设备及存储介质
CN113723120B (zh) * 2021-08-31 2024-06-18 北京百度网讯科技有限公司 参考信息的展示方法、装置和电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102589637B1 (ko) * 2016-08-16 2023-10-16 삼성전자주식회사 기계 번역 방법 및 장치
CN108460028B (zh) * 2018-04-12 2021-08-03 苏州大学 将句子权重融入神经机器翻译的领域适应方法
CN108763230B (zh) * 2018-06-07 2020-07-21 南京大学 利用外部信息的神经机器翻译方法
CN108845994B (zh) * 2018-06-07 2020-05-01 南京大学 利用外部信息的神经机器翻译系统及翻译系统的训练方法
CN111368565B (zh) * 2018-09-05 2022-03-18 腾讯科技（深圳）有限公司 文本翻译方法、装置、存储介质和计算机设备

Also Published As

Publication number Publication date
CN110175336A (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
CN110175336B (zh) 翻译方法、装置和电子设备
KR102401942B1 (ko) 번역품질 평가 방법 및 장치
US11900056B2 (en) Stylistic text rewriting for a target author
US11593556B2 (en) Methods and systems for generating domain-specific text summarizations
US10861456B2 (en) Generating dialogue responses in end-to-end dialogue systems utilizing a context-dependent additive recurrent neural network
US20200410396A1 (en) Implicit bridging of machine learning tasks
KR102577584B1 (ko) 기계 번역 방법 및 장치
CN111126068A (zh) 一种中文命名实体识别方法和装置及电子设备
CN108549646B (zh) 一种基于胶囊的神经网络机器翻译系统、信息数据处理终端
EP3707622A1 (en) Generation of text from structured data
CN112528637B (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
US20160098386A1 (en) System and method for unsupervised text normalization using distributed representation of words
WO2022188584A1 (zh) 基于预训练语言模型的相似语句生成方法和装置
CN112509555B (zh) 方言语音识别方法、装置、介质及电子设备
CN109670185B (zh) 基于人工智能的文本生成方法和装置
JP7335300B2 (ja) 知識事前訓練モデルの訓練方法、装置及び電子機器
CN113590761B (zh) 文本处理模型的训练方法、文本处理方法及相关设备
CN111488742B (zh) 用于翻译的方法和装置
WO2023061106A1 (zh) 用于语言翻译的方法、设备、装置和介质
JP2023002690A (ja) セマンティックス認識方法、装置、電子機器及び記憶媒体
CN110287498B (zh) 层次化翻译方法、装置及存储介质
CN110889295A (zh) 机器翻译模型、伪专业平行语料的确定方法、系统及设备
CN113609873A (zh) 翻译模型训练方法、装置及介质
CN115879480A (zh) 语义约束机器翻译方法、装置、电子设备及存储介质
US20220043848A1 (en) Generating entity relation suggestions within a corpus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant