CN110489761B - 一种篇章级文本翻译方法及装置 - Google Patents

一种篇章级文本翻译方法及装置 Download PDF

Info

Publication number
CN110489761B
CN110489761B CN201810463138.3A CN201810463138A CN110489761B CN 110489761 B CN110489761 B CN 110489761B CN 201810463138 A CN201810463138 A CN 201810463138A CN 110489761 B CN110489761 B CN 110489761B
Authority
CN
China
Prior art keywords
text
translated
result
coding
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810463138.3A
Other languages
English (en)
Other versions
CN110489761A (zh
Inventor
马志强
刘俊华
魏思
胡国平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201810463138.3A priority Critical patent/CN110489761B/zh
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to JP2020563948A priority patent/JP7278309B2/ja
Priority to NZ770794A priority patent/NZ770794A/en
Priority to PCT/CN2019/082039 priority patent/WO2019218809A1/zh
Priority to US17/055,154 priority patent/US11694041B2/en
Priority to AU2019270109A priority patent/AU2019270109B2/en
Priority to EP19804567.6A priority patent/EP3796191A4/en
Priority to KR1020207035704A priority patent/KR102550340B1/ko
Publication of CN110489761A publication Critical patent/CN110489761A/zh
Application granted granted Critical
Publication of CN110489761B publication Critical patent/CN110489761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/131—Fragmentation of text files, e.g. creating reusable text-blocks; Linking to fragments, e.g. using XInclude; Namespaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/47—Machine-assisted translation, e.g. using translation memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Abstract

本申请公开了一种篇章级文本翻译方法及装置，该方法包括：将待翻译的篇章级文本中的每一文本单位，分别作为待翻译文本，然后，从篇章级文本中获取待翻译文本的关联文本，并根据该关联文本对待翻译文本进行翻译。可见，在对待翻译文本进行翻译时，不但考虑了待翻译文本的当前语境，还考虑了待翻译文本的关联文本内容，能够提高待翻译文本的翻译结果的准确性，因而提升了用户体验。

Description

一种篇章级文本翻译方法及装置
技术领域
本申请涉及文本翻译技术领域，尤其涉及一种篇章级文本翻译方法及装置。
背景技术
篇章级文本是由一连串句子组成的，例如，篇章级文本可以是演讲稿、杂志文章、文学作品等。由于篇章级文本最重要的特征是句子之间的衔接性和连贯性，因此，篇章级文本不仅仅是一连串句子的集合，更是一个结构完整、功能明确的语义统一体。
对于篇章级文本，应使用篇章级文本翻译方法对其进行翻译，在现有的篇章级文本翻译方法中，一般是将待翻译的篇章级文本整体作为翻译对象直接进行翻译，但翻译效果并不好，即翻译结果的准确性不高，从而降低了用户体验。
发明内容
本申请实施例的主要目的在于提供一种篇章级文本翻译方法及装置，在对篇章级文本进行翻译时，能够提高翻译结果的准确性。
本申请实施例提供的一种篇章级文本翻译方法，包括：
获取待翻译文本，所述待翻译文本为待翻译的篇章级文本中的单位文本；
获取所述待翻译文本的关联文本，所述关联文本包括上文源文本、下文源文本以及上文目标文本中的至少一项；
其中，所述上文源文本为所述篇章级文本中的在所述待翻译文本之前的至少一条单位文本，所述下文源文本为所述篇章级文本中的在所述待翻译文本之后的至少一条单位文本，所述上文目标文本为对所述上文源文本进行翻译后的文本；
根据所述关联文本对所述待翻译文本进行翻译。
可选的，所述根据所述关联文本对所述待翻译文本进行翻译，包括：
利用预先构建的编解码模型，来根据所述关联文本对所述待翻译文本进行翻译。
可选的，所述根据所述关联文本对所述待翻译文本进行翻译，包括：
对所述待翻译文本进行编码得到初始编码结果，所述初始编码结果用于表达所述待翻译文本的语义信息；
对所述关联文本进行编码得到关联编码结果，所述关联编码结果用于表达所述关联文本的语义信息；
利用所述关联编码结果中的全部或部分编码结果处理所述初始编码结果，得到目标编码结果，所述目标编码结果用于表达所述待翻译文本的语义信息、且携带了所述关联文本中的全部或部分语义信息；
通过对所述目标编码结果进行解码，以实现对所述待翻译文本的翻译。
可选的，所述对所述待翻译文本进行编码得到初始编码结果，包括：
对所述待翻译文本的各个单词进行编码，得到初始编码结果；
相应地，所述对所述关联文本进行编码得到关联编码结果，包括：
对所述关联文本中的每一文本单位的各个单词进行编码，得到分别对应于每一文本单位的编码结果，并将这些编码结果作为关联编码结果。
可选的，所述对所述待翻译文本中的各个单词进行编码之后，还包括：
对所述待翻译文本的各个单词的编码结果进行累加，得到对应于所述待翻译文本的累加结果；
相应地，所述对所述关联文本中的每一文本单位的各个单词进行编码之后，还包括：
若所述关联文本中包括所述上文源文本，则对所述上文源文本中每一单位文本的各个单词的编码结果分别进行累加，得到对应于每一单位文本的累加结果；
若所述关联文本中包括所述下文源文本，则对所述下文源文本中每一单位文本的各个单词的编码结果分别进行累加，得到对应于每一单位文本的累加结果；
若所述关联文本中包括所述上文目标文本，则对所述上文目标文本中每一单位文本的各个单词的编码结果分别进行累加，得到对应于每一单位文本的累加结果。
可选的，所述利用所述关联编码结果中的全部或部分编码结果处理所述初始编码结果，包括：
若所述关联文本中包括所述上文源文本，则确定所述关联编码结果中属于所述上文源文本的编码结果；
若所述关联文本中包括所述下文源文本，则确定所述关联编码结果中属于所述下文源文本的编码结果；
根据确定的编码结果，处理所述初始编码结果。
可选的，所述根据确定的编码结果，处理所述初始编码结果，包括：
若所述关联文本中包括所述上文源文本，则根据所述待翻译文本的初始编码结果与所述上文源文本的编码结果，确定所述待翻译文本与所述上文源文本之间的相关程度；
若所述关联文本中包括所述下文源文本，则根据所述待翻译文本的初始编码结果与所述下文源文本的编码结果，确定所述待翻译文本与所述下文源文本之间的相关程度；
根据确定的编码结果以及确定的相关程度，处理所述初始编码结果。
可选的，所述通过对所述目标编码结果进行解码，以实现对所述待翻译文本的翻译，包括：
若所述关联文本中包括所述上文目标文本，则利用所述关联编码结果中属于所述上文目标文本的编码结果，对所述目标编码结果进行解码。
可选的，所述利用所述关联编码结果中属于所述上文目标文本的编码结果，对所述目标编码结果进行解码，包括：
确定所述待翻译文本与所述上文目标文本之间的相关程度；
根据确定的相关程度以及所述上文目标文本的编码结果，对所述目标编码结果进行解码。
可选的，所述确定所述待翻译文本与所述上文目标文本之间的相关程度，包括：
将所述待翻译文本与所述上文源文本之间的相关程度，作为所述待翻译文本与所述上文目标文本之间的相关程度。
本申请实施例还提供了一种篇章级文本翻译装置，包括：
待翻译文本获取单元，用于获取待翻译文本，所述待翻译文本为待翻译的篇章级文本中的单位文本；
关联文本获取单元，用于获取所述待翻译文本的关联文本，所述关联文本包括上文源文本、下文源文本以及上文目标文本中的至少一项；其中，所述上文源文本为所述篇章级文本中的在所述待翻译文本之前的至少一条单位文本，所述下文源文本为所述篇章级文本中的在所述待翻译文本之后的至少一条单位文本，所述上文目标文本为对所述上文源文本进行翻译后的文本；
待翻译文本翻译单元，用于根据所述关联文本对所述待翻译文本进行翻译。
可选的，所述待翻译文本翻译单元，具体用于利用预先构建的编解码模型，来根据所述关联文本对所述待翻译文本进行翻译。
可选的，所述待翻译文本翻译单元包括：
第一编码子单元，用于对所述待翻译文本进行编码得到初始编码结果，所述初始编码结果用于表达所述待翻译文本的语义信息；
第二编码子单元，用于对所述关联文本进行编码得到关联编码结果，所述关联编码结果用于表达所述关联文本的语义信息；
结果处理子单元，用于利用所述关联编码结果中的全部或部分编码结果处理所述初始编码结果，得到目标编码结果，所述目标编码结果用于表达所述待翻译文本的语义信息、且携带了所述关联文本中的全部或部分语义信息；
解码实现子单元，用于通过对所述目标编码结果进行解码，以实现对所述待翻译文本的翻译。
可选的，所述解码实现子单元，具体用于若所述关联文本中包括所述上文目标文本，则利用所述关联编码结果中属于所述上文目标文本的编码结果，对所述目标编码结果进行解码。
本申请实施例提供的一种篇章级文本翻译装置，包括：处理器、存储器、系统总线；
所述处理器以及所述存储器通过所述系统总线相连；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述篇章级文本翻译方法中的任意一种实现方式。
本申请实施例提供的一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述篇章级文本翻译方法中的任意一种实现方式。
本实施例提供的一种篇章级文本翻译方法及装置，将待翻译的篇章级文本中的每一文本单位，分别作为待翻译文本，然后，从篇章级文本中获取待翻译文本的关联文本，并根据该关联文本对待翻译文本进行翻译。可见，在对待翻译文本进行翻译时，不但考虑了待翻译文本的当前语境，还考虑了待翻译文本的关联文本内容，能够提高待翻译文本的翻译结果的准确性，因而提升了用户体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种篇章级文本翻译方法的流程示意图；
图2为本申请实施例提供的篇章级文本示意图；
图3为本申请实施例提供的编解码模型的拓扑结构示意图；
图4为本申请实施例提供的利用编解码模型进行翻译的流程示意图；
图5为本申请实施例提供的初始编码结果的处理流程示意图；
图6为本申请实施例提供的Gate Network网络结构示意图；
图7为本申请实施例提供的一种篇章级文本翻译装置的组成示意图；
图8为本申请实施例提供的一种篇章级文本翻译装置的硬件结构示意图。
具体实施方式
在一些篇章级文本翻译方法中，可以将待翻译的篇章级文本整体作为翻译对象，利用翻译模型直接对其进行翻译，但是，利用该方法对篇章级文本的每个句子进行翻译时，并没有考虑被翻译句子的上下文信息，从而降低了翻译结果的准确性，进而降低了用户体验。此外，在对被翻译句子进行翻译时，翻译模型的接收信息中可能存在冗余信息，具体来讲，如果被翻译句子之前的句子或被翻译句子之后的句子，与被翻译句子并不相关，那么，当将篇章级文本整体作为翻译对象时，相对于被翻译句子来讲，与被翻译句子不相关的之前句子或之后句子便是冗余信息。
为解决上述缺陷，本申请实施例提供了一种篇章级文本翻译方法，对于篇章级文本中的每一待翻译文本，比如该待翻译文本是一个句子，在对待翻译文本进行翻译时，不但考虑了待翻译文本的当前语境，还考虑了待翻译文本的上下文信息，从而提高了待翻译文本的翻译结果的准确性，进而提升了用户体验。进一步地，在对待翻译文本进行翻译时，本申请实施例根据待翻译文本与上下文信息的相关性，动态地的选择了上下文信息，不但减少了翻译模型的接收信息中的冗余信息，还进一步提高了待翻译文本的翻译结果的准确性。更进一步地，在对待翻译文本进行翻译时，本申请实施例还考虑了待翻译文本的上文翻译结果，这使得待翻译文本的翻译结果能够衔接上文翻译结果，不但使待翻译文本的翻译结果的准确性更高，还提高了整个翻译文本的流畅度，即，保证了翻译后的篇章级文本的各个句子之间的衔接性和连贯性。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
第一实施例
参见图1，为本实施例提供的一种篇章级文本翻译方法的流程示意图，该方法包括以下步骤：
S101：获取待翻译文本，所述待翻译文本为待翻译的篇章级文本中的单位文本。
对于待翻译的篇章级文本，也即翻译前的篇章级文本，为简便，后续将其简称为篇章级文本。本实施例不限制篇章级文本的文本类型，比如，该篇章级文本可以是演讲稿、杂志文章、文学作品等。
篇章级文本是一连串句子的集合，在对篇章级文本进行翻译时，本实施例可以以句子或其它文本长度为单位依次进行翻译，假设以句子单位进行翻译，可以按照篇章级文本中各个句子的先后顺序，依次获取每一个句子，将当前获取的句子作为待翻译文本，并按照后续步骤对其进行翻译。
需要说明的是，本实施例不限制篇章级文本的翻译前语种和翻译后语种，比如，翻译前语种为中文，翻译后语种为英文。
S102：获取所述待翻译文本的关联文本，所述关联文本包括上文源文本、下文源文本以及上文目标文本中的至少一项。
在本实施例中，所述上文源文本为篇章级文本中的在待翻译文本之前的至少一条单位文本，所述下文源文本为篇章级文本中的在待翻译文本之后的至少一条单位文本，所述上文目标文本为对所述上文源文本进行翻译后的文本。
具体来讲，假设以句子为单位进行翻译时，那么，可以从篇章级文本中获取待翻译文本之前的一个或多个句子，作为待翻译文本的上文源文本，可以从篇章级文本中获取待翻译文本之后的一个或多个句子，作为待翻译文本的下文源文本，此外，由于是对篇章级文本的各个句子进行顺序翻译，因此，在对待翻译文本进行翻译时，上文源文本已经被翻译，所以，可以直接获取上文源文本的翻译文本，即上文目标文本。
需要说明的是，上文源文本与下文源文本的句子条数，可以相同，也可以不同。当使用待翻译文本之前的k个句子作为上文源文本时，可以使用待翻译文本之后的k个或l个句子作为下文源文本，其中，k、l为整数，k≠l，k≥1，l≥1。
例如，如图2所示的篇章级文本，将待翻译文本表示为X，可以将X之前的一个句子X-1作为上文源文本，也可以将X之前的多个句子作为上文源文本，比如句子X-1和句子X-2；同样地，可以将X之后的一个句子X1作为上文源文本，也可以将X之后的多个句子作为下文源文本，比如句子X1、句子X2和句子X3。
S103：根据所述关联文本对所述待翻译文本进行翻译。
在对待翻译文本进行翻译时，本实施例可以考虑待翻译文本的关联文本，即考虑待翻译文本的上文源文本、下文源文本以及上文目标文本中的至少一项的语义信息，来对待翻译文本进行翻译，从而得到待翻译文本的翻译结果。此外，还可以考虑待翻译文本与上文源文本的相关性、待翻译文本与下文源文本的相关性、以及待翻译文本与上文目标文本的相关性。可见，通过考虑待翻译文本与关联文本的语义内容以及二者之间的相关性，可以使待翻译文本的翻译结果更为准确。
需要说明的是，当关联文本中包括上文目标文本(上文源文本的翻译结果)时，即，利用上文目标文本对待翻译文本进行辅助翻译时，不但可以提升待翻译文本的翻译结果的准确度，还可以使待翻译文本的翻译结果衔接上文源文本的翻译结果，即，使待翻译文本的翻译结果在语义上更好的衔接上文翻译结果，从而保证翻译后的篇章级文本的各个句子之间的衔接性和连贯性。
还需要说明的是，本步骤S103的具体实现方式请参见第二实施例。
综上，本实施例提供的一种篇章级文本翻译方法，将待翻译的篇章级文本中的每一文本单位，分别作为待翻译文本，然后，从篇章级文本中获取待翻译文本的关联文本，并根据该关联文本对待翻译文本进行翻译。可见，在对待翻译文本进行翻译时，不但考虑了待翻译文本的当前语境，还考虑了待翻译文本的关联文本内容，能够提高待翻译文本的翻译结果的准确性，因而提升了用户体验。
第二实施例
本实施例将对第一实施例中的S103的具体实施方式进行介绍。
在本实施例中，可以预先构建一编解码模型作为篇章级文本的翻译模型，即，使编解码模型通过先编码后解码的方式，实现对篇章级文本的翻译。基于此，上述步骤S103具体可以包括：利用预先构建的编解码模型，来根据所述关联文本对所述待翻译文本进行翻译。
需要说明的是，接下来，本实施例将结合图3所示的编解码模型的拓扑结构示意图，来介绍如何利用编解码模型对待翻译文本进行翻译。
为便于结合图3进行介绍，这里以句子为单位进行翻译，并使用待翻译文本的前k个句子作为上文源文本、使用待翻译文本的后k个句子作为下文源文本为例进行说明，首先进行以下定义：
1、将翻译前的篇章级文本表示为{X-k,…,X-1,X,X1,…Xk}，其中，X表示待翻译文本，X-1...X-k依次表示X之前的第1个句子、…第k个句子，X1...Xk依次表示X之后的第1个句子、…第k个句子。这里，将X-1...X-k一起作为待翻译文本X的上文源文本，将X1...Xk一起作为待翻译文本X的下文源文本。
为简便描述，这里假设每个句子中均包括n个单词(实际应用中以单词实际个数为准)。如图3所示，将待翻译文本X的各个单词用{x1,x2,…,xn}表示，其中，x1,x2,…,xn依次表示翻译文本X的第1个单词、第2个单词…第n个单词；同理，将上文源文本中的句子X-k的各个单词用
Figure BDA0001661377140000091
表示，其中，
Figure BDA0001661377140000092
依次表示句子X-k的第1个单词、第2个单词…第n个单词，上文源文本的其它句子以类似形式表示；将下文源文本中的句子Xk的各个单词用
Figure BDA0001661377140000093
表示，其中，
Figure BDA0001661377140000094
依次表示句子Xk的第1个单词、第2个单词…第n个单词，下文源文本的其它句子以类似形式表示。
2、将翻译后的篇章级文本表示为{Y-k,…,Y-1,Y,Y1,…Yk}，其中，Y表示待翻译文本X的翻译后文本，Y-1...Y-k依次表示上文源文本X-1...X-k的翻译后文本，Y1...Yk依次表示下文源文本X1...Xk的翻译后文本。这里，将Y-1...Y-k一起作为上文目标文本。
将待翻译文本X的翻译后文本Y中的各个单词用{y1,y2,…,yn}表示，其中，y1,y2,…,yn依次表示Y的第1个单词、第2个单词…第n个单词。如图3所示，将上文目标文本中的句子Y-k的各个单词用
Figure BDA0001661377140000095
表示，其中，
Figure BDA0001661377140000096
依次表示句子Y-k的第1个单词、第2个单词…第n个单词；将上文目标文本中的句子Y-1的各个单词用
Figure BDA0001661377140000097
表示，其中，
Figure BDA0001661377140000098
依次表示句子Y-1的第1个单词、第2个单词…第n个单词；下文目标文本的其它句子以类似形式表示。
下面结合图3，介绍如何利用编解码模型对待翻译文本进行翻译。
在本实施例的一种实现方式中，参见图4所示的利用编解码模型进行翻译的流程示意图，具体可以包括以下步骤：
S401：对所述待翻译文本进行编码得到初始编码结果，所述初始编码结果用于表达所述待翻译文本的语义信息。
在一种实现方式中，本步骤S401具体可以包括：利用双向循环神经网络(Recurrent Neural Networks，简称RNN)对所述待翻译文本进行编码，得到初始编码结果。
在本步骤S401或本步骤S401的具体实现方式中，在对所述待翻译文本进行编码时，具体可以对所述待翻译文本的各个单词进行编码，得到初始编码结果。
具体来讲，如图3所示，将待翻译文本X的各个单词即{x1,x2,…,xn}，以词向量的形式输入至双向RNN中，本实施例可以采用现有的或未来出现的方法，对各个单词进行向量化。
双向RNN的各个隐层状态的计算公式如下所示：
Figure BDA0001661377140000101
其中，i＝1、2、…n；f为非线性函数，比如sigmoid函数或者是长短期记忆网络(Long Short-Term Memory，简称LSTM)；W和U是双向RNN的训练参数；
Figure BDA0001661377140000102
表示单词xi的词向量；hi-1表示第i-1个隐层状态，用来表示单词xi-1的语义信息；hi表示第i个隐层状态，用来表示单词xi的语义信息。
双向RNN包括前向RNN和后向RNN，前向RNN顺序读入待翻译文本X的各个单词的词向量后，会产生前向隐层序列
Figure BDA0001661377140000103
其中，
Figure BDA0001661377140000104
Figure BDA0001661377140000105
表示待翻译文本X的前向信息；后向RNN逆序读入待翻译文本X的各个单词的词向量后，会产生后向隐层序列
Figure BDA0001661377140000106
其中，
Figure BDA0001661377140000107
Figure BDA0001661377140000108
表示待翻译文本X的后向信息。
在前向隐层序列
Figure BDA0001661377140000109
和后向隐层序列
Figure BDA00016613771400001010
中，将位置相互对应的隐层状态单元拼接起来，组成该位置单词对应的状态序列。即，{x1,x2,…,xn}中每个单词对应的状态序列分别为：x1对应的状态序列为
Figure BDA00016613771400001011
x2对应的状态序列为
Figure BDA00016613771400001012
对应的状态序列为
Figure BDA00016613771400001013
基于此，待翻译文本X的语义信息可以由H＝{h1,h2,…,hn}表示，H即为对待翻译文本进行编码得到初始编码结果。
进一步地，在一种实现方式中，在对待翻译文本中的各个单词进行编码之后，还可以包括：对所述待翻译文本的各个单词的编码结果进行累加，得到对应于所述待翻译文本的累加结果。在本实现方式中，当得到待翻译文本X的编码结果H后，可以使用H中每个状态序列的累和结果
Figure BDA00016613771400001014
作为新的初始编码结果，来表征待翻译文本X的语义信息，其中：
Figure BDA0001661377140000111
S402：对所述关联文本进行编码得到关联编码结果，所述关联编码结果用于表达所述关联文本的语义信息。
在一种实现方式中，本步骤S402具体可以包括：利用双向RNN网络对所述关联文本进行编码，得到关联编码结果。
在本步骤S402或本步骤S402的具体实现方式中，在对所述关联文本进行编码时，具体可以对所述关联文本中的每一文本单位的各个单词进行编码，得到分别对应于每一文本单位的编码结果，并将这些编码结果作为关联编码结果。
具体来讲，如图3所示，当所述关联文本中包括上文源文本时，即包括待翻译文本X之前的K个句子X-1...X-k时，可以按照步骤S401中对待翻译文本X进行编码的类似方式，对X-1...X-k进行编码，只要将待翻译文本X分别替换为X-1...X-k即可，从而使句子X-1的语义信息由
Figure BDA0001661377140000112
表示、…使句子X-k的语义信息由
Figure BDA0001661377140000113
表示，而H-1、…H-k即为对上文源文本进行编码得到的编码结果。其中，在
Figure BDA0001661377140000114
中，
Figure BDA0001661377140000115
Figure BDA0001661377140000116
在
Figure BDA0001661377140000117
中，
Figure BDA0001661377140000118
Figure BDA0001661377140000119
当所述关联文本中包括下文源文本时，即包括待翻译文本X之后的K个句子X1...Xk时，可以按照步骤S401中对待翻译文本X进行编码的类似方式，对X1...Xk进行编码，只要将待翻译文本X分别替换为X1...Xk即可，从而使句子X1的语义信息由
Figure BDA00016613771400001110
表示、…使句子Xk的语义信息由
Figure BDA00016613771400001111
表示，而H1、…Hk即为对下文源文本进行编码得到的编码结果。其中，在
Figure BDA00016613771400001112
中，
Figure BDA00016613771400001113
在
Figure BDA00016613771400001114
中，
Figure BDA00016613771400001115
当所述关联文本中包括上文目标文本时，即包括待翻译文本X之前的K个句子X-1...X-k的翻译后文本Y-1...Y-k时，可以按照步骤S401中对待翻译文本X进行编码的类似方式，对Y-1...Y-k进行编码，只要将待翻译文本X分别替换为Y-1...Y-k即可，从而使句子Y-1的语义信息由
Figure BDA00016613771400001116
表示、…使句子X-k的语义信息由
Figure BDA0001661377140000121
表示，而
Figure BDA0001661377140000122
即为对上文目标文本进行编码得到的编码结果。其中，在
Figure BDA0001661377140000123
中，
Figure BDA0001661377140000124
Figure BDA0001661377140000125
在
Figure BDA0001661377140000126
中，
Figure BDA0001661377140000127
Figure BDA0001661377140000128
进一步地，在一种实现方式中，在对关联文本中的每一文本单位的各个单词进行编码之后，还可以包括步骤A1-C1：
步骤A1：若所述关联文本中包括所述上文源文本，则对所述上文源文本中每一单位文本的各个单词的编码结果分别进行累加，得到对应于每一单位文本的累加结果。
当得到上文源文本的编码结果H-1、…H-k后，可以使用H-1中每个状态序列的累加结果
Figure BDA0001661377140000129
来表征句子X-1的语义信息、…使用H-k中每个状态序列的累加结果
Figure BDA00016613771400001210
来表征句子X-k的语义信息，并将
Figure BDA00016613771400001211
一起作为上文源文本的编码结果，其中：
Figure BDA00016613771400001212
…；
Figure BDA00016613771400001213
步骤B1：若所述关联文本中包括所述下文源文本，则对所述下文源文本中每一单位文本的各个单词的编码结果分别进行累加，得到对应于每一单位文本的累加结果。
当得到下文源文本的编码结果H1、…Hk后，可以使用H1中每个状态序列的累加结果
Figure BDA00016613771400001214
来表征句子X1的语义信息、…使用Hk中每个状态序列的累加结果
Figure BDA00016613771400001215
来表征句子Xk的语义信息，并将
Figure BDA00016613771400001216
一起作为下文源文本的编码结果，其中：
Figure BDA00016613771400001217
…；
Figure BDA00016613771400001218
步骤C1：若所述关联文本中包括所述上文目标文本，则对所述上文目标文本中每一单位文本的各个单词的编码结果分别进行累加，得到对应于每一单位文本的累加结果。
当得到上文目标文本的编码结果
Figure BDA0001661377140000131
后，可以使用
Figure BDA0001661377140000132
中每个状态序列的累加结果
Figure BDA0001661377140000133
来表征句子Y-1的语义信息、…使用
Figure BDA0001661377140000134
中每个状态序列的累加结果
Figure BDA0001661377140000135
来表征句子Y-k的语义信息，并将
Figure BDA0001661377140000136
一起作为上文目标文本的编码结果，其中：
Figure BDA0001661377140000137
…；
Figure BDA0001661377140000138
需要说明的是，本实施例不限制步骤S401和S402的执行顺序，可以同时执行S401和S402，也可以先执行步骤S401再执行步骤S402，还可以先执行步骤S402再执行步骤S401。
S403：利用所述关联编码结果中的全部或部分编码结果处理所述初始编码结果，得到目标编码结果，其中，所述目标编码结果用于表达所述待翻译文本的语义信息、且携带了所述关联文本中的全部或部分语义信息。
在本实施例中，对于上文源文本的编码结果H-1、…H-k，下文源文本的编码结果H1、…Hk，以及上文目标文本的编码结果
Figure BDA0001661377140000139
可以使用其中一项或多项编码结果，对待翻译文本的初始编码结果H进行处理，将处理后的编码结果作为目标编码结果。
或者，对于上文源文本的编码结果
Figure BDA00016613771400001310
下文源文本的编码结果
Figure BDA00016613771400001311
以及上文目标文本的编码结果
Figure BDA00016613771400001312
可以使用其中一项或多项编码结果，对待翻译文本的初始编码结果H进行处理，将处理后的编码结果作为目标编码结果Hc。
需要说明的是，在对初始编码结果进行处理时，可以根据待翻译文本与关联文本的相关程度，以不同程度选择关联文本中的文本单位的语义信息，使目标编码结果携带这些不同程度的语义信息，同时，也使目标编码结果表达待翻译文本的语义信息Hc。
还需要说明的是，本步骤S403的具体实现方式请参见第三实施例。
S404：通过对所述目标编码结果进行解码，以实现对所述待翻译文本的翻译。
在对目标编码结果Hc进行解码时，可以使用现有的带有注意力模型(如图3所示)的解码方法或是未来出现的解码方法，对目标编码结果Hc进行解码，从而得到待翻译文本的翻译结果。
需要说明的是，本步骤S404的具体实现方式请参见第四实施例。
综上，本实施例通过编解码模型对待翻译文本、关联文本进行编解码，通过编解码方式对待翻译文本进行翻译时，不但考虑了待翻译文本的当前语境，还考虑了待翻译文本的关联文本内容，能够提高待翻译文本的翻译结果的准确性，因而提升了用户体验。
第三实施例
本实施例将对第二实施例中的S403的具体实施方式进行介绍。
参见图5所示的初始编码结果的处理流程示意图，上述步骤S403“利用所述关联编码结果中的全部或部分编码结果处理所述初始编码结果”，具体可以包括以下步骤：
S501：若所述关联文本中包括所述上文源文本，则确定所述关联编码结果中属于所述上文源文本的编码结果。
在本实施例中，上文源文本的编码结果，可以是第二实施例中的H-1、…H-k或者
Figure BDA0001661377140000141
S502：若所述关联文本中包括所述下文源文本，则确定所述关联编码结果中属于所述下文源文本的编码结果。
在本实施例中，若上文源文本的编码结果是H-1、…H-k，则下文源文本的编码结果可以是第二实施例中的H1、…Hk；同样地，若上文源文本的编码结果时
Figure BDA0001661377140000142
则下文源文本的编码结果可以是第二实施例中的
Figure BDA0001661377140000143
S503：根据确定的编码结果，处理所述初始编码结果。
在一种实现方式中，步骤S503具体可以包括以下步骤A2-C2：
步骤A2：若所述关联文本中包括所述上文源文本，则根据所述待翻译文本的初始编码结果与所述上文源文本的编码结果，确定所述待翻译文本与所述上文源文本之间的相关程度。
由于待翻译文本与上文源文本中的每一个句子(后续简称上文句子)的相关性是不确定的，如果待翻译文本与某上文句子完全不相关，则相对于待翻译文本来讲，该上文句子是冗余的，如果根据该上文句子对待翻译文本进行翻译，反而对待翻译文本的翻译结果的准确性造成负面影响，也就是说会降低翻译结果的准确性。因此，为了更合理的利用上文源文本的编码结果，本实施例可以分别确定待翻译文本与每一个上文句子的相关程度，以便利用相关程度的确定结果，动态地使用对应上文句子的语义信息，防止上文句子造成的信息冗余。
在本步骤中，待翻译文本的初始编码结果可以是
Figure BDA0001661377140000151
上文源文本中每一上文句子的编码结果可以分别是
Figure BDA0001661377140000152
可以使用神经网络结构Gate Network，生成每一上文句子对应的相关系数，该相关系数用来表示待翻译文本与对应上文句子的相关程度。
如图6所示的Gate Network网络结构示意图，具体实现时，将待翻译文本的初始编码结果
Figure BDA0001661377140000153
以及每个上文句子对应的编码结果
Figure BDA0001661377140000154
作为Gate Network的输入。然后，由Gate Network来计算每一上文句子对应的相关系数λ-i，计算公式如下：
Figure BDA0001661377140000155
其中，i＝1、2…k；
Figure BDA0001661377140000156
为待翻译文本的初始编码结果；
Figure BDA0001661377140000157
为待翻译文本之前的第i个句子的编码结果；λ-i为待翻译文本之前的第i个句子对应的相关系数，用于表示待翻译文本与待翻译文本之前的第i个句子之间的相关程度；U和V是Gate Network的训练参数，通过预先收集大量数据训练得到，其维度均是d×1。
需要说明的是，
Figure BDA0001661377140000158
和
Figure BDA0001661377140000159
是维度为1×d的矩阵，d是指双向RNN编码时的隐层节点数，通过预先设定得到，因此，公式(2)通过矩阵相乘可以得到维度为1的标量值，再通过非线性函数即sigmoid函数来进行变换，得到一个取值范围在0到1之间的标量值λ-i。其中，λ-i的值越大，表示待翻译文本与待翻译文本之前的第i个句子之间的相关程度越高，反之亦然。
可见，通过上述公式(2)，可以计算得到上文源文本中的各个上文句子对应的相关系数{λ-k,λ-k-1,...,λ-1}。
步骤B2：若所述关联文本中包括所述下文源文本，则根据所述待翻译文本的初始编码结果与所述下文源文本的编码结果，确定所述待翻译文本与所述下文源文本之间的相关程度。
由于待翻译文本与下文源文本中的每一个句子(后续简称下文句子)的相关性是不确定的，如果待翻译文本与某下文句子完全不相关，则相对于待翻译文本来讲，该下文句子是冗余的，如果根据该下文句子对待翻译文本进行翻译，反而对待翻译文本的翻译结果的准确性造成负面影响，也就是说会降低翻译结果的准确性。因此，为了更合理的利用下文源文本的编码结果，本实施例可以分别确定待翻译文本与每一个下文句子的相关程度，以便利用相关程度的确定结果，动态地使用对应下文句子的语义信息，防止下文句子造成的信息冗余。
在本步骤中，待翻译文本的初始编码结果可以是
Figure BDA0001661377140000161
下文源文本中每一上文句子的编码结果可以分别是
Figure BDA0001661377140000162
可以使用神经网络结构Gate Network，生成每一上文句子对应的相关系数，该相关系数用来表示待翻译文本与对应上文句子的相关程度。
如图6所示，具体实现时，将待翻译文本的初始编码结果
Figure BDA0001661377140000163
以及每个上文句子对应的编码结果
Figure BDA0001661377140000164
作为Gate Network的输入。然后，由Gate Network来计算每一上文句子对应的相关系数λi，计算公式如下：
Figure BDA0001661377140000165
其中，i＝1、2…k；
Figure BDA0001661377140000166
为待翻译文本的初始编码结果；
Figure BDA0001661377140000167
为待翻译文本之后的第i个句子的编码结果；λi为待翻译文本之后的第i个句子对应的相关系数，用于表示待翻译文本与待翻译文本之后的第i个句子之间的相关程度；U和V是Gate Network的训练参数，通过预先收集大量数据训练得到，其维度均是d×1。
需要说明的是，
Figure BDA0001661377140000168
和
Figure BDA0001661377140000169
是维度为1×d的矩阵，d是指双向RNN编码时的隐层节点数，通过预先设定得到，因此，公式(3)通过矩阵相乘可以得到维度为1的标量值，再通过非线性函数即sigmoid函数来进行变换，得到一个取值范围在0到1之间的标量值λi。其中，λi的值越大，表示待翻译文本与待翻译文本之后的第i个句子之间的相关程度越高，反之亦然。
可见，通过上述公式(3)，可以计算得到下文源文本中的各个下文句子对应的相关系数{λ1,λ2,...,λk}。
步骤C2：根据确定的编码结果以及确定的相关程度，处理所述初始编码结果，得到目标编码结果。
在计算得到上文源文本中的各个上文句子对应的相关系数{λ-k,λ-k-1,...,λ-1}后，便可以根据这些相关系数动态的选择上文句子；同理，当计算得到下文源文本中的各个下文句子对应的相关系数{λ1,λ2,...,λk}后，便可以根据这些相关系数动态的选择下文句子。具体过程如下：
基于第二实施例中步骤S401得到的待翻译文本的初始编码结果H＝{h1,h2,…,n}，可以为待翻译文本的每个单词对应的hi(i＝1,2…n)动态的引入上下文信息，计算公式如下所示：
Figure BDA0001661377140000171
其中，{λ-k,λ-k-1,...,λ-1}是通过Gate Network得到的各个上文句子对应的相关系数；{λ1,λ2,...,λk}是通过Gate Network得到的各个下文句子对应的相关系数；
Figure BDA0001661377140000172
是各个上文句子的编码结果；
Figure BDA0001661377140000173
是各个下文句子的编码结果。
可见，通过公式(3)可以为待翻译文本的每一单词分别引入上下文信息，经过上述编码过程，待翻译文本的语义信息表示转变成
Figure BDA0001661377140000174
即为图3所示编码部分的输出Hc。
需要说明的是，Hc不仅包含了待翻译文本的语义信息，而且利用{λ-k,λ-k-1,...,λ-1}、{λ1,λ2,...,λk}来动态选择使用上下文信息，不但避免了信息叠加造成的信息冗余，还提高翻译结果的准确度。
综上，本实施例提供的编码方式，在编码端引入了关联文本中的全部或部分语义信息，进一步引入了待翻译文本与被引入关联文本之间的相关程度信息，从而动态地的选择了待翻译文本的上下文信息，不但减少了编解码模型的接收信息中的冗余信息，还进一步提高了待翻译文本的翻译结果的准确性。
第四实施例
本实施例将对第二实施例中的S404的具体实施方式进行介绍。
在本实施例中，上述步骤S404“通过对所述目标编码结果进行解码，以实现对所述待翻译文本的翻译”，具体可以包括：若所述关联文本中包括所述上文目标文本，则利用所述关联编码结果中属于所述上文目标文本的编码结果，对所述目标编码结果进行解码。其中，上文目标文本的编码结果，可以是第二实施例S402中的
Figure BDA0001661377140000181
或者是
Figure BDA0001661377140000182
可以利用这些编码结果，对目标编码结果Hc进行辅助解码，从而得到待翻译文本的翻译结果。
在本实施例的一种实现方式中，在利用所述关联编码结果中属于所述上文目标文本的编码结果，对所述目标编码结果进行解码时，可以包括以下步骤：
步骤A3：确定所述待翻译文本与所述上文目标文本之间的相关程度。
上文目标文本包括上文源文本中每一上文句子的翻译结果(后续简称翻译后句子)，可以分别确定每一翻译后句子与待翻译文本之间的相关程度。
在一种实现方式中，步骤A3具体可以将所述待翻译文本与所述上文源文本之间的相关程度，作为所述待翻译文本与所述上文目标文本之间的相关程度。在本实现方式中，可以将第三实施例中步骤A2计算得到上文源文本中的各个上文句子对应的相关系数{λ-k,λ-k-1,...,λ-1}，分别来表征待翻译文本与上文目标文本中的每一翻译后句子之间的相关程度，比如，λ-k表示待翻译文本与待翻译文本之前的第k个句子的翻译结果之间的相关性。
步骤B3：根据确定的相关程度以及所述上文目标文本的编码结果，对所述目标编码结果进行解码。
在步骤中，可将相关系数{λ-k,λ-k-1,...,λ-1}与上文目标文本的编码结果
Figure BDA0001661377140000183
(参见第二实施例步骤C1)，按照以下公式进行计算：
Figure BDA0001661377140000184
如图3所示，
Figure BDA0001661377140000185
表示在解码中要使用的上文目标文本的编码结果，在对目标编码结果Hc进行解码时，使用RNN网络进行顺序解码，本案在解码的每一个时刻都加入
Figure BDA0001661377140000186
计算公式如下所示，
Figure BDA0001661377140000187
其中，g是非线性函数，比如sigmoid函数或者是LSTM网络；W、U、V可以是现有解码网络的训练参数，P是本实施例解码网络新增的训练参数；sj表示当前时刻j的隐层状态；sj-1表示上一时刻j-1的隐层状态；yj-1是上一时刻的解码结果的词向量；cj是注意力模型的输出信息，注意力模型可以是通用编解码结构中使用的网络结构，具体解码计算方法可以与现有技术相同。
当解码得到当前时刻j的隐层状态sj后，可以通过通用编解码结构中的soft max函数，估计出当前时刻j对应的被翻译单词的翻译结果的概率分布，根据该概率分布得到被翻译单词的翻译结果。
综上，本实施例提供的解码方式，在解码端引入了上文源文本的翻译结果，即上文目标文本，进一步引入了待翻译文本与上文目标文本之间的相关程度信息，这使得待翻译文本的翻译结果能够衔接上文翻译结果，不但使待翻译文本的翻译结果的准确性更高，还提高了整个翻译文本的流畅度，即，保证了翻译后的篇章级文本的各个句子之间的衔接性和连贯性。
第五实施例
本实施例将对一种篇章级文本翻译装置进行介绍，相关内容请参见上述方法实施例。
参见图7，为本实施例提供的一种篇章级文本翻译装置的组成示意图，该装置700包括：
待翻译文本获取单元701，用于获取待翻译文本，所述待翻译文本为待翻译的篇章级文本中的单位文本；
关联文本获取单元702，用于获取所述待翻译文本的关联文本，所述关联文本包括上文源文本、下文源文本以及上文目标文本中的至少一项；其中，所述上文源文本为所述篇章级文本中的在所述待翻译文本之前的至少一条单位文本，所述下文源文本为所述篇章级文本中的在所述待翻译文本之后的至少一条单位文本，所述上文目标文本为对所述上文源文本进行翻译后的文本；
待翻译文本翻译单元703，用于根据所述关联文本对所述待翻译文本进行翻译。
在本实施例的一种实现方式中，所述待翻译文本翻译单元703，具体可以用于利用预先构建的编解码模型，来根据所述关联文本对所述待翻译文本进行翻译。
在本实施例的一种实现方式中，所述待翻译文本翻译单元703可以包括：
第一编码子单元，用于对所述待翻译文本进行编码得到初始编码结果，所述初始编码结果用于表达所述待翻译文本的语义信息；
第二编码子单元，用于对所述关联文本进行编码得到关联编码结果，所述关联编码结果用于表达所述关联文本的语义信息；
结果处理子单元，用于利用所述关联编码结果中的全部或部分编码结果处理所述初始编码结果，得到目标编码结果，所述目标编码结果用于表达所述待翻译文本的语义信息、且携带了所述关联文本中的全部或部分语义信息；
解码实现子单元，用于通过对所述目标编码结果进行解码，以实现对所述待翻译文本的翻译。
在本实施例的一种实现方式中，所述第一编码子单元，具体用于对所述待翻译文本的各个单词进行编码，得到初始编码结果；
相应地，所述第二编码子单元，具体用于对所述关联文本中的每一文本单位的各个单词进行编码，得到分别对应于每一文本单位的编码结果，并将这些编码结果作为关联编码结果。
在本实施例的一种实现方式中，所述待翻译文本翻译单元703还可以包括：
第一累加子单元，用于对所述待翻译文本中的各个单词进行编码之后，对所述待翻译文本的各个单词的编码结果进行累加，得到对应于所述待翻译文本的累加结果；
第二累加子单元，用于对所述关联文本中的每一文本单位的各个单词进行编码之后，若所述关联文本中包括所述上文源文本，则对所述上文源文本中每一单位文本的各个单词的编码结果分别进行累加，得到对应于每一单位文本的累加结果；若所述关联文本中包括所述下文源文本，则对所述下文源文本中每一单位文本的各个单词的编码结果分别进行累加，得到对应于每一单位文本的累加结果；若所述关联文本中包括所述上文目标文本，则对所述上文目标文本中每一单位文本的各个单词的编码结果分别进行累加，得到对应于每一单位文本的累加结果。
在本实施例的一种实现方式中，所述结果处理子单元包括：
第一确定子单元，用于若所述关联文本中包括所述上文源文本，则确定所述关联编码结果中属于所述上文源文本的编码结果；
第二确定子单元，用于若所述关联文本中包括所述下文源文本，则确定所述关联编码结果中属于所述下文源文本的编码结果；
结果获取子单元，用于根据确定的编码结果，处理所述初始编码结果，得到目标编码结果。
在本实施例的一种实现方式中，所述结果获取子单元包括：
第一相关度确定子单元，用于若所述关联文本中包括所述上文源文本，则根据所述待翻译文本的初始编码结果与所述上文源文本的编码结果，确定所述待翻译文本与所述上文源文本之间的相关程度；
第二相关度确定子单元，用于若所述关联文本中包括所述下文源文本，则根据所述待翻译文本的初始编码结果与所述下文源文本的编码结果，确定所述待翻译文本与所述下文源文本之间的相关程度；
目标结果获取子单元，用于根据确定的编码结果以及确定的相关程度，处理所述初始编码结果，得到目标编码结果。
在本实施例的一种实现方式中，所述解码实现子单元，具体用于若所述关联文本中包括所述上文目标文本，则利用所述关联编码结果中属于所述上文目标文本的编码结果，对所述目标编码结果进行解码。
在本实施例的一种实现方式中，所述解码实现子单元包括：
第三相关度确定子单元，用于若所述关联文本中包括所述上文目标文本，则确定所述待翻译文本与所述上文目标文本之间的相关程度；
编码结果处理子单元，用于根据确定的相关程度以及所述上文目标文本的编码结果，对所述目标编码结果进行解码。
在本实施例的一种实现方式中，所述第三相关度确定子单元，具体用于将所述待翻译文本与所述上文源文本之间的相关程度，作为所述待翻译文本与所述上文目标文本之间的相关程度。
第六实施例
本实施例将对另一种篇章级文本翻译装置进行介绍，相关内容请参见上述方法实施例。
参见图8，为本实施例提供的一种篇章级文本翻译装置的硬件结构示意图，所述语音交互装置800包括存储器801和接收器802，以及分别与所述存储器801和所述接收器802连接的处理器803，所述存储器801用于存储一组程序指令，所述处理器803用于调用所述存储器801存储的程序指令执行如下操作：
获取待翻译文本，所述待翻译文本为待翻译的篇章级文本中的单位文本；
获取所述待翻译文本的关联文本，所述关联文本包括上文源文本、下文源文本以及上文目标文本中的至少一项；
其中，所述上文源文本为所述篇章级文本中的在所述待翻译文本之前的至少一条单位文本，所述下文源文本为所述篇章级文本中的在所述待翻译文本之后的至少一条单位文本，所述上文目标文本为对所述上文源文本进行翻译后的文本；
根据所述关联文本对所述待翻译文本进行翻译。
在本实施例的一种实现方式中，所述处理器803还用于调用所述存储器801存储的程序指令执行如下操作：
利用预先构建的编解码模型，来根据所述关联文本对所述待翻译文本进行翻译。
在本实施例的一种实现方式中，所述处理器803还用于调用所述存储器801存储的程序指令执行如下操作：
对所述待翻译文本进行编码得到初始编码结果，所述初始编码结果用于表达所述待翻译文本的语义信息；
对所述关联文本进行编码得到关联编码结果，所述关联编码结果用于表达所述关联文本的语义信息；
利用所述关联编码结果中的全部或部分编码结果处理所述初始编码结果，得到目标编码结果，所述目标编码结果用于表达所述待翻译文本的语义信息、且携带了所述关联文本中的全部或部分语义信息；
通过对所述目标编码结果进行解码，以实现对所述待翻译文本的翻译。
在本实施例的一种实现方式中，所述处理器803还用于调用所述存储器801存储的程序指令执行如下操作：
对所述待翻译文本的各个单词进行编码，得到初始编码结果；
对所述关联文本中的每一文本单位的各个单词进行编码，得到分别对应于每一文本单位的编码结果，并将这些编码结果作为关联编码结果。
在本实施例的一种实现方式中，所述处理器803还用于调用所述存储器801存储的程序指令执行如下操作：
对所述待翻译文本的各个单词的编码结果进行累加，得到对应于所述待翻译文本的累加结果；
若所述关联文本中包括所述上文源文本，则对所述上文源文本中每一单位文本的各个单词的编码结果分别进行累加，得到对应于每一单位文本的累加结果；
若所述关联文本中包括所述下文源文本，则对所述下文源文本中每一单位文本的各个单词的编码结果分别进行累加，得到对应于每一单位文本的累加结果；
若所述关联文本中包括所述上文目标文本，则对所述上文目标文本中每一单位文本的各个单词的编码结果分别进行累加，得到对应于每一单位文本的累加结果。
在本实施例的一种实现方式中，所述处理器803还用于调用所述存储器801存储的程序指令执行如下操作：
若所述关联文本中包括所述上文源文本，则确定所述关联编码结果中属于所述上文源文本的编码结果；
若所述关联文本中包括所述下文源文本，则确定所述关联编码结果中属于所述下文源文本的编码结果；
根据确定的编码结果，处理所述初始编码结果。
在本实施例的一种实现方式中，所述处理器803还用于调用所述存储器801存储的程序指令执行如下操作：
若所述关联文本中包括所述上文源文本，则根据所述待翻译文本的初始编码结果与所述上文源文本的编码结果，确定所述待翻译文本与所述上文源文本之间的相关程度；
若所述关联文本中包括所述下文源文本，则根据所述待翻译文本的初始编码结果与所述下文源文本的编码结果，确定所述待翻译文本与所述下文源文本之间的相关程度；
根据确定的编码结果以及确定的相关程度，处理所述初始编码结果。
在本实施例的一种实现方式中，所述处理器803还用于调用所述存储器801存储的程序指令执行如下操作：
若所述关联文本中包括所述上文目标文本，则利用所述关联编码结果中属于所述上文目标文本的编码结果，对所述目标编码结果进行解码。
在本实施例的一种实现方式中，所述处理器803还用于调用所述存储器801存储的程序指令执行如下操作：
确定所述待翻译文本与所述上文目标文本之间的相关程度；
根据确定的相关程度以及所述上文目标文本的编码结果，对所述目标编码结果进行解码。
在本实施例的一种实现方式中，所述处理器803还用于调用所述存储器801存储的程序指令执行如下操作：
将所述待翻译文本与所述上文源文本之间的相关程度，作为所述待翻译文本与所述上文目标文本之间的相关程度。
在一些实施方式中，所述处理器803可以为中央处理器(Central ProcessingUnit，CPU)，所述存储器801可以为随机存取存储器(Random Access Memory，RAM)类型的内部存储器，所述接收器802可以包含普通物理接口，所述物理接口可以为以太(Ethernet)接口或异步传输模式(Asynchronous Transfer Mode，ATM)接口。所述处理器803、接收器802和存储器801可以集成为一个或多个独立的电路或硬件，如：专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)。
进一步地，本实施例还提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述篇章级文本翻译方法中的任意一种实现方式。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备，等等)执行本申请各个实施例或者实施例的某些部分所述的方法。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (16)

1.一种篇章级文本翻译方法，其特征在于，包括：
获取待翻译文本，所述待翻译文本为待翻译的篇章级文本中的单位文本；
获取所述待翻译文本的关联文本，所述关联文本包括上文源文本、下文源文本以及上文目标文本中的至少一项；
其中，所述上文源文本为所述篇章级文本中的在所述待翻译文本之前的至少一条单位文本，所述下文源文本为所述篇章级文本中的在所述待翻译文本之后的至少一条单位文本，所述上文目标文本为对所述上文源文本进行翻译后的文本；
根据所述关联文本对所述待翻译文本进行翻译。
2.根据权利要求1所述的方法，其特征在于，所述根据所述关联文本对所述待翻译文本进行翻译，包括：
利用预先构建的编解码模型，来根据所述关联文本对所述待翻译文本进行翻译。
3.根据权利要求2所述的方法，其特征在于，所述根据所述关联文本对所述待翻译文本进行翻译，包括：
对所述待翻译文本进行编码得到初始编码结果，所述初始编码结果用于表达所述待翻译文本的语义信息；
对所述关联文本进行编码得到关联编码结果，所述关联编码结果用于表达所述关联文本的语义信息；
利用所述关联编码结果中的全部或部分编码结果处理所述初始编码结果，得到目标编码结果，所述目标编码结果用于表达所述待翻译文本的语义信息，并且所述目标编码结果携带了所述关联文本中的全部或部分语义信息；
通过对所述目标编码结果进行解码，以实现对所述待翻译文本的翻译。
4.根据权利要求3所述的方法，其特征在于，所述对所述待翻译文本进行编码得到初始编码结果，包括：
对所述待翻译文本的各个单词进行编码，得到初始编码结果；
相应地，所述对所述关联文本进行编码得到关联编码结果，包括：
对所述关联文本中的每一文本单位的各个单词进行编码，得到分别对应于每一文本单位的编码结果，并将这些编码结果作为关联编码结果。
5.根据权利要求4所述的方法，其特征在于，所述对所述待翻译文本的各个单词进行编码之后，还包括：
对所述待翻译文本的各个单词的编码结果进行累加，得到对应于所述待翻译文本的累加结果；
相应地，所述对所述关联文本中的每一文本单位的各个单词进行编码之后，还包括：
若所述关联文本中包括所述上文源文本，则对所述上文源文本中每一单位文本的各个单词的编码结果分别进行累加，得到对应于每一单位文本的累加结果；
若所述关联文本中包括所述下文源文本，则对所述下文源文本中每一单位文本的各个单词的编码结果分别进行累加，得到对应于每一单位文本的累加结果；
若所述关联文本中包括所述上文目标文本，则对所述上文目标文本中每一单位文本的各个单词的编码结果分别进行累加，得到对应于每一单位文本的累加结果。
6.根据权利要求3所述的方法，其特征在于，所述利用所述关联编码结果中的全部或部分编码结果处理所述初始编码结果，包括：
若所述关联文本中包括所述上文源文本，则确定所述关联编码结果中属于所述上文源文本的编码结果；
若所述关联文本中包括所述下文源文本，则确定所述关联编码结果中属于所述下文源文本的编码结果；
根据确定的编码结果，处理所述初始编码结果。
7.根据权利要求6所述的方法，其特征在于，所述根据确定的编码结果，处理所述初始编码结果，包括：
若所述关联文本中包括所述上文源文本，则根据所述待翻译文本的初始编码结果与所述上文源文本的编码结果，确定所述待翻译文本与所述上文源文本之间的相关程度；
若所述关联文本中包括所述下文源文本，则根据所述待翻译文本的初始编码结果与所述下文源文本的编码结果，确定所述待翻译文本与所述下文源文本之间的相关程度；
根据确定的编码结果以及确定的相关程度，处理所述初始编码结果。
8.根据权利要求3至7任一项所述的方法，其特征在于，所述通过对所述目标编码结果进行解码，以实现对所述待翻译文本的翻译，包括：
若所述关联文本中包括所述上文目标文本，则利用所述关联编码结果中属于所述上文目标文本的编码结果，对所述目标编码结果进行解码。
9.根据权利要求8所述的方法，其特征在于，所述利用所述关联编码结果中属于所述上文目标文本的编码结果，对所述目标编码结果进行解码，包括：
确定所述待翻译文本与所述上文目标文本之间的相关程度；
根据确定的相关程度以及所述上文目标文本的编码结果，对所述目标编码结果进行解码。
10.根据权利要求9所述的方法，其特征在于，所述确定所述待翻译文本与所述上文目标文本之间的相关程度，包括：
将所述待翻译文本与所述上文源文本之间的相关程度，作为所述待翻译文本与所述上文目标文本之间的相关程度。
11.一种篇章级文本翻译装置，其特征在于，包括：
待翻译文本获取单元，用于获取待翻译文本，所述待翻译文本为待翻译的篇章级文本中的单位文本；
关联文本获取单元，用于获取所述待翻译文本的关联文本，所述关联文本包括上文源文本、下文源文本以及上文目标文本中的至少一项；其中，所述上文源文本为所述篇章级文本中的在所述待翻译文本之前的至少一条单位文本，所述下文源文本为所述篇章级文本中的在所述待翻译文本之后的至少一条单位文本，所述上文目标文本为对所述上文源文本进行翻译后的文本；
待翻译文本翻译单元，用于根据所述关联文本对所述待翻译文本进行翻译。
12.根据权利要求11所述的装置，其特征在于，所述待翻译文本翻译单元，具体用于利用预先构建的编解码模型，来根据所述关联文本对所述待翻译文本进行翻译。
13.根据权利要求12所述的装置，其特征在于，所述待翻译文本翻译单元包括：
第一编码子单元，用于对所述待翻译文本进行编码得到初始编码结果，所述初始编码结果用于表达所述待翻译文本的语义信息；
第二编码子单元，用于对所述关联文本进行编码得到关联编码结果，所述关联编码结果用于表达所述关联文本的语义信息；
结果处理子单元，用于利用所述关联编码结果中的全部或部分编码结果处理所述初始编码结果，得到目标编码结果，所述目标编码结果用于表达所述待翻译文本的语义信息，并且所述目标编码结果携带了所述关联文本中的全部或部分语义信息；
解码实现子单元，用于通过对所述目标编码结果进行解码，以实现对所述待翻译文本的翻译。
14.根据权利要求13所述的装置，其特征在于，所述解码实现子单元，具体用于若所述关联文本中包括所述上文目标文本，则利用所述关联编码结果中属于所述上文目标文本的编码结果，对所述目标编码结果进行解码。
15.一种计算机设备，其特征在于，包括：处理器、存储器、系统总线；
所述处理器以及所述存储器通过所述系统总线相连；
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行如权利要求1-10任一项所述的方法。
16.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-10任意一项所述的方法。
CN201810463138.3A 2018-05-15 2018-05-15 一种篇章级文本翻译方法及装置 Active CN110489761B (zh)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201810463138.3A CN110489761B (zh) 2018-05-15 2018-05-15 一种篇章级文本翻译方法及装置
NZ770794A NZ770794A (en) 2018-05-15 2019-04-10 Chapter-level text translation method and device
PCT/CN2019/082039 WO2019218809A1 (zh) 2018-05-15 2019-04-10 一种篇章级文本翻译方法及装置
US17/055,154 US11694041B2 (en) 2018-05-15 2019-04-10 Chapter-level text translation method and device
JP2020563948A JP7278309B2 (ja) 2018-05-15 2019-04-10 文章レベルテキストの翻訳方法及び装置
AU2019270109A AU2019270109B2 (en) 2018-05-15 2019-04-10 Chapter-level text translation method and device
EP19804567.6A EP3796191A4 (en) 2018-05-15 2019-04-10 CHAPTER LEVEL TEXT TRANSLATION METHOD AND DEVICE
KR1020207035704A KR102550340B1 (ko) 2018-05-15 2019-04-10 챕터-레벨 텍스트 번역 방법 및 디바이스

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810463138.3A CN110489761B (zh) 2018-05-15 2018-05-15 一种篇章级文本翻译方法及装置

Publications (2)

Publication Number Publication Date
CN110489761A CN110489761A (zh) 2019-11-22
CN110489761B true CN110489761B (zh) 2021-02-02

Family

ID=68539405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810463138.3A Active CN110489761B (zh) 2018-05-15 2018-05-15 一种篇章级文本翻译方法及装置

Country Status (8)

Country Link
US (1) US11694041B2 (zh)
EP (1) EP3796191A4 (zh)
JP (1) JP7278309B2 (zh)
KR (1) KR102550340B1 (zh)
CN (1) CN110489761B (zh)
AU (1) AU2019270109B2 (zh)
NZ (1) NZ770794A (zh)
WO (1) WO2019218809A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597830A (zh) * 2020-05-20 2020-08-28 腾讯科技（深圳）有限公司 基于多模态机器学习的翻译方法、装置、设备及存储介质
CN111859998A (zh) * 2020-06-18 2020-10-30 北京百度网讯科技有限公司 篇章翻译的方法、装置、电子设备和可读存储介质
CN116882423B (zh) * 2023-09-06 2023-11-17 中国科学院自动化研究所 文本翻译方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101826072A (zh) * 2009-03-02 2010-09-08 Sdl有限公司 计算机辅助自然语言翻译
CN107368476A (zh) * 2017-07-25 2017-11-21 深圳市腾讯计算机系统有限公司 一种翻译的方法、目标信息确定的方法及相关装置
US20180121423A1 (en) * 2013-02-08 2018-05-03 Machine Zone, Inc. Systems and methods for multi-user multi-lingual communications

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3952216B2 (ja) 1995-11-27 2007-08-01 富士通株式会社 翻訳装置及び辞書検索装置
CN1643511A (zh) * 2002-03-11 2005-07-20 南加利福尼亚大学 命名实体翻译
US8612203B2 (en) 2005-06-17 2013-12-17 National Research Council Of Canada Statistical machine translation adapted to context
US9053090B2 (en) * 2006-10-10 2015-06-09 Abbyy Infopoisk Llc Translating texts between languages
US8606607B2 (en) * 2007-01-03 2013-12-10 Vistaprint Schweiz Gmbh Translation processing using a translation memory
RU2518946C1 (ru) 2012-11-27 2014-06-10 Александр Александрович Харламов Способ автоматизированной семантической индексации текста на естественном языке
US9817821B2 (en) 2012-12-19 2017-11-14 Abbyy Development Llc Translation and dictionary selection by context
US9836457B2 (en) 2015-05-25 2017-12-05 Panasonic Intellectual Property Corporation Of America Machine translation method for performing translation between languages
CN106484681B (zh) 2015-08-25 2019-07-09 阿里巴巴集团控股有限公司 一种生成候选译文的方法、装置及电子设备
RU2628202C1 (ru) 2016-04-11 2017-08-15 Михаил Маркович Гольдреер Адаптивный контекстно-тематический машинный перевод
CN105912533B (zh) 2016-04-12 2019-02-12 苏州大学 面向神经机器翻译的长句切分方法及装置
CN106126507B (zh) 2016-06-22 2019-08-09 哈尔滨工业大学深圳研究生院 一种基于字符编码的深度神经翻译方法及系统
RU172882U1 (ru) 2016-07-20 2017-07-28 Общество с ограниченной ответственностью "Технологии управления переводом" Устройство для автоматического перевода текста
KR102577584B1 (ko) 2016-08-16 2023-09-12 삼성전자주식회사 기계 번역 방법 및 장치
US10706351B2 (en) 2016-08-30 2020-07-07 American Software Safety Reliability Company Recurrent encoder and decoder
CN107818086B (zh) 2016-09-13 2021-08-10 株式会社东芝 机器翻译方法和装置
US11113480B2 (en) 2016-09-26 2021-09-07 Google Llc Neural machine translation systems
CN107943794A (zh) 2016-10-12 2018-04-20 阿里巴巴集团控股有限公司 一种翻译方法及系统
KR20190041790A (ko) * 2017-10-13 2019-04-23 한국전자통신연구원 신경망 번역 모델 구축 장치 및 방법
WO2019079922A1 (zh) * 2017-10-23 2019-05-02 腾讯科技（深圳）有限公司 会话信息处理方法及其装置、存储介质
KR102069692B1 (ko) * 2017-10-26 2020-01-23 한국전자통신연구원 신경망 기계번역 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101826072A (zh) * 2009-03-02 2010-09-08 Sdl有限公司 计算机辅助自然语言翻译
US20180121423A1 (en) * 2013-02-08 2018-05-03 Machine Zone, Inc. Systems and methods for multi-user multi-lingual communications
CN107368476A (zh) * 2017-07-25 2017-11-21 深圳市腾讯计算机系统有限公司 一种翻译的方法、目标信息确定的方法及相关装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Syntactic Rule-Based Approach for Extracting Concepts from Quranic Translation Text;Mohd Zabidin Husin et al.;《2017 6th International Conference on Electrical Engineering and Informatics》;20171125;第1-6页 *
篇章类型与翻译方法的结合与应用;刘冬妮;《语文学刊(外语教育教学)》;20120131(第1期);第85-86页，第88页 *

Also Published As

Publication number Publication date
EP3796191A1 (en) 2021-03-24
JP2021524095A (ja) 2021-09-09
AU2019270109B2 (en) 2022-10-20
KR102550340B1 (ko) 2023-06-30
NZ770794A (en) 2022-10-28
CN110489761A (zh) 2019-11-22
EP3796191A4 (en) 2022-03-02
JP7278309B2 (ja) 2023-05-19
US11694041B2 (en) 2023-07-04
AU2019270109A1 (en) 2021-02-04
US20210150154A1 (en) 2021-05-20
WO2019218809A1 (zh) 2019-11-21
KR20210003284A (ko) 2021-01-11

Similar Documents

Publication Publication Date Title
CN112528672B (zh) 一种基于图卷积神经网络的方面级情感分析方法及装置
CN108959312B (zh) 一种多文档摘要生成的方法、装置和终端
CN110032633B (zh) 多轮对话处理方法、装置和设备
CN111368565A (zh) 文本翻译方法、装置、存储介质和计算机设备
CN109190134B (zh) 一种文本翻译方法及装置
CN108132932B (zh) 带有复制机制的神经机器翻译方法
CN110489761B (zh) 一种篇章级文本翻译方法及装置
JP6677419B2 (ja) 音声対話方法及び装置
CN111401084A (zh) 一种机器翻译的方法、设备以及计算机可读存储介质
CN113158687B (zh) 语义的消歧方法及装置、存储介质、电子装置
KR20190045650A (ko) 계층적 포인터 네트워크를 이용한 상호참조해결 시스템 및 방법
JP2021033995A (ja) テキスト処理装置、方法、デバイス及びコンピューター読み取り可能な記憶媒体
CN110263304B (zh) 语句编码方法、语句解码方法、装置、存储介质及设备
CN110807335A (zh) 基于机器学习的翻译方法、装置、设备及存储介质
CN109979461B (zh) 一种语音翻译方法及装置
CN112417155B (zh) 基于指针-生成Seq2Seq模型的庭审询问生成方法、装置、介质
CN112951209A (zh) 一种语音识别方法、装置、设备及计算机可读存储介质
JP7211103B2 (ja) 系列ラベリング装置、系列ラベリング方法、およびプログラム
CN112989794A (zh) 模型训练方法、装置、智能机器人和存储介质
CN115422939A (zh) 一种基于大数据的细粒度商品命名实体识别方法
CN110442706B (zh) 一种文本摘要生成的方法、系统、设备及存储介质
CN114398875A (zh) 一种纠错模型的训练方法、检索词纠错方法、设备及介质
RU2779526C2 (ru) Способ и устройство для перевода текста на уровне дискурса
CN114091429A (zh) 基于异构图神经网络的文本摘要生成方法及系统
CN114756693B (zh) 对话生成方法、相关设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant