CN111027333A - 篇章翻译方法和装置 - Google Patents

篇章翻译方法和装置 Download PDF

Info

Publication number
CN111027333A
CN111027333A CN201911323281.3A CN201911323281A CN111027333A CN 111027333 A CN111027333 A CN 111027333A CN 201911323281 A CN201911323281 A CN 201911323281A CN 111027333 A CN111027333 A CN 111027333A
Authority
CN
China
Prior art keywords
source language
sentences
sentence
language
chapters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911323281.3A
Other languages
English (en)
Other versions
CN111027333B (zh
Inventor
张睿卿
张传强
熊皓
何中军
李芝
吴华
王海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201911323281.3A priority Critical patent/CN111027333B/zh
Publication of CN111027333A publication Critical patent/CN111027333A/zh
Application granted granted Critical
Publication of CN111027333B publication Critical patent/CN111027333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Machine Translation (AREA)

Abstract

本申请实施例公开了篇章翻译方法和装置。该方法的一具体实施方式包括:获取源语言篇章;对源语言篇章进行句子切分,生成N个源语言句子,其中,N为正整数;对于N个源语言句子中的第i个源语言句子,基于前i个源语言句子和前i‑1个源语言句子对应的前i‑1个目标语言句子,翻译出第i个源语言句子对应的第i个目标语言句子,其中,i为不大于N的正整数;基于N个源语言句子对应的N个目标语言句子,生成源语言篇章对应的目标语言篇章。该实施方式在翻译源语言篇章中的源语言句子时,不仅考虑当前源语言句子,还考虑当前源语言句子的历史源语言句子以及对应的历史目标语言句子,结合源语言篇章中的上文信息翻译每个源语言句子,提高了篇章翻译的准确度。

Description

篇章翻译方法和装置
技术领域
本申请实施例涉及计算机技术领域,具体涉及篇章翻译方法和装置。
背景技术
篇章是由具有衔接性和连贯性的一连串句子组成的,其不仅仅是一连串句子的集合,更是一个结构完整、功能明确的语义统一体。
目前,对篇章进行翻译时,通常是将篇章以句子为单位进行切分,然后对每一个句子分别进行单独翻译,最后将单独翻译出的句子进行拼接,得到翻译后的篇章。
发明内容
本申请实施例提出了篇章翻译方法和装置。
第一方面,本申请实施例提出了一种篇章翻译方法,包括:获取源语言篇章;对源语言篇章进行句子切分,生成N个源语言句子,其中,N为正整数;对于N个源语言句子中的第i个源语言句子,基于前i个源语言句子和前i-1个源语言句子对应的前i-1个目标语言句子,翻译出第i个源语言句子对应的第i个目标语言句子,其中,i为不大于N的正整数;基于N个源语言句子对应的N个目标语言句子,生成源语言篇章对应的目标语言篇章。
在一些实施例中,基于前i个源语言句子和前i-1个源语言句子对应的前i-1个目标语言句子,翻译出第i个源语言句子对应的第i个目标语言句子,包括:对前i个源语言句子合并,生成源语言合并句子;基于前i-1个目标语言句子对源语言合并句子进行翻译,得到源语言合并句子对应的目标语言合并句子。
在一些实施例中,对前i个源语言句子合并,生成源语言合并句子,包括:对于前i个源语言句子,将前i-1个源语言句子中的句号替换为逗号,连接成源语言合并句子。
在一些实施例中,基于前i-1个目标语言句子对源语言合并句子进行翻译,得到源语言合并句子对应的目标语言合并句子,包括:对源语言合并句子编码,得到源语言合并句子向量;对源语言合并句子向量强制解码,得到前i-1个目标语言句子,以及继续对源语言合并句子向量解码,得到目标语言合并句子。
在一些实施例中,该方法还包括:基于源语言篇章和目标语言篇章生成训练样本;将训练样本中的目标语言篇章作为输入,将训练样本中的源语言篇章作为输出,训练得到篇章翻译模型。
第二方面,本申请实施例提出了一种篇章翻译装置,包括:篇章获取单元,被配置成获取源语言篇章;篇章切分单元,被配置成对源语言篇章进行句子切分,生成N个源语言句子,其中,N为正整数;篇章翻译单元,被配置成对于N个源语言句子中的第i个源语言句子,基于前i个源语言句子和前i-1个源语言句子对应的前i-1个目标语言句子,翻译出第i个源语言句子对应的第i个目标语言句子,其中,i为不大于N的正整数;篇章生成单元,被配置成基于N个源语言句子对应的N个目标语言句子,生成源语言篇章对应的目标语言篇章。
在一些实施例中,篇章翻译单元包括:句子合并子单元,被配置成对前i个源语言句子合并,生成源语言合并句子;句子翻译子单元,被配置成基于前i-1个目标语言句子对源语言合并句子进行翻译,得到源语言合并句子对应的目标语言合并句子。
在一些实施例中,句子合并子单元进一步被配置成:对于前i个源语言句子,将前i-1个源语言句子中的句号替换为逗号,连接成源语言合并句子。
在一些实施例中,句子翻译子单元进一步被配置成:对源语言合并句子编码,得到源语言合并句子向量;对源语言合并句子向量强制解码,得到前i-1个目标语言句子,以及继续对源语言合并句子向量解码,得到目标语言合并句子。
在一些实施例中,该装置还包括:样本生成单元,被配置成基于源语言篇章和目标语言篇章生成训练样本;模型训练单元,被配置成将训练样本中的目标语言篇章作为输入,将训练样本中的源语言篇章作为输出,训练得到篇章翻译模型。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括:一个或多个处理器;存储装置,其上存储有一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面,本申请实施例提供了一种计算机可读介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本申请实施例提供的篇章翻译方法和装置,首先获取源语言篇章;之后对源语言篇章进行句子切分,生成N个源语言句子;然后对于N个源语言句子中的第i个源语言句子,基于前i个源语言句子和前i-1个源语言句子对应的前i-1个目标语言句子,翻译出第i个源语言句子对应的第i个目标语言句子;最后基于N个源语言句子对应的N个目标语言句子,生成源语言篇章对应的目标语言篇章。在翻译源语言篇章中的源语言句子时,不仅考虑当前源语言句子,还考虑当前源语言句子的历史源语言句子以及对应的历史目标语言句子,结合源语言篇章中的上文信息翻译每个源语言句子,提高了篇章翻译的准确度,使得翻译出的目标语言篇章更贴近实际。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构;
图2是根据本申请的篇章翻译方法的一个实施例的流程图;
图3是根据本申请的篇章翻译方法的又一个实施例的流程图;
图4是现有的篇章翻译模型训练过程的示意图;
图5是现有的篇章翻译模型预测过程的示意图;
图6是本申请的篇章翻译模型训练过程的示意图;
图7是本申请的篇章翻译模型预测过程的示意图;
图8是根据本申请的篇章翻译装置的一个实施例的结构示意图;
图9是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于提取信息的方法或用于提取信息的装置的实施例的示例性系统架构100。
如图1所示,系统架构100中可以包括终端设备101、网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101通过网络102与服务器103交互,以接收或发送消息等。终端设备101上可以安装有各种通讯客户端应用,例如网页浏览类应用等。
终端设备101可以是硬件,也可以是软件。当终端设备101为硬件时,可以是各种电子设备。包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101为软件时,可以安装在上述电子设备中。其可以实现成多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
服务器103可以提供各种服务。例如服务器103可以对从终端设备101获取到的源语言篇章等数据进行分析等处理,并生成处理结果(例如目标语言篇章)。
需要说明的是,服务器103可以是硬件,也可以是软件。当服务器103为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器103为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是,本申请实施例所提供的篇章翻译方法一般由服务器103执行,相应地,篇章翻译装置一般设置于服务器103中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,其示出了根据本申请的篇章翻译方法的一个实施例的流程200。该篇章翻译方法包括以下步骤:
步骤201,获取源语言篇章。
在本实施例中,篇章翻译方法的执行主体(例如图1所示的服务器103)可以从与其通信连接的终端设备(例如图1所示的终端设备101)获取源语言篇章。其中,源语言篇章可以是由多个句子组成的任意语种的一个段落。源语言篇章的语种可以包括但不限于汉语、英语、法语、德语、日语等等。例如,“舒克认识了贝塔。两只小老鼠不打不相识。很快成为了好朋友。”就可以是一个源语言篇章。
步骤202,对源语言篇章进行句子切分,生成N个源语言句子。
在本实施例中,上述执行主体可以对源语言篇章进行句子切分,生成N个源语言句子。其中,N为正整数,且其值等于源语言篇章包括的句子的数目。例如,源语言篇章“舒克认识了贝塔。两只小老鼠不打不相识。很快成为了好朋友。”可以切分成“舒克认识了贝塔。”、“两只小老鼠不打不相识。”和“很快成为了好朋友。”三个源语言句子。
步骤203,对于N个源语言句子中的第i个源语言句子,基于前i个源语言句子和前i-1个源语言句子对应的前i-1个目标语言句子,翻译出第i个源语言句子对应的第i个目标语言句子。
在本实施例中,对于N个源语言句子中的第i个源语言句子,上述执行主体可以基于前i个源语言句子和前i-1个源语言句子对应的前i-1个目标语言句子,翻译出第i个源语言句子对应的第i个目标语言句子。其中,i为不大于N的正整数。目标语言句子可以是不同于源语言句子的语种的句子。例如,源语言句子是汉语句子,其对应的目标语言句子可以是英语句子。
通常,在翻译源语言篇章中的源语言句子时,不仅考虑当前源语言句子,还考虑当前源语言句子的历史源语言句子以及对应的历史目标语言句子。对于第一个源语言句子,由于其不存在历史源语言句子,就直接对其进行翻译即可。例如,对于第一个源语言句子“舒克认识了贝塔。”,直接翻译出其对应第一个目标语言句子“Shuke met Beta”。对于第二个源语言句子“两只小老鼠不打不相识。”,基于前两个源语言句子“舒克认识了贝塔。”、“两只小老鼠不打不相识。”和第一个目标语言句子“Shuke met Beta”,翻译出第二个目标语言句子“,and the two little mice fight and know each other”。对于第三个源语言句子“很快成为了好朋友。”,基于前三个源语言句子“舒克认识了贝塔。”、“两只小老鼠不打不相识。”、“很快成为了好朋友。”和前两个目标语言句子“Shuke met Beta”、“,and the twolittle mice fight and know each other”,翻译出第三个目标语言句子“,and soonbecome good friends.”。
在本实施例的一些可选的实现方式中,上述执行主体可以通过如下步骤进行翻译:
首先,对前i个源语言句子合并,生成源语言合并句子。
可选地,对于前i个源语言句子,上述执行主体可以将前i-1个源语言句子中的句号替换为逗号,连接成源语言合并句子。例如,对于前三个源语言句子“舒克认识了贝塔。”、“两只小老鼠不打不相识。”、“很快成为了好朋友。”,上述执行主体可以将其连接成“舒克认识了贝塔,两只小老鼠不打不相识,很快成为了好朋友。”。
然后,基于前i-1个目标语言句子对源语言合并句子进行翻译,得到源语言合并句子对应的目标语言合并句子。
可选地,上述执行主体可以首先对源语言合并句子编码,得到源语言合并句子向量;然后对源语言合并句子向量强制解码,得到前i-1个目标语言句子,以及继续对源语言合并句子向量解码,得到目标语言合并句子。通常,源语言合并句子可以编码成一个固定维度的连续值向量。例如,上述执行主体可以首先对源语言合并句子“舒克认识了贝塔,两只小老鼠不打不相识,很快成为了好朋友。”编码,然后对得到的源语言合并句子向量强制解码,得到前两个目标语言句子“Shuke met Beta,and the two little mice fight andknow each other”,最后继续对源语言合并句子向量解码,得到目标语言合并句子“Shukemet Beta,and the two little mice fight and know each other,and soon becomegood friends”。
步骤204,基于N个源语言句子对应的N个目标语言句子,生成源语言篇章对应的目标语言篇章。
在本实施例中,上述执行主体可以基于N个源语言句子对应的N个目标语言句子,生成源语言篇章对应的目标语言篇章。具体地,上述执行主体可以利用合适的标点符号对N个源语言句子对应的N个目标语言句子连接,生成源语言篇章对应的目标语言篇章。
本申请实施例提供的篇章翻译方法,首先获取源语言篇章;之后对源语言篇章进行句子切分,生成N个源语言句子;然后对于N个源语言句子中的第i个源语言句子,基于前i个源语言句子和前i-1个源语言句子对应的前i-1个目标语言句子,翻译出前i个源语言句子对应的前i个目标语言句子;最后基于N个源语言句子对应的N个目标语言句子,生成源语言篇章对应的目标语言篇章。在翻译源语言篇章中的源语言句子时,不仅考虑当前源语言句子,还考虑当前源语言句子的历史源语言句子以及对应的历史目标语言句子,结合源语言篇章中的上文信息翻译每个源语言句子,提高了篇章翻译的准确度,使得翻译出的目标语言篇章更贴近实际。
进一步参考图3,其示出了根据本申请的篇章翻译方法的又一个实施例的流程300。该篇章翻译方法包括以下步骤:
步骤301,获取源语言篇章。
步骤302,对源语言篇章进行句子切分,生成N个源语言句子。
步骤303,对于N个源语言句子中的第i个源语言句子,基于前i个源语言句子和前i-1个源语言句子对应的前i-1个目标语言句子,翻译出第i个源语言句子对应的第i个目标语言句子。
步骤304,基于N个源语言句子对应的N个目标语言句子,生成源语言篇章对应的目标语言篇章。
在本实施例中,步骤301-304的具体操作已在图2所示的实施例中步骤201-204中进行了详细的介绍,在此不再赘述。
步骤305,基于源语言篇章和目标语言篇章生成训练样本。
在本实施例中,篇章翻译方法的执行主体(例如图1所示的服务器103)可以基于源语言篇章和目标语言篇章生成训练样本。其中,源语言篇章和目标语言篇章中的任意一个可以作为训练样本的输入,而另外一个可以作为训练样本的输出。
步骤306,将训练样本中的目标语言篇章作为输入,将训练样本中的源语言篇章作为输出,训练得到篇章翻译模型。
在本实施例中,上述执行主体可以将训练样本中的目标语言篇章作为输入,将训练样本中的源语言篇章作为输出,训练得到篇章翻译模型。这样,当存在预测样本时,就可以直接将预测样本中的目标语言篇章输入至篇章翻译模型,翻译出对应的源语言篇章。
进一步参考图4,其示出了现有的篇章翻译模型训练过程的示意图。如图4所示,在现有技术中,对于汉语篇章“舒克认识了贝塔。两只小老鼠不打不相识。很快成为了好朋友。”,通过如下步骤训练篇章翻译模型:
第一步,对汉语篇章进行句子切分,生成三个汉语句子。
具体地,第一步的三个汉语句子是“舒克认识了贝塔。”、“两只小老鼠不打不相识。”和“很快成为了好朋友。”。
第二步,分别对第一步的三个汉语句子进行中译英翻译,得到三个英语句子。
具体地,第二步的三个英语句子是“Shuke met Beta.”、“The two little micefight and know each other.”和“It soon became a good friend.”。
第三步,分别对第二步的三个英语句子进行英译中翻译,得到三个汉语句子。
具体地,第三步的三个汉语句子是“舒克认识了贝塔。”、“两只小老鼠打架并认识了对方。”和“它很快就成为了一个好朋友。”。
第四步,合并第三步的三个汉语句子,得到汉语篇章。
具体地,第四步的汉语篇章是“舒克认识了贝塔。两只小老鼠打架并认识了对方。它很快就成为了一个好朋友。”。
第五步,将第四步的汉语篇章作为输入,将原始的汉语篇章作为输出,训练改写模型。
可见,第二步中译英翻译和第三步英译中翻译所用到的翻译模型都是非篇章中英互译训练样本训练出来的基线模型。也就是说,在翻译过程中不考虑篇章信息,而只参考当前句子的内容进行翻译。在训练过程中,只有第五步的改写模型,将按句子得到的汉语篇章改写成原始的汉语篇章。第三步英译中翻译所用到的基线翻译模型和第五步中的改写模型组成了现有的篇章翻译模型。
进一步参考图5,其示出了现有的篇章翻译模型预测过程的示意图。如图5所示,在现有技术中,对于英语篇章“Shuke met Beta.The two little mice fight and knoweach other.It soon became a good friend.”,现有的篇章翻译模型通过如下步骤进行预测:
第一步,对英语篇章进行句子切分,生成三个英语句子。
具体地,第一步的三个英语句子是“Shuke met Beta.”、“The two little micefight and know each other.”和“It soon became a good friend.”
第二步,利用英译中翻译所用到的基线翻译模型对第一步的三个英语句子进行英译中翻译,得到三个汉语句子。
具体地,第二步的三个汉语句子是“舒克认识了贝塔。”、“两只小老鼠不打不相识。”和“很快成为了好朋友。”。
第三步,合并第二步的三个汉语句子,得到汉语篇章。
具体地,第三步的汉语篇章是“舒克认识了贝塔。两只小老鼠打架并认识了对方。它很快就成为了一个好朋友。”。
第四步,利用改写模型对第三步的汉语篇章进行改写,得到最终的汉语篇章。
具体地,最终的汉语篇章是“舒克认识了贝塔。两只小老鼠不打不相识。很快成为了好朋友。”。
可见,英译中翻译所用到的基线翻译模型训练时采用的训练样本是汉语篇章切分成的汉语句子翻译出来的英语句子的拼接,其和实际中的英语篇章差距较大。例如,在实际中,根本不会存在“Shuke met Beta.The two little mice fight and know eachother.It soon became a good friend.”这样表述的英语篇章,训练样本与预测样本不一致,改写模型难以处理实际中的英语篇章,导致篇章翻译效果不佳。此外,在预测时,需要经过两个序列到序列的模型,即英译中翻译所用到的基线翻译模型和改写模型,加大了篇章翻译的复杂度,从而导致篇章翻译的耗时较长。
进一步参考图6,其示出了本申请的篇章翻译模型训练过程的示意图。如图6所示,在本申请中,对于汉语篇章“舒克认识了贝塔。两只小老鼠不打不相识。很快成为了好朋友。”,通过如下步骤训练篇章翻译模型:
第一步,对汉语篇章进行句子切分,生成三个汉语句子。
具体地,第一步的三个汉语句子是“舒克认识了贝塔。”、“两只小老鼠不打不相识。”和“很快成为了好朋友。”。
第二步,对于每个汉语句子,结合该汉语句子的上文信息进行中译英翻译,得到每个英语句子。
具体地,第二步的三个英语句子是“Shuke met Beta”、“,and the two littlemice fight and know each other”和“,and soon become good friends.”。
第三步,合并第二步的三个英语句子,生成英语篇章。
具体地,英语篇章是“Shuke met Beta,and the two little mice fight andknow each other,and soon become good friends.”。
第四步,基于汉语篇章和英语篇章生成训练样本。
第五步,将训练样本中的英语篇章作为输入,将训练样本中的汉语篇章作为输出,训练得到篇章翻译模型。
可见,在翻译汉语篇章中的汉语句子时,不仅考虑当前汉语句子,还考虑当前汉语句子的历史汉语句子以及对应的历史英语句子,结合汉语篇章中的上文信息翻译每个汉语句子,提高了翻译出的英语篇章的准确度,使得翻译出的英语篇章更贴近实际。利用更贴近实际的汉语篇章和英语篇章训练篇章翻译模型,提高了训练出的篇章翻译模型的翻译准确度。
进一步参考图7,其示出了本申请的篇章翻译模型预测过程的示意图。如图7所示,在本申请中,对于英语篇章“Shuke met Beta,and the two little mice fight and knoweach other,and soon become good friends.”,本申请的篇章翻译模型通过如下步骤进行预测:
利用篇章翻译模型直接对英语篇章进行英译中翻译,得到汉语篇章。
具体地,汉语篇章是“舒克认识了贝塔。两只小老鼠不打不相识。很快成为了好朋友。”
可见,训练样本和预测样本更一致,从而提高了训练出的篇章翻译模型的翻译准确度。此外,通过篇章翻译模型取代先翻译再改写的两步策略,大幅降低了篇章翻译的复杂度,从而大大减小了篇章翻译的耗时。
从图3中可以看出,与图2对应的实施例相比,本实施例中的篇章翻译方法的流程300增加了利用源语言篇章和目标语言篇章训练篇章翻译模型的步骤。由此,本实施例描述的方案利用源语言篇章和目标语言篇章生成训练样本来训练篇章翻译模型,训练样本中的目标语言篇章更贴近实际,训练样本和预测样本更一致,从而提高了训练出的篇章翻译模型的翻译准确度。此外,通过篇章翻译模型取代先翻译再改写的两步策略,大幅降低了篇章翻译的复杂度,从而大大减小了篇章翻译的耗时。
进一步参考图8,作为对上述各图所示的方法的实现,本申请提供了一种篇章翻译装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图8所示,本实施例的篇章翻译装置800可以包括:篇章获取单元801、篇章切分单元802、篇章翻译单元803和篇章生成单元804。其中,篇章获取单元801,被配置成获取源语言篇章;篇章切分单元802,被配置成对源语言篇章进行句子切分,生成N个源语言句子,其中,N为正整数;篇章翻译单元803,被配置成对于N个源语言句子中的第i个源语言句子,基于前i个源语言句子和前i-1个源语言句子对应的前i-1个目标语言句子,翻译出第i个源语言句子对应的第i个目标语言句子,其中,i为不大于N的正整数;篇章生成单元804,被配置成基于N个源语言句子对应的N个目标语言句子,生成源语言篇章对应的目标语言篇章。
在本实施例中,篇章翻译装置800中:篇章获取单元801、篇章切分单元802、篇章翻译单元803和篇章生成单元804的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-204的相关说明,在此不再赘述。
在本实施例的一些可选的实现方式中,篇章翻译单元803包括:句子合并子单元(图中未示出),被配置成对前i个源语言句子合并,生成源语言合并句子;句子翻译子单元(图中未示出),被配置成基于前i-1个目标语言句子对源语言合并句子进行翻译,得到源语言合并句子对应的目标语言合并句子。
在本实施例的一些可选的实现方式中,句子合并子单元进一步被配置成:对于前i个源语言句子,将前i-1个源语言句子中的句号替换为逗号,连接成源语言合并句子。
在本实施例的一些可选的实现方式中,句子翻译子单元进一步被配置成:对源语言合并句子编码,得到源语言合并句子向量;对源语言合并句子向量强制解码,得到前i-1个目标语言句子,以及继续对源语言合并句子向量解码,得到目标语言合并句子。
在本实施例的一些可选的实现方式中,篇章翻译装置800还包括:样本生成单元(图中未示出),被配置成基于源语言篇章和目标语言篇章生成训练样本;模型训练单元(图中未示出),被配置成将训练样本中的目标语言篇章作为输入,将训练样本中的源语言篇章作为输出,训练得到篇章翻译模型。
下面参考图9,其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器103)的计算机系统900的结构示意图。图9示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示,计算机系统900包括中央处理单元(CPU)901,其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中,还存储有系统900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905:包括键盘、鼠标等的输入部分906;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907;包括硬盘等的存储部分908;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器910上,以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分909从网络上被下载和安装,和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时,执行本申请的方法中限定的上述功能。
需要说明的是,本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,所述程序设计语言包括面向目标的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或电子设备上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括篇章获取单元、篇章切分单元、篇章翻译单元和篇章生成单元。其中,这些单元的名称在种情况下并不构成对该单元本身的限定,例如,篇章获取单元还可以被描述为“获取源语言篇章的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取源语言篇章;对源语言篇章进行句子切分,生成N个源语言句子,其中,N为正整数;对于N个源语言句子中的第i个源语言句子,基于前i个源语言句子和前i-1个源语言句子对应的前i-1个目标语言句子,翻译出前i个源语言句子对应的前i个目标语言句子,其中,i为不大于N的正整数;基于N个源语言句子对应的N个目标语言句子,生成源语言篇章对应的目标语言篇章。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种篇章翻译方法,包括:
获取源语言篇章;
对所述源语言篇章进行句子切分,生成N个源语言句子,其中,N为正整数;
对于所述N个源语言句子中的第i个源语言句子,基于前i个源语言句子和前i-1个源语言句子对应的前i-1个目标语言句子,翻译出第i个源语言句子对应的第i个目标语言句子,其中,i为不大于N的正整数;
基于所述N个源语言句子对应的N个目标语言句子,生成所述源语言篇章对应的目标语言篇章。
2.根据权利要求1所述的方法,其中,所述基于前i个源语言句子和前i-1个源语言句子对应的前i-1个目标语言句子,翻译出第i个源语言句子对应的第i个目标语言句子,包括:
对所述前i个源语言句子合并,生成源语言合并句子;
基于所述前i-1个目标语言句子对所述源语言合并句子进行翻译,得到所述源语言合并句子对应的目标语言合并句子。
3.根据权利要求2所述的方法,其中,所述对所述前i个源语言句子合并,生成源语言合并句子,包括:
对于所述前i个源语言句子,将所述前i-1个源语言句子中的句号替换为逗号,连接成所述源语言合并句子。
4.根据权利要求2所述的方法,其中,所述基于所述前i-1个目标语言句子对所述源语言合并句子进行翻译,得到所述源语言合并句子对应的目标语言合并句子,包括:
对所述源语言合并句子编码,得到源语言合并句子向量;
对所述源语言合并句子向量强制解码,得到所述前i-1个目标语言句子,以及继续对所述源语言合并句子向量解码,得到所述目标语言合并句子。
5.根据权利要求1-4之一所述的方法,其中,所述方法还包括:
基于所述源语言篇章和所述目标语言篇章生成训练样本;
将所述训练样本中的所述目标语言篇章作为输入,将所述训练样本中的所述源语言篇章作为输出,训练得到篇章翻译模型。
6.一种篇章翻译装置,包括:
篇章获取单元,被配置成获取源语言篇章;
篇章切分单元,被配置成对所述源语言篇章进行句子切分,生成N个源语言句子,其中,N为正整数;
篇章翻译单元,被配置成对于所述N个源语言句子中的第i个源语言句子,基于前i个源语言句子和前i-1个源语言句子对应的前i-1个目标语言句子,翻译出第i个源语言句子对应的第i个目标语言句子,其中,i为不大于N的正整数;
篇章生成单元,被配置成基于所述N个源语言句子对应的N个目标语言句子,生成所述源语言篇章对应的目标语言篇章。
7.根据权利要求6所述的装置,其中,所述篇章翻译单元包括:
句子合并子单元,被配置成对所述前i个源语言句子合并,生成源语言合并句子;
句子翻译子单元,被配置成基于所述前i-1个目标语言句子对所述源语言合并句子进行翻译,得到所述源语言合并句子对应的目标语言合并句子。
8.根据权利要求7所述的装置,其中,所述句子合并子单元进一步被配置成:
对于所述前i个源语言句子,将所述前i-1个源语言句子中的句号替换为逗号,连接成所述源语言合并句子。
9.根据权利要求7所述的装置,其中,所述句子翻译子单元进一步被配置成:
对所述源语言合并句子编码,得到源语言合并句子向量;
对所述源语言合并句子向量强制解码,得到所述前i-1个目标语言句子,以及继续对所述源语言合并句子向量解码,得到所述目标语言合并句子。
10.根据权利要求6-9之一所述的装置,其中,所述装置还包括:
样本生成单元,被配置成基于所述源语言篇章和所述目标语言篇章生成训练样本;
模型训练单元,被配置成将所述训练样本中的所述目标语言篇章作为输入,将所述训练样本中的所述源语言篇章作为输出,训练得到篇章翻译模型。
11.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
12.一种计算机可读介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法。
CN201911323281.3A 2019-12-20 2019-12-20 篇章翻译方法和装置 Active CN111027333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911323281.3A CN111027333B (zh) 2019-12-20 2019-12-20 篇章翻译方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911323281.3A CN111027333B (zh) 2019-12-20 2019-12-20 篇章翻译方法和装置

Publications (2)

Publication Number Publication Date
CN111027333A true CN111027333A (zh) 2020-04-17
CN111027333B CN111027333B (zh) 2023-07-21

Family

ID=70212495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911323281.3A Active CN111027333B (zh) 2019-12-20 2019-12-20 篇章翻译方法和装置

Country Status (1)

Country Link
CN (1) CN111027333B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111859998A (zh) * 2020-06-18 2020-10-30 北京百度网讯科技有限公司 篇章翻译的方法、装置、电子设备和可读存储介质
CN115114939A (zh) * 2022-04-28 2022-09-27 腾讯科技(深圳)有限公司 翻译模型的训练方法、语句翻译方法、装置、设备、程序

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101989260A (zh) * 2009-08-01 2011-03-23 中国科学院计算技术研究所 统计机器解码特征权重的训练方法和解码方法
CN103577394A (zh) * 2012-07-31 2014-02-12 阿里巴巴集团控股有限公司 一种基于双数组搜索树的机器翻译方法和装置
CN104915337A (zh) * 2015-06-18 2015-09-16 中国科学院自动化研究所 基于双语篇章结构信息的译文篇章完整性评估方法
US20160162478A1 (en) * 2014-11-25 2016-06-09 Lionbridge Techologies, Inc. Information technology platform for language translation and task management
WO2017035382A1 (en) * 2015-08-25 2017-03-02 Alibaba Group Holding Limited Method and system for generation of candidate translations
CN107870904A (zh) * 2017-11-22 2018-04-03 北京搜狗科技发展有限公司 一种翻译方法、装置以及用于翻译的装置
CN109344413A (zh) * 2018-10-16 2019-02-15 北京百度网讯科技有限公司 翻译处理方法和装置
CN109446534A (zh) * 2018-09-21 2019-03-08 清华大学 机器翻译方法及装置
CN109558605A (zh) * 2018-12-17 2019-04-02 北京百度网讯科技有限公司 用于翻译语句的方法和装置
CN110287498A (zh) * 2019-05-30 2019-09-27 北京百度网讯科技有限公司 层次化翻译方法、装置及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101989260A (zh) * 2009-08-01 2011-03-23 中国科学院计算技术研究所 统计机器解码特征权重的训练方法和解码方法
CN103577394A (zh) * 2012-07-31 2014-02-12 阿里巴巴集团控股有限公司 一种基于双数组搜索树的机器翻译方法和装置
US20160162478A1 (en) * 2014-11-25 2016-06-09 Lionbridge Techologies, Inc. Information technology platform for language translation and task management
CN104915337A (zh) * 2015-06-18 2015-09-16 中国科学院自动化研究所 基于双语篇章结构信息的译文篇章完整性评估方法
WO2017035382A1 (en) * 2015-08-25 2017-03-02 Alibaba Group Holding Limited Method and system for generation of candidate translations
CN107870904A (zh) * 2017-11-22 2018-04-03 北京搜狗科技发展有限公司 一种翻译方法、装置以及用于翻译的装置
CN109446534A (zh) * 2018-09-21 2019-03-08 清华大学 机器翻译方法及装置
CN109344413A (zh) * 2018-10-16 2019-02-15 北京百度网讯科技有限公司 翻译处理方法和装置
CN109558605A (zh) * 2018-12-17 2019-04-02 北京百度网讯科技有限公司 用于翻译语句的方法和装置
CN110287498A (zh) * 2019-05-30 2019-09-27 北京百度网讯科技有限公司 层次化翻译方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PHAN THI LE THUYEN; VO TRUNG HUNG: "Automatic translation for Vietnamese based on UNL language", IEEE *
李京谕;冯洋;: "基于联合注意力机制的篇章级机器翻译", 中文信息学报, no. 12 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111859998A (zh) * 2020-06-18 2020-10-30 北京百度网讯科技有限公司 篇章翻译的方法、装置、电子设备和可读存储介质
CN115114939A (zh) * 2022-04-28 2022-09-27 腾讯科技(深圳)有限公司 翻译模型的训练方法、语句翻译方法、装置、设备、程序
CN115114939B (zh) * 2022-04-28 2024-03-22 腾讯科技(深圳)有限公司 翻译模型的训练方法、语句翻译方法、装置、设备、程序

Also Published As

Publication number Publication date
CN111027333B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
KR102401942B1 (ko) 번역품질 평가 방법 및 장치
US10528667B2 (en) Artificial intelligence based method and apparatus for generating information
CN107729319B (zh) 用于输出信息的方法和装置
US20190065506A1 (en) Search method and apparatus based on artificial intelligence
JP7301922B2 (ja) 意味検索方法、装置、電子機器、記憶媒体およびコンピュータプログラム
CN107861954B (zh) 基于人工智能的信息输出方法和装置
US11758088B2 (en) Method and apparatus for aligning paragraph and video
CN109241286B (zh) 用于生成文本的方法和装置
CN111709240A (zh) 实体关系抽取方法、装置、设备及其存储介质
CN109359194B (zh) 用于预测信息类别的方法和装置
CN111241209B (zh) 用于生成信息的方法和装置
CN113159010A (zh) 视频分类方法、装置、设备和存储介质
CN112988753B (zh) 一种数据搜索方法和装置
KR20210122204A (ko) 대화 감정 스타일의 예측 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 제품
CN111027333B (zh) 篇章翻译方法和装置
CN114861889A (zh) 深度学习模型的训练方法、目标对象检测方法和装置
CN111104796B (zh) 用于翻译的方法和装置
CN112464642A (zh) 文本添加标点的方法、装置、介质及电子设备
CN112711943B (zh) 一种维吾尔文语种识别方法、装置及存储介质
CN110807097A (zh) 分析数据的方法和装置
CN109086438B (zh) 用于查询信息的方法和装置
US20230367972A1 (en) Method and apparatus for processing model data, electronic device, and computer readable medium
CN113268575B (zh) 一种实体关系识别方法、装置及可读介质
CN114841175A (zh) 机器翻译方法、装置、设备及存储介质
CN109857838B (zh) 用于生成信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant