CN110705317A - 翻译方法及相关装置 - Google Patents
翻译方法及相关装置 Download PDFInfo
- Publication number
- CN110705317A CN110705317A CN201910802302.3A CN201910802302A CN110705317A CN 110705317 A CN110705317 A CN 110705317A CN 201910802302 A CN201910802302 A CN 201910802302A CN 110705317 A CN110705317 A CN 110705317A
- Authority
- CN
- China
- Prior art keywords
- text
- language
- text segment
- segment
- translation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Machine Translation (AREA)
Abstract
本申请实施例公开了一种翻译方法及相关装置,方法包括:获取第一语言语音;处理所述第一语言语音得到待翻译的第一文本片段,所述第一文本片段为第一语言语境中的文本,所述第一文本片段至少包括一个未翻译过的文本单元;判断所述第一文本片段是否为第一个文本片段;若是,则根据所述第一文本片段,生成所述第一语言语音在第二语言语境中的第一翻译结果;若否,则获取至少一个第二文本片段;根据至少一个第二文本片段和所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果,所述第二文本片段为已有翻译结果对应于所述第一语言语境中的文本片段。通过本申请实施例,可以有效的降低翻译的时延。
Description
技术领域
本申请涉及电子设备技术领域,具体涉及一种翻译法及相关装置。
背景技术
目前的机器同传翻译方法通常利用语音识别技术自动识别说话人的讲话内容,将语音转化为文字,然后使用机器翻译引擎,将识别文字翻译为目标语言,显示在屏幕上,机器同传方法需要等待说话人说完一句完整的话才开始进行翻译,因此对于翻译至少造成一个句子的延迟,通常延迟达到10秒以上,翻译时延较大。
发明内容
本申请实施例提供了一种翻译方法及相关装置,可以有效减少翻译时延。
第一方面,本申请实施例提供一种翻译方法,包括:
获取第一语言语音;
处理所述第一语言语音得到待翻译的第一文本片段,所述第一文本片段为第一语言语境中的文本,所述第一文本片段至少包括一个未翻译过的文本单元;
判断所述第一文本片段是否为第一个文本片段;
若是,则根据所述第一文本片段,生成所述第一语言语音在第二语言语境中的第一翻译结果;
若否,则获取至少一个第二文本片段;根据至少一个第二文本片段和所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果,所述第二文本片段为已有翻译结果对应于所述第一语言语境中的文本片段。
第二方面,本申请实施例提供一种翻译装置,包括处理单元和通信单元,其中,
所述处理单元,用于通过控制所述通信单元获取第一语言语音,以及处理所述第一语言语音得到待翻译的第一文本片段,所述第一文本片段为第一语言语境中的文本,所述第一文本片段至少包括一个未翻译过的文本单元;以及判断所述第一文本片段是否为第一个文本片段;若是,则根据所述第一文本片段,生成所述第一语言语音在第二语言语境中的第一翻译结果;若否,则获取至少一个第二文本片段;根据至少一个第二文本片段和所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果,所述第二文本片段为已有翻译结果对应于所述第一语言语境中的文本片段。
第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出,本申请实施例中,在对第一语言语音翻译的过程中,通过对第一语言语音的文本进行片段划分,每当得到一个待翻译的第一文本片段,则对所述第一语言语音进行一次翻译,每次翻译的文本粒度大小取决于划分的文本片段的大小。而文本片段相对于完整的句子要小,因此翻译的过程中,不用等待一句完整的一句话之后,才进行一次翻译,从而可以有效的降低翻译的时延。另外,在每一个翻译周期内,翻译是将待翻译的第一文本片段结合多个已被翻译的第二文本片段来进行翻译,即每次翻译时,会涉及到前文,使得当前的翻译与前文的联系起来,从而可以提升翻译的质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本申请实施例提供的一种翻译系统的示意图;
图2a是本申请实施例提供的一种翻译方法的流程示意图;
图2b是本申请实施例提供的一种基于停顿时长划分文本片段的示意图;
图2c是本申请实施例提供的一种基于文本长度划分文本片段的示意图;
图3本申请实施例提供的一种电子设备的结构示意图;
图4本申请实施例提供的一种翻译装置的功能单元组成框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,图1为一个翻译系统100的示意图,该翻译系统100包括语音获取装置110、语音处理装置120,所述语音获取装置110连接所述语音处理装置120,语音获取装置110用于获取语音数据并发给语音处理装置120进行处理,语音处理装置120用于对语音数据进行处理并输出处理结果,该翻译系统100可以包括集成式单体设备或者多设备,为方便描述,本申请将翻译系统100统称为电子设备。显然该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(User Equipment,UE),移动台(Mobile Station,MS),终端设备(terminal device)等等。
同声传译,简称“同传”,是指译员在不打断说话人讲话的情况下,不间断地将语音内容口译给听众的一种翻译方式,同声传译员通过专用的设备提供即时的翻译,这种方式适用于大型的研讨会和国际会议,通常由两名到三名译员轮换进行。同传场景对于翻译的时效性要求非常高,翻译结果和语音内容之间的时间间隔一般要求在3秒以内,以保证观众可以及时的获取信息。人工同传的优势在于其低时延,但高质量翻译和低时延之间存在天然矛盾,要想获得高质量的翻译,需要等待演讲者更多的信息,时延就会变长,因此翻译时延和翻译质量是影响同声传译效果的最主要因素。
目前的机器同传翻译方法通常利用语音识别技术自动识别说话人的讲话内容,将语音转化为文字,然后使用机器翻译引擎,将识别文字翻译为目标语言,显示在屏幕上,机器同传方法需要等待说话人说完一句完整的话才开始进行翻译,因此对于翻译至少造成一个句子的延迟,通常延迟达到10秒以上,翻译时延较大。
基于此,本申请实施例提出一种翻译方法以解决上述问题,下面对本申请实施例进行详细介绍。
请参阅图2a,图2a是本申请实施例提供了一种翻译方法的流程示意图,应用于如图1所示的电子设备,如图所示,本翻译方法包括:
201:获取第一语言语音。
本申请实施例中的翻译方法的执行主体可以是上述电子设备,例如,上述图像处理方法可以由终端设备或服务器或其它处理设备执行,其中,电子设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该翻译方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
其中,上述第一语言语音是在第一语言语境下通过语音采集设备采集到的语音数据,上述第一语言语境可以是当前已有的任何一种语言对应的语境,例如上述第一语言语境可以是汉语语境、英语语境、俄语语境或法语语境等等。
在具体实现方式中,可以上述第一语言语音可以是通过麦克风或其他语音采集设备实时采集得到的实时语音数据,也可以是存电子设备、服务器或云端存储的语音数据。例如,上述第一语言语音可以是同声传译的场景下通过语音采集设备采集的实时语音数据。
202:处理所述第一语言语音得到待翻译的第一文本片段,所述第一文本片段为第一语言语境中的文本,所述第一文本片段至少包括一个未翻译过的文本单元。
其中,上述第一文本片段是对上述第一语言语音进行语音识别得到在第一语言语境下对应的第一语言文本中的一个文本片段;该文本片段中的文本内容可以是所述第一语言文本中未被翻译的文本内容的部分或全部内容,也可以是所述第一语言文本中已被翻译的文本内容的部分内容与所述第一语言文本中未被翻译的文本内容的部分或全部内容的组合。
所述文本单元是指在一种语言语境中的文本内容的表示单元,例如,在汉语语境中的文本单元可以是单个的汉字,也可以是单个的词语或短语,在英语语境中的文本单元是单个的英文单词或短语。
在一种具体实现方式中,当获取到上述第一语言语音后,可以通过已有的语音识别方法对所述第一语言语音进行语音识别,从而得到所述第一语言语音的第一语言文本。然后通过第一语言文本进行片段划分从而得到包含至少一个未被翻译过得文本单元的第一文本片段。
具体的,所述通过第一语言文本进行片段划分从而得到所述第一文本片段,可以是基于所述第一语言文本的文本长度对所述第一语言文本进行划分,也可以是基于所述第一语言文本中文本内容的语义信息对所述第一语言文本进行片段划分,还可以是通过结合所述第一语言语音的声学信息(例如,相邻的两个语音单元之间的停顿时长)以及所述第一语言语音与第一语言文本的对应关系来对所述第一语言文本进行片段划分。
203:判断所述第一文本片段是否为第一个文本片段。
其中,所述第一个文本片段是指,在执行本申请的翻译方法时,对所述第一语言语音进行处理的过程中,首次得到的文本片段。
在具体实现中,可以通过判断在第一文本片段之前是否存在其他的文本片段来确定所述第一文本片段是否为第一个文本片段。若是,则所述第一文本片段不是第一个文本片段;若否,则所述第一文本片段不是第一个文本片段。
204:若所述第一文本片段为第一个文本片段,则根据所述第一文本片段,生成所述第一语言语音在第二语言语境中的第一翻译结果。
其中,上述第二语言语境可以是当前已有的除所述第一语言之外的其他任何一种语言的语境,例如上述第二语言语境可以是汉语语境、英语语境、俄语语境或法语语境等等。
在具体实现中,当所述第一文本片段为第一个文本片段时,则可以直接使用文本片段翻译模型对所述第一文本片段进行翻译,并得到所述第一翻译结果。
205:若所述第一文本片段不是第一个文本片段,则获取至少一个第二文本片段;根据至少一个第二文本片段和所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果。
其中,所述第二文本片段为已有翻译结果在所述第一语言语境中对应的文本片段。进一步的,所述第二文本片段可以是在当前的第一文本片段之前已经被翻译过的第一文本片段,即在下一个翻译周期时,当前得到的第一文本片段则为第二文本片段。
在具体实现中,当确定所述第一文本片段不是第一个文本片段后,即该第一文本片段不是第一次得到,在该第一文本片段之前还得到过其他文本片段(即所述第二文本片段),则获取所述第一文本片段之前的至少一个第二文本片段,然后将获取到的至少一个第二文本片段和所述第一文本片段合并成一个文本片段,最后使用文本片段翻译模型对合并后的文本片段进行翻译并得到所述第二翻译结果。其中,所述文本片段翻译模型采用基于端到端的编码-解码翻译框架,网络结构可以采用RNN、CNN、Attention等。
下面以中英文同声传译时,语音内容为“大家好,我很高兴今天能够来到这里”为例子来具体说明本申请的方案实施过程。
1、首先通过麦克风实时采集中文语音数据;
2、然后将中文语音数据通过语音识别系统实时的转换成中文文本。
可以理解的是,这里将中文语音数据通过语音识别系统实时的转换成中文文本是和步骤1中采集中文语音数据同步进行的,即一边采集语音数据一边对语音数据进行语音识别从而得到中文文本,所以中文文本是随着语音数据的采集持续不断的产生的。
3、得到中文文本后,对得到的中文文本进行片段划分,得到第一个第一文本片段{大家好,},并确定该第一文本片段为首次得到的第一个文本片段;
4、然后对文本片段{大家好,}使用文本片段翻译模型进行翻译得到翻译结果{Hello everybody,};
5、然后继续采集中文语音数据,并继续生成中文文本,对新产生的中文文本进行文本片段划分,得到第二个第一文本片段{我很高兴},并确定该文本片段不是首次得到的文本片段;
6、将文本片段{大家好,}和{我很高兴}合并得到合并后的文本片段{大家好,我很高兴};
7、对文本片段{大家好,我很高兴}使用文本片段翻译模型进行翻译得到翻译结果{Hello everybody,I am very happy};
8、继续采集中文语音数据,并继续生成中文文本,对新产生的中文文本进行文本片段划分,得到第三个第一文本片段{今天能够来到这里},并确定该文本片段不是首次得到的第一文本片段;
9、将文本片段{大家好,}和{我很高兴}以及{今天能够来到这里}合并得到合并后的文本片段{大家好,我很高兴今天能够来到这里。};
10、对文本片段{大家好,我很高兴今天能够来到这里。}使用文本片段翻译模型进行翻译得到翻译结果{Hello everyone,I am very happy to be here today.}。
可以看出,本申请实施例中,在对第一语言语音翻译的过程中,通过对第一语言语音的文本进行片段划分,每当得到一个第一文本片段,则对所述第一语言语音进行一次翻译,每次翻译的文本粒度大小取决于划分的文本片段的大小。而文本片段相对于完整的句子要小得多,因此翻译的过程中,不用等待一句完整的一句话之后,才进行一次翻译,从而可以有效的降低翻译的时延。另外,在每一个翻译周期内,翻译是将带翻译的第一文本片段结合多个已翻译的第二文本片段来进行翻译,即每次翻译时,会涉及到前文,使得当前的翻译与前文的联系起来,从而可以提升翻译的质量。
在一个可能的示例中,所述判断所述第一文本片段是否为第一个文本片段,包括:判断所述第一文本片段是否为当前文本窗口内的第一个文本片段,所述当前文本窗口为所述第一文本片段所属句子对应的单句级文本窗口,所述第一个文本片段为所述当前文本窗口的处于句首位置的文本片段;所述获取至少一个第二文本片段,包括:获取当前文本窗口中的至少一个第二文本片段。
对于翻译,当根据第一语言语境中的一个完整的句子进行翻译时,便可以得到第二语言语境中比较精准的翻译结果。因此,在本申请实施例中,也可以将翻译限定在一个完整的句子中,即句子与句子之间的翻译结果相对独立。
在具体实现方式中,可以使用文本窗口的机制,从所述第一语言文本中提取所述第一文本片段对应的句子,即使的文本窗口中包括所述第一文本片段对应的句子;然后在当前的文本窗口中继续实施本申请的翻译方法。具体的,在得到所述第一文本片段后,判断所述第一文本片段是否为当前文本窗口内的第一个文本片段,若是,则根据所述第一文本片段,生成所述第一语言语音在第二语言语境中的第一翻译结果;若否,则获取当前文本窗口中的至少一个第二文本片段;并根据至少一个第二文本片段和所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果。
在一个可能的示例中,所述判断所述第一文本片段是否为第一个文本片段,包括:判断所述第一文本片段是否为当前文本窗口内的第一个文本片段,所述当前文本窗口为第一句子对应的,或所述第一句子以及与所述第一句子相邻且时序在前的一个或多个句子对应的,多句级文本窗口,所述第一句子为所述第一文本片段所属的句子,所述第一个文本片段为所述当前文本窗口中时序在前的文本片段;所述获取至少一个第二文本片段,包括:获取当前文本窗口中的至少一个第二文本片段。
为了使的翻译结果更加准确,可以结合当前待翻译句子之前的句子一起进行翻译。在上述采用单句级文本窗口进行翻译的基础上,可以使得文本窗口中可容纳多个所述第一语言文本的句子,以使在翻译待翻译的文本片段时可以结合当前文本窗口中多个句子内的文本片段进行翻译,从而提升翻译的质量。
在具体实现中,可以使用文本窗口选取所述第一语言文本中包括所述第一句子的一句或多句内容,然后判断所述第一文本片段是否为当前文本窗口内的第一个文本片段,若是,则根据所述第一文本片段,生成所述第一语言语音在第二语言语境中的第一翻译结果;若否,则获取当前文本窗口中的至少一个第二文本片段;并根据至少一个第二文本片段和所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果。
可选的,对于所述多句级文本窗口,在从当前文本窗口中获取至少一个第二文本片段时,可以对获取的第二文本片段的数量进行限制,以免在获取过多的第二文本片段进行翻译时,导致翻译速度下降。具体的,在确定所述第一文本片段不是所述第一个文本片段后,可以从所述当前文本窗口中获取预设数量的第二文本片段,并根据所述预设数量的第二文本片段和所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果。例如,可以从所述当前文本窗口中获取两个或三个第二文本片段,然后根据获取到的两个或三个第二文本片段以及所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果。
进一步的,所述使用文本窗口选取所述第一语言文本中包括所述第一句子的一句或多句内容,具体可以包括:循环的从所述第一语言文本中截取文本内容,每次截取时,从前一个截取周期截取的文本内容之后开始当前截取,直到文本窗口内的文本内容的句子满足预设数量为止,且在当前文本窗口内的文本内容均被翻译之后,重新开始截取所述第一语言文本中的文本内容,循环执行上述步骤,直到结束。
在一个可能的示例中,所述处理所述第一语言语音得到待翻译的第一文本片段,包括:将所述第一语言语音转换为所述第一语言语境中的第一语言文本;确定所述第一语言文本中未被翻译的参考文本内容;根据所述参考文本内容确定所述第一文本片段。
在具体实现中,可以通过已有的语音识别算法或系统将所述第一语言语音转换成所述第一语言文本。由于本方案中语音识别和翻译是并行的,因此可以通过已有的翻译结果来确定所述第一语言文本中未被翻译的参考文本内容。另外,在本申请实施例中,翻译是周期性进行的,即没得到一个待翻译的文本片段就进行一次翻译,所以在当前的翻译周期内,可以根据参考文本内容确定所述第一文本片段来确定所述第一文本片段。
在一个可能的示例中,在所述将所述第一语言语音转换为所述第一语言语境中的第一语言文本之前,所述方法还包括:确定所述第一语言语音中未被翻译的参考语音内容;以及确定所述参考语音内容中间隔时长大于或等于预设停顿时长的语音单元分组,其中,所述语音单元分组包括相邻的两个语音单元;以及确定所述参考语音内容中所述语音单元分组之前的目标语音内容;以及确定所述目标语音内容和所述语音单元分组中前一个语音单元组成的语音片段为第一语音片段;所述根据所述参考文本内容确定所述第一文本片段,包括:根据所述第一语音片段确定参考文本内容中与所述第一语音片段对应文本片段为所述第一文本片段。
其中,所述语音单元可以为语音内容在不同语境中的表示单元,例如,在语境中的语音单元可以是单个的汉字的音频,也可以是单个的词语或短语的音频,在英语语境中的文本单元是单个的英文单词或短语的音频。
在具体实现中,所述第一语言语音为持续不断采集的实时语音时,可以在采集时检测每个语音单元与下一个语音单元之间停顿的时长(即所述语音单元分组包括的相邻的两个语音单元之间的间隔时长)。在执行本方案的过程中,首先,确定已采集到的所述第一语言语音中未被翻译语音内容作为所述参考语音内容。接着,当检测到所述参考语音内容中间隔时长大于或等于预设停顿时长的语音单元分组时,则将所参考语音内容中该语音单元分组之前的语音内容确定为目标语音内容,接着将所述目标语音内容和所述语音单元分组中前一个语音单元组成的语音片段确定为第一语音片段;在得到所述参考文本内容之后,根据第一语言语音与第一语言文本的对应关系,确定所述第一语音片段在所述参考文本内容中对应的文本片段为所述第一文本片段。
上述过程可以参考图2b,其中圆圈标识语音单元,正方形标识文本单元,灰色表示已经被翻译,空白表示未被翻译,T表示所述间隔时长,th表示所述预设停顿时长。
在本申请实施例中,使用语音中语音单元分组的两个语音单元之间的间隔时长来对所述第一语言文本进行片段划分。如果当前说话人的停顿时长达到一定阈值,比如3秒,则认为说话人讲完了一句话,语音识别文本得到的语义信息完整,因此通过对该方法划分的文本片段进行翻译时,可以得到较为准确的翻译结果。
在一个可能的示例中,所述根据所述参考文本内容确定所述第一文本片段,包括:检测所述参考文本内容的文本长度是否达到预设文本长度;若是,则确定所述参考文本内容为待翻译的第一文本片段。
具体实现过程可以参考图2c,其中圆圈标识语音单元,正方形标识文本单元灰色表示已经被翻译,空白表示未被翻译,N表示所述参考文本内容的文本长度,k表示所述预设文本长度。
通过预设文本长度来对所述第一语言文本进行划分得到第一文本片段时,可以通过调节所述预设文本长度,来灵活调节翻译的时延。
在一个可能的示例中,所述根据所述参考文本内容确定所述第一文本片段,包括:判断所述参考文本内容是否为固定短语;若是,则确定所述参考文本内容为所述第一文本片段。
其中,所述固定短语可以是名词短语、动词短语等,名词短语以及动词短语在两种语言之间的转换比较固定,因此将未被翻译的参考文本内容中的名词短语或动词短语确定为所述第一文本片段来进行本方案的翻译时,可以提升翻译的质量。
进一步的,所述根据所述参考文本内容确定所述第一文本片段,还可以包括:判断所述第一语言文本中未被翻译的参考文本内容是否具有完整的句子结构;若是,则确定所述参考文本内容为待翻译的第一文本片段。
在具体实现中,可以通过对第一语言文本中未被翻译的参考文本内容进行句法分析来判断所述未被翻译的参考文本内容是否具有完整的句子结构。
其中,所述句法分析是分析单语语句句法结构,比如可以使用Standford Parser等开源工具对语音识别文本进行句法分析,例如对语音识别文本{大家好,}进行句法分析,得到句法树结构如下:
其中IP(简单从句),PP(介词短语),P(介词),LCP(方位词短语),NP(名词短语),NN(口头名词),LC(方位词),PU(标点符号),PN(代词),AD(副词),VV(情态动词),VP(动词短语),ADVP(副词短语)等代表不同的词性和结构。根据句法分析结果可以判断语音识别文本的句子结构是否完整,如果句法树结构中符合主谓、动宾结构等句子成分完整的情况,则进行片段划分,例如{大家好,}的句法结构为IP,即简单从句,则认为文本语义信息完整,并将{大家好,}划分成一个文本片段。
在一个可能的示例中,所述根据所述参考文本内容确定所述第一文本片段,包括:获取所述参考文本内容中文本单元的语音识别置信度;根据所述参考文本内容以及所述参考文本内容中文本单元的语音识别置信度确定所述第一文本片段。
其中,这里的置信度使用的是语音识别结果的解码得分,语音识别系统解码时,每产生一个识别结果都会得到一个置信度得分,置信度得分越高则语音识别结果的可靠性越高,根据语音识别置信度划分出来的文本片段进行翻译,翻译结果质量就越高。
进一步的,所述根据所述参考文本内容以及所述参考文本内容中文本单元的语音识别置信度确定所述第一文本片段,具体可以包括:检测所述参考文本内容中是否存在参考相邻文本单元,所述参考相邻文本单元包括两个相邻的文本单元,所述两个相邻的文本单元中的前一个文本单元的语音识别置信度大于后一个文本单元的置信度;若是,则确定所述参考文本内容中,所述前一个文本单元之前的文本内容以及所述前一个文本单元组成的文本片段为所述第一文本片段。
比如在所述参考文本内容中第t个单词识别结果的置信度得分为0.9,第t+1个单词识别结果的置信度得分为0.8,则将所述参考文本内容中在第t个单词以及第t个单词之前的文本内容确定为所述第一文本片段。
在一个可能的示例中,所述获取至少一个第二文本片段;根据至少一个第二文本片段和所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果,包括:获取已翻译的预设数量第二文本片段;根据所述预设数量第二文本片段和所述第一个文本片段生成目标文本片段;根据所述目标文本片段生成所述第一语言语音在第二语言语境中的第二翻译结果。
其中,所述第二文本片段可以是在当前的第一文本片段之前已经被翻译过的第一文本片段,即在下一个翻译周期时,当前得到的第一文本片段则为第二文本片段。
在具体实现中,通过文本片段划分方法对说话人语音识别文本进行实时划分,没得到一个第一文本片段就进行一次翻译,因此在当前的翻译周期之前可能会存在多个已被翻译的第二文本片段。例如,在第N个翻译周期内,得到N个文本片段,这里将所有的文本片段定义为X={X1,X2…,XN},其中,表示第一个文本片段,表示语音识别文本中第t1个文本单元,表示第N个文本片段,表示语音识别文本中第tN个文本单元。由于属于第N个翻译周期,所以XN属于所述第一文本片段,XN之前的文本片段则均为第二文本片段。
对于第N个文本片段,在翻译时,将前N个文本片段X1至XN连接合并起来成为一个文本片段(即所述目标文本片段)进行翻译得到翻译结果,这种合并方式通常会导致文本片段过长,从而影响翻译翻译速度,因此在实际使用阶段可以只将预设数量m个文本片段合并,比如m=3个,则将第N-2、第N-1、第N个文本片段合并成目标文本片段进行翻译。
在一个可能的示例中,所述获取至少一个第二文本片段;根据至少一个第二文本片段和所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果,包括:计算所述第一文本片段与已翻译的第二文本片段进行组合的语言模型得分;以及确定语言模型得分最高对应的所述第一文本片段与已翻译的第二文本片段的组合为目标文本片段;以及根据所述目标文本片段生成所述第一语言语音在第二语言语境中的第二翻译结果。
其中,所述语言模型得分为通过语言模型对组合后文本片段进行评估后的得分。
在具体实现中,在对组合后的文本片段进行翻译时,可以通过对组合后的语言模型得分进行判断,如第一文本片段与前面多个文本片段组合后语言模型得分较高,则选择组合后语言模型得分最高的组合进行翻译。例如向前组合一个文本片段的语言模型得分为0.6,向前组合两个文本片段的语言模型得分为0.8,向前组合三个文本片段的语言模型得分为0.6;则可以选择向前组合两个文本片段得到目标文本片段,再对目标文本片段进行翻译,得到所述第一语言语音在第二语言语境中的第二翻译结果。
在一个可能的示例中,在所述生成所述第一语言语音在第二语言语境中的第二翻译结果之后,所述方法还包括:根据所述第二翻译结果更新已显示的翻译结果中所述至少一个第二文本片段对应的翻译结果。
在具体实现中,当得到所述第二翻译结果后,可以使用所述第二翻译结果替换以显示的历史文本片段的翻译结果中中所述至少一个第二文本片段对应的翻译结果,并进行显示。例如首先显示第一次的第二翻译结果{Hello everybody,},然后将第二次翻译的第二翻译结果{Hello everybody,I am very happy}替换掉第一次的第二翻译结果并显示,最后将第三次的第二翻译结果{Hello everyone,I am very happy to be here today.}替换掉第二次的第二翻译结果并显示。同传场景中,流式语音翻译方法重复上述流程直到说话结束。
在一个可能的示例中,所述根据所述第二翻译结果更新已显示的翻译结果,包括:提取所述第二翻译结果中所述第一文本片段以及所述第一文本片段之前预设数量的第二文本片段对应的翻译结果,得到第三翻译结果;根据所述第三翻译结果更新已显示的翻译结果中所述预设数量的第二文本片段对应的翻译结果。
在本申请实施例中,翻译结果显示时,若只是将当前的所述第二翻译结果替换历史翻译结果并显示,即翻译结果替换掉的历史翻译结果中的部分与前面第一文本片段与组合的第二文本片段的文本段数相对应,被组合起来翻译的文本片段组合之前的翻译结果,会被组合后得到的新翻译结果替换。例如,首先显示第一次的第二翻译结果{Helloeverybody,},然后将第二次翻译的第二翻译结果{Hello everybody,I am very happy}替换掉第一次的第二翻译结果并显示,最后将第三次的第二翻译结果{Hello everyone,I amvery happy to be here today.}替换掉第二次的第二翻译结果并显示。
上述过程可以发现,显示第三次文本片段的翻译结果时,需要修改第二次文本片段的翻译结果,比如将单词“everybody”修改成“everyone”,用户将会看到这个修改过程,如果修改单词数过多,那么用户需要重新阅读新的翻译结果,影响阅读体验。
为了解决上述问题,可以在显示翻译结果时,只保留所述第二翻译结果中所述第一文本片段以及所述第一文本片段之前预设数量的第二文本片段对应的翻译结果,然后使用保留部分的翻译结果替换已显示的历史翻译结果中所述预设数量的第二文本片段对应的翻译结果。
例如,假设显示的历史翻译结果为{Hello everybody,I am very happy},当前的第二翻译结果为{Hello everyone,I am very happy to be here today.},然后只保留当前第二翻译结果中所述第一文本片段以及所述第一文本片段之前的一个第二文本片段对应的翻译结果{I am very happy to be here today.},然后使用保留后的翻译结果去更新就得到最后需要显示的翻译结果{Hello everybody,I am very happy to be heretoday.}。可以看出单词“everybody”不需要修改,而且只需要显示增加的翻译内容{to behere today.},这样观众只需要阅读新增的翻译内容就行了,提高阅读体验。
在一个可能的示例中,所述根据所述第一文本片段,生成所述第一语言语音在第二语言语境中的第一翻译结果,或根据至少一个第二文本片段和所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果,是基于翻译模型实现的;所述翻译模型为利用包含多个本文本片段对的数据集训练获得,所述本文本片段对包含源语言文本片段以及与所述源语言文本片段分别对应的目标语言文本片段。
在具体实现中,所述本文本片段对通过如下步骤获得:对第一语言训练文本和第二语言训练文本进行分词处理;所述第二语言训练文本为所述第一语言训练文本在第二语言语境中的翻译结果;将分词处理后的第一语言训练文本中的单词和分词处理后的第二语言训练文本中单词进行对齐处理,得到对齐处理结果;以及基于所述对齐处理结果以及分词处理后的第一语言训练文本和第二语言训练文本,生成至少一个文本片段对。
进一步的,所述基于所述对齐处理结果以及分词处理后的第一语言训练文本和第二语言训练文本,生成至少一个文本片段对,可以包括:
步骤1:对分词处理后的第一语言训练文本中的单词进行编号,得到单词编号0-n,所述n为分词处理后的第一语言训练文本中的单词的数量;
步骤2:对分词处理后的第二语言训练文本中的单词进行编号,得到单词编号0-m,所述m为分词处理后的第二语言训练文本中的单词的数量;
步骤3:根据所述对齐处理结果以及分词处理后的第一语言训练文本和第一语言训练文本中的单词的编号,生成分词处理后的第一语言训练文本和第一语言训练文本中的单词的编号对应关系;
步骤4:根据所述编号对应关系从所述分词处理后的第二语言训练文本中,确定与分词处理后的第一语言训练文本中编号为0-i的单词对应的编号最大的单词对应的编号j;
步骤5:根据所述编号对应关系从所述分词处理后的第一语言训练文本中,确定与分词处理后的第二语言训练文本中编号为0-j的单词对应的编号最大的单词对应的编号k;
步骤6:若k小于等于i,则将分词处理后的第一语言训练文本中单词标号0-i对应的文本片段,以及分词处理后的第二语言训练文本中单词标号0-j对应的文本片段确定为一个文本片段对;
步骤7:通过改变i的大小,执行上述步骤4-步骤6,得到至少一个文本片段对。
在具体实现中,可以使用现有工具,比如mgiza或者fast align,具体工具不作限制。例如,第一语言训练文本输入为“大家好,我很高兴今天能够来到这里。”,第二语言训练文本“Hello everyone,I am very happy to be here today.”源和第二语言训练文本都进行了分词,词与词之间用空格分隔,然后通过mgiza、fast align等开源对齐工具进行对齐,能够得到如下的对齐关系{0-1 1-0 2-2 3-33-4 4-5 5-6 6-10 7-7 8-8 9-9 10-11},其中对齐关系中的数字表示文本中单词的序号,一般从0开始计数,连接符“-”表示对齐关系,例如0-1即表示在当前句对中第一语言训练文本的第0个单词“大家”翻译成第二语言训练文本的第1个单词“everyone”,下面将阐述根据对齐关系提取文本片段的进行具体说明:
(a)对于第一语言训练文本中每个词,依次进行如下操作,将当前词序号为i,从序号0到序号i遍历第一语言训练文本单词,根据对齐关系找到第一语言训练文本单词对齐到第二语言训练文本中的单词,从对齐的目标单词中选取序号最大的一个单词,假设序号为j;
(b)从序号0到序号j遍历第二语言训练文本单词,根据对齐关系找到第二语言训练文本单词对齐到第一语言训练文本中的单词,从对齐到的第一语言训练文本单词中选取序号最大的一个单词,假设序号为k;
(c)如果k小于等于i,则选取第一语言训练文本序号从0到i的单词组成一个第一语言训练文本片段,选取第二语言训练文本从0到j的单词组成一个第二语言训练文本片段,这两个文本片段构成一个平行文本片段,作为一个训练语料,如果k大于i,表示这个第二语言训练文本片段对齐到第一语言训练文本单词的序号大于i,则第二语言训练文本片段的翻译结果有些不在第一语言训练文本片段中,因此不能构成训练语料。
这样可以保证第一语言训练文本片段中所有单词的翻译结果都在第二语言训练文本片段中,同时第二语言训练文本片段中的所有单词的翻译结果都在第一语言训练文本片段中,本申请实施例提出的文本片段提取方法可以保证提取出来的文本片段不存在多译和漏译的情况。
例如,对于第一语言训练文本序号为0的单词“大家”,对应到,根据对齐关系找到第二语言训练文本中的单词只有“everyone”,并且“everyone”在第二语言训练文本中的序号为1,因此最大序号为1,对应到,然后在第二语言训练文本中从序号0到序号1遍历单词,根据对齐关系分别找到第一语言训练文本中对齐到的单词有两个,分别为“大家”、“好”,这两个单词在第一语言训练文本中的序号分别为0和1,因此最大序号为1,对应到,此时,表明第二语言训练文本片段“Hello everyone”不能翻译成“大家”,因此不能提取文本片段;
对于第一语言训练文本序号为1单词“好”,对应到,首先在第一语言训练文本中从序号0到序号1遍历单词,根据对齐关系找到第二语言训练文本中的单词有两个,分别为“Hello”“everyone”,对应到第二语言训练文本中的序号分别为0和1,此时最大序号为1,对应到,然后在第二语言训练文本中从序号0到序号1遍历单词,根据对齐关系分别找到第一语言训练文本中对齐到的单词有两个,分别为“大家”、“好”,这两个单词在第一语言训练文本中的序号分别为0和1,因此最大序号为1,对应到,此时,表明第二语言训练文本片段“Hello everyone”能够翻译成“大家好”,同时“大家好”也能翻译成“Hello everyone”,因此可以提取文本片段{大家好->Hello everyone};然后可以依次提取出所有的文本片段。
依次对第一语言训练文本中其它词进行类似操作,可得到的文本片段分别为:
{大家好->Hello everyone}
{大家好,我->Hello everyone,I am}
{大家好,我很->Hello everyone,I am very}
{大家好,我很高兴->Hello everyone,I am very happy}
{大家好,我很高兴今天能够来到这里->Hello everyone,I am very happy tobe here today}
通过本申请实施例提出的文本片段生成方法可以抽取所有平行句对的文本片段对齐数据,同时为了保证整句翻译的效果,因此将抽取出来的文本片段对齐数据和原始的平行句对混合一起训练文本片段翻译模型,能够保证翻译模型在整句和文本片段上取得较好的翻译效果。
与上述图2a所示的实施例一致的,请参阅图3,图3是本申请实施例提供的一种电子设备300的结构示意图,如图所示,所述电子设备300包括应用处理器310、存储器320、通信接口330以及一个或多个程序321,其中,所述一个或多个程序321被存储在上述存储器320中,并且被配置由上述应用处理器310执行,所述一个或多个程序321包括用于执行以下步骤的指令;
获取第一语言语音;处理所述第一语言语音得到待翻译的第一文本片段,所述第一文本片段为第一语言语境中的文本,所述第一文本片段至少包括一个未翻译过的文本单元;判断所述第一文本片段是否为第一个文本片段;若是,则根据所述第一文本片段,生成所述第一语言语音在第二语言语境中的第一翻译结果;若否,则获取至少一个第二文本片段;根据至少一个第二文本片段和所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果,所述第二文本片段为已有翻译结果对应于所述第一语言语境中的文本片段。
可以看出,本申请实施例中,在对第一语言语音翻译的过程中,通过对第一语言语音的文本进行片段划分,每当得到一个第一文本片段,则对所述第一语言语音进行一次翻译,每次翻译的文本粒度大小取决于划分的文本片段的大小。而文本片段相对于完整的句子要小得多,因此翻译的过程中,不用等待一句完整的一句话之后,才进行一次翻译,从而可以有效的降低翻译的时延。另外,在每一个翻译周期内,翻译是将带翻译的第一文本片段结合多个已翻译的第二文本片段来进行翻译,即每次翻译时,会涉及到前文,使得当前的翻译与前文的联系起来,从而可以提升翻译的质量。
在一个可能的示例中,在所述判断所述第一文本片段是否为第一个文本片段方面,所述程序中的指令具体用于执行以下操作:判断所述第一文本片段是否为当前文本窗口内的第一个文本片段,所述当前文本窗口为所述第一文本片段所属句子对应的单句级文本窗口,所述第一个文本片段为所述当前文本窗口的处于句首位置的文本片段;所述获取至少一个第二文本片段,包括:获取当前文本窗口中的至少一个第二文本片段。
在一个可能的示例中,在所述判断所述第一文本片段是否为第一个文本片段方面,所述程序中的指令具体用于执行以下操作:判断所述第一文本片段是否为当前文本窗口内的第一个文本片段,所述当前文本窗口为第一句子对应的,或所述第一句子以及与所述第一句子相邻且时序在前的一个或多个句子对应的,多句级文本窗口,所述第一句子为所述第一文本片段所属的句子,所述第一个文本片段为所述当前文本窗口中时序在前的文本片段;所述获取至少一个第二文本片段,包括:获取当前文本窗口中的至少一个第二文本片段。
在一个可能的示例中,在所述处理所述第一语言语音得到待翻译的第一文本片段方面,所述程序中的指令具体用于执行以下操作:将所述第一语言语音转换为所述第一语言语境中的第一语言文本;确定所述第一语言文本中未被翻译的参考文本内容;根据所述参考文本内容确定所述第一文本片段。
在一个可能的示例中,在所述根据所述参考文本内容确定所述第一文本片段方面,所述程序中的指令具体用于执行以下操作:判断所述参考文本内容是否为固定短语;若是,则确定所述参考文本内容为所述第一文本片段;或者,判断所述参考文本内容是否具有完整的句子结构;若是,则确定所述参考文本内容为所述第一文本片段。
在一个可能的示例中,在所述根据所述参考文本内容确定所述第一文本片段方面,所述程序中的指令具体用于执行以下操作:获取所述参考文本内容中文本单元的语音识别置信度;根据所述参考文本内容以及所述参考文本内容中文本单元的语音识别置信度确定所述第一文本片段。
在一个可能的示例中,在所述根据所述参考文本内容以及所述参考文本内容中文本单元的语音识别置信度确定所述第一文本片段方面,所述程序中的指令具体用于执行以下操作:检测所述参考文本内容中是否存在参考相邻文本单元,所述参考相邻文本单元包括两个相邻的文本单元,所述两个相邻的文本单元中的前一个文本单元的语音识别置信度大于后一个文本单元的置信度;若是,则确定所述参考文本内容中,所述前一个文本单元之前的文本内容以及所述前一个文本单元组成的文本片段为所述第一文本片段。
在一个可能的示例中,在所述获取至少一个第二文本片段;根据至少一个第二文本片段和所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果方面,所述程序中的指令具体用于执行以下操作:获取已翻译的预设数量第二文本片段;根据所述预设数量第二文本片段和所述第一个文本片段生成目标文本片段;根据所述目标文本片段生成所述第一语言语音在第二语言语境中的第二翻译结果。
在一个可能的示例中,在所述获取至少一个第二文本片段;根据至少一个第二文本片段和所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果方面,所述程序中的指令具体用于执行以下操作:计算所述第一文本片段与已翻译的第二文本片段进行组合的语言模型得分;确定语言模型得分最高对应的所述第一文本片段与已翻译的第二文本片段的组合为目标文本片段;根据所述目标文本片段生成所述第一语言语音在第二语言语境中的第二翻译结果。
在一个可能的示例中,在所述生成所述第一语言语音在第二语言语境中的第二翻译结果之后,所述程序中的指令还用于执行以下操作:根据所述第二翻译结果更新已显示的翻译结果中所述至少一个第二文本片段对应的翻译结果。
在一个可能的示例中,在所述生成所述第一语言语音在第二语言语境中的第二翻译结果之后,所述程序中的指令还用于执行以下操作:提取所述第二翻译结果中所述第一文本片段以及所述第一文本片段之前预设数量的第二文本片段对应的翻译结果,得到第三翻译结果;根据所述第三翻译结果更新已显示的翻译结果中所述预设数量的第二文本片段对应的翻译结果。
在一个可能的示例中,所述根据所述第一文本片段,生成所述第一语言语音在第二语言语境中的第一翻译结果,或根据至少一个第二文本片段和所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果,是基于翻译模型实现的;所述翻译模型为利用包含多个本文本片段对的数据集训练获得,所述本文本片段对包含源语言文本片段以及与所述源语言文本片段分别对应的目标语言文本片段。
在一个可能的示例中,所述本文本片段对通过如下步骤获得:对第一语言训练文本和第二语言训练文本进行分词处理;所述第二语言训练文本为所述第一语言训练文本在第二语言语境中的翻译结果;将分词处理后的第一语言训练文本中的单词和分词处理后的第二语言训练文本中单词进行对齐处理,得到对齐处理结果;基于所述对齐处理结果以及分词处理后的第一语言训练文本和第二语言训练文本,生成至少一个文本片段对。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图4是本申请实施例中所涉及的翻译装置400的功能单元组成框图。该翻译装置400应用于电子设备,所述电子设备包括处理单元401和通信单元402,其中,
所述处理单元401,用于通过控制所述通信单元402获取第一语言语音,以及处理所述第一语言语音得到待翻译的第一文本片段,所述第一文本片段为第一语言语境中的文本,所述第一文本片段至少包括一个未翻译过的文本单元;以及判断所述第一文本片段是否为第一个文本片段;若是,则根据所述第一文本片段,生成所述第一语言语音在第二语言语境中的第一翻译结果;若否,则获取至少一个第二文本片段;根据至少一个第二文本片段和所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果,所述第二文本片段为已有翻译结果对应于所述第一语言语境中的文本片段。
其中,所述翻译装置400还可以包括存储单元403,用于存储电子设备的程序代码和数据。所述处理单元401可以是处理器,所述通信单元402可以是内部通信接口,存储单元403可以是存储器。
可以看出,本申请实施例中,在对第一语言语音翻译的过程中,通过对第一语言语音的文本进行片段划分,每当得到一个第一文本片段,则对所述第一语言语音进行一次翻译,每次翻译的文本粒度大小取决于划分的文本片段的大小。而文本片段相对于完整的句子要小得多,因此翻译的过程中,不用等待一句完整的一句话之后,才进行一次翻译,从而可以有效的降低翻译的时延。另外,在每一个翻译周期内,翻译是将带翻译的第一文本片段结合多个已翻译的第二文本片段来进行翻译,即每次翻译时,会涉及到前文,使得当前的翻译与前文的联系起来,从而可以提升翻译的质量。
在一个可能的示例中,在所述判断所述第一文本片段是否为第一个文本片段方面,所述处理单元401具体用于:判断所述第一文本片段是否为当前文本窗口内的第一个文本片段,所述当前文本窗口为所述第一文本片段所属句子对应的单句级文本窗口,所述第一个文本片段为所述当前文本窗口的处于句首位置的文本片段;所述获取至少一个第二文本片段,包括:获取当前文本窗口中的至少一个第二文本片段。
在一个可能的示例中,在所述判断所述第一文本片段是否为第一个文本片段方面,所述处理单元401具体用于:判断所述第一文本片段是否为当前文本窗口内的第一个文本片段,所述当前文本窗口为第一句子对应的,或所述第一句子以及与所述第一句子相邻且时序在前的一个或多个句子对应的,多句级文本窗口,所述第一句子为所述第一文本片段所属的句子,所述第一个文本片段为所述当前文本窗口中时序在前的文本片段;所述获取至少一个第二文本片段,包括:获取当前文本窗口中的至少一个第二文本片段。
在一个可能的示例中,在所述处理所述第一语言语音得到待翻译的第一文本片段方面,所述处理单元401具体用于:将所述第一语言语音转换为所述第一语言语境中的第一语言文本;确定所述第一语言文本中未被翻译的参考文本内容;根据所述参考文本内容确定所述第一文本片段。
在一个可能的示例中,在所述根据所述参考文本内容确定所述第一文本片段方面,所述处理单元401具体用于:判断所述参考文本内容是否为固定短语;若是,则确定所述参考文本内容为所述第一文本片段;或者,判断所述参考文本内容是否具有完整的句子结构;若是,则确定所述参考文本内容为所述第一文本片段。
在一个可能的示例中,在所述根据所述参考文本内容确定所述第一文本片段方面,所述处理单元401具体用于:获取所述参考文本内容中文本单元的语音识别置信度;根据所述参考文本内容以及所述参考文本内容中文本单元的语音识别置信度确定所述第一文本片段。
在一个可能的示例中,在所述根据所述参考文本内容以及所述参考文本内容中文本单元的语音识别置信度确定所述第一文本片段方面,所述处理单元401具体用于:检测所述参考文本内容中是否存在参考相邻文本单元,所述参考相邻文本单元包括两个相邻的文本单元,所述两个相邻的文本单元中的前一个文本单元的语音识别置信度大于后一个文本单元的置信度;若是,则确定所述参考文本内容中,所述前一个文本单元之前的文本内容以及所述前一个文本单元组成的文本片段为所述第一文本片段。
在一个可能的示例中,在所述获取至少一个第二文本片段;根据至少一个第二文本片段和所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果方面,所述处理单元401具体用于:获取已翻译的预设数量第二文本片段;根据所述预设数量第二文本片段和所述第一个文本片段生成目标文本片段;根据所述目标文本片段生成所述第一语言语音在第二语言语境中的第二翻译结果。
在一个可能的示例中,在所述获取至少一个第二文本片段;根据至少一个第二文本片段和所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果方面,所述处理单元401具体用于:计算所述第一文本片段与已翻译的第二文本片段进行组合的语言模型得分;确定语言模型得分最高对应的所述第一文本片段与已翻译的第二文本片段的组合为目标文本片段;根据所述目标文本片段生成所述第一语言语音在第二语言语境中的第二翻译结果。
在一个可能的示例中,在所述生成所述第一语言语音在第二语言语境中的第二翻译结果之后,所述处理单元401还用于:根据所述第二翻译结果更新已显示的翻译结果中所述至少一个第二文本片段对应的翻译结果。
在一个可能的示例中,在所述生成所述第一语言语音在第二语言语境中的第二翻译结果之后,所述处理单元401还用于:提取所述第二翻译结果中所述第一文本片段以及所述第一文本片段之前预设数量的第二文本片段对应的翻译结果,得到第三翻译结果;根据所述第三翻译结果更新已显示的翻译结果中所述预设数量的第二文本片段对应的翻译结果。
在一个可能的示例中,所述根据所述第一文本片段,生成所述第一语言语音在第二语言语境中的第一翻译结果,或根据至少一个第二文本片段和所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果,是基于翻译模型实现的;所述翻译模型为利用包含多个本文本片段对的数据集训练获得,所述本文本片段对包含源语言文本片段以及与所述源语言文本片段分别对应的目标语言文本片段。
在一个可能的示例中,所述本文本片段对通过如下步骤获得:对第一语言训练文本和第二语言训练文本进行分词处理;所述第二语言训练文本为所述第一语言训练文本在第二语言语境中的翻译结果;将分词处理后的第一语言训练文本中的单词和分词处理后的第二语言训练文本中单词进行对齐处理,得到对齐处理结果;基于所述对齐处理结果以及分词处理后的第一语言训练文本和第二语言训练文本,生成至少一个文本片段对。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (16)
1.一种翻译方法,其特征在于,包括:
获取第一语言语音;
处理所述第一语言语音得到待翻译的第一文本片段,所述第一文本片段为第一语言语境中的文本,所述第一文本片段至少包括一个未翻译过的文本单元;
判断所述第一文本片段是否为第一个文本片段;
若是,则根据所述第一文本片段,生成所述第一语言语音在第二语言语境中的第一翻译结果;
若否,则获取至少一个第二文本片段;根据至少一个第二文本片段和所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果,所述第二文本片段为已有翻译结果对应于所述第一语言语境中的文本片段。
2.根据权利要求1所述的方法,其特征在于,所述判断所述第一文本片段是否为第一个文本片段,包括:
判断所述第一文本片段是否为当前文本窗口内的第一个文本片段,所述当前文本窗口为所述第一文本片段所属句子对应的单句级文本窗口,所述第一个文本片段为所述当前文本窗口的处于句首位置的文本片段;
所述获取至少一个第二文本片段,包括:
获取当前文本窗口中的至少一个第二文本片段。
3.根据权利要求1所述的方法,其特征在于,所述判断所述第一文本片段是否为第一个文本片段,包括:
判断所述第一文本片段是否为当前文本窗口内的第一个文本片段,所述当前文本窗口为第一句子对应的,或所述第一句子以及与所述第一句子相邻且时序在前的一个或多个句子对应的,多句级文本窗口,所述第一句子为所述第一文本片段所属的句子,所述第一个文本片段为所述当前文本窗口中时序在前的文本片段;
所述获取至少一个第二文本片段,包括:
获取当前文本窗口中的至少一个第二文本片段。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述处理所述第一语言语音得到待翻译的第一文本片段,包括:
将所述第一语言语音转换为所述第一语言语境中的第一语言文本;
确定所述第一语言文本中未被翻译的参考文本内容;
根据所述参考文本内容确定所述第一文本片段。
5.根据权利要求4所述的方法,其特征在于,所述根据所述参考文本内容确定所述第一文本片段,包括:
判断所述参考文本内容是否为固定短语;
若是,则确定所述参考文本内容为所述第一文本片段;
或者,判断所述参考文本内容是否具有完整的句子结构;
若是,则确定所述参考文本内容为所述第一文本片段。
6.根据权利要求4所述的方法,其特征在于,所述根据所述参考文本内容确定所述第一文本片段,包括:
获取所述参考文本内容中文本单元的语音识别置信度;
根据所述参考文本内容以及所述参考文本内容中文本单元的语音识别置信度确定所述第一文本片段。
7.根据权利要求6所述的方法,其特征在于,所述根据所述参考文本内容以及所述参考文本内容中文本单元的语音识别置信度确定所述第一文本片段,包括:
检测所述参考文本内容中是否存在参考相邻文本单元,所述参考相邻文本单元包括两个相邻的文本单元,所述两个相邻的文本单元中的前一个文本单元的语音识别置信度大于后一个文本单元的置信度;
若是,则确定所述参考文本内容中,所述前一个文本单元之前的文本内容以及所述前一个文本单元组成的文本片段为所述第一文本片段。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述获取至少一个第二文本片段;根据至少一个第二文本片段和所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果,包括:
获取已翻译的预设数量第二文本片段;
根据所述预设数量第二文本片段和所述第一个文本片段生成目标文本片段;
根据所述目标文本片段生成所述第一语言语音在第二语言语境中的第二翻译结果。
9.根据权利要求1-7任一项所述的方法,其特征在于,所述获取至少一个第二文本片段;根据至少一个第二文本片段和所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果,包括:
计算所述第一文本片段与已翻译的第二文本片段进行组合的语言模型得分;
确定语言模型得分最高对应的所述第一文本片段与已翻译的第二文本片段的组合为目标文本片段;
根据所述目标文本片段生成所述第一语言语音在第二语言语境中的第二翻译结果。
10.根据权利要求1-9任一项所述的方法,其特征在于,在所述生成所述第一语言语音在第二语言语境中的第二翻译结果之后,所述方法还包括:
根据所述第二翻译结果更新已显示的翻译结果中所述至少一个第二文本片段对应的翻译结果。
11.根据权利要求1-9所述的方法,其特征在于,在所述生成所述第一语言语音在第二语言语境中的第二翻译结果之后,所述方法还包括:
提取所述第二翻译结果中所述第一文本片段以及所述第一文本片段之前预设数量的第二文本片段对应的翻译结果,得到第三翻译结果;
根据所述第三翻译结果更新已显示的翻译结果中所述预设数量的第二文本片段对应的翻译结果。
12.根据权利要求1-11任一项所述的方法,其特征在于,所述根据所述第一文本片段,生成所述第一语言语音在第二语言语境中的第一翻译结果,或根据至少一个第二文本片段和所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果,是基于翻译模型实现的;
所述翻译模型为利用包含多个本文本片段对的数据集训练获得,所述本文本片段对包含源语言文本片段以及与所述源语言文本片段分别对应的目标语言文本片段。
13.根据权利要求12所述的方法,其特征在于,所述本文本片段对通过如下步骤获得:
对第一语言训练文本和第二语言训练文本进行分词处理;所述第二语言训练文本为所述第一语言训练文本在第二语言语境中的翻译结果;
将分词处理后的第一语言训练文本中的单词和分词处理后的第二语言训练文本中单词进行对齐处理,得到对齐处理结果;
基于所述对齐处理结果以及分词处理后的第一语言训练文本和第二语言训练文本,生成至少一个文本片段对。
14.一种翻译装置,其特征在于,包括处理单元和通信单元,其中,
所述处理单元,用于通过控制所述通信单元获取第一语言语音,以及处理所述第一语言语音得到待翻译的第一文本片段,所述第一文本片段为第一语言语境中的文本,所述第一文本片段至少包括一个未翻译过的文本单元;以及判断所述第一文本片段是否为第一个文本片段;若是,则根据所述第一文本片段,生成所述第一语言语音在第二语言语境中的第一翻译结果;若否,则获取至少一个第二文本片段;根据至少一个第二文本片段和所述第一文本片段,生成所述第一语言语音在第二语言语境中的第二翻译结果,所述第二文本片段为已有翻译结果对应于所述第一语言语境中的文本片段。
15.一种电子设备,其特征在于,包括处理器、存储器,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-14任一项所述的方法中的步骤的指令。
16.一种计算机可读存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-14任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910802302.3A CN110705317B (zh) | 2019-08-28 | 2019-08-28 | 翻译方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910802302.3A CN110705317B (zh) | 2019-08-28 | 2019-08-28 | 翻译方法及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110705317A true CN110705317A (zh) | 2020-01-17 |
CN110705317B CN110705317B (zh) | 2023-04-07 |
Family
ID=69193770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910802302.3A Active CN110705317B (zh) | 2019-08-28 | 2019-08-28 | 翻译方法及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110705317B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112233649A (zh) * | 2020-10-15 | 2021-01-15 | 安徽听见科技有限公司 | 机器同声传译输出音频动态合成方法、装置以及设备 |
CN112329484A (zh) * | 2020-11-06 | 2021-02-05 | 中国联合网络通信集团有限公司 | 自然语言的翻译方法及装置 |
CN112735417A (zh) * | 2020-12-29 | 2021-04-30 | 科大讯飞股份有限公司 | 语音翻译方法、电子设备、计算机可读存储介质 |
WO2023005729A1 (zh) * | 2021-07-28 | 2023-02-02 | 北京有竹居网络技术有限公司 | 语音信息处理方法、装置和电子设备 |
WO2023078221A1 (zh) * | 2021-11-03 | 2023-05-11 | 华为技术有限公司 | 语言翻译方法及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110178791A1 (en) * | 2010-01-20 | 2011-07-21 | Xerox Corporation | Statistical machine translation system and method for translation of text into languages which produce closed compound words |
US20170031901A1 (en) * | 2015-07-30 | 2017-02-02 | Alibaba Group Holding Limited | Method and Device for Machine Translation |
CN108460027A (zh) * | 2018-02-14 | 2018-08-28 | 广东外语外贸大学 | 一种口语即时翻译方法及系统 |
CN109344413A (zh) * | 2018-10-16 | 2019-02-15 | 北京百度网讯科技有限公司 | 翻译处理方法和装置 |
-
2019
- 2019-08-28 CN CN201910802302.3A patent/CN110705317B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110178791A1 (en) * | 2010-01-20 | 2011-07-21 | Xerox Corporation | Statistical machine translation system and method for translation of text into languages which produce closed compound words |
US20170031901A1 (en) * | 2015-07-30 | 2017-02-02 | Alibaba Group Holding Limited | Method and Device for Machine Translation |
CN108460027A (zh) * | 2018-02-14 | 2018-08-28 | 广东外语外贸大学 | 一种口语即时翻译方法及系统 |
CN109344413A (zh) * | 2018-10-16 | 2019-02-15 | 北京百度网讯科技有限公司 | 翻译处理方法和装置 |
Non-Patent Citations (1)
Title |
---|
孙越恒等: "统计机器翻译中的非连续短语模板抽取及其应用", 《计算机科学》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112233649A (zh) * | 2020-10-15 | 2021-01-15 | 安徽听见科技有限公司 | 机器同声传译输出音频动态合成方法、装置以及设备 |
CN112233649B (zh) * | 2020-10-15 | 2024-04-30 | 安徽听见科技有限公司 | 机器同声传译输出音频动态合成方法、装置以及设备 |
CN112329484A (zh) * | 2020-11-06 | 2021-02-05 | 中国联合网络通信集团有限公司 | 自然语言的翻译方法及装置 |
CN112735417A (zh) * | 2020-12-29 | 2021-04-30 | 科大讯飞股份有限公司 | 语音翻译方法、电子设备、计算机可读存储介质 |
CN112735417B (zh) * | 2020-12-29 | 2024-04-26 | 中国科学技术大学 | 语音翻译方法、电子设备、计算机可读存储介质 |
WO2023005729A1 (zh) * | 2021-07-28 | 2023-02-02 | 北京有竹居网络技术有限公司 | 语音信息处理方法、装置和电子设备 |
WO2023078221A1 (zh) * | 2021-11-03 | 2023-05-11 | 华为技术有限公司 | 语言翻译方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110705317B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110705317B (zh) | 翻译方法及相关装置 | |
JP6675463B2 (ja) | 自然言語の双方向確率的な書換えおよび選択 | |
CN103971684B (zh) | 一种添加标点的方法、系统及其语言模型建立方法、装置 | |
CN112231498A (zh) | 互动信息处理方法、装置、设备及介质 | |
KR101266361B1 (ko) | 구조화된 번역 메모리 기반의 자동 번역 시스템 및 자동 번역 방법 | |
CN109256133A (zh) | 一种语音交互方法、装置、设备及存储介质 | |
JP2016529603A (ja) | オンライン音声翻訳方法及び装置 | |
WO2022088570A1 (zh) | 译文后编译方法、装置、电子设备和存储介质 | |
CN113035199B (zh) | 音频处理方法、装置、设备及可读存储介质 | |
CN112399269B (zh) | 视频分割方法、装置、设备及存储介质 | |
CN103167360A (zh) | 实现多语字幕翻译的方法 | |
CN110784662A (zh) | 一种视频背景的更换方法、系统、装置和存储介质 | |
JP2012181358A (ja) | テキスト表示時間決定装置、テキスト表示システム、方法およびプログラム | |
CN114064943A (zh) | 会议管理方法、装置、存储介质及电子设备 | |
CN113505609A (zh) | 一种一键式多语言会议辅助翻译方法及具有该方法的设备 | |
Behre et al. | Streaming punctuation: A novel punctuation technique leveraging bidirectional context for continuous speech recognition | |
US20230326369A1 (en) | Method and apparatus for generating sign language video, computer device, and storage medium | |
CN109657244B (zh) | 一种英文长句自动切分方法及系统 | |
CN114861628A (zh) | 训练机器翻译模型的系统、方法、电子设备及存储介质 | |
CN116415597A (zh) | 语音翻译、同声传译方法 | |
CN106844357A (zh) | 大句库翻译方法 | |
Acharya et al. | A Comparative Study of SMT and NMT: Case Study of English-Nepali Language Pair. | |
CN116089601A (zh) | 对话摘要生成方法、装置、设备及介质 | |
KR20160131730A (ko) | 자연어 처리 시스템, 자연어 처리 장치, 자연어 처리 방법 및 컴퓨터 판독가능 기록매체 | |
JP2023034235A (ja) | テキスト要約方法、テキスト要約システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |