CN112687271B - 语音翻译方法、装置、电子设备和存储介质 - Google Patents
语音翻译方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112687271B CN112687271B CN202011488771.1A CN202011488771A CN112687271B CN 112687271 B CN112687271 B CN 112687271B CN 202011488771 A CN202011488771 A CN 202011488771A CN 112687271 B CN112687271 B CN 112687271B
- Authority
- CN
- China
- Prior art keywords
- sample
- translation
- recognition result
- result
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Machine Translation (AREA)
Abstract
本申请公开了语音翻译方法、装置、电子设备和存储介质,涉及语音、自然语言处理、深度学习技术领域。具体实现方案为:获取待翻译原始语音识别结果;将待翻译原始语音识别结果输入至训练好的语音翻译模型中,得到所述待翻译原始语音识别结果对应的翻译结果,训练好的语音翻译模型为根据双语句对训练得到的。本申请的语音翻译方法,可将待翻译原始语音识别结果输入至训练好的语音翻译模型中,得到待翻译原始语音识别结果对应的翻译结果,可根据样本原始语音识别结果和样本翻译结果作为双语句对训练语音翻译模型,有助于提高语音翻译模型的鲁棒性,适用于口语化翻译场景,且不需要额外增加新的模块,语音翻译的实时性和准确性较好。
Description
技术领域
本申请涉及计算机技术领域中的语音、自然语言处理、深度学习技术领域,尤其涉及一种语音翻译方法、装置、电子设备、存储介质和计算机程序产品。
背景技术
目前,随着人工智能、自然语言处理等技术的发展,语音翻译技术在同传、外语教学等场景中得到了广泛的应用。例如,同传场景下,语音翻译技术可将说话者的语言类型同步转换为不同语言类型,方便了人们交流。然而,相关技术中的语音翻译方法,翻译结果容易出现错误。
发明内容
提供了一种语音翻译方法、装置、电子设备、存储介质和计算机程序产品。
根据第一方面,提供了一种语音翻译方法,包括:获取待翻译原始语音识别结果;将所述待翻译原始语音识别结果输入至训练好的语音翻译模型中,得到所述待翻译原始语音识别结果对应的翻译结果,所述训练好的语音翻译模型为根据双语句对训练得到的,所述双语句对包括样本原始语音识别结果和样本翻译结果,所述样本翻译结果为根据所述样本原始语音识别结果纠错后的样本干净语音识别结果翻译得到的。
根据第二方面,提供了一种语音翻译装置,包括:获取模块,用于获取待翻译原始语音识别结果;输入模块,用于将所述待翻译原始语音识别结果输入至训练好的语音翻译模型中,得到所述待翻译原始语音识别结果对应的翻译结果,所述训练好的语音翻译模型为根据双语句对训练得到的,所述双语句对包括样本原始语音识别结果和样本翻译结果,所述样本翻译结果为根据所述样本原始语音识别结果纠错后的样本干净语音识别结果翻译得到的。
根据第三方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请第一方面所述的语音翻译方法。
根据第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本申请第一方面所述的语音翻译方法。
根据第五方面,提供了一种计算机程序产品,包括计算机程序,其中,所述计算机程序被处理器执行时实现本公开第一方面所述的语音翻译方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请第一实施例的语音翻译方法的流程示意图;
图2是根据本申请第二实施例的语音翻译方法中训练好的语音翻译模型的获取的流程示意图;
图3是根据本申请第三实施例的语音翻译方法中获取双语句对的流程示意图;
图4是根据本申请第一实施例的语音翻译模型的训练系统的框图;
图5是根据本申请第一实施例的语音翻译装置的框图;
图6是根据本申请第二实施例的语音翻译装置的框图;
图7是用来实现本申请实施例的语音翻译方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
语音可包括语音识别、语音交互等技术领域,是人工智能领域中的一个重要方向。
语音识别(Voice Recognition)是一种让机器通过识别和理解过程把语音信号转变为相应的文本或命令的技术,主要包括特征提取技术、模式匹配准则及模型训练技术三个方面。
语音交互(Voice Interaction)是一种机器与用户以语音为信息载体进行互动、沟通、信息交换等交互行为的技术,相较于传统的人机交互,具有方便快捷、用户舒适性高的优点。
自然语言处理(Natural Language Processing,NLU)是研究能有效地实现自然语言通信的计算机系统,特别是其中的软件系统的一门科学,是计算机科学领域与人工智能领域中的一个重要方向。
深度学习(Deep Learning,DL)是机器学习(Machine Learning,ML)领域中一个新的研究方向,是学习样本数据的内在规律和表示层次,使得机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据的一门科学,广泛应用于语音和图像识别。
图1是根据本申请第一实施例的语音翻译方法的流程示意图。
如图1所示,本申请第一实施例的语音翻译方法包括:
S101,获取待翻译原始语音识别结果。
需要说明的是,本申请实施例的语音翻译方法的执行主体可为具有数据信息处理能力的硬件设备和/或驱动该硬件设备工作所需必要的软件。可选的,执行主体可包括工作站、服务器,计算机、用户终端及其他设备。其中,用户终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。
本申请的实施例中,可获取待翻译原始语音识别结果。
可选的,可通过语音识别模型获取待翻译原始语音识别结果。其中,语音识别模型可根据实际情况进行设置,例如,语音识别模型可为ASR(Automatic Speech Recognition,自动语音识别)模型。
S102,将待翻译原始语音识别结果输入至训练好的语音翻译模型中,得到待翻译原始语音识别结果对应的翻译结果,训练好的语音翻译模型为根据双语句对训练得到的,双语句对包括样本原始语音识别结果和样本翻译结果,样本翻译结果为根据样本原始语音识别结果纠错后的样本干净语音识别结果翻译得到的。
需要说明的是,本申请实施例中,对待翻译原始语音识别结果和翻译结果的语言类型不做限定。
可以理解的是,待翻译原始语音识别结果可能会不太准确。
例如,若语音识别模型的性能较差,则获取的待翻译原始语音识别结果可能会在同音字、谐音字的识别上出现错误,例如,将“是”识别为“事”,或者将“是”识别为“4”。或者,获取的待翻译原始语音识别结果中可能会漏掉语音中的部分内容。
例如,说话者在发出语音时可能会发出语气词,或者重复某些词语,或者说错内容之后又对内容进行修正,此时待翻译原始语音识别结果中可能会出现语气词、重复内容、丢弃内容等。
考虑到待翻译原始语音识别结果的不准确性,本申请中,可将待翻译原始语音识别结果输入至训练好的语音翻译模型中,以获取待翻译原始语音识别结果对应的翻译结果。
其中,训练好的语音翻译模型为根据双语句对训练得到的,双语句对包括样本原始语音识别结果和样本翻译结果,样本翻译结果为根据样本原始语音识别结果纠错后的样本干净语音识别结果翻译得到的。
可以理解的是,相较于样本原始语音识别结果,样本干净语音识别结果更准确。例如,样本原始语音识别结果可为“我嗯我说明天4个好天气”,则根据“我嗯我说明天4个好天气”纠错后的样本干净语音识别结果可为“我说明天是个好天气”,消除了样本原始语音识别结果“我嗯我说明天4个好天气”中的“我嗯”存在的语气词、重复内容错误,还消除了“4”存在的谐音字错误。
相较于直接利用样本原始语音识别结果翻译得到的翻译结果,利用样本干净语音识别结果翻译得到的样本翻译结果更准确,之后再将原始语音识别结果和样本翻译结果作为双语句对训练语音翻译模型,得到的语音翻译模型的鲁棒性更好。
可以理解的是,本申请中的语音翻译模型是根据样本原始语音识别结果训练得到的,可利用口语化的数据作为原始语音识别结果进行模型训练,相应的,训练得到的语音翻译模型可适用于口语化翻译场景,例如同传场景。
相关技术中,为了提高翻译结果的准确性,大多采用在语音翻译模型之前添加额外的容错模块,用于对语音识别结果进行修正,然后再将修正后的结果输入至语音翻译模型,增加了翻译耗时,而本申请中仅需将原始语音识别结果输入至训练好的语音翻译模型中,就可得到翻译结果,不需要额外增加模块,翻译耗时较短,语音翻译的实时性较好,适用于同传场景。
综上,根据本申请实施例的语音翻译方法,可将待翻译原始语音识别结果输入至训练好的语音翻译模型中,得到待翻译原始语音识别结果对应的翻译结果,可根据样本原始语音识别结果和样本翻译结果作为双语句对训练语音翻译模型,有助于提高语音翻译模型的鲁棒性,适用于口语化翻译场景,且不需要额外增加新的模块,语音翻译的实时性和准确性较好。
在上述任一实施例的基础上,如图2所示,训练好的语音翻译模型的获取,可包括:
S201,获取双语句对。
其中,双语句对包括样本原始语音识别结果和样本翻译结果,样本翻译结果为根据样本原始语音识别结果纠错后的样本干净语音识别结果翻译得到的。
可以理解的是,可获取大量的双语句对,用于训练语音翻译模型。
S202,根据双语句对对待训练的语音翻译模型进行训练,得到训练好的语音翻译模型。
在具体实施中,可将样本原始语音识别结果输入至待训练的语音翻译模型中,获取待训练的语音翻译模型输出的第一样本翻译结果,第一样本翻译结果与样本翻译结果有可能存在较大误差,可根据第一样本翻译结果和样本翻译结果之间的误差,对待训练的语音翻译模型进行训练,直至待训练的语音翻译模型收敛,或者迭代次数达到预设的迭代次数阈值,或者模型精度达到预设的精度阈值,则可结束模型的训练,将最后一次训练得到的语音翻译模型作为训练好的语音翻译模型。其中,迭代次数阈值、精度阈值可根据实际情况进行设置。
由此,该方法可根据双语句对对待训练的语音翻译模型进行训练,得到训练好的语音翻译模型。
在上述任一实施例的基础上,如图3所示,步骤S201中获取双语句对,可包括:
S301,获取样本原始语音识别结果。
步骤S301的具体实现过程及原理,可参照上述实施例中的相关内容,这里不再赘述。
S302,对样本原始语音识别结果进行纠错处理,得到样本干净语音识别结果。
可选的,对样本原始语音识别结果进行纠错处理,可包括对样本原始语音识别结果进行去重、过滤语气词和纠正错误识别结果中的至少一种处理。
可以理解的是,样本原始语音识别结果中可能会出现重复内容,则可对样本原始语音识别结果进行去重处理,以将重复内容从样本原始语音识别结果中去掉。
或者,样本原始语音识别结果中可能会出现语气词,例如,“嗯”、“啊”、“呢”等,这些语气词可不进行翻译,则可对样本原始语音识别结果进行过滤语气词处理,以将语气词从样本原始语音识别结果中过滤掉。
或者,样本原始语音识别结果中可能会出现错误识别,例如,可能会出现同音字、谐音字、漏识别这些错误识别,则可对样本原始语音识别结果进行纠正错误识别结果处理,以消除样本原始语音识别结果中的相当错误识别。
需要说明的是,对样本原始语音识别结果进行纠错处理,还可包括其他处理方式,这里不做过多限定。
S303,对样本干净语音识别结果进行翻译处理,得到样本翻译结果。
可选的,对样本干净语音识别结果进行翻译处理,得到样本翻译结果,可包括采用Beam Search(束搜索)技术对样本干净语音识别结果进行翻译处理,得到样本翻译结果。
S304,根据样本原始语音识别结果和样本翻译结果生成双语句对。
由此,该方法可在获取样本原始语音识别结果之后,对样本原始语音识别结果进行纠错处理,得到样本干净语音识别结果,并对样本干净语音识别结果进行翻译处理,得到样本翻译结果,并可根据样本原始语音识别结果和样本翻译结果生成双语句对。
可以理解的是,得到的样本翻译结果可能会存在误差,则步骤S304中根据样本原始语音识别结果和样本翻译结果生成双语句对,可包括计算样本干净语音识别结果和样本翻译结果的相似度,根据相似度大于预设的相似度阈值的样本翻译结果和样本原始语音识别结果生成双语句对。其中,相似度阈值可根据实际情况进行设置。
可选的,可将样本干净语音识别结果和样本翻译结果输入至相似度模型,以获取样本干净语音识别结果和样本翻译结果的相似度。其中,相似度模型可根据实际情况进行设置。
由此,该方法可在样本干净语音识别结果与样本翻译结果的相似度较高时,利用对应的样本翻译结果和样本原始语音识别结果生成双语句对,有助于提高双语句对的准确性,进而可提高语音翻译模型的准确性。
如图4所示,语音翻译模型的训练系统400可包括数据生成模块401和模型训练模块402,数据生成模块401用于生成双语句对,并将双语句对输入至模型训练模块402,模型训练模块402用于根据双语句对训练语音翻译模型。其中,数据生成模块401可包括识别容错单元4011、翻译单元4012、相似度单元4013、句对生成单元4014。识别容错单元4011用于对样本原始语音识别结果进行纠错处理,得到样本干净语音识别结果,翻译单元4012用于对样本干净语音识别结果进行翻译处理,得到样本翻译结果,相似度单元4013用于对计算样本干净语音识别结果和样本翻译结果的相似度,句对生成单元4014用于根据相似度大于预设的相似度阈值的样本翻译结果和样本原始语音识别结果。
图5是根据本申请第一实施例的语音翻译装置的框图。
如图5所示,本申请实施例的语音翻译装置500,包括:获取模块501和输入模块502。
获取模块501,用于获取待翻译原始语音识别结果;
输入模块502,用于将所述待翻译原始语音识别结果输入至训练好的语音翻译模型中,得到所述待翻译原始语音识别结果对应的翻译结果,所述训练好的语音翻译模型为根据双语句对训练得到的,所述双语句对包括样本原始语音识别结果和样本翻译结果,所述样本翻译结果为根据所述样本原始语音识别结果纠错后的样本干净语音识别结果翻译得到的。
综上,本申请实施例的语音翻译装置,可将待翻译原始语音识别结果输入至训练好的语音翻译模型中,得到待翻译原始语音识别结果对应的翻译结果,可根据样本原始语音识别结果和样本翻译结果作为双语句对训练语音翻译模型,有助于提高语音翻译模型的鲁棒性,适用于口语化翻译场景,且不需要额外增加新的模块,语音翻译的实时性和准确性较好。
图6是根据本申请第二实施例的语音翻译装置的框图。
如图6所示,本申请实施例的语音翻译装置600,包括:获取模块601、输入模块602、训练模块603。
其中,获取模块601与获取模块501具有相同功能和结构,输入模块602与输入模块502具有相同功能和结构。
在本申请的一个实施例中,所述训练模块603,包括:获取单元6031,用于获取所述双语句对;训练单元6032,用于根据所述双语句对对待训练的语音翻译模型进行训练,得到所述训练好的语音翻译模型。
在本申请的一个实施例中,所述获取单元6031,包括:获取子单元,用于获取所述样本原始语音识别结果;纠错子单元,用于对所述样本原始语音识别结果进行纠错处理,得到所述样本干净语音识别结果;翻译子单元,用于对所述样本干净语音识别结果进行翻译处理,得到所述样本翻译结果;生成子单元,用于根据所述样本原始语音识别结果和所述样本翻译结果生成所述双语句对。
在本申请的一个实施例中,所述生成子单元,具体用于:计算所述样本干净语音识别结果和所述样本翻译结果的相似度;根据所述相似度大于预设的相似度阈值的所述样本翻译结果和所述样本原始语音识别结果生成所述双语句对。
在本申请的一个实施例中,所述纠错子单元,具体用于:对所述样本原始语音识别结果进行去重、过滤语气词和纠正错误识别结果中的至少一种处理。
综上,本申请实施例的语音翻译装置,可将待翻译原始语音识别结果输入至训练好的语音翻译模型中,得到待翻译原始语音识别结果对应的翻译结果,可根据样本原始语音识别结果和样本翻译结果作为双语句对训练语音翻译模型,有助于提高语音翻译模型的鲁棒性,适用于口语化翻译场景,且不需要额外增加新的模块,语音翻译的实时性和准确性较好。
根据本申请的实施例,本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
如图7所示,是根据本申请实施例的语音翻译方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,智能语音交互设备、个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示,该电子设备包括:一个或多个处理器701、存储器702,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器701可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的语音翻译方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的语音翻译方法。
存储器702作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的语音翻译方法对应的程序指令/模块(例如,附图5所示的获取模块501、输入模块502)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的语音翻译方法。
存储器702可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据语音翻译方法的电子设备的使用所创建的数据等。此外,存储器702可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器702可选包括相对于处理器701远程设置的存储器,这些远程存储器可以通过网络连接至语音翻译方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
语音翻译方法的电子设备还可以包括:输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接,图7中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息,以及产生与语音翻译方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
根据本申请的实施例,本申请还提供了一种计算机程序产品,包括计算机程序,其中,所述计算机程序被处理器执行时实现本申请上述实施例所述的语音翻译方法。
根据本申请实施例的技术方案,可将待翻译原始语音识别结果输入至训练好的语音翻译模型中,得到待翻译原始语音识别结果对应的翻译结果,可根据样本原始语音识别结果和样本翻译结果作为双语句对训练语音翻译模型,有助于提高语音翻译模型的鲁棒性,适用于口语化翻译场景,且不需要额外增加新的模块,语音翻译的实时性和准确性较好。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (8)
1.一种语音翻译方法,包括:
获取待翻译原始语音识别结果;
将所述待翻译原始语音识别结果输入至训练好的语音翻译模型中,得到所述待翻译原始语音识别结果对应的翻译结果,所述训练好的语音翻译模型为根据双语句对训练得到的,所述双语句对包括样本原始语音识别结果和样本翻译结果,所述样本翻译结果为根据所述样本原始语音识别结果纠错后的样本干净语音识别结果翻译得到的;
获取所述双语句对;
根据所述双语句对对待训练的语音翻译模型进行训练,得到所述训练好的语音翻译模型,其中,将所述样本原始语音识别结果输入至所述待训练的语音翻译模型中,获取所述待训练的语音翻译模型输出的第一样本翻译结果,根据所述第一样本翻译结果和所述样本翻译结果之间的误差,对所述待训练的语音翻译模型进行训练,直至所述待训练的语音翻译模型收敛,以得到所述训练好的语音翻译模型;
所述获取所述双语句对,包括:
获取所述样本原始语音识别结果;
对所述样本原始语音识别结果进行纠错处理,得到所述样本干净语音识别结果;
对所述样本干净语音识别结果进行翻译处理,得到所述样本翻译结果;
根据所述样本原始语音识别结果和所述样本翻译结果生成所述双语句对。
2.根据权利要求1所述的语音翻译方法,所述根据所述样本原始语音识别结果和所述样本翻译结果生成所述双语句对,包括:
计算所述样本干净语音识别结果和所述样本翻译结果的相似度;
根据所述相似度大于预设的相似度阈值的所述样本翻译结果和所述样本原始语音识别结果生成所述双语句对。
3.根据权利要求1所述的语音翻译方法,所述对所述样本原始语音识别结果进行纠错处理,包括:
对所述样本原始语音识别结果进行去重、过滤语气词和纠正错误识别结果中的至少一种处理。
4.一种语音翻译装置,包括:
获取模块,用于获取待翻译原始语音识别结果;
输入模块,用于将所述待翻译原始语音识别结果输入至训练好的语音翻译模型中,得到所述待翻译原始语音识别结果对应的翻译结果,所述训练好的语音翻译模型为根据双语句对训练得到的,所述双语句对包括样本原始语音识别结果和样本翻译结果,所述样本翻译结果为根据所述样本原始语音识别结果纠错后的样本干净语音识别结果翻译得到的;
训练模块,所述训练模块,包括:
获取单元,用于获取所述双语句对;
训练单元,用于根据所述双语句对对待训练的语音翻译模型进行训练,得到所述训练好的语音翻译模型,其中,将所述样本原始语音识别结果输入至所述待训练的语音翻译模型中,获取所述待训练的语音翻译模型输出的第一样本翻译结果,根据所述第一样本翻译结果和所述样本翻译结果之间的误差,对所述待训练的语音翻译模型进行训练,直至所述待训练的语音翻译模型收敛,以得到所述训练好的语音翻译模型;
获取子单元,用于获取所述样本原始语音识别结果;
纠错子单元,用于对所述样本原始语音识别结果进行纠错处理,得到所述样本干净语音识别结果;
翻译子单元,用于对所述样本干净语音识别结果进行翻译处理,得到所述样本翻译结果;
生成子单元,用于根据所述样本原始语音识别结果和所述样本翻译结果生成所述双语句对。
5.根据权利要求4所述的语音翻译装置,所述生成子单元,具体用于:
计算所述样本干净语音识别结果和所述样本翻译结果的相似度;
根据所述相似度大于预设的相似度阈值的所述样本翻译结果和所述样本原始语音识别结果生成所述双语句对。
6.根据权利要求4所述的语音翻译装置,所述纠错子单元,具体用于:
对所述样本原始语音识别结果进行去重、过滤语气词和纠正错误识别结果中的至少一种处理。
7. 一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-3中任一项所述的语音翻译方法。
8.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行权利要求1-3中任一项所述的语音翻译方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011488771.1A CN112687271B (zh) | 2020-12-16 | 2020-12-16 | 语音翻译方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011488771.1A CN112687271B (zh) | 2020-12-16 | 2020-12-16 | 语音翻译方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112687271A CN112687271A (zh) | 2021-04-20 |
CN112687271B true CN112687271B (zh) | 2023-04-11 |
Family
ID=75448408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011488771.1A Active CN112687271B (zh) | 2020-12-16 | 2020-12-16 | 语音翻译方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112687271B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114818748B (zh) * | 2022-05-10 | 2023-04-21 | 北京百度网讯科技有限公司 | 用于生成翻译模型的方法、翻译方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107515862A (zh) * | 2017-09-01 | 2017-12-26 | 北京百度网讯科技有限公司 | 语音翻译方法、装置及服务器 |
CN109359309A (zh) * | 2018-12-11 | 2019-02-19 | 成都金山互动娱乐科技有限公司 | 一种翻译方法及装置、翻译模型的训练方法及装置 |
CN109657251A (zh) * | 2018-12-17 | 2019-04-19 | 北京百度网讯科技有限公司 | 用于翻译语句的方法和装置 |
CN109977424A (zh) * | 2017-12-27 | 2019-07-05 | 北京搜狗科技发展有限公司 | 一种机器翻译模型的训练方法及装置 |
CN110598222A (zh) * | 2019-09-12 | 2019-12-20 | 北京金山数字娱乐科技有限公司 | 语言处理方法及装置、语言处理系统的训练方法及装置 |
CN110874537A (zh) * | 2018-08-31 | 2020-03-10 | 阿里巴巴集团控股有限公司 | 多语言翻译模型的生成方法、翻译方法及设备 |
JP2020119043A (ja) * | 2019-01-18 | 2020-08-06 | 大栄トレーディング株式会社 | 音声翻訳システムおよび音声翻訳方法 |
CN211479346U (zh) * | 2020-03-04 | 2020-09-11 | 渭南师范学院 | 一种英语翻译交流学习系统 |
-
2020
- 2020-12-16 CN CN202011488771.1A patent/CN112687271B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107515862A (zh) * | 2017-09-01 | 2017-12-26 | 北京百度网讯科技有限公司 | 语音翻译方法、装置及服务器 |
CN109977424A (zh) * | 2017-12-27 | 2019-07-05 | 北京搜狗科技发展有限公司 | 一种机器翻译模型的训练方法及装置 |
CN110874537A (zh) * | 2018-08-31 | 2020-03-10 | 阿里巴巴集团控股有限公司 | 多语言翻译模型的生成方法、翻译方法及设备 |
CN109359309A (zh) * | 2018-12-11 | 2019-02-19 | 成都金山互动娱乐科技有限公司 | 一种翻译方法及装置、翻译模型的训练方法及装置 |
CN109657251A (zh) * | 2018-12-17 | 2019-04-19 | 北京百度网讯科技有限公司 | 用于翻译语句的方法和装置 |
JP2020119043A (ja) * | 2019-01-18 | 2020-08-06 | 大栄トレーディング株式会社 | 音声翻訳システムおよび音声翻訳方法 |
CN110598222A (zh) * | 2019-09-12 | 2019-12-20 | 北京金山数字娱乐科技有限公司 | 语言处理方法及装置、语言处理系统的训练方法及装置 |
CN211479346U (zh) * | 2020-03-04 | 2020-09-11 | 渭南师范学院 | 一种英语翻译交流学习系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112687271A (zh) | 2021-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112489637B (zh) | 语音识别方法和装置 | |
KR102565673B1 (ko) | 시멘틱 표현 모델의 생성 방법, 장치, 전자 기기 및 저장 매체 | |
CN111709234B (zh) | 文本处理模型的训练方法、装置及电子设备 | |
CN111241819B (zh) | 词向量生成方法、装置及电子设备 | |
KR102554758B1 (ko) | 기계 번역에서 모델 트레이닝 방법, 장치, 전자 기기 및 기록 매체 | |
CN111144108B (zh) | 情感倾向性分析模型的建模方法、装置和电子设备 | |
CN111177355B (zh) | 基于搜索数据的人机对话交互方法、装置和电子设备 | |
US11893988B2 (en) | Speech control method, electronic device, and storage medium | |
CN112507706B (zh) | 知识预训练模型的训练方法、装置和电子设备 | |
CN112287698B (zh) | 篇章翻译方法、装置、电子设备和存储介质 | |
CN112466280B (zh) | 语音交互方法、装置、电子设备和可读存储介质 | |
CN112560846B (zh) | 纠错语料的生成方法、装置及电子设备 | |
CN112633017A (zh) | 翻译模型训练、翻译处理方法、装置、设备和存储介质 | |
CN112580324A (zh) | 文本纠错方法、装置、电子设备以及存储介质 | |
US20220068265A1 (en) | Method for displaying streaming speech recognition result, electronic device, and storage medium | |
CN110728156B (zh) | 翻译方法、装置、电子设备及可读存储介质 | |
CN112687271B (zh) | 语音翻译方法、装置、电子设备和存储介质 | |
CN113160822B (zh) | 语音识别处理方法、装置、电子设备以及存储介质 | |
CN112650844A (zh) | 对话状态的追踪方法、装置、电子设备和存储介质 | |
CN112466295A (zh) | 语言模型训练方法、应用方法、装置、设备及存储介质 | |
CN111339314A (zh) | 一种三元组数据的生成方法、装置和电子设备 | |
CN115292467B (zh) | 信息处理与模型训练方法、装置、设备、介质及程序产品 | |
JP7204861B2 (ja) | 中国語と英語の混在音声の認識方法、装置、電子機器及び記憶媒体 | |
CN110688837A (zh) | 数据处理的方法及装置 | |
JP2023002730A (ja) | テキスト誤り訂正とテキスト誤り訂正モデルの生成方法、装置、機器及び媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |