CN110401671A - 一种同传翻译系统及同传翻译终端 - Google Patents
一种同传翻译系统及同传翻译终端 Download PDFInfo
- Publication number
- CN110401671A CN110401671A CN201910719514.5A CN201910719514A CN110401671A CN 110401671 A CN110401671 A CN 110401671A CN 201910719514 A CN201910719514 A CN 201910719514A CN 110401671 A CN110401671 A CN 110401671A
- Authority
- CN
- China
- Prior art keywords
- translation
- module
- information
- simultaneous interpretation
- translated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013519 translation Methods 0.000 title claims abstract description 338
- 238000012545 processing Methods 0.000 claims abstract description 85
- 230000005540 biological transmission Effects 0.000 claims description 25
- 238000012550 audit Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 230000007306 turnover Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000000151 deposition Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 238000005553 drilling Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computer Networks & Wireless Communication (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种同传翻译系统,包括:至少一个同传翻译输入系统,所述同传翻译输入系统用于提供给被翻译方输入翻译资料,并将输入的所述翻译资料传送给一处理系统;所述处理系统,连接各所述同传翻译输入系统,用于处理分析所述翻译资料并生成翻译结果,并将所述翻译结果输出给对应的同传翻译输出系统;至少一个所述同传翻译输出系统,连接所述处理系统,用于将所述翻译结果提供给翻译接受方,本发明可根据现场现场演讲者的视频图像,自动匹配演讲者的语速,然后结合演讲者的语速以语音输出方式将演讲者的讲话实时翻译为对应的语言并同传给翻译接受方。
Description
技术领域
本发明涉及语言翻译技术领域,尤其涉及一种同传翻译系统及同传翻译终端。
背景技术
现有技术中的翻译器通常仅可对文字资料进行翻译,比如一些翻译词典、在线翻译器仅可对用户输入的文字进行翻译。在一些特定的场合,比如在远程视频会议中,会议双方因为语言的不同,双方都需要聘请专业翻译人员进行现场翻译。然而专业翻译人员受聘费用较高,在紧急情况下,也无法第一时间聘请到具备高水平翻译能力的专业翻译人员。所以近些年,一些翻译设备生产厂家开始致力研发同传翻译设备,但现有技术中的同传翻译设备仅可对现场语音进行实时翻译,而无法根据现场演讲者的视频图像,自动匹配演讲者的语速,然后结合演讲者的语速以语音输出方式将演讲者的讲话实时翻译为对应的语言并同传给翻译接受方。
发明内容
本发明提供了一种同传翻译系统,以解决上述技术问题。
本发明解决其技术问题采取的技术方案是,提供一种同传翻译系统,包括:
至少一个同传翻译输入系统,所述同传翻译输入系统用于提供给被翻译方输入翻译资料,并将输入的所述翻译资料传送给一处理系统;
所述处理系统,连接各所述同传翻译输入系统,用于处理分析所述翻译资料并生成翻译结果,并将所述翻译结果输出给对应的同传翻译输出系统;
至少一个所述同传翻译输出系统,连接所述处理系统,用于将所述翻译结果提供给翻译接受方;
于所述处理系统中包括:
翻译资料接收和存储模块,连接一第一翻译模块,用于接收所述同传翻译输入系统传送的所述翻译资料并存储;
所述第一翻译模块,用于将所述同传翻译输入系统传送的所述翻译资料翻译为对应的翻译文本并推送给对应的同传翻译输出系统;
翻译文本语音输出模块,连接所述第一翻译模块,用于将所述翻译文本中记载的翻译内容以翻译语言的语音输出方式输出给对应的所述同传翻译输出系统;
被翻译方音视频信息接收和存储模块,连接一同传模块,用于接收并存储所述同传翻译输入系统传送的关联于所述被翻译方的所述音视频信息;
所述同传模块,用于将所述音视频信息实时传送给对应的所述同传翻译输出系统;
音频信息屏蔽模块,连接所述同传模块,用于屏蔽所述音视频信息中原本存在的被翻译方的声音;
语速识别模块,连接所述同传模块,用于识别所述音视频信息中存在的关联于所述被翻译方的实时语速信息;
语速匹配模块,分别连接所述语速识别模块和所述翻译文本语音输出模块,用于根据实时识别到的所述语速信息实时修正所述翻译文本语音输出模块的语音输出的语速。
作为本发明的一种优选方案,每个所述同传翻译输入系统中均包括:
翻译资料输入模块,用于提供给所述被翻译方输入所述翻译资料;
翻译资料发送模块,连接所述翻译资料输入模块,用于将所述翻译资料发送给所述处理系统;
被翻译方音视频信息获取模块,用于获取关联于所述被翻译方的所述音视频信息;
被翻译方音视频信息发送模块,连接所述被翻译方音视频信息获取模块,用于将获取到的所述音视频信息发送给所述处理系统。
作为本发明的一种优选方案,每个所述同传翻译输入系统中还包括:
图像翻译资料获取模块,连接所述翻译资料发送模块,用于提供给所述被翻译方以图像信息获取方式获取所述翻译资料;
语音翻译资料获取模块,用于提供给所述被翻译方以语音信息获取方式获取所述翻译资料;
语音信息转换模块,分别连接所述语音翻译资料获取模块和所述翻译资料发送模块,用于将获取到的所述语音信息转换为对应的文字信息并将所述文字信息作为所述翻译资料并通过所述翻译资料发送模块输出给所述处理系统。
作为本发明的一种优选方案,每个所述同传翻译输入系统中还包括:
口音识别模块,连接所述被翻译方音视频信息获取模块,用于识别所述被翻译方的口音;
口音信息生成模块,连接所述口音识别模块,用于根据识别到的口音生成对应的口音信息并输出。
所述处理系统中还包括:
口音信息接收模块,用于接收所述同传翻译输入系统传送的关联于被翻译方的所述口音信息;
口音学习模块,分别连接所述口音信息接收模块和一口音文件发送模块,用于根据接收到的所述口音信息学习形成关联于所述被翻译方的所述口音并生成一口音文件并存储;
所述口音文件发送模块,连接所述翻译文本语音输出模块,用于将所述口音文件发送给所述翻译文本语音输出模块,所述翻译文本语音输出模块通过获取所述口音文件以模拟所述被翻译方的所述口音,并将所述翻译文本以语音输出方式输出给所述翻译接受方。
作为本发明的一种优选方案,所述口音信息包括关联于所述被翻译方的音调信息、和/或语气信息。
作为本发明的一种优选方案,每个所述同传翻译输出系统中还包括:
字幕语音同步输出模块,分别连接所述第一翻译模块和所述翻译文本语音输出模块,用于在所述翻译文本语音输出模块输出语音时,同步输出所述第一翻译模块翻译的所述翻译文本;
字幕显示模块,用于将所述翻译文本显示给所述翻译接受方。
作为本发明的一种优选方案,所述处理系统中还包括:
深度学习模块,分别连接所述翻译资料接收和存储模块以及所述第一翻译模块,用于以所述翻译资料、和/或关联于所述翻译资料的所述翻译文本、和/或关联于所述翻译文本的翻译更正结果作为训练样本训练形成一学习模型;
第二翻译模块,分别连接所述翻译资料接收和存储模块、所述深度学习模块以及所述翻译文本语音输出模块,用于基于所述学习模型将接收到的所述翻译资料翻译为对应的所述翻译文本,并将所述翻译文本发送给所述翻译文本语音输出模块。
作为本发明的一种优选方案,所述同传翻译输出系统中包括:
翻译文本接收模块,用于接收所述处理系统传送的所述翻译文本并输出;
翻译文本显示模块,连接所述翻译文本接收模块,用于将所述翻译文本显示给所示翻译接受方;
翻译文本错误信息输入模块,用于提供给所述翻译接受方输入所述翻译文本中存在的错误信息;
第一翻译文本错误信息推送模块,连接所述翻译文本错误信息输入模块,用于将所述错误信息推送给所述处理系统;
翻译文本错误信息更正模块,连接所述翻译文本错误信息输入模块,用于提供给所述翻译接受方直接对所述错误信息进行更正,并生成一更正结果
翻译文本更正结果推送模块,连接所述翻译文本错误信息更正模块,用于将所述更正结果推送给所述处理系统。
作为本发明的一种优选方案,所述处理系统中还包括:
翻译文本错误信息接收和存储模块,用于接收并存储所述同传翻译输出系统发送的存在于所述翻译文本中的所述错误信息;
第二翻译文本错误信息推送模块,连接所述翻译文本错误信息接收和存储模块,用于将存在于所述翻译文本中的所述错误信息推送给第三方系统,以供第三方系统的用户对所述错误信息进行更正;
更正结果接收模块,用于接收所述用户或所述翻译接受方针对所述错误信息所作出的所述更正结果;
更正内容审核模块,连接所述更正结果接收模块,用于提供给后台审核人员对接收到的所述更正结果中记载的更正内容进行审核,并生成一审核结果;
费用结算模块,连接所述更正内容审核模块,用于在通过更正内容审核后,提供给所述后台审核人员通过所述第三方系统向所述用户支付相应的费用,或通过所述同传翻译输出系统向所述翻译接受方支付相应的费用。
作为本发明的一种优选方案,所述处理系统中还包括:
更正结果发送模块,连接所述处理系统中的所述翻译资料接收和存储模块,用于将关联于所述翻译文本的所述更正结果发送给所述翻译资料接收和存储模块并存储。
作为本发明的一种优选方案,所述同传翻译输出系统中还包括:
一翻译语言选择模块,用于提供给所述翻译接受方选择所述翻译资料所要翻译的相对应的翻译语言,并将翻译语言选择结果发送给所述处理系统,所述处理系统则根据所述翻译语言选择结果将所述翻译资料翻译成对应所述翻译语言的所述翻译文本。
本发明还提供了一种同传翻译终端,所述同传翻译终端中运行有所述同传翻译系统。
本发明可根据现场现场演讲者的视频图像,自动匹配演讲者的语速,然后结合演讲者的语速以语音输出方式将演讲者的讲话实时翻译为对应的语言并同传给翻译接受方。
附图说明
图1是本实施例一、实施例二或实施例三提供的同传翻译系统的结构示意图;
图2是本实施例一提供的同传翻译系统中的同传翻译输入系统的结构示意图;
图3是本实施例二提供的同传翻译系统中的同传翻译输入系统的结构示意图;
图4是本实施例三提供的同传翻译系统中的同传翻译输入系统的结构示意图;
图5是本实施例一或实施例二或实施例三提供的同传翻译系统中的处理系统的结构示意图一;
图6是本实施例一或实施例二或实施例三提供的同传翻译系统中的处理系统的结构示意图二;
图7是本实施例一或实施例二或实施例三提供的同传翻译系统中的处理系统的结构示意图三;
图8是本实施例一或实施例二或实施例三提供的同传翻译系统中的处理系统的结构示意图四;
图9是本实施例一或实施例二或实施例三提供的同传翻译系统中的处理系统的结构示意图五;
图10是本实施例一或实施例二或实施例三提供的同传翻译系统中的同传翻译输出系统的结构示意图一;
图11是本实施例一或实施例二或实施例三提供的同传翻译系统中的同传翻译输出系统的结构示意图二。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明,但不作为本发明的限定。
实施例一
本实施例一提供的同传翻译系统,请参照图1,包括:
至少一个同传翻译输入系统100,同传翻译输入系统100用于提供给被翻译方输入翻译资料,并将输入的翻译资料传送给一处理系统200;
处理系统200,连接各同传翻译输入系统100,用于对翻译资料进行处理分析并生成翻译结果,并将翻译结果输出给对应的同传翻译输出系统300;
至少一个同传翻译输出系统300,连接处理系统200,用于将翻译结果提供给翻译接受方。
上述技术方案中,同传翻译输入系统100、处理系统200和同传翻译输出系统300均可运行于智能终端中。处理系统200可同时分析处理多个同传翻译输入系统100传送的翻译资料,并将生成的翻译结果传送给对应的一个或多个同传翻译输出系统300。
请参照图2,本实施例一提供的同传翻译系统中的每个同传翻译输入系统100中均包括:
翻译资料输入模块101,用于提供给被翻译方输入翻译资料;
翻译资料发送模块102,连接翻译资料输入模块101,用于将翻译资料发送给处理系统200;
被翻译方音视频信息获取模块103,用于获取关联于被翻译方的音视频信息;
被翻译方音视频信息发送模块104,连接被翻译方音视频信息获取模块103,用于将获取到的音视频信息发送给处理系统200。
上述技术方案中,翻译资料指的是需要进行翻译的文本资料,比如中文文本资料、英文文本资料等。
被翻译方音视频信息获取模块103可以是诸如摄像头的图像获取设备,或者是诸如麦克风的音频获取设备,被翻译方的音视频信息为被翻译方的现场演讲音视频信息,比如被翻译方的会议现场视频信息等。
请参照图5,处理系统200中包括:
翻译资料接收和存储模块201,连接一第一翻译模块202,用于接收同传翻译输入系统100传送的翻译资料并存储;
第一翻译模块202,用于将同传翻译输入系统100传送的翻译资料翻译为对应的翻译文本并推送给对应的同传翻译输出系统300;
翻译文本语音输出模块203,连接第一翻译模块202,用于将翻译文本中记载的翻译内容以语音输出方式输出给对应的同传翻译输出系统300;
被翻译方音视频信息接收和存储模块204,连接一同传模块205,用于接收并存储同传翻译输入系统100传送的关联于被翻译方的音视频信息;
同传模块205,用于将关联于被翻译方的音视频信息实时传送给对应的同传翻译输出系统300;
音频信息屏蔽模块206,连接同传模块205,用于屏蔽音视频信息中存在的声音;
语速识别模块207,连接同传模块205,用于识别音视频信息中的存在的关联于被翻译方的实时语速信息;
语速匹配模块208,分别连接语速识别模块207和翻译文本语音输出模块203,用于根据识别到的实时语音信息实时修正翻译文本语音输出模块203的语音输出的语速。
请参照图10,同传翻译输出系统300中具体包括:
翻译文本接收模块301,用于接收处理系统200传送的翻译文本并输出;
翻译文本显示模块302,连接翻译文本接收模块301,用于将翻译文本显示给翻译接受方;
翻译文本错误信息输入模块303,用于提供给翻译接受方输入翻译文本中存在的错误信息;
第一翻译文本错误信息推送模块304,连接翻译文本错误信息输入模块303,用于将翻译文本中存在的错误信息推送给处理系统200;
翻译文本错误信息更正模块305,连接翻译文本错误信息输入模块303,用于提供给翻译接收方直接对错误信息进行更正,并生成一更正结果;
翻译文本更正结果推送模块306,连接翻译文本错误信息更正模块305,用于将更正结果推送给处理系统200。
上述技术方案中,具体而言,翻译接收方可通过同传翻译输出系统300输入翻译文本中存在的错误信息,并将该错误信息推送给处理系统200,以供处理系统200对错误信息的后续处理。当然,翻译接收方可直接通过同传翻译输出系统300对翻译文本中存在的错误信息进行更正,并将更正结果发送给处理系统200作后续的进一步处理。
为了提高处理系统200的翻译效率和翻译准确率,请参照图6,处理系统200中还包括一深度学习模块209,分别连接翻译资料接收和存储模块201以及第一翻译模块202,用于以翻译资料、和/或关联于翻译资料的翻译文本、和/或关联于翻译文本的更正结果作为训练样本训练形成一学习模型;
第二翻译模块210,分别连接翻译资料接收和存储模块201、深度学习模块209以及翻译文本语音输出模块203,用于基于该学习模型将接收到的翻译资料翻译为对应的翻译文本,并将翻译文本发送给翻译文本语音输出模块203。然后翻译文本语音输出模块203将第二翻译模块210翻译形成的翻译文本中记载的文本内容以语音输出方式输出给对应的同传翻译输出系统300。
为了实现对翻译文本中存在的错误信息的进一步处理,请参照图7,处理系统200中还包括:
翻译文本错误信息接收和存储模块211,用于接收并存储同传翻译输出系统300发送的存在于翻译文本中的错误信息;
第二翻译文本错误信息推送模块212,连接翻译文本错误信息接收和存储模块211,用于将存在于翻译文本中的错误信息推送给第三方系统,以供第三方系统的用户比如翻译专家对错误信息进行相应的更正;
更正结果接收模块213,用于接收上述用户或翻译接受方针对翻译文本中存在的错误信息所作出的更正结果;
更正内容审核模块214,连接更正结果接收模块213,用于提供给同传翻译系统的后台审核人员对接收到的更正结果中记载的更正内容进行审核,并生成一审核结果;
费用结算模块215,连接更正内容审核模块214,用于在通过更正内容审核后,提供给后台审核人员通过第三方系统向用户支付相应的费用,或通过同传翻译输出系统300向翻译接受方支付相应的费用。
上述技术方案中,由于部分专业词汇需要由专业的翻译人员进行更正翻译,所以本实施例一通过第三方系统将翻译文本中存在的错误信息推送给专业的翻译人员,以提高翻译的准确率。当然,一些简单的翻译错误,普通的翻译接受方一般都能够识别并作出相应的更正,所以为了提高翻译接受方的差错修正参与率,本实施例一提供的同传翻译系统可同时或直接将翻译文本中存在的错误信息推送给广大的翻译接收方,处理系统200按照接收到更正结果的先后顺序,审核翻译接受方反馈的更正结果,并向审核通过的翻译接受方支付相应的报酬。
为了进一步提升本实施例一提供的同传翻译系统的翻译效率和翻译准确度,请参照图8,处理系统200中还包括一更正结果发送模块216,连接处理系统200中的翻译资料接收和存储模块201,用于将关联于翻译文本的更正结果发送给翻译资料接收和存储模块201并存储。
处理系统200中的深度学习模块209将及时获取存储于翻译资料接收和存储模块201中的关联于翻译文本的更正结果,并将该更正结果作为训练样本以更新所述学习模型。
上述技术方案中,处理系统200训练学习模型的方法为现有技术中存在的深度学习方法,其训练所述学习模型的具体方法不是本专利要求保护的范围,故在此不作详细阐述。
上述技术方案中,处理系统200将同传翻译输入系统100输入的翻译资料翻译成对应的翻译文本以及将获取到的关联于被翻译方的音视频信息实时传输给同传翻译输出系统300的具体过程简述如下:
首先,被翻译方向同传翻译输入系统100输入需要进行翻译的翻译资料,同传翻译输入系统100随后将输入的翻译资料传送给处理系统200;
然后,处理系统200根据翻译接受方的用户属性自动确定翻译资料的翻译语言,并将翻译资料根据确定的翻译语言翻译成对应的翻译文本并保存;
最后,处理系统200将翻译文本推送给对应的同传翻译输出系统300,以提供给翻译接受方。
上述同传翻译过程中,若翻译接受方需要实时接收到被翻译方的音视频信息,那么在处理系统200将翻译资料翻译成对应的翻译文本并保存后,被翻译方还需要通过音视频获取设备比如通过麦克风或摄像头将自己的音频信息或音视频信息实时传送给处理系统200。
处理系统200则将接收到的音频信息或音视频信息实时传送给对应的同传翻译输出系统300,翻译接受方可通过同传翻译输出系统300实时观看被翻译方的演讲信息以及现场信息;
为了实现对被翻译方的演讲过程的实时同传翻译,处理系统200随后开始自动识别传送的音频信息或音视频信息中存在的关联于被翻译人的演讲的语速信息,然后按照实时识别的语速,将翻译文本中记载的翻译内容以翻译语言的语音输出方式输出给对应的同传翻译输出系统300,并同时屏蔽掉音频信息或音视频信息中原本存在的被翻译方的声音。
上述技术方案中,处理系统200根据翻译接受方的用户属性自动确定翻译语言的原理简述如下:
翻译接受方在注册为同传翻译系统的注册用户时,需要输入国籍信息,处理系统200将根据翻译接受方输入的国籍信息,将翻译资料自动翻译为对应国籍信息的国籍国语言的翻译文本。比如输入的翻译资料为中文,翻译接受方为英国国籍,则处理系统200将翻译资料自动翻译为英文翻译文本。若翻译接受方为韩国国籍,则处理系统200将翻译资料自动翻译为韩文翻译文本。所以针对同一件翻译资料,若存在多个不同国家的翻译接受方,则处理系统200将会将同一件翻译资料翻译成多个语言的翻译文本并传送给对应的翻译接受方。
为了实现翻译接受方对翻译文本的翻译语言的自主选择,请参照图11,本实施例一提供的同传翻译系统中的同传翻译输出系统300中还包括:
一翻译语言选择模块307,用于提供给翻译接受方选择翻译资料所要翻译的相对应的翻译语言,并将翻译语言选择结果发送给处理系统200,处理系统200则根据翻译语言选择结果将翻译资料翻译成对应该翻译语言的翻译文本。
实施例二
实施例一提供的同传翻译系统是通过被翻译方主动提交翻译资料的方式对翻译资料进行翻译,然而在实际应用中,比如在翻译现场需要对图片上的文字进行实时翻译,或者需要对现场语言进行实时翻译,为了实现上述两种实时翻译功能,请参照图3,实施例二提供的同传翻译系统中的同传翻译输入系统100中还包括:
图像翻译资料获取模块105,连接翻译资料发送模块102,用于提供给被翻译方以图像信息获取方式获取翻译资料。图像翻译资料获取模块105可以是具有图像识别功能的摄像头,被翻译方通过该摄像头捕捉并识别图像上的文字信息作为翻译资料发送给处理系统200进行翻译并生成相对应的翻译文本。
为了实现现场翻译,请参照图3,本实施例二提供的同传翻译系统中的同传翻译输入系统100中还包括:
语音翻译资料获取模块106,用于提供给被翻译方以语音信息获取方式获取翻译资料;
语音信息转换模块107,分别连接语音翻译资料获取模块106和翻译资料发送模块102,用于将获取到的语音信息转换为对应的文字信息并将该文字信息作为翻译资料通过翻译资料发送模块输出给处理系统200。
具体而言,语音翻译资料获取模块106可以是具有语音识别功能的麦克风,被翻译方通过该麦克风捕捉并识别现场的语音信息,然后语音翻译资料获取模块106将该语音信息发送给语音信息转换模块107,语音信息转换模块107将语音信息转换为对应的文字信息并将该文字信息作为翻译资料发送给处理系统200进行翻译,并生成相对应的翻译文本。然后处理系统200将翻译文本直接输出给翻译接受方或将翻译文本以语音输出方式输出给翻译接受方。
实施例三
实施例一和实施例二提供的同传翻译系统,将翻译文本以语音方式输出给翻译接受方时,输出语音的口音为预设于同传翻译系统中的口音,与被翻译方的口音完全不同,为了在同传翻译中能够保留被翻译方的口音,以增强同传翻译系统的翻译效果,请参照图4,同传翻译输入系统100中还包括:
口音识别模块108,用于识别被翻译方的口音;
口音信息生成模块109,连接口音识别模块108,用于根据识别到的口音生成对应的口音信息并输出。
口音信息包括关联于被翻译方的语音音调信息、和/或语气信息。
为了实现同传翻译过程中保留被翻译方的口音,相应的,请参照图9,处理系统200中还包括:
口音信息接收模块217,用于接收同传输入系统100传送的关联于被翻译方的口音信息;
口音学习模块218,分别连接口音信息接收模块217和一口音文件发送模块219,用于根据接收到的口音信息学习形成关联于被翻译方的口音并生成一口音文件并存储;
口音文件发送模块219,连接翻译文本语音输出模块203,用于将口音文件发送给翻译文本语音输出模块203,翻译文本语音输出模块203通过获取口音文件以模拟被翻译方的口音,并将翻译文本以语音输出方式输出给翻译接受方。
上述技术方案中,口音学习方法是现有技术中存在的学习方法,口音学习方法不是本专利要求权利保护的范围,所以在此不作阐述。
本发明还提供了一种同传翻译终端,同传翻译终端中运行有上述的同传翻译系统。当然上述的同传翻译系统还可运行于普通的智能终端中,比如可运行于手机、计算机、平板电脑等智能终端中。同传翻译输入系统、处理系统和同传翻译输出系统均可作为一独立系统运行于智能终端中,以提供给不同用户使用,比如被翻译方仅需要使用装载有同传翻译输入系统的智能终端;翻译接受方仅需要使用装载有同传翻译输出系统的智能终端;处理系统作为同传翻译系统的后台系统可运行于一远程终端中。
为了实现同传翻译终端的字幕语音匹配功能,每个同传翻译输出系统中还包括:
字幕语音同步输出模块,分别连接第一翻译模块和翻译文本语音输出模块,用于在翻译文本语音输出模块输出语音时,同步输出第一翻译模块翻译的翻译文本;
字幕显示模块,用于将翻译文本显示给翻译接受方。
综上,本发明可根据现场现场演讲者的视频图像,自动匹配演讲者的语速,然后结合演讲者的语速以语音输出方式将演讲者的讲话实时翻译为对应的语言并同传给翻译接受方。另外,本发明还可对翻译过程进行自动学习,提高了翻译的准确率。
以上所述仅为本发明较佳的实施例,并非因此限制本发明的实施方式及保护范围,对于本领域技术人员而言,应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案,均应当包含在本发明的保护范围内。
Claims (12)
1.一种同传翻译系统,其特征在于,包括:
至少一个同传翻译输入系统,所述同传翻译输入系统用于提供给被翻译方输入翻译资料,并将输入的所述翻译资料传送给一处理系统;
所述处理系统,连接各所述同传翻译输入系统,用于处理分析所述翻译资料并生成翻译结果,并将所述翻译结果输出给对应的同传翻译输出系统;
至少一个所述同传翻译输出系统,连接所述处理系统,用于将所述翻译结果提供给翻译接受方;
于所述处理系统中包括:
翻译资料接收和存储模块,连接一第一翻译模块,用于接收所述同传翻译输入系统传送的所述翻译资料并存储;
所述第一翻译模块,用于将所述同传翻译输入系统传送的所述翻译资料翻译为对应的翻译文本并推送给对应的同传翻译输出系统;
翻译文本语音输出模块,连接所述第一翻译模块,用于将所述翻译文本中记载的翻译内容以翻译语言的语音输出方式输出给对应的所述同传翻译输出系统;
被翻译方音视频信息接收和存储模块,连接一同传模块,用于接收并存储所述同传翻译输入系统传送的关联于所述被翻译方的所述音视频信息;
所述同传模块,用于将所述音视频信息实时传送给对应的所述同传翻译输出系统;
音频信息屏蔽模块,连接所述同传模块,用于屏蔽所述音视频信息中原本存在的被翻译方的声音;
语速识别模块,连接所述同传模块,用于识别所述音视频信息中存在的关联于所述被翻译方的实时语速信息;
语速匹配模块,分别连接所述语速识别模块和所述翻译文本语音输出模块,用于根据实时识别到的所述语速信息实时修正所述翻译文本语音输出模块的语音输出的语速。
2.如权利要求1所述的同传翻译系统,其特征在于,每个所述同传翻译输入系统中均包括:
翻译资料输入模块,用于提供给所述被翻译方输入所述翻译资料;
翻译资料发送模块,连接所述翻译资料输入模块,用于将所述翻译资料发送给所述处理系统;
被翻译方音视频信息获取模块,用于获取关联于所述被翻译方的所述音视频信息;
被翻译方音视频信息发送模块,连接所述被翻译方音视频信息获取模块,用于将获取到的所述音视频信息发送给所述处理系统。
3.如权利要求2所述的同传翻译系统,其特征在于,每个所述同传翻译输入系统中还包括:
图像翻译资料获取模块,连接所述翻译资料发送模块,用于提供给所述被翻译方以图像信息获取方式获取所述翻译资料;
语音翻译资料获取模块,用于提供给所述被翻译方以语音信息获取方式获取所述翻译资料;
语音信息转换模块,分别连接所述语音翻译资料获取模块和所述翻译资料发送模块,用于将获取到的所述语音信息转换为对应的文字信息并将所述文字信息作为所述翻译资料并通过所述翻译资料发送模块输出给所述处理系统。
4.如权利要求3所述的同传翻译系统,其特征在于,
每个所述同传翻译输入系统中还包括:口音识别模块,连接所述被翻译方音视频信息获取模块,用于识别所述被翻译方的口音;
口音信息生成模块,连接所述口音识别模块,用于根据识别到的口音生成对应的口音信息并输出;
所述处理系统中还包括:
口音信息接收模块,用于接收所述同传翻译输入系统传送的关联于被翻译方的所述口音信息;
口音学习模块,分别连接所述口音信息接收模块和一口音文件发送模块,用于根据接收到的所述口音信息学习形成关联于所述被翻译方的所述口音并生成一口音文件并存储;
所述口音文件发送模块,连接所述翻译文本语音输出模块,用于将所述口音文件发送给所述翻译文本语音输出模块,所述翻译文本语音输出模块通过获取所述口音文件以模拟所述被翻译方的所述口音,并将所述翻译文本以语音输出方式输出给所述翻译接受方。
5.如权利要求4所述的同传翻译系统,其特征在于,所述口音信息包括关联于所述被翻译方的音调信息、和/或语气信息。
6.如权利要求1所述的同传翻译系统,其特征在于,每个所述同传翻译输出系统中还包括:
字幕语音同步输出模块,分别连接所述第一翻译模块和所述翻译文本语音输出模块,用于在所述翻译文本语音输出模块输出语音时,同步输出所述第一翻译模块翻译的所述翻译文本;
字幕显示模块,用于将所述翻译文本显示给所述翻译接受方。
7.如权利要求1所述的同传翻译系统,其特征在于,所述处理系统中还包括:
深度学习模块,分别连接所述翻译资料接收和存储模块以及所述第一翻译模块,用于以所述翻译资料、和/或关联于所述翻译资料的所述翻译文本、和/或关联于所述翻译文本的翻译更正结果作为训练样本训练形成一学习模型;
第二翻译模块,分别连接所述翻译资料接收和存储模块、所述深度学习模块以及所述翻译文本语音输出模块,用于基于所述学习模型将接收到的所述翻译资料翻译为对应的所述翻译文本,并将所述翻译文本发送给所述翻译文本语音输出模块。
8.如权利要求7所述的同传翻译系统,其特征在于,所述同传翻译输出系统中包括:
翻译文本接收模块,用于接收所述处理系统传送的所述翻译文本并输出;
翻译文本显示模块,连接所述翻译文本接收模块,用于将所述翻译文本显示给所示翻译接受方;
翻译文本错误信息输入模块,用于提供给所述翻译接受方输入所述翻译文本中存在的错误信息;
第一翻译文本错误信息推送模块,连接所述翻译文本错误信息输入模块,用于将所述错误信息推送给所述处理系统;
翻译文本错误信息更正模块,连接所述翻译文本错误信息输入模块,用于提供给所述翻译接受方直接对所述错误信息进行更正,并生成一更正结果
翻译文本更正结果推送模块,连接所述翻译文本错误信息更正模块,用于将所述更正结果推送给所述处理系统。
9.如权利要求8所述的同传翻译系统,其特征在于,所述处理系统中还包括:
翻译文本错误信息接收和存储模块,用于接收并存储所述同传翻译输出系统发送的存在于所述翻译文本中的所述错误信息;
第二翻译文本错误信息推送模块,连接所述翻译文本错误信息接收和存储模块,用于将存在于所述翻译文本中的所述错误信息推送给第三方系统,以供第三方系统的用户对所述错误信息进行更正;
更正结果接收模块,用于接收所述用户或所述翻译接受方针对所述错误信息所作出的所述更正结果;
更正内容审核模块,连接所述更正结果接收模块,用于提供给后台审核人员对接收到的所述更正结果中记载的更正内容进行审核,并生成一审核结果;
费用结算模块,连接所述更正内容审核模块,用于在通过更正内容审核后,提供给所述后台审核人员通过所述第三方系统向所述用户支付相应的费用,或通过所述同传翻译输出系统向所述翻译接受方支付相应的费用。
10.如权利要求9所述的同传翻译系统,其特征在于,所述处理系统中还包括:
更正结果发送模块,连接所述处理系统中的所述翻译资料接收和存储模块,用于将关联于所述翻译文本的所述更正结果发送给所述翻译资料接收和存储模块并存储。
11.如权利要求8所述的同传翻译系统,其特征在于,所述同传翻译输出系统中还包括:
一翻译语言选择模块,用于提供给所述翻译接受方选择所述翻译资料所要翻译的相对应的翻译语言,并将翻译语言选择结果发送给所述处理系统,所述处理系统则根据所述翻译语言选择结果将所述翻译资料翻译成对应所述翻译语言的所述翻译文本。
12.一种同传翻译终端,其特征在于,运行有如权利要求1-11任意一项所述的同传翻译系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910719514.5A CN110401671A (zh) | 2019-08-06 | 2019-08-06 | 一种同传翻译系统及同传翻译终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910719514.5A CN110401671A (zh) | 2019-08-06 | 2019-08-06 | 一种同传翻译系统及同传翻译终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110401671A true CN110401671A (zh) | 2019-11-01 |
Family
ID=68327480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910719514.5A Pending CN110401671A (zh) | 2019-08-06 | 2019-08-06 | 一种同传翻译系统及同传翻译终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110401671A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111918087A (zh) * | 2020-08-07 | 2020-11-10 | 单伟 | 一种跨境直播购物平台 |
CN112437337A (zh) * | 2020-02-12 | 2021-03-02 | 上海哔哩哔哩科技有限公司 | 一种直播实时字幕的实现方法、系统及设备 |
WO2021102647A1 (zh) * | 2019-11-25 | 2021-06-03 | 深圳市欢太科技有限公司 | 数据处理方法、装置和存储介质 |
WO2021134592A1 (zh) * | 2019-12-31 | 2021-07-08 | 深圳市欢太科技有限公司 | 语音处理方法、装置、设备以及存储介质 |
CN113609870A (zh) * | 2021-07-23 | 2021-11-05 | 深圳市元征信息技术开发有限公司 | 翻译方法、装置、服务器及可读存储介质 |
-
2019
- 2019-08-06 CN CN201910719514.5A patent/CN110401671A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021102647A1 (zh) * | 2019-11-25 | 2021-06-03 | 深圳市欢太科技有限公司 | 数据处理方法、装置和存储介质 |
WO2021134592A1 (zh) * | 2019-12-31 | 2021-07-08 | 深圳市欢太科技有限公司 | 语音处理方法、装置、设备以及存储介质 |
CN112437337A (zh) * | 2020-02-12 | 2021-03-02 | 上海哔哩哔哩科技有限公司 | 一种直播实时字幕的实现方法、系统及设备 |
CN111918087A (zh) * | 2020-08-07 | 2020-11-10 | 单伟 | 一种跨境直播购物平台 |
CN113609870A (zh) * | 2021-07-23 | 2021-11-05 | 深圳市元征信息技术开发有限公司 | 翻译方法、装置、服务器及可读存储介质 |
CN113609870B (zh) * | 2021-07-23 | 2024-06-07 | 深圳市元征科技股份有限公司 | 翻译方法、装置、服务器及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110401671A (zh) | 一种同传翻译系统及同传翻译终端 | |
CN111128126B (zh) | 多语种智能语音对话的方法及系统 | |
US10176366B1 (en) | Video relay service, communication system, and related methods for performing artificial intelligence sign language translation services in a video relay service environment | |
US8478578B2 (en) | Mobile speech-to-speech interpretation system | |
WO2008084476A2 (en) | Vowel recognition system and method in speech to text applications | |
CN107749296A (zh) | 语音翻译方法和装置 | |
US20020198716A1 (en) | System and method of improved communication | |
KR102044689B1 (ko) | 방송자막 제작 시스템 및 방법 | |
CN107465816A (zh) | 一种通话即时原声语音翻译的通话终端及方法 | |
CN107527623A (zh) | 传屏方法、装置、电子设备及计算机可读存储介质 | |
JP2017204067A (ja) | 手話会話支援システム | |
CN107707866A (zh) | 一种基于物联网的远程视频通信方法 | |
CN116524791A (zh) | 一种基于元宇宙的唇语学习辅助训练系统及其应用 | |
CN111354362A (zh) | 用于辅助听障者交流的方法和装置 | |
US9087512B2 (en) | Speech synthesis method and apparatus for electronic system | |
KR20000072073A (ko) | 음성 인식 및 음성 합성 기술을 이용한 자동동시통역서비스 방법 및 그 시스템 | |
CN111798851A (zh) | Ai双屏智能语音翻译系统 | |
CN109616116B (zh) | 通话系统及其通话方法 | |
CN111415662A (zh) | 用于生成视频的方法、装置、设备和介质 | |
CN110083847A (zh) | 一种实现同步翻译的会议系统 | |
CN212541908U (zh) | Ai双屏智能语音翻译系统 | |
US20220139417A1 (en) | Performing artificial intelligence sign language translation services in a video relay service environment | |
JP3930402B2 (ja) | オンライン教育システム、情報処理装置、情報提供方法及びプログラム | |
CN210091177U (zh) | 一种实现同步翻译的会议系统 | |
Roy et al. | Voice E-Mail Synced with Gmail for Visually Impaired |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20191101 |
|
WD01 | Invention patent application deemed withdrawn after publication |