CN102196100A - 通话即时翻译系统及方法 - Google Patents
通话即时翻译系统及方法 Download PDFInfo
- Publication number
- CN102196100A CN102196100A CN2010101178874A CN201010117887A CN102196100A CN 102196100 A CN102196100 A CN 102196100A CN 2010101178874 A CN2010101178874 A CN 2010101178874A CN 201010117887 A CN201010117887 A CN 201010117887A CN 102196100 A CN102196100 A CN 102196100A
- Authority
- CN
- China
- Prior art keywords
- language
- electronic installation
- sentence
- translation
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Machine Translation (AREA)
- Telephonic Communication Services (AREA)
Abstract
一种通话即时翻译方法，该方法包括如下步骤：记录电子装置的识别号码以及该电子装置所指定的翻译服务类型；获取与该注册的电子装置通话的其它电子装置的语音；判断所撷取的语音是否需要翻译；当所撷取的语音需要翻译时，将该语音进行翻译处理，产生翻译后的语音，并将该语音发送至注册的电子装置。本发明还提供一种通话即时翻译系统。利用本发明可以方便语言不通的双方进行交流。
Description
技术领域
本发明涉及一种翻译系统及方法，尤其涉及一种通话即时翻译系统及方法。
背景技术
现在，当使用手机或家用电话互相通话时，如果说的一方讲的是英语，听的一方却只听的懂中文，或说的一方讲的是日语，听的一方却只听的懂英文，这样将会造成双方语言上的沟通障碍。
目前，有推出可应用于手机的实时翻译软件，当接听到日语语音后，安装有这种软件的手机会立即在屏幕上显示出通话内容，1秒钟后，相应的英文翻译就会在屏幕上出现。不过此项功能却无法让接收者听到翻译后的语音，而且一旦对方说话的速度很快，就不能很实时地看到屏幕上的翻译。
发明内容
鉴于以上内容，有必要提供一种通话即时翻译系统，其可以通过服务器的语音辨识、翻译、合成技术，将对方的语言进行即时翻译，方便交流。
此外，还有必要提供一种通话即时翻译方法，其可以通过服务器的语音辨识、翻译、合成技术，将对方的语言进行即时翻译，方便交流。
一种通话即时翻译系统，运行于服务器上，该系统包括：记录模块，用于当电子装置以本身的识别号码向服务器进行注册申请翻译服务时，记录该电子装置的识别号码以及被翻译的语言与需要翻译成的语言；撷取模块，用于当所述注册的电子装置中与其它电子装置进行通话时，获取该其它电子装置的语音；所述的撷取模块还用于根据所记录的被翻译的语言，从与该服务器连接的语音模型中撷取该被翻译语言的声学模型以及语言模型；转换模块，用于根据所撷取的声学模型以及语言模型，将所获取的其它电子装置的语音转换成相应的文句；发送模块，用于将所述转换后的被翻译语言的文句发送至翻译软件，以翻译成为需要翻译成的语言的文句；分析模块，用于分析翻译后的文句的语法与语意，并转化成相应的语言特征参数；所述的发送模块，还用于将转化后的语言特征参数发送至韵律产生器中以得到翻译后的语言的文句的韵律参数，及将翻译后的语言的文句发送至合成单元产生器以得到合成单元；所述的发送模块，还用于将合成单元以及韵律参数发送至语音合成器中，从而产生翻译后的语音，并将该语音发送至该注册的电子装置。
一种通话即时翻译方法，应用于服务器，该方法包括如下步骤：a.当电子装置以本身的识别号码向服务器进行注册申请翻译服务时，记录该电子装置的识别号码以及被翻译的语言与需要翻译成的语言；b.当所述注册的电子装置与其它电子装置进行通话时，获取该其它电子装置的语音，并从语音模型中撷取该被翻译语言的声学模型以及语言模型；c.根据所撷取的声学模型以及语言模型，将所获取的其它电子装置的语音转换成相应的文句；d.当所获取的其它电子装置的语音能成功地被转换成相应的文句时，将所述转换后的文句发送至翻译软件，获得需要翻译成的语言的文句；e.分析翻译后的文句的语法与语意，并转化成相应的语言特征参数；f.将转化后的语言特征参数发送至韵律产生器中以得到韵律参数，及将翻译后的文句发送至合成单元产生器以得到合成单元；h.将合成单元以及韵律参数发送至语音合成器中，从而产生翻译后的语音，并将该语音发送至该注册的电子装置。
相较于现有技术，所述的通话即时翻译系统及方法，当对方以不同的语言与通话者通话时，通话者可以通过服务器的语音辨识、翻译、合成技术，将对方的语言进行即时翻译，提供给通话者，方便双方进行交流。
附图说明
图1是本发明通话即时翻译系统的较佳实施例的环境架构图。
图2是本发明通话即时翻译系统的功能模块图。
图3是本发明通话即时翻译方法的较佳实施例的流程图。
主要元件符号说明
| 电子装置A | 1 |
| 服务器 | 2 |
| 电子装置B | 3 |
| 语音模型 | 4 |
| 语音资料库 | 5 |
| 通话单元 | 10 |
| 通话即时翻译系统 | 20 |
| 翻译软件 | 22 |
| 韵律产生器 | 24 |
| 合成单元产生器 | 26 |
| 语音合成器 | 28 |
| 记录模块 | 200 |
| 撷取模块 | 202 |
| 转换模块 | 204 |
| 判断模块 | 206 |
| 发送模块 | 208 |
| 分析模块 | 210 |
具体实施方式
如图1所示，是本发明通话即时翻译系统的较佳实施例的环境架构图。该通话即时翻译系统运行于服务器2上，并通过网络(图中未示出)与至少两个电子装置连接，将两个电子装置(电子装置A与电子装置B)之间的通话进行即时翻译。所述的电子装置A与电子装置B中都分别包括一个通话单元10。所述的服务器2还包括翻译软件22、韵律产生器24、合成单元产生器26以及语音合成器28。所述的服务器2还通过网络连接语音模型4以及语音资料库5。
所述的语音资料库5中包括音谱、音高、发声(音节、音素等)以及单音节音素语音波形样本。例如，在中文语言中，“人”就是由三个音素“r”、“e”以及“n”所形成的。所述的语音资料库5中还包括声学参数，所述的声学参数指不同语音类型所表现出的音长、语调、能量等参数。
所述的语音模型4中包括各类语言的声学模型以及语言模型，例如英文的声学模型以及语言模型，中文的声学模型以及语言模型等。其中所述的声学模型是指根据一连串训练的资料来做运算，模拟在特定环境下，判断某段语音发生的机率的数据模型。也即该声学模型根据声音语言训练资料训练而成。所述的语言模型是指基于历史的信息，推算下一个最有机会出现的词的数据模型。也即该语言模型是根据文字语言训练资料训练而成。
所述的通话即时翻译系统20可以用于撷取语音，并利用语音模型4中的各类语言的声学模型以及语言模型，将所撷取的语音转换成该语音所对应的一种语言的文句。
所述的翻译软件22用于将一种语言的文句翻译成另外一种对应的语言的文句，得到翻译后的文句。例如将英文翻译成中文，将中文翻译成英文，或者将日文翻译成英文等。
所述的通话即时翻译系统20还用于分析文句的语法与语意，转化成语言特征参数，即知道文句中有哪些句子、有哪些词、发什么音、怎么发音、发音时到哪里该停顿、停顿多长等。
所述的韵律产生器24用于以语言特征参数为输入，产生文句的每个音节的对应韵律讯息，该韵律讯息包含基频轨迹、音量、音长等，将说话的声调、语气、停顿方式、及发音长短转换成相应的韵律参数。
所述的合成单元产生器26用于根据翻译后的文句从语音资料库5中的单音节音素语音波形样本选择其所对应的单音节音素语音波形样本，输出合成单元。例如，在中文中，由三个音素“r”、“e”以及“n”则可以输出合成单元“人”。
所述的语音合成器28用于根据合成单元产生器26输出的合成单元从语音资料库5中选择出该合成单元的声学参数，包括音长、语调、能量等，然后根据在韵律产生器24中得到的韵律参数，利用语音算法，例如波形拼接法，产生相应的语音。例如，利用合成单元产生器26输出的合成单元“人”，在语音资料库5中选择出该合成单元的音长、语调、能量等参数，再配合韵律产生器24转换的韵律参数(包含说话的声调、语气等)，由该语音合成器28透过语音算法(如，波形拼接法)产生出语音。
如图2所示，是本发明通话即时翻译系统的功能模块图。所述的通话即时翻译系统20包括记录模块200、撷取模块202、转换模块204、判断模块206、发送模块208以及分析模块210。在本较佳实施例中，以电子装置A的通话单元10与电子装置B的通话单元10进行通话来作为较佳实施例进行说明。且在本较佳实施例中，以被翻译的语言为英文，需要翻译成的语言为中文进行说明。
所述的记录模块200，用于当电子装置A以本身的识别号码向服务器2进行注册申请翻译服务时，记录该电子装置A的识别号码以及该电子装置A所指定的的翻译服务类型。例如手机号码为1234568901的手机向服务器2注册申请将英文翻译成中文的翻译服务时，记录模块200将以其识别号码12345678901进行记录，并记录对应的翻译服务类型为英文-中文，也即被翻译的语言为英文，需要翻译成的语言为中文。
所述的撷取模块202，用于当电子装置A中的通话单元10以其本身的识别号码与电子装置B的通话单元10进行通话时，获取电子装置B的语音。
所述的撷取模块202还用于根据该电子装置A的识别号码所记录被翻译的语言，如英文，从语音模型4中撷取对应的英文的声学模型以及语言模型。
所述的转换模块204，用于根据所撷取的对应的英文的声学模型以及语言模型，将所获取的电子装置B的语音转换成相应的英文文句。
所述的判断模块206，用于判断所获取的电子装置B的语音是否能被成功地转换成被翻译语言的文句，以此来判断是否需要翻译。
所述的发送模块208用于当所获取的电子装置B的语音需要翻译时，将所述转化的相应的英文文句发送至翻译软件22进行翻译，即将被翻译的语言的相应的英文文句翻译成需要翻译成的语言相应的中文文句，从而得到翻译后的中文文句。
所述的分析模块210，用于分析翻译后的文句的语法与语意，并转化成相应的语言特征参数，即知道文句中有哪些句子、有哪些词、发什么音、怎么发音、发音时到哪里该停顿、停顿多长等。
所述的发送模块208还用于将转化后的语言特征参数作为输入发送至韵律产生器24中，从而得到韵律参数。
所述的发送模块208还用于将翻译后的文句及发送至合成单元产生器26。所述的合成单元产生器26根据翻译后的语言的文句从语音资料库5中的单音节音素语音波形样本选择其所对应的单音节音素语音波形样本，从而得到合成单元。
所述的发送模块208还用于将所得到的合成单元以及所述韵律参数发送至语音合成器28中，从而产生翻译后的语音，并将该语音发送至电子装置A。
所述的发送模块208还用于当所撷取的语音不需要翻译时，直接将电子装置B的语音发送至电子装置A，即将没有经过翻译的语音直接发送至电子装置A。
如图3所示，是本发明通话即时翻译的方法较佳实施例的流程图。步骤S110，当电子装置A以本身的识别号码向服务器2进行注册申请翻译服务时，记录模块200记录该电子装置A的识别号码以及该电子装置A所指定的翻译服务类型，即记录其被翻译的语言以及需要翻译成的语言。在本较佳实施例中，以被翻译的语言为英文，需要翻译成的语言为中文进行说明。
步骤S111，当电子装置A中的通话单元10以其本身的识别号码与电子装置B的通话单元10进行通话时，撷取模块202获取电子装置B的语音并根据该电子装置A的识别号码所记录的被翻译的语言--英文，从语音模型4中撷取对应的英文的声学模型以及语言模型。
步骤S112，根据所撷取的对应英文的声学模型以及语言模型，转换模块204将所获取的电子装置B的语音转换成相应的英文文句。
步骤S113，判断模块206判断所获取的电子装置B的语音是否能被成功地转换成被翻译语言的文句。当转换模块204能成功地将所获取的电子装置B的语音转换成相应的英文文句时，即所撷取的语音需要翻译，进入步骤S115；当转换模块204不能成功地将所获取的电子装置B的语音转换成相应的英文文句时，即不翻译所撷取的语音，进入步骤S114。
步骤S114，发送模块208直接将电子装置B的语音发送给电子装置A，中间不经过翻译处理，流程结束。
步骤S115，发送模块208将所述转化的英文文句发送至翻译软件22进行翻译，即将英文文句翻译成中文文句，从而得到翻译后的中文文句。
步骤S116，分析模块210分析翻译后的中文文句的语法与语意，并转化成相应的语言特征参数，以及发送模块208将转化后的语言特征参数发送至韵律产生器24中，从而得到韵律参数。
步骤S117，发送模块208将翻译后的中文文句发送至合成单元产生器26，该合成单元产生器26从语音资料库5中的单音节音素波形样本中选择所述翻译后的中文文句所对应的单音节音素语音波形样本，从而得到合成单元。
步骤S118，发送模块208将所得到的合成单元以及所述得到的韵律参数发送至语音合成器28中，从而产生翻译后的语音，并将该语音发送至电子装置A。
以上实施方式仅用以说明本发明的技术方案而非限制，尽管参照以上较佳实施方式对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换都不应脱离本发明技术方案的精神和范围。
Claims (10)
1.一种通话即时翻译系统，运行于服务器上，其特征在于，该系统包括：
记录模块，用于当电子装置以本身的识别号码向服务器进行注册申请翻译服务时，记录该电子装置的识别号码以及被翻译的语言与需要翻译成的语言；
撷取模块，用于当所述注册的电子装置中与其它电子装置进行通话时，获取该其它电子装置的语音；
所述的撷取模块还用于根据所记录的被翻译的语言，从与该服务器连接的语音模型中撷取该被翻译语言的声学模型以及语言模型；
转换模块，用于根据所撷取的声学模型以及语言模型，将所获取的其它电子装置的语音转换成相应的文句；
发送模块，用于将所述转换后的被翻译语言的文句发送至翻译软件，以翻译成为需要翻译成的语言的文句；
分析模块，用于分析翻译后的文句的语法与语意，并转化成相应的语言特征参数；
所述的发送模块，还用于将转化后的语言特征参数发送至韵律产生器中以得到翻译后的语言的文句的韵律参数，及将翻译后的语言的文句发送至合成单元产生器以得到合成单元；
所述的发送模块，还用于将合成单元以及韵律参数发送至语音合成器中，从而产生翻译后的语音，并将该语音发送至该注册的电子装置。
2.如权利要求1所述的通话即时翻译系统，其特征在于，该系统还包括：
判断模块，用于判断所获取的其它电子装置的语音是否能成功地转换成相应的文句；
所述的发送模块，还用于当所获取的其它电子装置的语音不能成功地转换成相应的文句时，直接将该其它电子装置的语音发送至该注册的电子装置。
3.如权利要求1所述的通话即时翻译系统，其特征在于，所述的韵律产生器以语言特征参数为输入，产生翻译后的语言的文句的每个音节的对应韵律讯息，将说话的声调、语气、停顿方式、及发音长短转换成相应的韵律参数；
及所述的合成单元产生器根据翻译后的语言的文句从与服务器连接的语音资料库中的单音节音素语音波形样本选择其所对应的单音节音素语音波形样本，输出合成单元。
4.如权利要求3所述的通话即时翻译系统，其特征在于，所述的语音资料库包括音谱、音高、发声、单音节音素语音波形样本以及声学参数。
5.如权利要求1所述的通话即时翻译系统，其特征在于，所述的语音合成器根据合成单元产生器输出的合成单元从与服务器连接的语音资料库中选择出该合成单元的声学参数，然后根据在韵律产生器中得到的韵律参数，利用语音算法产生相应的语音。
6.一种通话即时翻译方法，应用于服务器，其特征在于，该方法包括如下步骤：
a.当电子装置以本身的识别号码向服务器进行注册申请翻译服务时，记录该电子装置的识别号码以及被翻译的语言与需要翻译成的语言；
b.当所述注册的电子装置与其它电子装置进行通话时，获取该其它电子装置的语音，并从语音模型中撷取该被翻译语言的声学模型以及语言模型；
c.根据所撷取的声学模型以及语言模型，将所获取的其它电子装置的语音转换成相应的文句；
d.当所获取的其它电子装置的语音能成功地被转换成相应的文句时，将所述转换后的文句发送至翻译软件，获得需要翻译成的语言的文句；
e.分析翻译后的文句的语法与语意，并转化成相应的语言特征参数；
f.将转化后的语言特征参数发送至韵律产生器中以得到韵律参数，及将翻译后的文句发送至合成单元产生器以得到合成单元；
h.将合成单元以及韵律参数发送至语音合成器中，从而产生翻译后的语音，并将该语音发送至该注册的电子装置。
7.如权利要求6所述的通话即时翻译方法，其特征在于，该方法还包括步骤：
当所获取的其它电子装置的语音不能成功地被转换成相应的文句时，直接将该其它电子装置的语音发送至该注册的电子装置。
8.如权利要求6所述的通话即时翻译方法，其特征在于，所述的韵律产生器以语言特征参数为输入，产生翻译后的语言的文句的每个音节对应的韵律讯息，将说话的声调、语气、停顿方式、及发音长短转换成相应的韵律参数；
及所述的合成单元产生器根据翻译后的语言的文句从与服务器连接的语音资料库中的单音节音素语音波形样本选择其所对应的单音节音素语音波形样本，输出合成单元。
9.如权利要求8所述的通话即时翻译方法，其特征在于，所述的语音资料库包括音谱、音高、发声、单音节音素语音波形样本以及声学参数。
10.如权利要求6所述的通话即时翻译方法，其特征在于，所述的语音合成器根据合成单元产生器输出的合成单元从语音资料库中选择出该合成单元的声学参数，然后根据在韵律产生器中得到的韵律参数，利用语音算法产生相应的语音。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010101178874A CN102196100A (zh) | 2010-03-04 | 2010-03-04 | 通话即时翻译系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010101178874A CN102196100A (zh) | 2010-03-04 | 2010-03-04 | 通话即时翻译系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102196100A true CN102196100A (zh) | 2011-09-21 |
Family
ID=44603453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010101178874A Pending CN102196100A (zh) | 2010-03-04 | 2010-03-04 | 通话即时翻译系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102196100A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103544952A (zh) * | 2012-07-12 | 2014-01-29 | 百度在线网络技术（北京）有限公司 | 语音自适应方法、装置及系统 |
| CN105786801A (zh) * | 2014-12-22 | 2016-07-20 | 中兴通讯股份有限公司 | 一种语音翻译方法、通讯方法及相关装置 |
| WO2018000160A1 (zh) * | 2016-06-27 | 2018-01-04 | 李仁涛 | 交流式语音翻译装置 |
| CN111312212A (zh) * | 2020-02-25 | 2020-06-19 | 北京搜狗科技发展有限公司 | 一种语音处理方法、装置和介质 |
| WO2021134592A1 (zh) * | 2019-12-31 | 2021-07-08 | 深圳市欢太科技有限公司 | 语音处理方法、装置、设备以及存储介质 |
-
2010
- 2010-03-04 CN CN2010101178874A patent/CN102196100A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103544952A (zh) * | 2012-07-12 | 2014-01-29 | 百度在线网络技术（北京）有限公司 | 语音自适应方法、装置及系统 |
| CN105786801A (zh) * | 2014-12-22 | 2016-07-20 | 中兴通讯股份有限公司 | 一种语音翻译方法、通讯方法及相关装置 |
| WO2018000160A1 (zh) * | 2016-06-27 | 2018-01-04 | 李仁涛 | 交流式语音翻译装置 |
| WO2021134592A1 (zh) * | 2019-12-31 | 2021-07-08 | 深圳市欢太科技有限公司 | 语音处理方法、装置、设备以及存储介质 |
| CN111312212A (zh) * | 2020-02-25 | 2020-06-19 | 北京搜狗科技发展有限公司 | 一种语音处理方法、装置和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111128126B (zh) | 多语种智能语音对话的方法及系统 | |
| US7593842B2 (en) | Device and method for translating language | |
| EP2523441B1 (en) | A Mass-Scale, User-Independent, Device-Independent, Voice Message to Text Conversion System | |
| CN1119794C (zh) | 分布式话音识别系统 | |
| CN102903361A (zh) | 一种通话即时翻译系统和方法 | |
| JP2005513619A (ja) | リアルタイム翻訳機および多数の口語言語のリアルタイム翻訳を行う方法 | |
| GB2423403A (en) | Distributed language processing system and method of outputting an intermediary signal | |
| CN110415680B (zh) | 一种同声传译方法、同声传译装置以及一种电子设备 | |
| KR20230133362A (ko) | 다양하고 자연스러운 텍스트 스피치 변환 샘플들 생성 | |
| CN102196100A (zh) | 通话即时翻译系统及方法 | |
| CN111081219A (zh) | 一种端到端的语音意图识别方法 | |
| JP2024514064A (ja) | ニューラルテキストトゥスピーチのための音素と書記素 | |
| CA3160315C (en) | Real-time speech-to-speech generation (rssg) apparatus, method and a system therefore | |
| CN113744722A (zh) | 一种用于有限句库的离线语音识别匹配装置与方法 | |
| JP6448950B2 (ja) | 音声対話装置及び電子機器 | |
| Reddy et al. | Speech-to-Text and Text-to-Speech Recognition Using Deep Learning | |
| CN109213466B (zh) | 庭审信息的显示方法及装置 | |
| CN115762471A (zh) | 一种语音合成方法、装置、设备及存储介质 | |
| Westall et al. | Speech technology for telecommunications | |
| CN110534084B (zh) | 一种基于FreeSWITCH的智能语音控制方法及系统 | |
| Pleva et al. | Speech and mobile technologies for cognitive communication and information systems | |
| US20090326940A1 (en) | Automated voice-operated user support | |
| CN109559753B (zh) | 语音识别方法和装置 | |
| Kaur et al. | Issues involved in speech to text conversion | |
| Bokaei et al. | Niusha, the first Persian speech-enabled IVR platform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20110921 |