CN1770747A - 基于网络的多语种语音、文字信息即时互译通信系统及方法 - Google Patents

基于网络的多语种语音、文字信息即时互译通信系统及方法 Download PDF

Info

Publication number
CN1770747A
CN1770747A CNA2005101002984A CN200510100298A CN1770747A CN 1770747 A CN1770747 A CN 1770747A CN A2005101002984 A CNA2005101002984 A CN A2005101002984A CN 200510100298 A CN200510100298 A CN 200510100298A CN 1770747 A CN1770747 A CN 1770747A
Authority
CN
China
Prior art keywords
voice
network
software
translation
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005101002984A
Other languages
English (en)
Inventor
陈汉奕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CNA2005101002984A priority Critical patent/CN1770747A/zh
Publication of CN1770747A publication Critical patent/CN1770747A/zh
Priority to PCT/CN2006/001440 priority patent/WO2007045136A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/39—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech synthesis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/20—Aspects of automatic or semi-automatic exchanges related to features of supplementary services
    • H04M2203/2061—Language aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明提供了一种基于网络的多语种语音、文字的即时互译通信系统，尤指基于INTERNET的即时通信(IM)，PSTN公共电话网，其它无线移动电话网(GSM，CDMA，3G，SMS等通信方式)的多语种语音、文字的即时互译通信系统。该系统由用户终端设备和服务器端设备组成，两设备分别与网络联通，通过网络进行通信，服务器端设备包括控制服务器和多语种语音文字翻译服务器，用户终端设备包括至少一个第一发送/接收端设备和至少一个第二发送/接收端设备。系统能实现一个语种对应另一语种的语音或文字的实时通信翻译，也能实现一个语种对多个语种受众的语音或文字实时通信翻译。此外本发明还公开了基于该系统的一种通信方法。

Description

基于网络的多语种语音、文字信息即时互译通信系统及方法
技术领域
本发明涉及一种通信系统及方法，尤指一种基于网络的通信系统及方法。
背景技术
目前，Internet和信息技术的应用已经深入到企业行为和个人生活的方方面面，许多企业已经基于Internet建立自己的企业应用系统和互联网即时通信系统，用于改善内部管理、降低通信成本、提高效率，从而提升企业的竞争力，个人也可能充分享受Internet和信息技术带来的诸如开阔视野、缩短时空距离等种种好处。尤其近年来即时通信技术的发展及普及应用，互联网的无国界属性及国际间通信交流的巨大需求，使得基于Internet的的即时通信(IM)，PSTN公共电话网，其它无线移动电话网(GSM，CDMA，3G，SMS等通信方式)的多语种语音，文字的即时互译，语音识别(ASR)技术，语音合成(TTS)技术的应用成为可能。
就当前而言，互联网的即时通信(IM)，PSTN公共电话网，其它无线移动电话网(GSM，CDMA，3G，SMS等通信方式)的多语种语音，文字的即时互译、对企业产品的售前支持、售中沟通和售后服务，国际业务交流都是极其重要的.
另外，到目前为止，仍然缺乏一种有效的用户语音或文字信息在进行通信时完成语音及文字的多语种互译机制，让用户通信中说出的语音或发出的文字信息让对方听到或收到的是自己选定的语种或文字，基于INTERNET的即时通信(IM)，PSTN公共电话网，其它无线移动电话网(GSM，CDMA，3G，SMS等通信方式)的多语种语音，文字的即时互译系统，语音识别引擎，语音合成引擎，语音通道，翻译引擎，结合了Internet、语音CODEC、视频CODEC、TCP/IP、数据库技术和软件技术的Internet即时互译系统。许多企业和个人越来越多地认识到国际交流及个性化服务的重要性，语音识别(ASR)技术，语音合成(TTS)技术也越来越成熟；即时互译，语音CODEC、以及TCP/IP通信技术也发展到实用阶段；，基于INTERNET的即时通信(IM)，PSTN公共电话网，其它无线移动电话网(GSM，CDMA，3G，SMS等通信方式)的多语种语音，文字的即时互译系统正是适应这种应用需求和技术进步而提出的一种应用系统。
发明内容
本发明的目的在于提供一种基于网络的多语种语音和/或文字信息的即时互译通信系统，包括用户终端设备和服务器端设备，所述用户终端设备和服务器端设备分别与网络联通，通过该网络进行通信，所述服务器端设备包括：
用于通信信令控制和管理、用户管理、权限控制、数据存储和中转、客户端管理、计费管理、数据安全管理的控制服务器；
用于语音及文字信息的即时翻译的多语种语音文字翻译服务器，
所述用户终端设备包括：
至少一个第一发送/接收端设备；
至少一个第二发送/接收端设备，
当使用所述第一发送/接收端设备通过所述网络与所述第二发送/接收端设备通信时，所述控制服务器控制所述翻译服务器将所述第一发送/接收端设备发送的语音或文字信息翻译成对应语种的语音或文字信息并发送到所述第二发送/接收端设备上，该系统既能实现一个语种对应另一语种的即时语音和/或文字的即时通信翻译，也能实现一个语种对多个语种的语音和/或文字即时通信翻译。
本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，所述翻译服务器部署有用于语音及文字信息即时翻译的多语种语音文字翻译引擎软件、语音识别(ASR)引擎软件，语音合成(TTS)引擎软件，语音通道软件。
本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，所述网络为互联网(internet)；所述第一发送/接收端设备和第二发送/接收端设备为客户机，该客户机包括客户机主机，该客户机主机部署有
具有通信信令控制和管理、数据传输控制、数据安全管理、语音数据处理、视频数据处理、语音及文字信息即时翻译、文字数据处理、文件传输、留言(语音、文字和/或视频)管理、自动更新支持、IVR支持和硬件设备支持等功能，可独立运行的独立客户端软件和/或与所述独立客户端软件功能一致，但需要与浏览器结合运行的组件客户端软件和
用于语音及文字信息即时翻译的多语种语音文字翻译引擎软件、语音识别(ASR)引擎软件，语音合成(TTS)引擎软件，语音通道软件；该客户机还包括用于语音和视频信号的捕获和转换的语音视频设备和与所述互联网相联接的internet接入设备；
所述服务器端设备还包括用于数据操作和存储的数据库服务器。
本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，所述数据库服务器还部署有语音标记语言与关系型数据库相互转换的XML-DB转换模块，所述服务器端设备还包括：
VoiceXML语音网关；和
用于信息发布和采集及所述组件客户端软件部署的WWW服务器。
本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，所述网络为PSTN公共电话网或无线移动电话网，所述第一发送/接收端设备和第二发送/接收端设备为固定电话或移动电话，所述翻译服务器还部署有语音标记语言与关系型数据库相互转换的XML-DB转换模块。
本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，所述无线移动电话网的通信方式为GSM，CDMA，3G，SMS等通信方式。
本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，所述浏览器为IE浏览器，该IE浏览器与所述组件客户端软件结合的形式是：组件客户端软件设计为浏览器组件或插件元素。
本发明的另一个目的在于提供一种基于如权利要求1所述的基于网络的多语种语音和/或文字信息的即时互译通信系统的通信方法，一次单向通信包括如下步骤：
(5)系统初始化；
(6)所述第一发送/接收端设备发送语音和/或文字信息通过所述网络到达所述服务器端设备；
(7)所述控制服务器控制所述翻译服务器将所述语音和/或文字信息翻译成对应语种的语音和/或文字信息并通过网络发送到第二发送/接收端设备；
(8)一次单向通信结束。
本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的通信方法，所述网络为互联网(internet)；所述第一发送/接收端设备和第二发送/接收端设备为客户机，该客户机部署有可独立运行的独立客户端软件和/或与所述独立客户端软件功能一致，但需要与浏览器结合运行的组件客户端软件和用于语音及文字信息即时翻译的多语种语音文字翻译引擎软件、语音识别(ASR)引擎软件，语音合成(TTS)引擎软件，语音通道软件；该客户机还包括用于语音和视频信号的捕获和转换的语音视频设备和与所述互联网相联接的internet接入设备；所述服务器端设备还包括用于数据操作和存储的数据库服务器。
本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的通信方法，所述网络为PSTN公共电话网或无线移动电话网，所述第一发送/接收端设备和第二发送/接收端设备为固定电话或移动电话。
本发明提供的这种系统及方法为internet网络即时通信用户，固定电话用户和移动通信用户提供多语种语音及文字的互译服务，突破了人与人之间交流的语言障碍，从而使上述用户交流更加方便，交流范围更加广泛。
附图说明
图1为本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的基于internet的即时通信系统整体结构方框图；
图2为本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的基于internet的即时通信系统的软件系统结构方框图；
图3为本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的基于internet的即时通信系统的控制服务器软件结构方框图；
图4为本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的基于int erne t的即时通信系统的客户端结构方框图；
图5为本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的基于internet的即时通信系统的组件客户端软件与IE浏览器结合及与独立客户端软件的通信翻译方框图；
图6为本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的基于internet的即时通信系统的组件客户端软件表现在浏览器形式示意图；
图7为本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的基于PSTN公共电话网或无线移动电话网的系统的电话终端与翻译服务器的结合示意图；
图8为本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的通信方法的流程图。
具体实施方式
本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的一个具体实施例是一种基于internet的即时互译通信系统，其实现需要结合Internet技术、语音识别(ASR)技术，语音合成(TTS)技术，翻译引擎技术，语音CODEC、视频CODEC、TCP/IP、数据库技术和软件技术等多种技术，为用户提供实时通信中的语音文字翻译系统平台，从而使用户从发起语音访问或文本信息开始，启动语音识别引擎，将人说话的语音信号转换为可被计算机程序所识别的文字信息，从而识别说话人的语音指令以及文字内容。由翻译引擎服务器发起关联，实现多语录种语音文字在通信中即时翻译。
下面结合附图详细描述本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的具体实施例：
实施例一：基于internet的即时互译通信系统。
1.系统整体结构
基于internet的即时互译通信系统由控制服务器、数据库服务器、多语种语音文字翻译服务器构成的服务器端设备和由客户机构成的用户终端设备通过internet联接构成。其中客户机包括客户机主机、internet接入设备和语音视频设备。
参考图1，客户机主机1由Internet接入设备10接入internet。多语种语音文字翻译服务器4提供internet即时通信中的即时互翻译服务；控制服务器7完成通信过程的信令控制及状态管理；数据库服务器8提供数据库服务。
语音视频设备3为客户机主机1的输入设备，负责为该客户机主机1输入语音视频信息。
在本发明提供的一个实施例中，还提供了用于HTML与VOICEXML转换的VoiceXML语音网关6，其与提供互联网服务的www服务器5共同提供用户访问www网的服务。
在多语种语音文字翻译服务器4中部署有用于语音及文字信息即时翻译的多语种语音文字翻译引擎软件、语音识别(ASR)引擎软件，语音合成(TTS)引擎软件，语音通道软件；客户机主机1中则部署有通信信令控制和管理、数据传输控制、数据安全管理、语音数据处理、视频数据处理、语音及文字信息即时翻译、文字数据处理、文件传输、留言(语音、文字和/或视频)管理、自动更新支持、IVR支持和硬件设备支持等功能，可独立运行的独立客户端软件和/或与所述独立客户端软件功能一致，但需要与浏览器结合运行的组件客户端软件和用于语音及文字信息即时翻译的多语种语音文字翻译引擎软件、语音识别(ASR)引擎软件，语音合成(TTS)引擎软件，语音通道软件；数据库服务器8中还可部署用于语音标记语言与关系型数据库的相互转换的XML-DB转换模块。
系统通信的过程即客户机主机中的独立客户端软件或组件客户端软件之间的交互通信过程。这一过程即internet即时通信(IM)过程，该技术为公知技术，这里不在赘述。当其中任意两台客户机主机通过独立客户端软件或组件客户端软件交互通信时，发信息的一方我们称之为发送端，接收信息的一方我们称之为接收端，当然，任一客户机主机既可以做发送端也可以做接收端，因此，我们把通信双方称为第一发送/接收端和第二发送/接收端。一次单向通信的过程即是第一发送/接收端发出信息，在控制服务器7的控制下，通过多语种语音文字翻译服务器4的翻译，发送到第二发送/接收端时即是经过翻译的语音文字信息了。
需要说明的是：该系统的整体组成具有可伸缩性，客户机主机中可以部署翻译引擎，语音识别引擎ASR，语音合成引擎TTS，语音通道等软件，也可以不部署。数据库服务器8、控制服务器7、www服务器5、客户机主机1、VoiceXML语音网关6在数量上是不限的。
2.控制服务器的功能及实现
所述控制服务器的主要功能包括：通信信令控制和管理、用户管理、权限控制、数据存储和中转、客户端管理、计费管理、数据安全管理等。通信信令由自主设计，用于支持客户端呼叫、寻找、建立连接、状态控制、数据交换和中转、防火墙侦测和穿透等，翻译引擎，语音识别引擎ASR，语音合成引擎TTS，语音识别与转换控制等，采用TCP/IP协议栈提供的SOCKET接口函数实现。用户管理主要对用户的相关资料和数据进行管理，应用本系统的每个用户(包括企业用户和个人用户)都有至少一个独立的标识号码，权限控制用于实现权限管理和控制，数据存储和中转用于管理临时数据，客户端管理实现客户端版本控制和自动版本更新功能，用户管理、权限控制、数据存储和中转和客户端结合数据库存技术进行实现。计费管理用于系统访问量化或可能用于计费的未来部署。数据安全管理用于支持数据的安全传输，数据的安全传输采用通用的对称密钥算法和非对称密钥算法机制，具体算法涉及RSA、MD5和DES/3DES。
参考图3，控制服务器软件结构方框图中，控制功能服务器采用分层结构设计，数据传输控制层C02，通过网络传输层(TCP/IP协议栈)C01提供的TCP/IP开发接口完成数据传输；数据安全管理层C03采用数据传输控制层C02提供的接口完成数据的安全传输；通信信令的控制和管理C04采用数据安全管理层C03提供的接口完成通信信令和数据的传输；应用功能层部分(包括：客户端管理C07、数据存储和中转C06、用户管理C10、权限控制C08、计费管理C09)采用通信信令的控制和管理C04、数据安全管理层C03、数据传输控制层C02实现具体的功能，同时应用功能层部分还需要结合数据库系统；系统的独立客户端C13、组件客户端C14、翻译引擎，语音识别引擎ASR，语音合成引擎TTS，语音通道C 15主要通过应用功能层和控制服务器进行通信。
3.系统的软件系统结构
系统的软件系统整体上采用C/S结构，即客户端/服务器结构。其中服务器端软件作为独立的应用(或服务)来运行，结合软件分布式技术，根据客户端数量，服务器端软件可以部署在一台或多台计算机上，从而平衡服务器端流量，服务器主要完成一些控制功能，我们把服务器叫做控制服务器。客户端软件采用两种方式来实现：即可以独立运行的客户端(我们称之为独立客户端)和作为软件组件形式的客户端(我们称之为组件客户端)。独立客户端是一个独立的应用程序，可以单独运行；组件客户端为一个ActiveX控件，需要在其他应用程序容器中运行，如浏览器。在本发明的一个具体实施例中，根据具体的应用形式，该ActiveX控件可以部署在IE浏览器并与其结合。
IM即时通信可以通过启动IE运行组件客户端，也可直接运行独立客户端，发起通信时与翻译引擎发生关联完成翻译。客户端和服务器端通过TCP/IP协议进行通信。
参考图2，软件系统结构方框图中，软件系统整体上包括控制服务器和客户端两部分，控制服务器采用分层的设计结构，即控制服务器由数据传输控制B02、数据安全管理B03、通信信令控制与管理B04、应用处理层(包括语音文字翻译引擎，语音识别引擎ASR，语音合成引擎TTS，语音通道(上述这4个部分本图未示，详见图3)，语音部分B06、视频部分B07、数据存储和中转B08、权限控制B09、客户端管理B10等子系统)等部分组成。客户机也采用分层设计结构，并且和服务器端具有对应的分层处理。客户机和服务器通过网络传输层(TCP/IP协议栈进行直接的数据通信)，另外，系统还包括数据库服务器B11。
4.客户端功能及实现
客户机的软件功能实现包括独立客户端软件和组件客户端软件两种方式，两种方式在功能实现上基本一致，独立客户端是全功能客户机，除担负基本通信功能外，还具备翻译引擎功能，企业端还作为语音、视频、文字、文件等多语种语音文字信息编译端、组件客户端不能独立运行，但可以集成在其它容器当中，作为其他客户机的一部分。客户端的功能包括：通信信令控制和管理、数据传输控制、数据安全管理、语音数据处理、视频数据处理、文字消息处理、文件传输、留言(语音、文字和视频)管理、自动更新支持、IVR支持和硬件设备支持等。客户端通信信令控制和管理和服务器端通信信令控制和管理功能配合，完成语音识别ASR，语音转换TTS，翻译引擎完成多语种互翻译，完成VOIP呼叫、寻的，建立连接、状态控制、数据交换和中转、防火墙侦测和穿透等功能，数据传输控制用于完成数据的实时传输控制、自适应带宽控制、非实时数据的传输，客户端通信信令控制和数据传输控制采用TCP/IP协议栈实现；客户端数据安全管理和服务器端数据安全管理互相配合，完成数据安全传输，采用通用的对称密钥算法和非对称密钥算法机制，非对称密钥算法采用RSA，对称密钥算法采用DES/3DES，哈希算法采用MD5；语音数据处理包括语音的实时捕获、编码解码(CODEC)、传输、回放，视频数据处理包括视频的实时捕获、编码解码(CODEC)、传输、播放，语音和视频的编码遵循国际的语音和视频编码解码算法；文字消息处理完成即时的文字信息传输，文件传输用于传输文件数据，文字消息处理和文件传输都采用密文的方式进行传输；自动更新支持完成客户端软件的自动升级；IVR支持完成交互式的语音、视频、图文响应，通信连接的一端根据另一端的操作，自动响应，向另一端播放或者显示语音、视频、图文内容。
参考图4，客户端结构方框图中，客户端采用分层结构设计，数据传输层D02、数据安全管理D03、通信信令控制和管理D04和控制服务器基本对应，但在客户端数据传输层D02中，实现实时传输控制、自适应传输控制及非实时传输控制；在功能层D05中，包括版本更新、文字消息、文件传输、留言管理、IVR管理；翻译引擎，语音识别ASR，语音转换TTS以及音频和视频的处理功能。
5.组件客户端软件与IE浏览器结合及与独立客户端软件的通信翻译
基于IM的组件客户端软件与独立客户端软件是系统客户端软件的两种方式，两种方式在功能实现上基本一致，在进行通信时，无论是组件客户端软件还是独立客户端软件，都具备一个独立的标识码，组件客户端软件可以直接呼叫组件客户端软件，也可呼叫独立客户端软件，反之也然，INTERNET端对端通信，二种客户端软件都需要数据库服务器及数据控制服务器常连接，由次完成系统通信信令控制和管理、用户管理、权限控制、数据存储和中转、客户端管理、计费管理、数据安全管理等；当客户端对另一端发起呼叫、寻找、建立连接时，除独立客户端之间的通信外，其它的呼叫请求首先被发往翻译服务器，由翻译引擎执行翻译，如A端的用户使用的语种是中文，对端B用户是用的语种是英文，无论发出的是语音或文本信息，都有ASR，TTS及翻译引擎关联完成通信中的翻译，独立客户端软件之间的通信其翻译将根据发起端与受话端的语音或文字的语种选择由本地客户端完成。
在图5中企业可通过部署WWW服务器为用户提供语音信息服务，企业被访问时需要首先播放的语音文件通过VoiceXML语音网关，XML与DB模块，语音通道，翻译引擎等关联即可实现。
6.组件客户端软件与IE浏览器结合
组件客户端软件可以在IE浏览容器环境运行，可以通过客户端浏览器脚本语言，实现作为软件组件形式的客户端与IE浏览容器结合。直接生成于IE框上，当IE启动时组件客户端被激活。
在图5中，组件客户端与IE浏览容器结合中，Internet用户利用浏览器E01在语音通道呼叫目标用户或发送文本信息，经ASR，TTS，翻译引擎实现多语种语音及文本信息在通信中完成即时翻译，组件客户端软件还可关联控制服务器及数据库服务器，控制服务器把数据库服务器关于站点的信息由VoiceXML语音网关把HTML转换成VXML，客户端获取语音信息。组件客户端完成通信中的即时翻译。
组件客户端软件嵌入到IE浏览器，其表现形式是控件元素，控件元素可以是一个按钮、图标、图片、文字、链接，也可是其他别的可视的内容。参考图6，组件客户端软件以控件的形式表现在IE浏览器中。用户通过直接操作或呼叫或用鼠标、键盘、或者其他输入设备来点击控件元素发起关联通信。
实施例二：基于PSTN公共电话网或无线移动电话网的即时互译通信系统。
本发明的另一个实施例中提供了一种基于传统的PSTN公共电话网或无线移动电话网(GSM，CDMA，3G，SMS等通信方式)的多语种语音，文字的即时通信翻译系统，仍按客户端/服务器结构形式构建，如图7，图中PSTN公共电话网及移动电话网中的电话终端用户作为客户端，在PSTN及移动电话网的交换中心部署一台或多台翻译服务器，由控制服务器实施管理，服务器端具有文字消息翻译传输、留言管理、IVR管理；翻译引擎，翻译模块，语音识别ASR，语音转换TTS以及音频的处理功能。
当终端用户发起语音通话时，经电话终端语音通道被送往翻译服务器，服务器根据主叫用户或被叫用户的语种选择执行翻译，通信中即时翻译完成。
当终端用户发起移动网或固网的SMS短信通信时，短信中心将文本信息送翻译服务器，返回结果由短信中心送达被叫，用户回复短信流程相同。
图8是本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的通信方法的流程图。系统初始化步骤具体实现为：用户启动组件客户端软件或独立客户端软件或在公共电信网或移动通信网中用电话终端执行拨号；第一发送/接收端发送信息通过网络到服务器步骤具体实现为：IM用户使用组件客户端软件或独立客户端软件通过语音视频设备发起语音呼叫，或用键盘发送文本信息，公共电信网中或移动通信网电话终端用户开始通话或发送SMS短信；服务器响应并将信息翻译成指定语种信息步骤具体实现为：系统发起关联通信并激活翻译引擎，翻译成对应语种的语音及文字信息；服务器将翻译完的信息通过网络发送到第二发送/接收端步骤具体实现为：IM用户的信息接收端是独立客户端软件或组件客户端软件，公共电信网或移动通信网的用户的信心接收端是电话终端，各网络的服务器将把翻译好的信息传送给各自的接收端；然后一次单向通信结束。此过程可根据用户需要不断进行，所述第一发送/接收端设备和第二发送接收端设备将交互的发送和接收信息，各自使用各自的语言，能够无障碍的交流。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明申请专利范围所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种基于网络的多语种语音和/或文字信息的即时互译通信系统，包括用户终端设备和服务器端设备，所述用户终端设备和服务器端设备分别与网络联通，通过该网络进行通信，其特征是
所述服务器端设备包括：
用于通信信令控制和管理、用户管理、权限控制、数据存储和中转、客户端管理、计费管理、数据安全管理的控制服务器；
用于语音及文字信息的即时翻译的多语种语音文字翻译服务器，所述用户终端设备包括：
至少一个第一发送/接收端设备；
至少一个第二发送/接收端设备，
当使用所述第一发送/接收端设备通过所述网络与所述第二发送/接收端设备通信时，所述控制服务器控制所述翻译服务器将所述第一发送/接收端设备发送的语音或文字信息翻译成对应语种的语音或文字信息并发送到所述第二发送/接收端设备上，该系统既能实现一个语种对应另一语种的即时语音和/或文字的即时通信翻译，也能实现一个语种对多个语种的语音和/或文字即时通信翻译。
2.如权利要求1所述的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，其特征在于：所述翻译服务器部署有用于语音及文字信息即时翻译的多语种语音文字翻译引擎软件、语音识别(ASR)引擎软件，语音合成(TTS)引擎软件，语音通道软件。
3.如权利要求2所述的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，其特征在于：所述网络为互联网(internet)；所述第一发送/接收端设备和第二发送/接收端设备为客户机，该客户机包括客户机主机，该客户机主机部署有
具有通信信令控制和管理、数据传输控制、数据安全管理、语音数据处理、视频数据处理、语音及文字信息即时翻译、文字数据处理、文件传输、留言(语音、文字和/或视频)管理、自动更新支持、IVR支持和硬件设备支持等功能，可独立运行的独立客户端软件和/或
与所述独立客户端软件功能一致，但需要与浏览器结合运行的组件客户端软件和
用于语音及文字信息即时翻译的多语种语音文字翻译引擎软件、语音识别(ASR)引擎软件，语音合成(TTS)引擎软件，语音通道软件；所述客户机还包括用于语音和视频信号的捕获和转换的语音视频设备和与所述互联网相联接的internet接入设备；
所述服务器端设备还包括用于数据操作和存储的数据库服务器。
4.如权利要求3所述的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，其特征在于：所述数据库服务器还部署有语音标记语言与关系型数据库相互转换的XML-DB转换模块，所述服务器端设备还包括：
VoiceXML语音网关；和
用于信息发布和采集及所述组件客户端软件部署的WWW服务器。
5.如权利要求2所述的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，其特征在于：所述网络为PSTN公共电话网或无线移动电话网，所述第一发送/接收端设备和第二发送/接收端设备为固定电话或移动电话，所述翻译服务器还部署有语音标记语言与关系型数据库相互转换的XML-DB转换模块。
6.如权利要求5所述的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，其特征在于：所述无线移动电话网的通信方式为GSM，CDMA，3G，SMS通信方式。
7.如权利要求3所述的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，其特征在于：所述浏览器为IE浏览器，该IE浏览器与所述组件客户端软件结合的形式是：组件客户端软件设计为浏览器组件或插件元素。
8.一种基于如权利要求1所述的基于网络的多语种语音和/或文字信息的即时互译通信系统的通信方法，其特征在于一次单向通信包括如下步骤：
(1)系统初始化；
(2)所述第一发送/接收端设备发送语音和/或文字信息通过所述网络到达所述服务器端设备；
(3)所述控制服务器控制所述翻译服务器将所述语音和/或文字信息翻译成对应语种的语音和/或文字信息并通过网络发送到第二发送/接收端设备；
(4)一次单向通信结束。
9.如权利要求8所述的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的通信方法，其特征在于：所述网络为互联网(internet)；所述第一发送/接收端设备和第二发送/接收端设备为客户机，该客户机部署有可独立运行的独立客户端软件和/或与所述独立客户端软件功能一致，但需要与浏览器结合运行的组件客户端软件和用于语音及文字信息即时翻译的多语种语音文字翻译引擎软件、语音识别(ASR)引擎软件，语音合成(TTS)引擎软件，语音通道软件；该客户机还包括用于语音和视频信号的捕获和转换的语音视频设备和与所述互联网相联接的internet接入设备；所述服务器端设备还包括用于数据操作和存储的数据库服务器。
10.如权利要求8所述的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的通信方法，其特征在于：所述网络为PSTN公共电话网或无线移动电话网，所述第一发送/接收端设备和第二发送/接收端设备为固定电话或移动电话。
CNA2005101002984A 2005-10-17 2005-10-17 基于网络的多语种语音、文字信息即时互译通信系统及方法 Pending CN1770747A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CNA2005101002984A CN1770747A (zh) 2005-10-17 2005-10-17 基于网络的多语种语音、文字信息即时互译通信系统及方法
PCT/CN2006/001440 WO2007045136A1 (fr) 2005-10-17 2006-06-23 Systeme et procede de communication sur reseau destine a la traduction en temps reel de paroles et d’informations textuelles en plusieurs langues

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA2005101002984A CN1770747A (zh) 2005-10-17 2005-10-17 基于网络的多语种语音、文字信息即时互译通信系统及方法

Publications (1)

Publication Number Publication Date
CN1770747A true CN1770747A (zh) 2006-05-10

Family

ID=36751743

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005101002984A Pending CN1770747A (zh) 2005-10-17 2005-10-17 基于网络的多语种语音、文字信息即时互译通信系统及方法

Country Status (2)

Country Link
CN (1) CN1770747A (zh)
WO (1) WO2007045136A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222064A (zh) * 2010-04-13 2011-10-19 倪劲松 实时翻译系统和方法、网络通讯设备
CN102546453A (zh) * 2010-12-25 2012-07-04 上海量明科技发展有限公司 利用即时通信工具学习书法的方法及系统
CN102609409A (zh) * 2012-02-13 2012-07-25 浙江飞常哆科技有限公司 一种在线翻译方法、装置、系统及服务器
CN102844749A (zh) * 2010-05-08 2012-12-26 惠普发展公司，有限责任合伙企业 对文件执行转写请求
CN102902666A (zh) * 2011-07-26 2013-01-30 郑俨 应用于网络协议语音的多国语音辨识及翻译幕显像系统
CN103544145A (zh) * 2012-07-12 2014-01-29 北京蚂蜂窝网络科技有限公司 一种外出旅行多语言翻译系统及方法
CN103778111A (zh) * 2014-02-24 2014-05-07 周龙金 手机短信中英文自动翻译及英语学习的系统
CN106506020A (zh) * 2016-12-28 2017-03-15 天津恒达文博科技有限公司 一种双向无线同声传译议员机
CN106682967A (zh) * 2017-01-05 2017-05-17 胡开标 在线翻译聊天系统
CN107480146A (zh) * 2017-08-07 2017-12-15 中译语通科技（青岛）有限公司 一种识别语种语音的会议纪要快速翻译方法
CN108563642A (zh) * 2018-03-20 2018-09-21 孙跃 一种中国结式文化传播海外贸易方法和系统
CN111210821A (zh) * 2020-02-07 2020-05-29 普强时代(珠海横琴)信息技术有限公司 一种基于互联网应用的智能语音识别系统
CN113362818A (zh) * 2021-05-08 2021-09-07 山西三友和智慧信息技术股份有限公司 一种基于人工智能的语音交互指导系统及方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI427976B (zh) * 2010-09-21 2014-02-21 Inventec Corp 提供多種語言同時進行翻譯轉換的即時通訊系統及其方法
CN103810158A (zh) * 2012-11-07 2014-05-21 中国移动通信集团公司 一种语音翻译方法及装置
CN106919562B (zh) * 2017-04-28 2024-01-05 深圳市大乘科技股份有限公司 一种实时翻译系统、方法及装置
CN113472743B (zh) * 2021-05-28 2023-05-26 引智科技(深圳)有限公司 一种多语种会议分享与个性化编辑方法
CN113676394B (zh) * 2021-08-19 2023-04-07 维沃移动通信（杭州）有限公司 信息处理方法和信息处理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1422062A (zh) * 2001-11-27 2003-06-04 王中 利用公众通信网络实现同步语言翻译系统
WO2004049196A2 (en) * 2002-11-22 2004-06-10 Transclick, Inc. System and method for speech translation using remote devices
JP2004206185A (ja) * 2002-12-24 2004-07-22 Toshiba Corp 翻訳訳語決定システム、翻訳訳語決定サーバ、翻訳訳語決定方法およびプログラム

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222064A (zh) * 2010-04-13 2011-10-19 倪劲松 实时翻译系统和方法、网络通讯设备
US8909675B2 (en) 2010-05-08 2014-12-09 Hewlett-Packard Development Company, L.P. Executing transcription requests on files
CN102844749A (zh) * 2010-05-08 2012-12-26 惠普发展公司，有限责任合伙企业 对文件执行转写请求
CN102844749B (zh) * 2010-05-08 2016-05-18 惠普发展公司，有限责任合伙企业 对文件执行转写请求
CN102546453A (zh) * 2010-12-25 2012-07-04 上海量明科技发展有限公司 利用即时通信工具学习书法的方法及系统
CN102546453B (zh) * 2010-12-25 2016-06-08 上海量明科技发展有限公司 利用即时通信工具学习书法的方法及系统
CN102902666A (zh) * 2011-07-26 2013-01-30 郑俨 应用于网络协议语音的多国语音辨识及翻译幕显像系统
CN102609409A (zh) * 2012-02-13 2012-07-25 浙江飞常哆科技有限公司 一种在线翻译方法、装置、系统及服务器
CN103544145A (zh) * 2012-07-12 2014-01-29 北京蚂蜂窝网络科技有限公司 一种外出旅行多语言翻译系统及方法
CN103778111A (zh) * 2014-02-24 2014-05-07 周龙金 手机短信中英文自动翻译及英语学习的系统
CN106506020A (zh) * 2016-12-28 2017-03-15 天津恒达文博科技有限公司 一种双向无线同声传译议员机
CN106682967A (zh) * 2017-01-05 2017-05-17 胡开标 在线翻译聊天系统
CN107480146A (zh) * 2017-08-07 2017-12-15 中译语通科技（青岛）有限公司 一种识别语种语音的会议纪要快速翻译方法
CN108563642A (zh) * 2018-03-20 2018-09-21 孙跃 一种中国结式文化传播海外贸易方法和系统
CN111210821A (zh) * 2020-02-07 2020-05-29 普强时代(珠海横琴)信息技术有限公司 一种基于互联网应用的智能语音识别系统
CN113362818A (zh) * 2021-05-08 2021-09-07 山西三友和智慧信息技术股份有限公司 一种基于人工智能的语音交互指导系统及方法

Also Published As

Publication number Publication date
WO2007045136A1 (fr) 2007-04-26

Similar Documents

Publication Publication Date Title
CN1770747A (zh) 基于网络的多语种语音、文字信息即时互译通信系统及方法
CN1700713A (zh) 移动终端下载多媒体振铃音的实现方法及系统
CN1956479A (zh) 将移动电话用作ip软电话的手持送受话器的方法和系统
KR20120099493A (ko) 저-설비 고-기능 이동국에 대한 클라우드-기반 애플리케이션
WO2009002491A4 (en) A method for signaling interworking cdma 3glx or evdo mobile devices with an ims core network
CN1855923A (zh) 基于互联网络的通信方法
CN1866997A (zh) 获取主叫用户信息的方法及其装置
CN1659854A (zh) 将专用通信网提供的服务动态地应用于连接在公共通信网上终端的方法
CN1848117A (zh) 一种可互动的互联网广告的方法
US20070243898A1 (en) Multi-handset cordless voice over IP telephony system
CN1828611A (zh) 一种可互动的搜索引擎的方法
CN101478611B (zh) 基于软排队机呼叫中心的多语言语音合成方法和系统
CN101080035A (zh) 一种实现彩像业务的系统和方法
CN1852336A (zh) 一种终端、通信设备、通信系统和通信方法
CN1599398A (zh) 实现电话向计算机网络即时通信终端发信息的装置和方法
CN1662003A (zh) 一种实现会话发起协议应用服务器个人业务定制的方法
CN1407445A (zh) 纯软件的交互式语音应答/语音信箱设备的实现方法
CN102802128B (zh) 影音群呼系统
CN1968311A (zh) 实名电话呼叫业务的实现方法
KR20050101924A (ko) 단말기의 지원 언어에 따른 멀티미디어 메시지 변환시스템 및 그 방법
CN1805403A (zh) 分组用户终端使用通信业务的方法及其系统
CN1411226A (zh) 融合电话网和ip网用户的个人号码业务的实现方法及系统
US9031215B2 (en) Method and apparatus for new subscriber access to telephony features
CN1802838A (zh) 通过多媒体消息传送服务传输声音内容的方法和系统
CN1801785A (zh) 基于即时通讯的多媒体内容互动系统及其实现方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Open date: 20060510