CN102017513A - 基于开放体系结构的依赖于域的实时多语种通信服务 - Google Patents
基于开放体系结构的依赖于域的实时多语种通信服务 Download PDFInfo
- Publication number
- CN102017513A CN102017513A CN200980115671XA CN200980115671A CN102017513A CN 102017513 A CN102017513 A CN 102017513A CN 200980115671X A CN200980115671X A CN 200980115671XA CN 200980115671 A CN200980115671 A CN 200980115671A CN 102017513 A CN102017513 A CN 102017513A
- Authority
- CN
- China
- Prior art keywords
- client
- communication
- cipher key
- private cipher
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims abstract description 82
- 230000001419 dependent effect Effects 0.000 title 1
- 238000013519 translation Methods 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000004044 response Effects 0.000 claims abstract description 13
- 230000005540 biological transmission Effects 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims 2
- 238000003786 synthesis reaction Methods 0.000 claims 2
- 230000006870 function Effects 0.000 abstract description 3
- 230000014616 translation Effects 0.000 description 50
- 239000003795 chemical substances by application Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008676 import Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- VEMKTZHHVJILDY-UHFFFAOYSA-N resmethrin Chemical compound CC1(C)C(C=C(C)C)C1C(=O)OCC1=COC(CC=2C=CC=CC=2)=C1 VEMKTZHHVJILDY-UHFFFAOYSA-N 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
- H04L63/104—Grouping of entities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
- H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
Abstract
一种用于实时网络通信的系统及方法，提供会话标识符(会话ID)作为用于在客户端之间的群组通信(20，22)的公开密钥，并且提供表示多个客户端(12)中的每一个的私有密钥的频道标识符(频道ID)。该频道标识符包括客户端特定属性，该属性用以指示该群组通信的分组准则。基于该公开密钥及私有密钥组合经由网络建立介于客户端(12)与服务(14)之间的动态通信链路，以使得基于该私有密钥及该公开密钥的该属性而实现群组通信。通过使用翻译服务(16)来翻译通信，该翻译服务(16)使用与该私有密钥及该公开密钥的组合相关联的该属性而以指定语言提供响应信息以实现多语种实时通信。
Description
技术领域
本发明涉及多语种通信，并且具体地涉及用于实时多语种翻译通信的系统及方法。
背景技术
不断增加的经济全球化以及社会网络连接的流行造成越来越多的在使用不同语言的人们之间发生会谈的情形。可通过交谈的主题(域)进一步对参与者进行分组。挑战在于如何基于兴趣群组来组织这种多语种交谈以及找到在因特网上主控此多语种交谈的有效方式。
目前不存在对此问题的有效解决方案，并且不存在提供实际实时多语种交谈环境的服务。现今的语音及语言技术(自动语音识别、机器翻译以及文字至语音)足够成熟以帮助在一些定义明确的域中的跨语种交谈。然而，具有用于组织这种跨语种交谈的开放结构并且使开放结构可用于许多人(例如社会联网群组)的挑战无法由这些技术单独解决。
在因特网上在客户端与服务器之间的直接通信由于对等体之间的防火墙及代理服务器的存在而常常是不可能的。因此，直接的客户端-服务器链路在这种状况下并非是合理的通信手段。基于数据流式传输的分布式语音识别(DSR)解决方案不提供控制频道，因此难以具有动态地选择不同语言或域的灵活性。
发明内容
用于实时网络通信的系统及方法提供会话标识符作为用于客户端之间的群组通信的公开密钥，并且提供表示多个客户端中的每一个的私有密钥的频道标识符。频道标识符包括客户端特定属性，该属性用以指示群组通信的分组准则。基于公开密钥与私有密钥的组合经由网络在客户端与服务之间建立动态通信链路，以使得基于私有密钥和公开密钥的属性而实现群组通信。通过使用翻译服务来翻译通信，该翻译服务使用与私有密钥及公开密钥的组合相关联的属性而以指定语言提供响应信息以实现多语种实时通信。
用于实时多语种通信的系统及方法包括提供表示多个客户端中的每一个的私有密钥的频道标识符以及提供会话标识符作为公开密钥以用于客户端通信。通过使用公开密钥及私有密钥的组合经由网络在客户端与服务之间建立动态链路以用于通信。通过使用翻译服务来翻译通信，该翻译服务使用与私有密钥及公开密钥的组合相关联的属性而以指定语言提供响应信息以实现多语种实时通信。
用于实时多语种通信的方法提供表示多个客户端中的每一个的私有密钥的频道标识符，其中私有密钥包括语言的选择及每一客户端接收通信的方式。提供会话标识符作为用于在试图通信的客户端之间的客户端通信会话的公开密钥。通过使用公开密钥及私有密钥的组合经由网络在客户端与服务之间建立动态链路以用于通信。通过使用Web服务而经由网络路由通信。通过使用由Web服务所提供的翻译服务来翻译通信，该翻译服务使用与私有密钥及公开密钥的组合相关联的属性而以指定语言提供响应信息以实现多语种实时通信。通信及通信的翻译根据每一客户端的语言的选择而被提供至参与会话的所有客户端。
用于实时多语种通信的系统包括客户端装置，该客户端装置包括一程序，该程序被配置以请求会话且产生表示私有密钥的频道标识符，其中私有密钥包括语言的选择及每一客户端接收通信的方式。服务器经由网络连接至客户端并且包括Web服务，该Web服务被配置以提供会话标识符作为用于在试图通信的客户端之间的客户端通信会话的公开密钥，以使得通过使用公开密钥及私有密钥的组合经由网络在客户端与Web服务之间建立动态链路以用于通信。Web服务被配置以经由网络路由通信。Web服务包括用于翻译通信的翻译服务，该翻译服务使用与私有密钥及公开密钥的组合相关联的属性而以指定语言提供响应信息以实现多语种实时通信。
这些以及其它特征与优点从下文对本发明的说明性实施例的详细描述将变得显而易见，将结合附图阅读此详细描述。
附图说明
本公开内容将参考附图在下面对优选实施例进行具体描述，其中：
图1为示出根据本发明的原理具有通过使用具有翻译的Web服务以多种不同语言通信的参与者的实时聊天群组的系统/方法的方块/流程图；
图2为示出根据本发明的原理通过使用具有翻译的Web服务以不同语言在两个客户端之间进行的实时通信的系统/方法的方块/流程图；
图3为示出根据本发明的原理通过流式传输数据以不同语言在两个客户端之间进行的实时通信的图2的更多细节的系统/方法的方块/流程图；以及
图4为根据本发明的原理在Web服务模式中以不同语言在两个客户端之间进行的实时通信的系统/方法的方块/流程图。
具体实施方式
根据本发明的原理，基于开放体系结构的解决方案被提供用于语言翻译。在一个实施例中，该体系结构基于Web服务，即一种软件系统，该软件系统支持经由网络(具体而言是因特网)的可互操作的互动，包括对防火墙的穿越。该开放体系结构优选地使用公开密钥(组织者会话ID)及私有密钥(参与者会话ID)以将每一参与者动态地连接至正确的兴趣群组(主题/域群组)。该体系结构支持经由因特网或其它网络的语音至语音、文字至文字、以及文字至语音翻译系统，所述网络可通过个人计算机(PC)、个人数字助理(PDA)、移动电话或类似的网络装置从全世界访问。使用公开密钥及私有密钥对的基于Web服务的开放结构经由因特网或其它网络向许多人提供对实时跨语种交谈的访问。
本发明的实施例可采取完全硬件实施例、完全软件实施例或包括硬件组件与软件组件两者的实施例的形式。在一优选实施例中，本发明以软件实施，软件包括(但不限于)固件、常驻软件、微码等。
此外，本发明可采取计算机程序产品的形式，该计算机程序产品可自提供由计算机或任何指令执行系统使用或与其结合使用的程序代码的计算机可用或计算机可读介质访问。为此描述的目的，计算机可用或计算机可读介质可为可以包括、存储、传达、传播或输送由指令执行系统、设备或装置使用或与其结合使用的程序的任何装置。介质可为电子、磁性、光学、电磁、红外或半导体系统(或装置或设备)或传播介质。计算机可读介质的实例包括半导体或固态存储器、磁带、可移动式计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘及光盘。光盘的当前实例包括紧密光盘-只读存储器(CD-ROM)、紧密光盘-读取/写入(CD-R/W)及DVD。
适合于存储和/或执行程序代码的数据处理系统可包括至少一个处理器，其直接或经由系统总线间接耦接至存储器部件。存储器部件可包括在实际执行程序代码期间所使用的本地存储器、大容量存储器及高速缓存，该高速缓存提供至少一些程序代码的暂时存储以减少在执行期间从大容量存储器取得代码的次数。输入/输出或I/O装置(包含但不限于键盘、显示器、指向装置等)可直接或经由介入I/O控制器耦接至该系统。
网络适配器也可耦接至系统以使得数据处理系统能够经由介入的私有或公用网络耦接至其它数据处理系统或远程打印机或存储装置。调制解调器、电缆调制解调器及以太网卡仅为当前可用的网络适配器类型中的几种。
现参看附图(其中相似数字表示相同或类似组件)并且最先参看图1，系统/方法10包括用于网络的多语种互动的开放体系结构。提供用于因特网使用的语音至语音翻译系统。客户端12经由Web服务14与服务器通信。Web服务14提供对因特网服务或其它网络服务的标准化访问。该服务优选地可通过所有防火墙，并且也不受平台操作系统及由该应用程序所使用的编程语言限制。因此，客户端12可容易地与服务器14通信。系统10避免传输原始话音数据以降低在客户端12与服务器14之间的传输比特率。语音特征在客户端12处被提取并且被发送至服务器14以执行语音识别及翻译16。
在语音识别组件16的一个实例中，相应传输比特率在未压缩的情况下可为例如41.6kbps，其远低于话音数据的传输比特率。由于此过程中未出现失真，因此可保证语音识别性能。传输比特率可通过使用诸如向量量化(VQ)技术的各种压缩算法进一步减小至例如4kbps，并且语音识别性能将受轻微影响。这些比特率说明根据本实施例可达成的减小并且不应解释为限制。
在本发明的系统10中，通过仅用于有意义的信号而节省服务器14资源。这通过在客户端12处添加语音分段组件18来达成。当记录语音信号时，分段组件18检测在语音流中的语音与静音或噪声之间的边界。一旦检测到语音片段，即提取相关特征并且将其发送至服务器以取得翻译结果，并且由客户端12移除静音或噪声片段。
分布式语音识别(DSR)解决方案是基于通过标准编解码器传输经提取的语音特征而非音频文件。由于语音特征的格式为供货商特定的，因此用于语音至语音翻译的DSR解决方案通过使用语音特征提取作为加密方法来提供另一水平的安全性。
通过将基于Web服务14的DSR方法用于翻译服务，客户端应用程序按需选择适当的翻译域是方便的。域选择可被动态地设定为Web服务输入参数，并且因此其必要时可为语言的选择。因此基于DSR的Web服务14方法使得客户端12能够按需使用域特定语音至语音翻译服务。
此体系结构10可容易地扩展至一种情形，其中多方通过翻译服务参与联网社区聊天。对于基于DSR的Web服务模型的情况，聊天组织者20或22将一独特会话ID(公开密钥)发送至Web服务14以用于标识呼叫并且将该密钥广播至每一参与者或在联网社区可访问的位置公布该密钥。每一个别参与者12通过将诸如语言、域、位置、用户ID的属性附加至公开密钥来建立频道ID(私有密钥)。参与者(12)可将请求与私有密钥发送至Web服务14。主控翻译服务16将基于公开密钥选择这些个别方以允许大的呼叫群组。接着，翻译服务16基于私有密钥内的关键要素将这些个别参与者分类为小群组。举例而言，说中文的人将仅在一群组中，并且取决于域(兴趣领域)，其进一步被划分成小群组，诸如“中国北京旅游”、“中国上海旅游”。
具有翻译功能16的Web服务14将用作智能型路由代理以在不同域或群组20、22中组织此多语种聊天。经翻译语调的目的地由原始请求中的属性及语调的内容(诸如语言及域)动态地确定。举例而言，说英语的参与者对住在中国东海岸的人有问题，具有翻译服务16的Web服务主机14将最终的经翻译语调发送至具有语言及域的最佳匹配的小群组。因此，此体系结构10为开放体系结构。此开放体系结构使得能够将此解决方案经由因特网应用于许多人。
在说明性实例中，联网社区的许多成员或客户端12希望经由话音、文字或两者参与关于不同主题的多语种聊天。预期多模态输入以每一参与者选择的语言向其呈现。聊天组织者20或22建立独特会话ID(公开密钥)并且将其提交至Web服务14以用于注册呼叫并且经由联网社区公开发布该密钥。个别用户客户端12必要时下载客户端软件，其包括DSR前端以及文字至语音(TTS)合成器。
个别参与者12通过将所有标记(诸如源语言、目标语言、域、位置、动作ID)附加至公开密钥而建立个别频道ID(私有密钥)。接着，参与者12可将Web服务请求与其私有密钥及附件本体(文字或语音特征中的话音)发送至主控Web服务14。Web服务14可包括经由超文本传送协议(HTTP)的简单对象访问协议(SOAP)(XML协议)。Web服务请求可使用标准HTTP端口，因此其可通过防火墙。
具有翻译功能16的主控Web服务14用作智能型多语种路由代理以动态地将请求传递至正确的聊天群组并且在选定聊天群组内将输入以正确语言分发至所有已注册客户端。在插件32中，Web服务14包括路由表34，其确保客户端12根据适当聊天群组20接收适当语言翻译。在插件36中，Web服务14包括路由表38，其确保客户端12根据适当聊天群组22接收适当语言翻译。
主控翻译服务16将基于公开密钥选择这种个别客户端12以维持大的呼叫群组。翻译服务基于参与者的私有密钥内的关键标记将这些个别参与者分类为小群组。举例而言，希望对中国人发言者将仅在一个大的群组中(目标语言为中文)。取决于域(主题)，这些客户端按需要进一步被划分成较小群组。经翻译语调的目的地将动态地由原始请求中的标记来确定。
参看图2，说明性地示出在两个客户端12(指定为客户端X与客户端Y)之间的跨语种聊天。公开密钥及私有密钥的组合被用于在客户端12与服务110之间建立动态链路。完全通过这些密钥组合定义所提交请求的上下文及待应用于传递至客户端12的数据的过滤程序(filter)。与密钥组合相关联的属性定义待应用于传递回客户端的数据的过滤程序。换言之，私有密钥以使得该客户端能够接收选定语言的翻译或特定类型的通信的指定而产生。这对于提供内容的安全性或年龄或类别指定过滤(诸如，针对不适合于儿童的某些通信等等)是有用的。
Web服务14被用作智能型路由代理并且负责分布消息载荷。所有客户端12通过轮询可在轮询模式112中通过话音、文字或视频传递的与加入会话群组有关的可用数据、数据源或信息来预订特定主题/域。对于存在网络的任何装置(例如，PC、PDA、移动电话等)提供对分布式服务110的动态访问。
可由此动态密钥组合驱动的网络活动的范围很广，诸如文字或话音翻译、跨语言图像及视频共享、跨语言因特网竞争。服务110尤其包括分布式语音识别(DSR)104、机器翻译(MT)106及文字至语音(TTS)108。
DSR模块104接收通过标准编解码器传输的诸如倒频谱特征的所提取语音特征而非音频文件。由于语音特征的格式为供货商特定的，因此用于语音至语音翻译的DSR模块104通过使用语音特征提取作为加密方法来提供另一水平的安全性。DSR模块104提供翻译服务并且对于客户端应用程序按需选择适当的翻译域是方便的。域选择可被动态地设定为Web服务输入参数，因此其可包括语言的选择。基于DSR的Web服务14使得客户端12能够按需使用域特定语音至语音翻译服务。
为了进一步说明本发明的优点，将呈现说明性实例。基于动态密钥组合的方法可用于因特网上的跨语种个人ID检查。每个个人ID包括私有密钥，并且对特定群组/域的要求为公开密钥。这可用于社会网络中以便跨语言检查个人ID并且例如提供安全性以保护青少年及儿童群组。
在跨语种Web会议呼叫情境中，参与者(客户端12)可以第一语言发言，并且服务器110可使用第二语言(基于公开密钥)。每一请求122可经由其私有密钥呈现所有信息，并且服务器110可将例如文字至语音话音120的经翻译消息(语音、文字、视频)以适当语言(例如，由用户选择的第一语言)分发至个别参与者。以此方式，每一客户端12可以其母语发言并且以其它参与者的母语接收来自该参与者的响应，即使该参与者以其它语言发言。
参看图3，描述流式传输模式的例示性实施例的进一步细节，其中信息例如通过使用因特网话音协议(VoIP)电话通信而经由网络被流式传输。使用三个ID：用于客户端X及Y(12)的ID_US、ID_China及用于实时翻译服务器(RTTS)310的ID_RTTS。客户端X及Y可使用例如使用VoIP接口的电话接口。ID_China与ID_US两者都已安装插件程序302，其允许对所提供Web服务的访问并通过允许语音特征的收集而实现多语种通信的使用。
在美国的用户(客户端X)希望对在中国的用户(客户端Y)发言。假定他们在其个别联系人列表中具有所需的ID。客户端X或ID_US选择客户端Y或ID_China并按压“呼叫按钮”，其通过使用聊天应用程序接口(API)303将请求发送至ID_China。ID_China按压其“接受呼叫”按钮以指示就绪。在ID_US接收到来自ID_China的应答之后，ID_US将请求发送至用于呼叫调度的RTTS Web服务318。RTTS Web服务318将产生具有诸如号码.001(英语)及号码.002(中文)(“号码”可为电话号码)的语言标记的频道ID。这两个号码被返回至ID_US，并且这两个号码被传递至对话管理器(DM)330。
ID_US将号码.002(中文)经由聊天API 303传递至ID_China。ID_US与ID_China两者都通过使用个别指定的频道ID号码.001及号码.002而开始呼叫RTTS服务器310。RTTS会话发起协议(SIP)端点程序328将基于具有语言标记的给定频道ID而单独地处置这两个来话呼叫。本实例示出因特网协议连接312并且使用会话发起协议(SIP)信令代理306及包括编码器/解码器(编解码器)307的快速传输协议(RTP)代理308。服务器310也说明性地包括SIP代理314及RTP代理316以提供在客户端12与服务器310之间的适当通信协议。也预期了其它网络协议及硬件。本实施例不应解释为受所示出的配置限制。
在建立两个呼叫之后，在两个客户端12上的即按即说(P&T)按钮可指示呼叫就绪状态。P&T按钮可作为插件程序的一部分而产生并且可在计算机屏幕上与任何指示符一起产生，或者该按钮及指示符可提供于电话装置上。ID_US按压P&T按钮且将音频串流发送至RTTS310。在一实例中，音频流在开始及结束处通过双音多频(DTMF)密钥封装。当被接收到时，音频流可在音频缓冲器320中缓冲。
请求也被发送至RTTSWeb服务318以等待文字结果。RTTS 310可将传入的音频重现在连接至ID_China的频道。RTTS对话管理器(DM)330将此传入音频流发送至翻译服务模块340。模块340可包括自动语音识别(ASR)注释器322、实时翻译(RTT)注释器324及文字至语音(TTS)注释器326。DM 330提取自汇总器332传回的文字形式的识别结果及翻译结果，只要其可得自消息提示334。DM 330将消息发送回ID_US。ID_US在其聊天窗口中显示结果，且同时将该结果发送至ID_China以用于显示。该结果的确认可用于确保消息被接收。经翻译的TTS话音就绪DM 330可基于频道ID经由RTP将话音传递至ID_China。ID_China接着可按压P&T按钮并且交谈可继续。
参看图4，描述关于Web服务模式的图2的例示性实施例的进一步细节。客户端ID包括ID_US及ID_China。ID_China与ID_US两者都已安装了插件程序404，其提供所需的功能性以执行接口连接任务，产生指示符等。
美国的用户(客户端12)希望与中国的用户谈话。两个用户在其个别联系人列表中均具有所需的ID。ID_US选择ID_China并按压P&T按钮。ID_US的话音由特征提取模块402变换至频谱/特征，并且该特征优选地经由SOAP/HTTP传输至RTTS服务器420。ID_US将开始信号发送至ID_China。ID_China将“取得结果”请求经由SOAP/HTTP发送至RTTS服务器420。RTTS服务器420包括Web服务14，其提供执行识别、翻译及TTS的翻译服务模块440。
模块440可包括分布式语音识别(DSR)注释器420、文字至语音(TTS)注释器418及实时翻译器(RTT)注释器416。DM 406提取自汇总器412传回的文字形式的识别结果及翻译结果，只要其可得自消息提示414。DM 406管理参与者之间的对话并且以文字形式的识别结果及经翻译结果对ID_US作出回应。ID_US在其聊天窗口中显示结果，并且同时可使用例如实时消息传递(IM)API 407将翻译结果发送至ID_China以用于显示。确认可被用于确保消息被接收。在此实例中，RTTS服务器440以TTS对ID_China作出响应，且插件程序404将此TTS重现至ID_China。
已描述基于开放体系结构的依赖于域的实时多语种通信服务的优选实施例(其意欲为说明性且非限制性的)，但应注意本领域技术人员可根据上述教导进行修改及变化。因此应理解，可在所揭示的特定实施例中进行在由所附权利要求书所概述的本发明的范畴及精神内的改变。在以专利法所要求的细节及特殊性而如此描述本发明的各方面后，所主张及要由本专利所保护的内容阐述于所附权利要求书中。
Claims (24)
1.一种用于实时网络通信的方法，包含：
提供会话标识符作为用于客户端之间的群组通信的公开密钥；
提供表示多个客户端中的每一个客户端的私有密钥的频道标识符，该频道标识符包括客户端特定属性，该客户端特定属性用于指示该群组通信的分组准则；
基于该公开密钥及私有密钥的组合，经由网络在客户端与服务之间建立动态通信链路，使得基于该私有密钥及该公开密钥的属性而实现群组通信；以及
使用翻译服务来翻译通信，该翻译服务使用与该私有密钥及该公开密钥的组合相关联的属性而以指定的语言提供响应信息以实现多语种实时通信。
2.如权利要求1的方法，其中翻译通信包括翻译语音、文字及视频中的至少一个。
3.如权利要求1的方法，其中根据在该私有密钥中提供的选择信息，针对客户端的响应信息包括语音、文字及视频中的一个。
4.如权利要求1的方法，其中该翻译服务包括分布式语音识别、自动语音识别、实时翻译、机器翻译、及文字至语音合成中的至少一个。
5.如权利要求1的方法，其进一步包含：
从客户端的语音语调提取特征；以及
将该语调的声学特征发送至Web服务。
6.如权利要求1的方法，其中提供会话标识符包括提供用于聊天群组、会议呼叫及电话呼叫中的至少一个的会话标识符。
7.如权利要求1的方法，其中提供频道标识符包括将包括语言、域、位置、用户ID之一的属性附加至公开密钥。
8.一种包含用于实时多语种通信的计算机可读程序的计算机可读介质，其中该计算机可读程序当在计算机上执行时使该计算机执行以下步骤：
提供会话标识符作为用于客户端之间的群组通信的公开密钥；
提供表示多个客户端中的每一个客户端的私有密钥的频道标识符，该频道标识符包括客户端特定属性，该客户端特定属性用于指示该群组通信的分组准则；
基于该公开密钥及私有密钥的组合，经由网络在客户端与服务之间建立动态通信链路，使得基于该私有密钥及该公开密钥的属性而实现群组通信；以及
使用翻译服务来翻译通信，该翻译服务使用与该私有密钥及该公开密钥的组合相关联的属性而以指定的语言提供响应信息以实现多语种实时通信。
9.一种用于实时多语种通信的方法，其包含：
提供会话标识符作为用于在试图通信的客户端之间的客户端通信会话的公开密钥；
提供表示多个客户端中的每一个客户端的私有密钥的频道标识符，其中该私有密钥包括语言的选择及每一个客户端接收通信的方式；
使用该公开密钥及该私有密钥的组合，经由网络在客户端与服务之间建立动态链路以用于通信；
使用Web服务经由该网络路由通信；
使用由该Web服务所提供的翻译服务来翻译通信，该翻译服务使用与该私有密钥及该公开密钥的组合相关联的属性而以指定的语言提供响应信息以实现多语种实时通信；以及
根据每一个客户端的语言的选择，将该通信及该通信的翻译提供给参与该会话的所有客户端。
10.如权利要求9的方法，其中提供会话标识符包括提供用于聊天群组、会议呼叫及电话呼叫中的至少一个的会话标识符。
11.如权利要求9的方法，其中翻译通信包括翻译语音、文字及视频中的至少一个。
12.如权利要求9的方法，其中根据在该私有密钥中提供的该选择，针对客户端的该响应信息包括语音、文字及视频中的一个。
13.如权利要求9的方法，其中该翻译服务包括分布式语音识别、自动语音识别、实时翻译、机器翻译、以及文字至语音合成中的至少一个。
14.如权利要求9的方法，其进一步包含：
从客户端的语音语调提取特征；以及
将该语调的声学特征发送至该Web服务。
15.如权利要求9的方法，其中提供频道标识符包括将包括语言、域、位置、用户ID中的一个的属性附加至该公开密钥。
16.一种包含用于实时多语种通信的计算机可读程序的计算机可读介质，其中该计算机可读程序当在计算机上执行时使该计算机：
提供会话标识符作为用于在试图通信的客户端之间的客户端通信会话的公开密钥；
提供表示多个客户端中的每一个客户端的私有密钥的频道标识符，其中该私有密钥包括语言的选择以及每一个客户端接收通信的方式；
使用该公开密钥及该私有密钥的组合，经由网络在客户端与服务之间建立动态链路以用于通信；
使用Web服务经由该网络路由通信；
使用由该Web服务所提供的翻译服务来翻译通信，该翻译服务使用与该私有密钥及该公开密钥的组合相关联的属性而以指定的语言提供响应信息以实现多语种实时通信；以及
根据每一个客户端的语言的选择，将该通信以及该通信的翻译提供给至参与该会话的所有客户端。
17.一种用于实时多语种通信的系统，包含：
客户端装置，包括一程序，该程序被配置以请求会话并且产生表示私有密钥的频道标识符，其中该私有密钥包括语言的选择以及每一个客户端接收通信的方式；
服务器，经由网络连接至该客户端并且包括Web服务，该Web服务被配置以提供会话标识符作为用于在试图通信的客户端之间的客户端通信会话的公开密钥，使得通过使用该公开密钥及该私有密钥的组合经由该网络在客户端与该Web服务之间建立动态链路以用于通信，该Web服务被配置以经由该网络路由通信；且
该Web服务包括用于翻译通信的翻译服务，该翻译服务使用与该私有密钥及该公开密钥的组合相关联的属性而以指定的语言提供响应信息以实现多语种实时通信。
18.如权利要求17的系统，其中该服务器包括对话管理器，其被配置以管理客户端之间的通信，使得对参与该会话的所有客户端的该通信及该通信的翻译符合每一客户端的语言的选择。
19.如权利要求17的系统，其中通过该私有密钥及公开密钥的组合定义所提交请求的上下文以及待应用于传递至该客户端的数据的过滤程序。
20.如权利要求17的系统，其中与该密钥组合相关联的属性定义待应用于传递回该客户端的数据的过滤程序。
21.如权利要求17的系统，其中该Web服务被用作智能型路由代理并且负责分布消息载荷。
22.如权利要求17的系统，其中会话中的客户端通过轮询由语音、文字及视频中的至少一个传递的数据来预订特定主题/域。
23.如权利要求17的系统，其中该会话包括至少两个参与者以不同语言发言的跨语种Web会议呼叫。
24.如权利要求23的系统，其中客户端请求经由该私有密钥呈现所有信息，并且该服务器具有与该公开密钥相关联的共同语言并且将经翻译的消息以个别参与者各自的语言分发给该参与者。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/113,567 US8270606B2 (en) | 2008-05-01 | 2008-05-01 | Open architecture based domain dependent real time multi-lingual communication service |
| US12/113,567 | 2008-05-01 | ||
| PCT/US2009/036603 WO2009134535A2 (en) | 2008-05-01 | 2009-03-10 | Open architecture based domain dependent real time multi-lingual communication service |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102017513A true CN102017513A (zh) | 2011-04-13 |
| CN102017513B CN102017513B (zh) | 2013-05-22 |
Family
ID=41255651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200980115671XA Expired - Fee Related CN102017513B (zh) | 2008-05-01 | 2009-03-10 | 用于实时网络通信的方法、实时多语种通信的方法及系统 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US8270606B2 (zh) |
| EP (1) | EP2274870B1 (zh) |
| JP (1) | JP5536756B2 (zh) |
| KR (1) | KR101442312B1 (zh) |
| CN (1) | CN102017513B (zh) |
| CA (1) | CA2717504C (zh) |
| TW (1) | TWI440346B (zh) |
| WO (1) | WO2009134535A2 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106507021A (zh) * | 2015-09-07 | 2017-03-15 | 腾讯科技（深圳）有限公司 | 视频处理方法及终端设备 |
| CN107819593A (zh) * | 2016-09-14 | 2018-03-20 | 北京京东尚科信息技术有限公司 | 智能设备群组通信的方法、系统以及终端设备 |
| CN111428521A (zh) * | 2020-03-23 | 2020-07-17 | 合肥联宝信息技术有限公司 | 一种数据处理方法及电子设备 |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11222185B2 (en) | 2006-10-26 | 2022-01-11 | Meta Platforms, Inc. | Lexicon development via shared translation database |
| US8972268B2 (en) | 2008-04-15 | 2015-03-03 | Facebook, Inc. | Enhanced speech-to-speech translation system and methods for adding a new word |
| US9128926B2 (en) * | 2006-10-26 | 2015-09-08 | Facebook, Inc. | Simultaneous translation of open domain lectures and speeches |
| US20100198582A1 (en) * | 2009-02-02 | 2010-08-05 | Gregory Walker Johnson | Verbal command laptop computer and software |
| US8060586B2 (en) * | 2009-02-03 | 2011-11-15 | Microsoft Corporation | Dynamic web service deployment and integration |
| US9286037B2 (en) | 2010-12-29 | 2016-03-15 | Microsoft Technology Licensing, Llc | Platform for distributed applications |
| CN102546710B (zh) * | 2010-12-29 | 2015-07-15 | 上海博泰悦臻电子设备制造有限公司 | 基于移动终端登录聊天组的方法、系统及服务器 |
| US9164988B2 (en) * | 2011-01-14 | 2015-10-20 | Lionbridge Technologies, Inc. | Methods and systems for the dynamic creation of a translated website |
| US8538742B2 (en) * | 2011-05-20 | 2013-09-17 | Google Inc. | Feed translation for a social network |
| US8175244B1 (en) | 2011-07-22 | 2012-05-08 | Frankel David P | Method and system for tele-conferencing with simultaneous interpretation and automatic floor control |
| US20130210394A1 (en) * | 2012-02-14 | 2013-08-15 | Keyona Juliano Stokes | 1800 number that connects to the internet and mobile devises |
| US8849666B2 (en) * | 2012-02-23 | 2014-09-30 | International Business Machines Corporation | Conference call service with speech processing for heavily accented speakers |
| US9569274B2 (en) | 2012-10-16 | 2017-02-14 | Microsoft Technology Licensing, Llc | Distributed application optimization using service groups |
| US9031827B2 (en) | 2012-11-30 | 2015-05-12 | Zip DX LLC | Multi-lingual conference bridge with cues and method of use |
| TW201430593A (zh) * | 2013-01-25 | 2014-08-01 | Hon Hai Prec Ind Co Ltd | 多國語言網頁轉換系統及方法 |
| US9600473B2 (en) | 2013-02-08 | 2017-03-21 | Machine Zone, Inc. | Systems and methods for multi-user multi-lingual communications |
| US9231898B2 (en) | 2013-02-08 | 2016-01-05 | Machine Zone, Inc. | Systems and methods for multi-user multi-lingual communications |
| US9298703B2 (en) | 2013-02-08 | 2016-03-29 | Machine Zone, Inc. | Systems and methods for incentivizing user feedback for translation processing |
| US10650103B2 (en) | 2013-02-08 | 2020-05-12 | Mz Ip Holdings, Llc | Systems and methods for incentivizing user feedback for translation processing |
| US8990068B2 (en) | 2013-02-08 | 2015-03-24 | Machine Zone, Inc. | Systems and methods for multi-user multi-lingual communications |
| US8996355B2 (en) * | 2013-02-08 | 2015-03-31 | Machine Zone, Inc. | Systems and methods for reviewing histories of text messages from multi-user multi-lingual communications |
| US8996352B2 (en) | 2013-02-08 | 2015-03-31 | Machine Zone, Inc. | Systems and methods for correcting translations in multi-user multi-lingual communications |
| US9031829B2 (en) | 2013-02-08 | 2015-05-12 | Machine Zone, Inc. | Systems and methods for multi-user multi-lingual communications |
| US9299358B2 (en) * | 2013-08-07 | 2016-03-29 | Vonage America Inc. | Method and apparatus for voice modification during a call |
| US9728202B2 (en) | 2013-08-07 | 2017-08-08 | Vonage America Inc. | Method and apparatus for voice modification during a call |
| KR101834546B1 (ko) * | 2013-08-28 | 2018-04-13 | 한국전자통신연구원 | 핸즈프리 자동 통역 서비스를 위한 단말 장치 및 핸즈프리 장치와, 핸즈프리 자동 통역 서비스 방법 |
| US20160277418A1 (en) * | 2013-10-28 | 2016-09-22 | Nec Corporation | Security management according to location change in proximity based services |
| US10199035B2 (en) | 2013-11-22 | 2019-02-05 | Nuance Communications, Inc. | Multi-channel speech recognition |
| US11817963B2 (en) * | 2013-12-24 | 2023-11-14 | Zoom Video Communications, Inc. | Streaming secondary device content to devices connected to a web conference |
| US20160014059A1 (en) * | 2015-09-30 | 2016-01-14 | Yogesh Chunilal Rathod | Presenting one or more types of interface(s) or media to calling and/or called user while acceptance of call |
| US10162811B2 (en) | 2014-10-17 | 2018-12-25 | Mz Ip Holdings, Llc | Systems and methods for language detection |
| US9372848B2 (en) | 2014-10-17 | 2016-06-21 | Machine Zone, Inc. | Systems and methods for language detection |
| US10147421B2 (en) | 2014-12-16 | 2018-12-04 | Microcoft Technology Licensing, Llc | Digital assistant voice input integration |
| US9389928B1 (en) | 2015-02-11 | 2016-07-12 | Microsoft Technology Licensing, Llc | Platform for extension interaction with applications |
| US10133613B2 (en) * | 2015-05-14 | 2018-11-20 | Microsoft Technology Licensing, Llc | Digital assistant extensibility to third party applications |
| US9569736B1 (en) * | 2015-09-16 | 2017-02-14 | Siemens Healthcare Gmbh | Intelligent medical image landmark detection |
| US10765956B2 (en) | 2016-01-07 | 2020-09-08 | Machine Zone Inc. | Named entity recognition on chat data |
| US9997173B2 (en) * | 2016-03-14 | 2018-06-12 | Apple Inc. | System and method for performing automatic gain control using an accelerometer in a headset |
| KR101672300B1 (ko) * | 2016-04-18 | 2016-11-03 | 주식회사 앰버스 | 언어 학습을 위한 채팅 방법 및 채팅 시스템 |
| US20170365249A1 (en) * | 2016-06-21 | 2017-12-21 | Apple Inc. | System and method of performing automatic speech recognition using end-pointing markers generated using accelerometer-based voice activity detector |
| US10769387B2 (en) | 2017-09-21 | 2020-09-08 | Mz Ip Holdings, Llc | System and method for translating chat messages |
| CN109218038B (zh) * | 2018-09-05 | 2022-03-01 | 四川译讯信息科技有限公司 | 一种多语言即时会话平台 |
| EP3862963A4 (en) * | 2018-10-05 | 2021-12-08 | Abelon Inc. | INTERPRETATION SYSTEM, SERVER DEVICE, DISTRIBUTION PROCESS AND RECORDING MEDIA |
| US11475875B2 (en) * | 2018-10-26 | 2022-10-18 | Sriram Chakravarthy | Method and system for implementing language neutral virtual assistant |
| US20220215857A1 (en) * | 2021-01-05 | 2022-07-07 | Electronics And Telecommunications Research Institute | System, user terminal, and method for providing automatic interpretation service based on speaker separation |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5715466A (en) * | 1995-02-14 | 1998-02-03 | Compuserve Incorporated | System for parallel foreign language communication over a computer network |
| US20020029350A1 (en) * | 2000-02-11 | 2002-03-07 | Cooper Robin Ross | Web based human services conferencing network |
| US20020069067A1 (en) * | 2000-10-25 | 2002-06-06 | Klinefelter Robert Glenn | System, method, and apparatus for providing interpretive communication on a network |
| US20060190250A1 (en) * | 2001-04-26 | 2006-08-24 | Saindon Richard J | Systems and methods for automated audio transcription, translation, and transfer |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5987401A (en) * | 1995-12-08 | 1999-11-16 | Apple Computer, Inc. | Language translation for real-time text-based conversations |
| US6424992B2 (en) * | 1996-12-23 | 2002-07-23 | International Business Machines Corporation | Affinity-based router and routing method |
| US7047416B2 (en) * | 1998-11-09 | 2006-05-16 | First Data Corporation | Account-based digital signature (ABDS) system |
| JP2001325202A (ja) * | 2000-05-12 | 2001-11-22 | Sega Corp | 仮想空間の会話方法及びそのシステム |
| CA2347593A1 (en) * | 2000-05-15 | 2001-11-15 | Bruce E. Mead | Access floor system |
| US9626667B2 (en) * | 2005-10-18 | 2017-04-18 | Intertrust Technologies Corporation | Digital rights management engine systems and methods |
| JP4299320B2 (ja) * | 2006-06-06 | 2009-07-22 | 株式会社エヌ・ティ・ティ・ドコモ | グループ通信サーバ |
| US20080004880A1 (en) * | 2006-06-15 | 2008-01-03 | Microsoft Corporation | Personalized speech services across a network |
| US20080300852A1 (en) * | 2007-05-30 | 2008-12-04 | David Johnson | Multi-Lingual Conference Call |
| US8220040B2 (en) * | 2008-01-08 | 2012-07-10 | International Business Machines Corporation | Verifying that group membership requirements are met by users |
-
2008
- 2008-05-01 US US12/113,567 patent/US8270606B2/en not_active Expired - Fee Related
-
2009
- 2009-03-10 WO PCT/US2009/036603 patent/WO2009134535A2/en active Application Filing
- 2009-03-10 KR KR1020107024969A patent/KR101442312B1/ko active IP Right Grant
- 2009-03-10 JP JP2011507502A patent/JP5536756B2/ja active Active
- 2009-03-10 CA CA2717504A patent/CA2717504C/en active Active
- 2009-03-10 CN CN200980115671XA patent/CN102017513B/zh not_active Expired - Fee Related
- 2009-03-10 EP EP09739337.5A patent/EP2274870B1/en active Active
- 2009-05-04 TW TW098114753A patent/TWI440346B/zh not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5715466A (en) * | 1995-02-14 | 1998-02-03 | Compuserve Incorporated | System for parallel foreign language communication over a computer network |
| US20020029350A1 (en) * | 2000-02-11 | 2002-03-07 | Cooper Robin Ross | Web based human services conferencing network |
| US20020069067A1 (en) * | 2000-10-25 | 2002-06-06 | Klinefelter Robert Glenn | System, method, and apparatus for providing interpretive communication on a network |
| US20060190250A1 (en) * | 2001-04-26 | 2006-08-24 | Saindon Richard J | Systems and methods for automated audio transcription, translation, and transfer |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106507021A (zh) * | 2015-09-07 | 2017-03-15 | 腾讯科技（深圳）有限公司 | 视频处理方法及终端设备 |
| CN107819593A (zh) * | 2016-09-14 | 2018-03-20 | 北京京东尚科信息技术有限公司 | 智能设备群组通信的方法、系统以及终端设备 |
| CN107819593B (zh) * | 2016-09-14 | 2021-09-03 | 北京京东尚科信息技术有限公司 | 智能设备群组通信的方法、系统以及终端设备 |
| CN111428521A (zh) * | 2020-03-23 | 2020-07-17 | 合肥联宝信息技术有限公司 | 一种数据处理方法及电子设备 |
| CN111428521B (zh) * | 2020-03-23 | 2022-03-15 | 合肥联宝信息技术有限公司 | 一种数据处理方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2274870A2 (en) | 2011-01-19 |
| KR101442312B1 (ko) | 2014-11-03 |
| JP5536756B2 (ja) | 2014-07-02 |
| TW201006190A (en) | 2010-02-01 |
| US8270606B2 (en) | 2012-09-18 |
| KR20110008211A (ko) | 2011-01-26 |
| CN102017513B (zh) | 2013-05-22 |
| EP2274870B1 (en) | 2016-09-07 |
| JP2011520353A (ja) | 2011-07-14 |
| EP2274870A4 (en) | 2015-08-05 |
| CA2717504A1 (en) | 2009-11-05 |
| US20090274299A1 (en) | 2009-11-05 |
| CA2717504C (en) | 2017-09-19 |
| WO2009134535A3 (en) | 2010-01-07 |
| WO2009134535A2 (en) | 2009-11-05 |
| TWI440346B (zh) | 2014-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102017513B (zh) | 用于实时网络通信的方法、实时多语种通信的方法及系统 | |
| CN105915436B (zh) | 基于主题的即时消息隔离的系统和方法 | |
| US9214154B2 (en) | Personalized text-to-speech services | |
| US8971511B2 (en) | Method and apparatus for enhancing speaker selection | |
| US20050206721A1 (en) | Method and apparatus for disseminating information associated with an active conference participant to other conference participants | |
| US20160170970A1 (en) | Translation Control | |
| EP1798945A1 (en) | System and methods for enabling applications of who-is-speaking (WIS) signals | |
| US20080126491A1 (en) | Method for Transmitting Messages from a Sender to a Recipient, a Messaging System and Message Converting Means | |
| CN112838978B (zh) | 支持人机协作的实时简讯机器人的系统及方法 | |
| JP2012257116A (ja) | テキスト・電話会議システム及びテキスト・電話会議方法 | |
| CN114979386A (zh) | 小程序语音通信方法、装置、电子设备、存储介质 | |
| CN102017620A (zh) | 安排好的事件之前的通信 | |
| CN103327089B (zh) | 通信事件的通知 | |
| KR100779131B1 (ko) | 무선 음성패킷망용 단말기를 이용한 회의 기록 시스템 및방법 | |
| KR20020036009A (ko) | 통신망을 통해 음성을 송수신하는 방법 및 그 기록 매체 | |
| WO2022268911A1 (fr) | Methode pour acheminer un contenu numerique multimedia en temps reel a partir d'une fonction d'adressage et d'equipements de traduction | |
| KR20020028438A (ko) | 음성과 문자 데이터를 통합한 채팅 서비스 방법 및 그기록 매체 | |
| WO2024050487A1 (en) | Systems and methods for substantially real-time speech, transcription, and translation | |
| Yi et al. | Automatic voice relay with open source Kiara | |
| US20060230101A1 (en) | Telecommunications system for diffusing a multimedia flux through a public communication network | |
| Pilling et al. | Feasibility of additional telephone relay services | |
| KR20030075562A (ko) | 보이스웹메일 구현방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130522 |