CN101075983A - 即时语音通信终端、服务器、系统和即时语音通信方法 - Google Patents

Abstract

本发明公开了一种即时语音通信终端，其通过即时通信连接与即时通信系统相连接，该即时语音通信终端包括文本输入模块、语音合成模块和即时通信模块，其中：文本输入模块，用于接收文本输入，并将所述文本输入发送到语音合成模块；语音合成模块，用于将所述文本输入转换为语音信号，并将所述语音信号发送到即时通信模块；即时通信模块，用于通过该即时通信连接将所述语音信号发送到所述即时通信系统。本发明还公开了即时语音通信服务器、系统以及即时语音通信方法。应用本发明以后，能够在即时通信中利用语音形式播放用户输入的文本信息，从而更逼真地模拟现实世界的聊天场景，带来更好的交流体验。

Description

即时语音通信终端、服务器、系统和即时语音通信方法

技术领域

本发明涉及即时通信(IM，Instant Messaging)技术领域，更具体地说，本发明涉及一种即时语音通信终端、服务器、系统和即时语音通信方法。

背景技术

即时通信服务是一种基于互联网(Internet)的通信服务，一般以实现网络上即时通信功能为主。目前，即时通信服务已经在互联网上得到了广泛的应用和认可，即时通信服务可以通过即时通信系统来实现。即时通信系统以速度快、功能丰富、使用稳定等优点而获得了广大网民的认可和喜爱。在现有的即时通信服务中，用户之间可以通过即时通信系统进行文字信息的交互、传送文件、发送手机短消息等多种操作。

图1所示为现有技术的即时通信系统的结构图。如图1所示，即时通信系统包括即时通信客户端和即时通信服务器，用户首先在即时通信客户端登录即时通信服务器，然后通过即时通信服务器获取用户自身和其它用户的信息，并且和其它客户端进行信息交互。当用户之间的连接比较稳定时，用户之间的信息通过用户数据报协议(UDP)的形式而互相传送，当用户之间的连接不稳定时，用户之间的信息通过即时通信服务器进行中转。

目前即时通信的具体交流方式一般包括文本交互、双方真人语音聊天、视频交互等。

同文本聊天相比较，真人语音聊天能够使聊天双方更直接地交流，同时也省去了聊天双方的打字之苦。不过真人语音聊天也具有交流过于直接的缺点。实质上，聊天中的某一方(或双方)在很多情况下(比如考虑到个人隐私问题)，并不希望对方能听到自己的真实嗓音，但是他们也非常希望能够逼真地模拟现实世界的聊天场景进行交流，然而这种需求却一直没有合适的解决方案。

发明内容

有鉴于此，本发明的主要目的是提出一种即时语音通信终端，以在即时通信中利用语音形式播放用户输入的文本信息，从而逼真地模拟现实世界的聊天场景。

本发明的另一目的是提出一种即时语音通信服务器，以在即时通信中利用语音形式播放用户输入的文本信息，从而逼真地模拟现实世界的聊天场景。

本发明的再一目的是提出一种即时语音通信系统，以在即时通信中利用语音形式播放用户输入的文本信息，从而逼真地模拟现实世界的聊天场景。

本发明的又一目的是提出一种即时语音通信方法，以在即时通信中利用语音形式播放用户输入的文本信息，从而逼真地模拟现实世界的聊天场景。

为达到上述目的，本发明的技术方案是这样实现的：

一种即时语音通信终端，其通过即时通信连接与即时通信系统相连接，该即时语音通信终端包括文本输入模块、语音合成模块和即时通信模块，其中：

文本输入模块，用于接收文本输入，并将所述文本输入发送到语音合成模块；

语音合成模块，用于将所述文本输入转换为语音信号，并将所述语音信号发送到即时通信模块；

即时通信模块，用于通过该即时通信连接将所述语音信号发送到所述即时通信系统。

该终端进一步包括语音播放模块，

所述语音播放模块，用于播放由所述语音合成模块合成的语音信号，和/或播放由其它即时语音通信终端发送来的语音信号。

一种即时语音通信服务器，其通过即时通信连接与即时通信客户端相连接，该即时语音通信服务器包括即时通信模块和语音合成模块，其中：

即时通信模块，用于通过该即时通信连接接收由即时通信客户端发送来的文本输入，将所述文本输入发送到语音合成模块，并用于将由该语音合成模块合成的语音信号通过该即时通信连接发送到即时通信客户端；

语音合成模块，用于将所述文本输入转换为语音信号，并将所述语音信号发送到即时通信模块。

一种即时语音通信系统，该系统包括即时通信发送客户端和即时通信接收客户端，其中：

即时通信发送客户端，用于接收文本输入，将文本输入转换为语音信号，并将所述语音信号发送到即时通信接收客户端；

即时通信接收客户端，用于播放所述语音信号。

即时通信发送客户端，进一步用于将所述文本输入发送到即时通信接收客户端；

即时通信接收客户端，进一步用于同步于语音播放显示所述文本输入。

该系统进一步包括即时通信服务器，

所述即时通信服务器，用于中转即时通信发送客户端和即时通信接收客户端之间的语音信号。

一种即时语音通信系统，该系统包括即时通信发送客户端、即时通信服务器和即时通信接收客户端，其中：

即时通信发送客户端，用于接收文本输入，将文本输入发送到即时语音通信服务器；

即时语音通信服务器，用于将文本输入转换为语音信号，并将所述语音信号发送到即时通信接收客户端；

即时通信接收客户端，用于播放所述语音信号。

即时通信发送客户端，进一步用于将所述文本输入发送到即时通信服务器；

即时通信服务器，进一步用于将所述文本输入转发到即时通信接收客户端；

即时通信接收客户端，进一步用于同步于语音播放显示所述文本输入。

一种即时语音通信方法，该方法包括：

A、接收文本输入；

B、将文本输入转换为语音信号；

C、通过即时通信连接发送所述语音信号。

步骤A所述接收文本输入为：即时语音通信服务器接收由即时通信发送客户端所发送的文本输入，所述步骤B由该即时语音通信服务器执行；

所述步骤C包括：

即时语音通信服务器通过即时通信连接，发送所述语音信号到即时通信接收客户端。

步骤A所述接收文本输入为：即时通信发送客户端接收文本输入，所述步骤B由该即时通信发送客户端执行；

所述步骤C包括：即时通信发送客户端通过即时通信连接，发送所述语音信号到即时通信接收客户端。

从上述技术方案中可以看出，在本发明所提出的即时语音通信终端中，包括文本输入模块、语音合成模块和即时通信模块，其中文本输入模块，用于接收文本输入，并将文本输入发送到语音合成模块；语音合成模块，用于将文本输入转换为语音信号，并将语音信号发送到即时通信模块；即时通信模块，用于通过该即时通信连接将语音信号发送到所述即时通信系统。由此可见，应用本发明以后，在即时通信的交互过程中，利用了成熟的语音合成技术来实现合成文本，从而能够在即时通信中利用语音形式播放用户输入的文本信息，从而更逼真地模拟现实世界的聊天场景，给用户带来更好的交流体验。

另外，本发明的具体实施中，可以由服务器或者本地计算机终端来执行语音合成。如果采用服务器执行语音合成，用户个人计算机负荷将会降低，如果采用本地计算机来执行语音合成，服务器负荷将会降低。因此，可以根据成本考虑、性能需求等具体应用情形来执行本发明，所以本发明的应用选择性也非常好。

附图说明

图1为现有技术的即时通信系统的结构图；

图2为根据本发明的即时语音通信客户端的示范性结构示意图；

图3为根据本发明的即时语音通信服务器的示范性结构示意图；

图4为根据本发明第一实施例的即时语音通信系统示范性结构示意图；

图5为根据本发明第二实施例的即时语音通信系统示范性结构示意图；

图6为根据本发明即时语音通信方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点表达得更加清楚明白，下面结合附图及具体实施例对本发明再作进一步详细的说明。

本发明的主要思想是：在即时通信文本交互过程中，利用语音合成技术来实现合成文本，从而能够在即时通信中利用语音形式播放用户输入的文本信息。具体地，本发明可以由网络服务器或者本地计算机终端来执行语音合成。

图2为根据本发明的即时语音通信客户端的示范性结构示意图。其中，该即时语音通信终端200与即时通信系统(图中未示出)相连接，用于聊天用户之间的即时通信信息的发送、处理和接收。

如图2所示，该即时语音通信终端200包括文本输入模块201、语音合成模块202和即时通信模块203；其中：

文本输入模块201，用于接收文本输入，并将所述文本输入发送到语音合成模块202；语音合成模块202，用于将所述文本输入转换为语音信号，并将所述语音信号发送到即时通信模块203；即时通信模块203，用于通过该即时通信连接将所述语音信号发送到所述即时通信系统。

具体地，文本输入模块201可以是即时通信终端所通常采用的文本框，用户可以在文本框中输入文本格式的信息。

语音合成模块202，用于对由文本输入模块201接收到的文本输入执行语音合成。语音合成模块202可以采用语音合成技术对文本输入执行语音合成。

语音合成又称文语转换(Text to Speech)技术，它涉及声学、语言学、数字信号处理、计算机科学等多个学科技术，是中文信息处理领域的一项前沿技术，解决的主要问题就是如何将文字信息转化为可听的声音信息，也即让机器像人一样开口说话。

语音合成与传统的声音回放设备(系统)有着本质的区别。传统的声音回放设备(系统)，如磁带录音机，是通过预先录制声音然后回放来实现“让机器说话”的。这种方式无论是在内容、存储、传输或者方便性、及时性等方面都存在很大的限制，而通过计算机语音合成则可以在任何时候将任意文本转换成具有高自然度的语音，从而真正实现让机器“像人一样开口说话”。

语音合成技术实际上可以看作是一种人工智能技术。为了合成出高质量的语言，除了依赖于各种规则，包括语义学规则、词汇规则、语音学规则外，还必须对文字的内容有很好的理解，这也涉及到自然语言理解的问题。

文语转换过程是先将文字序列转换成音韵序列，再由系统根据音韵序列生成语音波形。其中：第一步涉及语言学处理，例如分词、字音转换等，以及一整套有效的韵律控制规则；第二步需要先进的语音合成技术，能按要求实时合成出高质量的语音流。

因此，一般说来，文语转换系统都需要一套复杂的文字序列到音素序列的转换程序，也就是说，文语转换系统不仅要应用数字信号处理技术，而且必须有大量的语言学知识的支持。

本发明的语音合成模块202正是可以采用上述技术来实现语音合成。

以上虽然具体阐述了具体常见的语音合成技术，但是本领域技术人员可以意识到，以上举例仅为示范性的，并不用于限定本发明。实质上，语音合成模块202可以具体应用任意类型的语音合成技术，本发明对此并无限定。

优选地，即时语音通信终端201还可以进一步包括语音播放模块。所述语音播放模块，用于播放由所述语音合成模块201所合成的语音信号，和/或播放由其它即时语音通信终端发送来的语音信号。当语音播放模块用于播放由语音合成模块201所合成的语音信号时，语音播放模块可以直接与语音合成模块202连接。当语音播放模块用于播放由其它即时语音通信终端发送来的语音信号时，语音播放模块可以直接与即时通信模块203连接。

可见，加入了语音播放模块的即时语音通信客户端200，当用户在即时语音通信终端201输入文本的时候，可以自身听到所输入的文本，从而带来全新的个性体验。不仅与此，即时语音通信终端201还可以播放由其它即时语音通信终端所合成的语音信号，从而聊天双方都能够播放语音，因此真正实现了双方的语音聊天。

在本发明的实施中，既可以由即时通信客户端来执行对文本的语音合成，也可以由即时通信服务器来执行对文本的语音合成。

相应地，本发明还提出了一种即时语音通信服务器，该即时语音通信服务器通过即时通信连接与即时通信客户端(未示出)相连接。

图3为根据本发明的即时语音通信服务器的示范性结构示意图。

如图3所示，该服务器300包括：

即时通信模块301，用于通过该即时通信连接接收由即时通信客户端发送来的文本输入，将所述文本输入发送到语音合成模块302，并用于将由该语音合成模块302合成的语音信号通过该即时通信连接发送到即时通信客户端；

语音合成模块302，用于将所述文本输入转换为语音信号，并将所述语音信号发送到即时通信模块301。

类似地，即时语音通信服务器300中的语音合成模块302可以采用类似于图2即时语音通信终端200所采用的语音合成技术，或者采用其它类似语音合成技术。语音合成技术已是较为成熟的技术，本发明对此并不累述，同样本发明对语音合成也无限定。

基于上述分析，下面描述本发明所提出的即时语音通信系统。在各种实施例中，既可以由服务器端来执行语音合成，也可以由即时通信客户端本地来执行语音合成。

图4为根据本发明第一实施例的即时语音通信系统示范性结构示意图。在这种方式中，由即时通信客户端本地来执行语音合成。这种方式适合用户之间的点对点交互，或者经由服务器中转语音数据，但是服务器仅负责转发语音数据，不对语音数据作任何处理。

如图4所示，该系统400包括即时通信发送客户端401和即时通信接收客户端402，即时通信发送客户端401和即时通信接收客户端402通过即时通信连接相通信，其中：

即时通信发送客户端401，用于接收文本输入，将文本输入转换为语音信号，并将所述语音信号发送到即时通信接收客户端402；

即时通信接收客户端402，用于播放所述语音信号。

具体地，即时通信发送客户端401包括文本输入模块4011、语音合成模块4012和即时通信模块4013，其中：

文本输入模块4011，用于接收文本输入，并将所述文本输入发送到语音合成模块4012；语音合成模块4012，用于将所述文本输入转换为语音信号，并将所述语音信号发送到即时通信模块4013；即时通信模块4013，用于通过该即时通信连接将所述语音信号发送到即时通信接收客户端402。

即时通信发送客户端401还可以包括语音播放模块，用于播放由所述语音合成模块4012合成的语音信号，和/或播放由其它即时语音通信终端发送来的语音信号。

具体地，即时通信接收客户端402包括语音播放模块4021、即时通信模块4022，其中：

即时通信模块4022，用于通过即时通信连接接收由即时通信发送客户端401所发送来的语音信号，并将该语音信号发送到语音播放模块4021；

语音播放模块4021，用于播放语音信号。

优选地，即时通信接收客户端402在播放语音的同时，还在本地相应窗口显示出对应于语音的文本输入，以免语音模糊不清楚等语音造成误解。此时，

即时通信发送客户端401，进一步用于将所述文本输入发送到即时通信接收客户端402；

即时通信接收客户端402，进一步用于同步于语音播放显示所述文本输入。

在该实施例的一种具体实施形式中，即时通信发送客户端401和即时通信接收客户端402可以采用相同的结构。具体为：即时通信发送客户端401和即时通信接收客户端402都包括文本输入模块、语音合成模块、即时通信模块和语音播放模块，从而即时通信发送客户端401和即时通信接收客户端402可以在聊天中分别执行语音合成和语音播放功能，从而聊天双方具有相同的地位，都能够合成语音和聆听对方的语音。

该系统还可以进一步包括即时通信服务器，用于当即时通信发送客户端401和即时通信接收客户端402不能直接互连时，中转即时通信发送客户端401和即时通信接收客户端402之间的语音信号。

图5为根据本发明第二实施例的即时语音通信系统示范性结构示意图。这种方式适合于用户通过服务器进行交互。这种方式对服务器的要求较高，服务器的语音合成模块应该能做到实时处理，而且所有的端到端通信必须都经过服务器中转，这种方式的优点是用户个人计算机的即时通信终端负荷小。

如图5所示，该系统包括即时通信发送客户端501、即时通信服务器502和即时通信接收客户端503，其中：

即时通信发送客户端501，用于接收文本输入，将文本输入发送到即时通信服务器502；

即时通信服务器502，用于将文本输入转换为语音信号，并将所述语音信号发送到即时通信接收客户端503；

即时通信接收客户端503，用于播放所述语音信号。

具体地，即时通信发送客户端501包括即时通信模块5011和语音播放模块5012。即时通信模块5011，用于将获取的文本输入通过即时通信连接发送到即时通信服务器502中的即时通信模块5021；语音播放模块5012，用于播放由即时通信服务器502发送来的语音信号。

即时通信服务器502包括即时通信模块5021和语音合成模块5022。其中，即时通信模块5021，用于利用即时通信连接，分别接收由即时通信发送客户端501和即时通信接收客户端503发送来的文本输入，并转发到由语音合成模块5022合成的语音信号，和/或文本输入到相应对应接收对端。语音合成模块5022，用于对即时通信模块5021发送来的文本输入执行语音合成。

优选地，即时通信接收客户端503可以和即时通信发送客户端501具有相同的结构。类似地，即时通信接收客户端503也能够向即时通信服务器502发送文本输入，并播放由即时通信服务器502所合成的语音，从而构成和即时通信发送客户端501平等的通信地位。

本发明还公开了一种即时语音通信方法。图6为根据本发明即时语音通信方法流程图。如图6所示，该方法包括：

步骤601：接收文本输入。

在这里，具体可以实施为由即时通信服务器来接收即时通信发送客户端所发送的文本输入，还可以实施为由即时通信发送客户端来接收文本输入。

步骤602：将文本输入转换为语音信号。

步骤603：通过即时通信连接发送所述语音信号。

以上过程中，将文本输入转换为语音信号可以由即时通信服务器来执行，也可以由即时通信发送客户端执行。

当即时语音通信服务器接收由即时通信发送客户端所发送的文本输入时，该即时语音通信服务器执行语音转换操作，此时即时语音通信服务器通过即时通信连接发送所述语音信号到即时通信接收客户端。

当由即时通信发送客户端接收文本输入时，该即时通信发送客户端执行语音转换操作，此时即时通信发送客户端通过即时通信连接发送所述语音信号到即时通信接收客户端。

优选地，还可以将文本输入的传送应用到该方法流程中。此时，对应于图3的优选实施例，也就是由即时通信服务器执行语音转换操作，该方法可以具体包括如下流程：

假设有即时通信终端A和即时通信终端B。首先，即时通信终端A将用户输入的文本信息发送到即时语音通信服务器；然后，即时语音通信服务器将收到的文本信息送到自身的语音合成模块，即时语音通信服务器的语音合成模块对文本信息进行处理，并将语音包回送到网络服务器的通信及管理模块将语音包回送给即时通信终端A，同时将语音包和文本信息包一起发送给正在与A交互的即时通信终端B。

即时通信终端A收到语音包，送到语音播放模块播放。即时通信终端B收到文本包和语音包后，将文本信息在相应即时通信窗口显示，语音包送到自身的语音播放模块播放。

可以理解：即时通信终端B发送文本信息给即时通信终端A的处理过程类似。

对应于图4的优选实施例，也就是由即时通信终端本地执行语音转换操作，该方法可以具体包括如下流程：

假设有即时通信终端A和即时通信终端B。首先，即时通信终端A将用户输入的文本信息送到本地的语音合成模块，语音合成模块将合成的语音包送给即时通信终端A，即时通信终端A将语音包送到本地的语音播放模块进行播放和将文本信息在本地相应窗口显示。同时，即时通信终端A通过直连或者服务器中转将语音包和文本包一起发送给即时通信终端B，即时通信终端B将收到的语音包送到自身的语音播放模块进行播放，文本信息在B端相应窗口显示。

可以理解：与服务器合成相比，即时通信终端本地执行语音合成对个人计算机的要求较高。

其中，上述的各种语音合成模块可以处于即时通信终端的内部，也可以作为插件的形式提供。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1、一种即时语音通信终端，其通过即时通信连接与即时通信系统相连接，其特征在于，该即时语音通信终端包括文本输入模块、语音合成模块和即时通信模块，其中：

文本输入模块，用于接收文本输入，并将所述文本输入发送到语音合成模块；

语音合成模块，用于将所述文本输入转换为语音信号，并将所述语音信号发送到即时通信模块；

即时通信模块，用于通过该即时通信连接将所述语音信号发送到所述即时通信系统。

2、根据权利要求1所述的即时语音通信终端，其特征在于，该终端进一步包括语音播放模块，

所述语音播放模块，用于播放由所述语音合成模块合成的语音信号，和/或播放由其它即时语音通信终端发送来的语音信号。

3、一种即时语音通信服务器，其通过即时通信连接与即时通信客户端相连接，其特征在于，该即时语音通信服务器包括即时通信模块和语音合成模块，其中：

即时通信模块，用于通过该即时通信连接接收由即时通信客户端发送来的文本输入，将所述文本输入发送到语音合成模块，并用于将由该语音合成模块合成的语音信号通过该即时通信连接发送到即时通信客户端；

语音合成模块，用于将所述文本输入转换为语音信号，并将所述语音信号发送到即时通信模块。

4、一种即时语音通信系统，其特征在于，该系统包括即时通信发送客户端和即时通信接收客户端，其中：

即时通信发送客户端，用于接收文本输入，将文本输入转换为语音信号，并将所述语音信号发送到即时通信接收客户端；

即时通信接收客户端，用于播放所述语音信号。

5、根据权利要求4所述的即时语音通信系统，其特征在于，

即时通信发送客户端，进一步用于将所述文本输入发送到即时通信接收客户端；

即时通信接收客户端，进一步用于同步于语音播放显示所述文本输入。

6、根据权利要求4所述的即时语音通信系统，其特征在于，该系统进一步包括即时通信服务器，

所述即时通信服务器，用于中转即时通信发送客户端和即时通信接收客户端之间的语音信号。

7、一种即时语音通信系统，其特征在于，该系统包括即时通信发送客户端、即时通信服务器和即时通信接收客户端，其中：

即时通信发送客户端，用于接收文本输入，将文本输入发送到即时语音通信服务器；

即时语音通信服务器，用于将文本输入转换为语音信号，并将所述语音信号发送到即时通信接收客户端；

即时通信接收客户端，用于播放所述语音信号。

8、根据权利要求7所述的即时语音通信系统，其特征在于，

即时通信发送客户端，进一步用于将所述文本输入发送到即时通信服务器；

即时通信服务器，进一步用于将所述文本输入转发到即时通信接收客户端；

即时通信接收客户端，进一步用于同步于语音播放显示所述文本输入。

9、一种即时语音通信方法，其特征在于，该方法包括：

A、接收文本输入；

B、将文本输入转换为语音信号；

C、通过即时通信连接发送所述语音信号。

10、根据权利要求9所述的即时语音通信方法，其特征在于，步骤A所述接收文本输入为：即时语音通信服务器接收由即时通信发送客户端所发送的文本输入，所述步骤B由该即时语音通信服务器执行；

所述步骤C包括：

即时语音通信服务器通过即时通信连接，发送所述语音信号到即时通信接收客户端。

11、根据权利要求9所述的即时语音通信方法，其特征在于，步骤A所述接收文本输入为：即时通信发送客户端接收文本输入，所述步骤B由该即时通信发送客户端执行；

所述步骤C包括：

即时通信发送客户端通过即时通信连接，发送所述语音信号到即时通信接收客户端。

Images