CN102347913B - 一种语音和文字内容混排消息的实现方法 - Google Patents

Abstract

本发明提供一种语音和文字内容混排消息的实现方法,所述方法用于通讯网络系统中,所述通讯网络系统包括网络终端设备、后台服务器，所述方法包括如下步骤:（1）、消息发送方通过互联网或移动互联网终端设备录制语音消息;（2）、语音消息通过互联网或移动互联网发送到后台服务器;（3）、后台服务器将所述语音消息转译为文字;（4）、后台服务器将语音消息发送到接收方的同时,将转译的文字内容递送到发送方和/或接收方;（5）、消息接收方用应用软件将所接收到的后台服务器的转译的文字内容和语音消息混排显示和播放于显示设备。本发明利用现有的互联网和移动互联网终端设备，录制语音并通过互联网或移动互联网发送语音和文字内容，在接受设备上通过应用软件将语音和文字内容混合播放、显示。

Description

一种语音和文字内容混排消息的实现方法

技术领域

本发明涉及到通信领域的移动互联网技术，具体的涉及一种将语音转译成相应语义的文字并在互联网中传送语音和文字内容混排消息的技术解决方案。

背景技术

移动互联网技术是在Internet上提供移动功能的网络层方案，它可以使移动节点用一个永久的地址与互联网中的任何主机通信，并且在切换子网时不中断正在进行的通信。

移动互联网的基础协议为移动IPv6协议（MIPv6），IETF已经发布了MIPv6的正式协议标准RFC3775[1] MIPv6的主要目标是使MN不管是连接在家乡链路还是移动到外地链路，总是通过家乡地址（HoA）寻址。当MN移动至外地子网时，需要配置一个具有外地网络前缀的转交地址（CoA），并通过CoA提供MN当前的位置信息。建立HoA与CoA对应关系的过程称为绑定（Binding），它通过MN与HA、CN之间交互相关消息完成。 

在移动终端设备联网之后，声音、文字、图片信息都可以转化为统一的数据流在互联网内传播，互联网上的特定的终端可以接收这些信息完成通信过程。

虽然互联网传输信息流具有廉价的特点，但是目前的移动终端都是通过运营商网络发送讯息，这样是需要一定的资费。而且，在发送语音消息的时候用户只能接收到语音，无法接收到与语义相关的文字信息。这种呈现方式必须要播放语音才能获得语音的语义，而文字信息则通过目视就能识别，显然比语音要方便很多。专利CN101820590A公开了一种语音短信通过文字短信通道发送和接收的方法及移动通讯装置，其中提出了一种新的传播语音的方式，但是无法递送语义的文字信息。

嵌入式操作系统在移动终端设备上的应用已经相当成熟，目前有ios，Android,Symbian,WindowsMobile等各大的嵌入式操作系统，在嵌入式操作系统上可以编写应用程序对声音文字的录制、转码、网络传输与接收，解码和显示与播放进行操作。

发明内容

基于以上对背景技术的描述和目前所存在的问题，本发明提出了一种语音和文字内容混排消息，目的在于实现利用现有的互联网和移动互联网终端设备，录制语音并通过互联网或移动互联网发送语音和文字内容，在接受设备上将语音和文字内容混合播放、显示的技术解决方案。

根据以上目的，本发明采用如下技术方案：

所述方法用于通讯网络系统中,所述通讯网络系统包括网络终端设备、后台服务器，所述方法包括如下步骤：

（1）、消息发送方通过互联网或移动互联网终端设备录制语音消息；

（2）、所述语音消息通过互联网或移动互联网发送到后台服务器；

（3）、所述后台服务器将所述语音消息转译为文字；

（4）、后台服务器将语音消息发送到互联网或移动互联网上的消息接收方的同时,将转译的文字内容递送到消息发送方和/或消息接收方；

（5）、消息接收方用应用软件将所接收到的后台服务器转译的文字内容和语音消息混排显示和播放于显示设备。

本发明还可以采用如下进一步的技术方案：

所述网络终端设备包括了电脑、笔记本电脑这样的固定或小范围移动的互联网终端设备，也包括了手机、平板电脑这样的移动互联网上网设备。

步骤（1）和步骤（2）可拆分为如下步骤： 

a1)、录音，用所述网络终端设备采集需要录制的语音消息，将其转化成数字音频文件并存储；

a2)、转码，将前述数字音频文件转码成便于互联网传播的数字音频文件，如该数字音频文件已经是利于互联网传播的格式，则不需要转码；

a3)、联网发送，即将前述转码完成的音频文件通过所述网络终端设备连接互联网和移动互联网进行发送。

所述后台服务器完成文字语音转译实现的途径包括了在本地服务器进行转译，也包括了通过调用开放接口API向网络上的其他服务器集群请求转译服务。

所述步骤（4）包括了以下流程：

b1)、将转译的文字内容递送到发送方的网络终端设备；

b2)、将转译的文字内容递送到接收方的网络终端设备；

b3)、将原始语音递送到接收方的网络终端设备。

所述接收方接收通过网络传输的声音文件时，先判断是否符合当前接受设备的播放格式，如果符合存储语音文件，如果不符合则转码成符合格式的语音文件后再存储。

所述的应用软件将语音和文字内容混排显示和播放时，包含了以下特点：

c1)、语音和文字内容混排消息通过“语音”标识将语音消息区别于其他文字、图片消息；

c2)、语音和文字内容混排消息由表示“发送”和“接收”方的不同标识来区分信息的来源； 

c3)、语音和文字内容混排消息的文字内容是根据语音转译的语义或者是发送者自己通过非语音途径输入的文字，当文字字数较少是显示全部，当多余一定字数时候，取部分显示；

c4)、语音可以在终端设备上播发并且同时显示表示语音语义的部分文字；

c5)、所述终端设备上可以同时显示多条语音的部分文字；

c6)、所述终端设备上的应用软件对应每条语音设有播放语音或仅仅显示文字的选择项。

所述网络终端设备即接收方的用以显示消息的设备包括了可以互联网或移动互联网的终端设备，及其有视听功能的设备。

通过以上技术方案，本发明用户在发送语音消息的同时还能接收到语音以及和语音相关的文字信息，同时在接收设备上将语音和文字内容混合播放、显示，大大提升了用户体验度，更为方便亲切。

附图说明

图1是本发明的发送接收机制说明图；

图2是本发明的转译机制说明图；

图3是本发明的显示特征图。

具体实施方式

本发明用于通讯网络系统中,所述通讯网络系统包括网络终端设备、后台服务器，本方法包括如下步骤: 

（1）、消息发送方通过互联网或移动互联网终端设备录制语音消息；

（2）、所述语音消息通过互联网或移动互联网发送到后台服务器； 

（3）、所述后台服务器将所述语音消息转译为文字；

（4）、后台服务器将语音消息发送到互联网或移动互联网上的消息接收方的同时,将转译的文字内容递送到消息发送方和/或消息接收方；

（5）、消息接收方用应用软件将所接收到的后台服务器转译的文字内容和语音消息混排显示和播放于显示设备。

所述的网络终端设备包括了电脑、笔记本电脑这样的固定或小范围移动的互联网终端设备，也包括了手机、平板电脑这样的移动互联网上网设备。所述的录制语音指人类的语言和声音，不限制语言语种和语义。如不限制是英语还是汉语，不限制与是实词还是形声词等虚词。

所述的通过网络发送语音到服务器后台，即步骤（1）和步骤（2）包括了以下步骤：

a1)、录音，用所述网络终端设备采集需要录制的语音消息，将其转化成数字音频文件并存储于设备中；

a2)、转码，将已录制的数字音频文件转码成便于互联网传播的数字音频文件。如某些操作系统录制的数字音频文件已经是利于互联网传播的格式，则不需要转码，如symbian操作系统的录音文件。

a3)、联网发送，即将前述转码完成的音频文件通过所述网络终端设备连接互联网和移动互联网进行发送传输信息。

所述的后台服务器完成文字语音转译实现的途径包括了在本地服务器进行转译，也包括了通过调用开放接口API向网络上的其他服务器集群请求转译服务。

所述的步骤（4）服务器递送信息到接收终端包括了以下流程：

b1)、将转译的文字内容递送到发送方的网络终端设备；

b2)、将转译的文字内容递送到接收方的网络终端设备；

b3)、将原始语音递送到接收方的网络终端设备。

所述接收方接收通过网络传输的声音文件时，先判断是否符合当前接受设备的播放格式，如果符合存储语音文件，如果不符合则转码成符合格式的语音文件后再存储。

所述的应用软件将语音和文字内容混排显示和播放时，具体包含了以下特点：

c1)、语音和文字内容混排消息通过“语音”标识将语音消息区别于其他文字、图片消息；

c2)、语音和文字内容混排消息由表示“发送”和“接收”方的不同标识来区分信息的来源，当然，来源于不同的消息接收方也会在应用软件内用不同id加以显示；

c3)、语音和文字内容混排消息的文字内容是根据语音转译的语义或者是发送者自己通过非语音途径输入的文字，当文字字数较少是显示全部，当多余一定字数时候，取部分显示；

c4)、语音可以在终端设备上播发并且同时显示表示语音语义的部分或全部文字；

c5)、所述终端设备上可以同时显示多条语音的部分文字；

c6)、所述终端设备上的应用软件对应每条语音设有播放语音或仅仅显示文字的选择项。

所述网络终端设备即接收方的用以显示消息的设备包括了可以互联网或移动互联网的终端设备，及其有视听功能的设备。如液晶显示屏、投影仪、普通电视等。

下面结合附图来说明本发明的具体实施方案，图1表示本发明的语音和文字内容混排消息的实现方法的发送机制。消息由发送方的网络终端设备录制语音，开启录音设备或模块的开关人就可以对着麦克风或者内置麦克风讲话。

     录音的同时或者之后，终端设备上通过程序将声音文件转为amr格式的音频文件进行存储。再将此格式的声音文件上传到服务器进行转译。服务器转译获得语义的文字内容后，然后将文字内容一份回递给发送方，另一份和声音文件一起递送至接收方。

     如此，在发送和接收方的发送、接收终端设备中都已经获取了语音文件文字内容，因此通过应用程序就可以把语音和文字内容一起混合显示和播放。

     语音到文字的转译是行业内大家都熟知的技术，其做法是通过采样音频与数据库中音频的对比找到相关的可能正确的语义文字。图2描述了后台服务器进行转译时的信息构架。其中，服务器A是信息接收和发送服务器，服务器B是转译服务器，是一个庞大的服务器集群。转译时，服务器A先从终端设备中接收语音，并确定要接收此消息的设备在互联网上的标识。然后服务器A将语音文件递送给服务器B，在服务器B完成语音到文字内容的转译，服务器B再将文字内容递送给服务器A，服务器A将转译完的文字内容一份递送给发送方，另外一份和语音文件一道递送给接收方。

     当终端显示设备中都已经获取了消息的语音文件和文字内容后就可以通过应用软件将两者混合显示和播放。图3给出一个示例证明这种混排显示播放的特征：

1)与其他消息1不同语音和文字内容混排消息有表示“语音”的标识如2指示的小喇叭。

2)语音和文字内容混排消息有表示“发送”和“接收”方的不同标识来区分信息的来源，如3指示的两个小喇叭，发送方喇叭朝向向左，接收方喇叭朝向向右。

3)语音和文字内容混排消息的文字内容就是语音的语义，当文字字数较少是显示全部，当多余一定字数时候，取部分显示。如4标号指示的两条消息，“您好”显示了文字内容全文，而“今天…”是“今天天气不错”的文字内容的部分显示。

4)语音可以在终端设备上播发并且同时显示表示语音语义的文字。在图3的界面下，打开程序中声音播放的按键或触摸热区5就可以听到这段语音。

5)所述终端设备上的应用软件对应每条语音设有播放语音或仅仅显示文字的选择项，使用者可以根据当时环境做出选择，比如开会的时候，使用者可以选择仅仅全部显示文字，而不播放语音。

6)所述终端设备上的应用软件可以存储并显示多条记录，使用者可以回溯历史记录，找到所需要的语音记录，使用更为方便。

综上，本发明利用现有的互联网和移动互联网终端设备，录制语音并通过互联网或移动互联网发送语音和文字内容，在接受设备上通过应用软件将语音和文字内容混合播放、显示。

Claims (7)

1.一种语音和文字内容混排消息的实现方法, 其特征在于：所述方法用于通讯网络系统中, 所述通讯网络系统包括网络终端设备、后台服务器，所述方法包括如下步骤：

（1）、消息发送方通过互联网或移动互联网终端设备录制语音消息；

（2）、所述语音消息通过互联网或移动互联网发送到后台服务器；

（3）、所述后台服务器将所述语音消息转译为文字；

（4）、后台服务器将语音消息发送到互联网或移动互联网上的消息接收方的同时, 将转译的文字内容递送到消息发送方和/ 或消息接收方；

（5）、消息接收方用应用软件将所接收到的后台服务器转译的文字内容和语音消息混排显示和播放于显示设备；

所述的应用软件将语音和文字内容混排显示和播放时，包含了以下特点：

c1)、语音和文字内容混排消息通过“语音”标识将语音消息区别于其他文字、图片消息；

c2)、语音和文字内容混排消息由表示“发送”和“接收”方的不同标识来区分信息的来源；

c3)、语音和文字内容混排消息的文字内容是根据语音转译的语义或者是发送者自己通过非语音途径输入的文字，当文字字数较少是显示全部，当多余一定字数时候，取部分显示；

c4)、语音可以在终端设备上播发并且同时显示表示语音语义的部分文字；

c5)、所述终端设备上可以同时显示多条语音的部分文字；

c6)、所述终端设备上的应用软件对应每条语音设有播放语音或仅仅显示文字的选择项。

2.如权利要求1 所述一种语音和文字内容混排消息的实现方法，其特征在于，所述网络终端设备包括了电脑、笔记本电脑这样的固定或小范围移动的互联网终端设备，也包括了手机、平板电脑这样的移动互联网上网设备。

3.如权利要求1 所述一种语音和文字内容混排消息的实现方法，其特征在于，步骤（1）和步骤（2）可拆分为如下步骤：

a1)、录音，用所述网络终端设备采集需要录制的语音消息，将其转化成数字音频文件并存储；

a2)、转码，将前述数字音频文件转码成便于互联网传播的数字音频文件，如该数字音频文件已经是利于互联网传播的格式，则不需要转码；

a3)、联网发送，即将前述转码完成的音频文件通过所述网络终端设备连接互联网和移动互联网进行发送。

4.如权利要求1 所述一种语音和文字内容混排消息的实现方法，其特征在于，所述后台服务器完成文字语音转译实现的途径包括了在本地服务器进行转译，也包括了通过调用开放接口（API）向网络上的其他服务器集群请求转译服务。

5.如权利要求1 所述一种语音和文字内容混排消息的实现方法，其特征在于，所述步骤（4）包括了以下流程：

b1)、将转译的文字内容递送到发送方的网络终端设备；

b2)、将转译的文字内容递送到接收方的网络终端设备；

b3)、将原始语音递送到接收方的网络终端设备。

6.如权利要求5 所述一种语音和文字内容混排消息的实现方法，其特征在于，所述接收方接收通过网络传输的声音文件时，先判断是否符合当前接受设备的播放格式，如果符合存储语音文件，如果不符合则转码成符合格式的语音文件后再存储。

7.如权利要求1 所述一种语音和文字内容混排消息的实现方法，其特征在于，所述网络终端设备即接收方的用以显示消息的设备包括了可以互联网或移动互联网的终端设备，及其有视听功能的设备。