CN103337240A - 处理语音数据的方法、终端、服务器及系统 - Google Patents

Abstract

本发明公开了一种处理语音数据的方法、终端、服务器及系统，属于网络技术领域。方法包括：多个终端中的任一终端接收服务器发送的播放伴奏指令，播放伴奏指令中包括播放伴奏的时间T_播放；根据T_播放及处理播放伴奏指令的时间调整本地伴奏播放进度；采集用户的语音数据，并记录相对于服务器的采集语音数据的时间戳；将采集到的时间戳携带在语音数据中，得到携带时间戳的语音数据，并将语音数据发送给服务器；接收服务器下发的混音数据，并结合伴奏对混音数据进行播放。本发明通过终端根据播放伴奏指令及处理播放伴奏指令的时间调整伴奏播放进度，使各个终端同步播放伴奏，通过服务器的混音处理，用户可收听到对唱的曲目，达到真正KTV效果。

Description

处理语音数据的方法、终端、服务器及系统

技术领域

本发明涉及网络技术领域，特别涉及一种处理语音数据的方法、终端、服务器及系统。

背景技术

随着网络技术的快速发展，为满足人们随身随地的唱歌需求，网络KTV（Karaok TV，卡拉OK）应运而生。在网络KTV模式下，用户可以通过网络与其他用户进行对唱，而为了实现实时对唱以达到真实逼真的歌唱效果，如何对语音数据进行处理，成为了时下一个关注焦点。

现有技术中，语音数据的处理过程如图1所示。连接于互联网的伴唱终端根据伴唱用户在曲库中选中的歌曲，播放该歌曲的伴奏；在伴唱用户歌唱完毕后，伴唱终端将该歌曲的伴奏与伴唱用户的语音数据进行混响和混音处理，形成该歌曲的伴奏加伴唱的音轨；伴唱终端将该歌曲的伴奏加伴唱的音轨进行编码，然后通过连接于互联网的中转服务器将经过编码后的该歌曲的伴奏加伴唱的音轨转发至一连接于互联网的合唱终端；当合唱用户选中经过编码后的该歌曲的伴奏加伴唱的音轨后，将其进行解码并播放；在合唱用户歌唱完毕后，合唱终端将该歌曲的伴奏加伴唱的音轨与合唱用户的语音数据进行混响和混音处理，形成该歌曲的伴奏加伴唱加合唱的音轨；接下来，合唱终端将该歌曲的伴奏加伴唱加合唱的音轨进行编码，而后通过一连接于互联网的群发服务器将该歌曲的伴奏加伴唱加合唱的音轨群发到所有连接于互联网的在线收听终端；当收听用户选中该歌曲的伴奏加伴唱加合唱的音轨后，将该歌曲的伴奏加伴唱加合唱的音轨进行解码并播放。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

由于伴唱用户不能听到合唱用户演唱的语音，所以达不到真正KTV的效果；另外，伴奏和用户语音数据需经过两次混音，对音乐的损伤较大，导致音乐播放效果差；而且，伴奏也需经过网络的传输，当网络状况较差时，经过传输后的音乐播放效果将更差；进一步地，伴唱终端和合唱终端需进行伴奏与用户语音数据的混响和混音处理，因此增加了伴唱终端和合唱终端的开销。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种处理语音数据的方法、终端、服务器及系统。所述技术方案如下：

第一方面，提供了一种处理语音数据的方法，所述方法包括：

多个终端中的任一终端接收服务器发送的播放伴奏指令，所述播放伴奏指令中包括播放伴奏的时间T_播放；

根据所述T_播放及处理所述播放伴奏指令的时间T_当前调整本地伴奏播放进度，以使所述任一终端与所述多个终端中的其他终端同步播放伴奏及显示歌词；

采集用户的语音数据，并记录相对于所述服务器的采集所述语音数据的时间戳；

将采集到的时间戳携带在所述语音数据中，得到携带时间戳的语音数据，并将所述携带时间戳的语音数据上传至所述服务器，由所述服务器对所述携带时间戳的语音数据进行混音处理得到混音数据后，将所述混音数据下发至所述多个终端；

接收所述服务器下发的混音数据，并结合伴奏对所述混音数据进行播放。

在第一方面的第一种可能的实现方式中，所述记录相对于所述服务器的采集所述语音数据的时间戳，包括：

计算本地系统时间与服务器系统时间的时间偏差△t1；

根据所述时间偏差△t1将所述语音数据的时间戳修改为相对于所述服务器的时间戳。

结合第一方面，在第二种可能的实现方式中，所述方法还包括：

提示所述用户是否进入语音数据播放模式，并检测所述用户是否执行了进入语音数据播放模式的操作；

如果检测到所述用户执行了进入语音数据播放模式的操作，则获取所述语音数据的时间戳与相对于所述服务器的接收所述混音数据的时间戳之差△t2，并根据所述时间差△t2对当前正在播放的伴奏的播放进度进行后退调整。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述检测到所述用户执行了进入语音数据播放模式的操作之后，所述方法还包括：

根据所述用户的点击操作开启语音数据采集模式，并将本地伴奏和歌词的播放进度调整到与其他正在唱歌的用户的伴奏和歌词的播放进度同步。

结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述将本地伴奏和歌词的播放进度调整到与其他正在唱歌的用户的伴奏和歌词的播放进度同步，包括：

根据所述时间差△t2对当前正在播放的伴奏的播放进度进行快进调整。

第二方面，提供了一种终端，所述终端包括：

第一接收模块，用于接收服务器发送的播放伴奏指令，所述播放伴奏指令中包括播放伴奏的时间T_播放；

第一调整模块，用户根据所述第一接收模块接收的T_播放及处理所述播放伴奏指令的时间T_当前调整本地伴奏播放进度，以使所述任一终端与所述多个终端中的其他终端同步播放伴奏及显示歌词；

采集模块，用于采集用户的语音数据；

记录模块，用于记录相对于所述服务器的采集语音数据的时间戳；

上传模块，用于将采集到的时间戳携带在所述语音数据中，得到携带时间戳的语音数据，并将所述携带时间戳的语音数据上传至所述服务器，由所述服务器对所述携带时间戳的语音数据进行混音处理得到混音数据后，将所述混音数据下发至所述多个终端；

第二接收模块，用于接收所述服务器下发的混音数据；

播放模块，用于结合伴奏对所述第二接收模块接收的混音数据进行播放。

在第二方面的第一种可能的实现方式中，所述记录模块用于计算本地系统时间与服务器系统时间的时间偏差△t1；根据所述时间偏差△t1将所述语音数据的时间戳修改为相对于所述服务器的时间戳。

结合第二方面，在第二种可能的实现方式中，所述终端还包括：

提示模块，用于提示所述用户是否进入语音数据播放模式；

检测模块，用于检测所述用户是否执行了进入语音数据播放模式的操作；

获取模块，用于当所述检测模块检测到所述用户执行了进入语音数据播放模式的操作时，获取所述语音数据的时间戳与相对于所述服务器的接收所述混音数据的时间戳之差△t2；

第二调整模块，用于根据所述获取模块获取的时间差△t2对当前正在播放的伴奏的播放进度进行后退调整。

结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述终端还包括：

启动模块，用于根据所述用户的点击操作开启语音数据采集模式；

第三调整模块，用于将本地伴奏和歌词的播放进度调整到与其他正在唱歌的用户的伴奏和歌词的播放进度同步。

结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述第三调整模块用于根据所述获取模块获取的时间差△t2对当前正在播放的伴奏的播放进度进行快进调整。

第三方面，提供了一种处理语音数据的方法，所述方法包括：

服务器接收各个终端上传的携带时间戳的语音数据；

根据所述各个语音数据的时间戳将所述各个语音数据进行同步混音，得到混音数据；

将所述混音数据下发至所述各个终端，由所述各个终端结合伴奏对所述混音数据进行播放。

在第三方面的第一种可能的实现方式中，所述服务器接收所述各个终端上传的携带时间戳的语音数据之前，所述方法还包括：

根据点歌列表向所述各个终端发送当前待播放曲目的播放伴奏指令。

结合第三方面，在第二种可能的实现方式中，所述根据所述各个语音数据的时间戳将所述各个语音数据进行同步混音之前，所述方法还包括：

为所述各个终端设置深度时间；

所述根据所述各个语音数据的时间戳将所述各个语音数据进行同步混音，包括：

根据所述各个终端的深度时间及所述各个语音数据的时间戳将具有相同时间戳的各个语音数据进行混音，并将经过混音后的混音数据的时间戳设置为初始时间戳。

第四方面，还提供了一种服务器，所述服务器包括：

接收模块，用于接收各个终端上传的携带时间戳的语音数据；

混音模块，用于根据所述接收模块接收的各个语音数据的时间戳将所述各个语音数据进行同步混音，得到混音数据；

下发模块，用于将所述混音模块得到的混音数据下发至所述各个终端，由所述各个终端结合伴奏对所述混音数据进行播放。

在第四方面的第一种可能的实现方式中，所述服务器还包括：

发送模块，用于根据点歌列表向所述各个终端发送当前待播放曲目的播放伴奏指令。

结合第四方面，在第二种可能的实现方式中，所述服务器还包括：

设置模块，用于为所述各个终端设置深度时间；

所述混音模块，用于根据所述设置模块设置的各个终端的深度时间及所述各个语音数据的时间戳将具有相同时间戳的各个语音数据进行混音，并将经过混音后的混音数据的时间戳设置为初始时间戳。

第五方面，提供了一种处理语音数据的系统，所述系统包括：多个终端及一个服务器；

其中，所述多个终端中的任一终端如上面所述的终端，所述服务器如上面所述的服务器。

本发明实施例提供的技术方案带来的有益效果是：

通过各个终端接收服务器的播放伴奏指令，并根据播放伴奏指令及处理播放伴奏指令的时间调整本地伴奏播放进度，可使各个终端同步播放伴奏及显示歌词，而后通过服务器的混音处理，各个用户可收听到多个用户对唱的曲目，从而实现了真正KTV的效果；且伴奏不需要经过网络的传输，因而对音乐的损伤效果低；且伴奏和用户的语音数据相对独立，因此可分开调整二者的音量，具有更高的便捷性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种处理语音数据的系统走向图；

图2是本发明实施例一提供的一种处理语音数据的方法流程图；

图3是本发明实施例一提供的另一种处理语音数据的方法流程图；

图4是本发明实施例二提供的一种处理语音数据的系统架构图；

图5是本发明实施例二提供的一种处理语音数据的方法流程图；

图6是本发明实施例二提供的一种语音数据处理系统示意图；

图7是本发明实施例二提供的另一种语音数据处理系统示意图；

图8是本发明实施例三提供的一种终端的结构示意图；

图9是本发明实施例三提供的另一种终端的结构示意图；

图10是本发明实施例三提供的又一种终端的结构示意图；

图11是本发明实施例四提供的一种服务器的结构示意图；

图12是本发明实施例四提供的另一种服务器的结构示意图；

图13是本发明实施例四提供的又一种服务器的结构示意图；

图14是本发明实施例五提供的一种处理语音数据的系统结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

本发明实施例提供了一种处理语音数据的方法，以终端执行该方法的角度为例，参见图2，本发明实施例提供的方法流程包括：

201：多个终端中的任一终端接收服务器发送的播放伴奏指令，播放伴奏指令中包括播放伴奏的时间T_播放；

202：根据T_播放及处理播放伴奏指令的时间T_当前调整本地伴奏播放进度，以使任一终端与多个终端中的其他终端同步播放伴奏及显示歌词；

203：采集用户的语音数据，并记录相对于服务器的采集语音数据的时间戳；

进一步地，记录相对于服务器的采集语音数据的时间戳，包括但不限于：

计算本地系统时间与服务器系统时间的时间偏差△t1；

根据时间偏差△t1将语音数据的时间戳修改为相对于服务器的时间戳。

204：将采集到的时间戳携带在语音数据中，得到携带时间戳的语音数据，并将携带时间戳的语音数据上传至服务器，由服务器对携带时间戳的语音数据进行混音处理得到混音数据后，将混音数据下发至多个终端；

205：接收服务器下发的混音数据，并结合伴奏对混音数据进行播放。

进一步地，该方法还包括：

提示用户是否进入语音数据播放模式，并检测用户是否执行了进入语音数据播放模式的操作；

如果检测到用户执行了进入语音数据播放模式的操作，则获取语音数据的时间戳与相对于服务器的接收混音数据的时间戳之差△t2，并根据时间差△t2对当前正在播放的伴奏的播放进度进行后退调整。

进一步地，检测到用户执行了进入语音数据播放模式的操作之后，该方法还包括：

根据用户的点击操作开启语音数据采集模式，并将本地伴奏和歌词的播放进度调整到与其他正在唱歌的用户的伴奏和歌词的播放进度同步。

进一步地，将本地伴奏和歌词的播放进度调整到与其他正在唱歌的用户的伴奏和歌词的播放进度同步，包括但不限于：

根据时间差△t2对当前正在播放的伴奏的播放进度进行快进调整。

以服务器执行该方法的角度为例，参见图3，本发明实施例提供的方法流程如下：

301：服务器接收各个终端上传的携带时间戳的语音数据；

进一步地，服务器接收各个终端上传的携带时间戳的语音数据之前，该方法还包括：

根据点歌列表向各个终端发送当前待播放曲目的播放伴奏指令。

302：根据各个语音数据的时间戳将各个语音数据进行同步混音，得到混音数据；

进一步地，根据各个语音数据的时间戳将各个语音数据进行同步混音之前，该方法还包括：

为各个终端设置深度时间；

根据各个语音数据的时间戳将各个语音数据进行同步混音，包括但不限于：

根据各个终端的深度时间及各个语音数据的时间戳将具有相同时间戳的各个语音数据进行混音，并将经过混音后的混音数据的时间戳设置为初始时间戳。

303：将混音数据下发至各个终端，由各个终端结合伴奏对混音数据进行播放。

本实施例提供的方法，通过各个终端接收服务器的播放伴奏指令，并根据播放伴奏指令及处理播放伴奏指令的时间调整本地伴奏播放进度，可使各个终端同步播放伴奏及显示歌词，而后通过服务器的混音处理，各个用户可收听到多个用户对唱的曲目，从而实现了真正KTV的效果；且伴奏不需要经过网络的传输，因而对音乐的损伤效果低；且伴奏和用户的语音数据相对独立，因此可分开调整二者的音量，具有更高的便捷性。

实施例二

本发明实施例提供了一种处理语音数据的方法，现结合上述实施例一的内容及图4，以用户A创建一个虚拟KTV包厢，即创建一个VOIP（Voice overInternet Protocol,互联网语音协议）多人通话，用户B和用户C加入该虚拟KTV包厢（加入VOIP多人通话）为例，对本实施例提供的处理语音数据的方式进行详细说明。参见图5，本实施例提供的方法流程包括：

501：服务器根据点歌列表分别向用户A、用户B及用户C的终端发送当前待播放曲目的播放伴奏指令，该播放伴奏指令中包括播放伴奏的时间T_播放；

针对该步骤，点歌列表可由用户A、用户B及用户C中的一人或多人创建而成，支持各个用户在其终端的显示界面上进行点歌操作；当用户点错曲目或不想进行某一曲目的演唱时，还可在显示界面上执行删除操作，将该曲目从点歌列表中移除。当服务器根据点歌列表获知用户的点播曲目后，可直接将该曲目的原音或伴奏文件、歌词文件下发至各个用户的终端。

当服务器根据点歌列表获知虚拟KTV包厢中各个用户的当前待播放曲目后，将在该曲目播放前的同一时间向用户A、用户B及用户C的终端发送当前待播放曲目的播放伴奏指令，以使各个用户在同一时间播放该曲目的伴奏。其中，在发送当前待播放曲目的播放伴奏命令时，可将该播放伴奏命令直接进行发送或在服务器进行打包之后再发送，具体采用何种方式，本实施例对此不作具体限定。

502：用户A、用户B及用户C的终端接收服务器发送的播放伴奏指令；

其中，在用户A、用户B及用户C的终端接收到服务器发送的播放伴奏指令后，需将该播放伴奏指令进行存储，具体的存储介质可为内存。当然，存储介质除上述内存外，还可为其他类型的存储介质，例如，硬盘、闪存、光盘或缓存等等，本实施例对存储介质的类型不进行具体限定。

503：用户A、用户B及用户C的终端根据T_播放及处理播放伴奏指令的时间T_当前调整本地伴奏播放进度，以使各个终端同步播放伴奏及显示歌词；

针对该步骤，由于各个用户的终端与服务器之间的传输延迟不一样，因此，即使服务器在同一时间向各个用户的终端发送播放伴奏指令，各个用户的终端也未必能在同一时间收到该播放伴奏指令；而即便各个用户的终端能在同一时间收到该播放伴奏指令，由于各个用户的终端的处理能力受到自身配置及业务量的限制，其处理能力也不同，在收到播放伴奏指令后，可能不能立马对该播放伴奏指令进行处理。为了避免传输延迟及处理时间对语音数据处理产生的不利影响，本实施例提供的方法将根据T_播放及处理播放伴奏指令的时间T_当前调整本地伴奏播放进度，以达到用户A、用户B及用户C的终端同步播放伴奏，下面以一个具体的例子进行说明：

以服务器设置的T_播放=10:00，用户A、用户B及用户C的终端与服务器之间的传输延迟分别为2秒、3秒及4秒，用户A、用户B及用户C的终端处理播放伴奏指令的时间分别为10:02、10:04及10:05、发送播放伴奏指令的时间为09:59为例，则用户A的终端收到播放伴奏指令的时间为10:01且其处理该播放伴奏指令的时间为10:02，因此，需要将用户A的终端的本地伴奏快进2秒进行播放；用户B的终端收到播放伴奏指令的时间为10:02且其处理该播放伴奏指令的时间为10:04，因此，需要将用户B的终端的本地伴奏快进4秒进行播放；用户C的终端收到播放伴奏指令的时间为10:03且其处理该播放伴奏指令的时间为10:05，因此，需要将用户C的终端的本地伴奏快进5秒播放；也即，当10:05过后，用户A、用户B及用户C的终端都在播放伴奏，且伴奏的播放进度一致。

504：用户A、用户B及用户C的终端采集用户的语音数据，并记录相对于服务器的采集语音数据的时间戳；

此外，由于终端同服务器的精密程度不一致，因此，在同一时间内，终端同服务器显示的时间也不同，为了采用统一的时间，方便服务器对各个用户的语音数据进行混音处理，各个用户的终端在采集语音数据时，将记录采集语音数据的相对于服务器的时间戳。其中，记录相对于服务器的采集语音数据的时间戳的具体实现方式包括但不限于如下方式：

计算本地系统时间与服务器系统时间的时间偏差△t1；

根据时间偏差△t1将语音数据的时间戳修改为相对于服务器的时间戳。

其中，在计算本地系统时间与服务器系统时间的时间偏差△t1时，可利用NTP（Network Time Protocol，网络时间协议）同步方案进行计算。当然除利用上述NTP时间同步方案计算本地系统时间与服务器系统时间的时间偏差外，还可以采用其它协议计算二者之间的时间偏差，具体采用哪种协议，本实施例对此不作具体限定。

以时间偏差△t1=100毫秒为例，若根据本地系统时间获取到的时间戳为10:00：00，则相对于服务器获取到的该时间戳为10:00：001。

需要说明的是，计算本地系统时间与服务器系统时间的时间偏差△t1的步骤只需在终端第一次执行本实施例提供的方法时执行，后续再执行该方法时可直接使用该时间偏差△t1，即在每次执行本实施例提供的方法时无需每次均执行该步骤，仅在时间偏差有更新时，执行本步骤即可。

505：用户A、用户B及用户C的终端将采集到的时间戳携带在语音数据中，得到携带时间戳的语音数据，并将携带时间戳的语音数据上传至服务器；

针对该步骤，用户A、用户B及用户C的终端在上传携带时间戳的语音数据时会先对其进行编码，在编码完毕后，将经过编码后的携带时间戳的语音数据上传至服务器；各个终端在对携带时间戳的语音数据进行编码时，可对该语音数据进行压缩编码，以方便在网络中对语音数据进行传输，减少网络的传输压力。由于语音数据是实时采集的，因此，在压缩编码时可将语音数据实时进行编码，也可待采集的语音数据积累到一定量时，再进行编码，例如，采集预设时间的语音数据后进行编码，该预设时间具体可为1秒或2秒等等，本实施例对预设时间的大小不进行具体限定。

506：服务器接收用户A、用户B及用户C的终端上传的携带时间戳的语音数据，并根据各个语音数据的时间戳将各个语音数据进行同步混音，得到混音数据；

针对该步骤，由于各个终端上传的携带时间戳的语音数据是经过编码了的，因此服务器在接收用户A、用户B及用户C的终端上传的经过编码后的携带时间戳的语音数据后，将先对经过编码后的携带时间戳的语音数据进行解码，得到携带时间戳的语音数据，其中解码方式与编码方式互为逆过程，终端以何种方式编码，服务器便以何种方式进行解码。

此外，根据各个语音数据的时间戳将各个语音数据进行同步混音之前，该方法还包括：

为各个终端设置深度时间；

根据各个语音数据的时间戳将各个语音数据进行同步混音，包括：

根据各个终端的深度时间及各个语音数据的时间戳将具有相同时间戳的各个语音数据进行混音，并将经过混音后的混音数据的时间戳设置为初始时间戳。

下面结合图6，以一个具体的例子对上述过程进行详细地解释说明。

图6中，t1表示用户A的终端与服务器的传输时延，t3表示用户B的终端与服务器的传输时延，且t3>t1,则用户A的终端的深度时间T1=t3-t1，用户B的终端的深度时间为T2=T1+t1-t3，即深度时间表征各个用户的经过编码后的携带时间戳的语音数据在服务器缓冲区存储的时间。因此，在用户A、用户B及用户C的终端分别将其经过编码后的携带时间戳的语音数据上传至服务器后，服务器通过各个终端的深度时间便可对各个终端上传的具有相同时间戳的语音数据进行混音处理。

以用户A、用户B及用户C的终端与服务器之间的传输延迟分别为2秒、3秒及4秒为例，则用户A的终端的深度时间为2秒、用户B的深度时间为1秒、用户C的终端的深度时间为0秒，即用户A的终端上传的经过编码后的携带时间戳的语音数据在服务器缓冲区存储2秒，用户B的终端上传的经过编码后的携带时间戳的语音数据在服务器缓冲区存储1秒，用户C的终端上传的经过编码后的携带时间戳的语音数据在服务器缓冲区存储0秒，若当前缓存的是时间戳为10:20的语音数据，则在接收到用户C的终端上传的经过编码后的携带时间戳10:20的语音数据后，直接将用户A、用户B及用户C的终端上传的经过编码后的携带时间戳10:20的语音数据进行混音处理，形成混音数据，并混音数据的时间戳设置为10:20。

507：服务器将混音数据下发至用户A、用户B及用户C的终端；

其中，服务器在根据上述步骤506得到混音数据后，可将混音数据进行压缩编码处理之后，将其下发至用户A、用户B及用户C的终端。当然，也可直接将混音数据下发至用户A、用户B及用户C的终端，具体采用哪一种下发机制，本实施例对此不作具体限定。

508：用户A、用户B及用户C的终端接收服务器下发的混音数据，并结合伴奏对混音数据进行播放。

针对该步骤，用户A、用户B及用户C的终端在接收到服务器下发的混音数据后，可结合存储在本地的伴奏对混音数据进行播放，这样各个用户听到的便是用户对唱的曲目。

进一步地，当网络传输时延较大时，本实施例提供的方法还包括进入语音数据播放模式的步骤，具体实现过程如下：

提示用户是否进入语音数据播放模式，并检测用户是否执行了进入语音数据播放模式的操作；

如果检测到用户执行了进入语音数据播放模式的操作，则获取语音数据的时间戳与相对于服务器的接收混音数据的时间戳之差△t2，并根据时间差△t2对当前正在播放的伴奏的播放进度进行后退调整。

其中，语音数据播放模式指代听歌模式，即该用户不再参与唱歌的环节。且在听歌的过程中，由于伴奏存储在本地，而混音数据来自于服务器，二者相对独立。因此，听歌用户可根据自身的需要分开调整本地伴奏和混音数据的音量大小，从而达到真正KTV的效果。

参见图7，假设用户C当前的网络时延较大，则在用户C根据提示进入了语音数据播放模式后，应根据△t2将用户C当前正在播放的伴奏的播放进度进行后退调整，即用户C的终端收到服务器下发的混音数据的时间与混音数据的采集时间的差值。以用户C的终端收到服务器下发的混音数据的时间为10:24:10，混音数据的采集时间为10:24:08为例，则应将用户C的终端当前正在播放的伴奏的播放进度调整为后退2秒。

进一步地，当处于听歌模式的用户想演唱时，本实施例提供的方法还包括由语音数据播放模式转换为语音数据采集模式的步骤，具体实现过程如下：

根据用户的点击操作开启语音数据采集模式，并将本地伴奏和歌词的播放进度调整到与其他正在唱歌的用户的伴奏和歌词的播放进度同步。

其中，将本地伴奏和歌词的播放进度调整到与其他正在唱歌的用户的伴奏和歌词的播放进度同步，包括：

根据时间差△t2对当前正在播放的伴奏的播放进度进行快进调整。

需要说明的是，本实施例仅给出了存在三个用户时的语音数据处理方式，当存在更多用户时，处理语音数据的方式同本实施例所示的方法类似，此处不再赘述，本发明实施例提供的语音数据处理方式可针对多个终端，此处不对终端的数量进行具体限定。

本实施例提供的方法，各个终端通过接收服务器的播放伴奏指令，并根据播放伴奏指令及处理播放伴奏指令的时间调整本地伴奏播放进度，可使各个终端同步播放伴奏及显示歌词，而后通过服务器的混音处理，各个用户可收听到多个用户对唱的曲目，从而实现了真正KTV的效果；且伴奏不需要经过网络的传输，因而对音乐的损伤效果低；且伴奏和用户的语音数据相对独立，因此可分开调整二者的音量，具有更高的便捷性。

实施例三

本发明实施例提供了一种终端，用于执行实施例一或实施例二中终端的功能，参见图8，该终端包括：

第一接收模块801，用于接收服务器发送的播放伴奏指令，播放伴奏指令中包括播放伴奏的时间T_播放；

第一调整模块802，用户根据第一接收模块801接收的T_播放及处理播放伴奏指令的时间T_当前调整本地伴奏播放进度，以使任一终端与多个终端中的其他终端同步播放伴奏及显示歌词；

采集模块803，用于采集用户的语音数据；

记录模块804，用于记录相对于服务器的采集语音数据的时间戳；

上传模块805，用于将采集到的时间戳携带在语音数据中，得到携带时间戳的语音数据，并将携带时间戳的语音数据上传至服务器，由服务器对携带时间戳的语音数据进行混音处理得到混音数据后，将混音数据下发至多个终端；

第二接收模块806，用于接收服务器下发的混音数据；

播放模块807，用于结合伴奏对第二接收模块806接收的混音数据进行播放。

进一步地，记录模块804用于计算本地系统时间与服务器系统时间的时间偏差△t1；根据时间偏差△t1将语音数据的时间戳修改为相对于服务器的时间戳。

进一步地，参见图9，终端还包括：

提示模块808，用于提示用户是否进入语音数据播放模式；

检测模块809，用于检测用户是否执行了进入语音数据播放模式的操作；

获取模块810，用于当检测模块809检测到用户执行了进入语音数据播放模式的操作时，获取语音数据的时间戳与相对于服务器的接收混音数据的时间戳之差△t2；

第二调整模块811，用于根据获取模块810获取的时间差△t2对当前正在播放的伴奏的播放进度进行后退调整。

进一步地，参见图10，终端还包括：

启动模块812，用于根据用户的点击操作开启语音数据采集模式；

第三调整模块813，用于将本地伴奏和歌词的播放进度调整到与其他正在唱歌的用户的伴奏和歌词的播放进度同步。

进一步地，第三调整模块813用于根据获取模块获取的时间差△t2对当前正在播放的伴奏的播放进度进行快进调整。

本发明实施例提供的终端，通过接收服务器的播放伴奏指令，并根据播放伴奏指令及处理播放伴奏指令的时间调整本地伴奏播放进度，可使终端与其他终端同步播放伴奏及显示歌词，而后通过服务器的混音处理，用户可收听到多个用户对唱的曲目，从而实现了真正KTV的效果；且伴奏不需要经过网络的传输，因而对音乐的损伤效果低；且伴奏和用户的语音数据相对独立，因此可分开调整二者的音量，具有更高的便捷性。

实施例四

本发明实施例提供了一种服务器，用于执行实施例一或实施例二中服务器的功能，参见图11，该服务器包括：

接收模块1101，用于接收各个终端上传的携带时间戳的语音数据；

混音模块1102，用于根据接收模块1101接收的各个语音数据的时间戳将各个语音数据进行同步混音，得到混音数据；

下发模块1103，用于将混音模块1102得到的混音数据下发至各个终端，由各个终端结合伴奏对混音数据进行播放。

进一步地，参见图12，服务器还包括：

发送模块1104，用于根据点歌列表向各个终端发送当前待播放曲目的播放伴奏指令。

进一步地，参见图13，服务器还包括：

设置模块1105，用于为各个终端设置深度时间；

混音模块1102，用于根据设置模块设置的各个终端的深度时间及各个语音数据的时间戳将具有相同时间戳的各个语音数据进行混音，并将经过混音后的混音数据的时间戳设置为初始时间戳。

本发明实施例提供的服务器，通过向各个终端下发播放伴奏指令，时各个终端根据播放伴奏指令及处理播放伴奏指令的时间调整本地伴奏播放进度，从而可达到各个终端同步播放伴奏及显示歌词，而后通过服务器的混音处理，各个用户可收听到多个用户对唱的曲目，从而实现了真正KTV的效果；且伴奏不需要经过网络的传输，因而对音乐的损伤效果低；且伴奏和用户的语音数据相对独立，因此可分开调整二者的音量，具有更高的便捷性。

实施例五

本实施例提供了一种处理语音数据的系统，参见图14，该系统包括：

多个终端1401及一个服务器1402；

其中，终端1401如上述实施例三提供的终端；

服务器1402如上述实施例四提供的服务器。

本实施例提供的系统，通过各个终端接收服务器的播放伴奏指令，并根据播放伴奏指令及处理播放伴奏指令的时间调整本地伴奏播放进度，可使各个终端同步播放伴奏及显示歌词，而后通过服务器的混音处理，各个用户可收听到多个用户对唱的曲目，从而实现了真正KTV的效果；且伴奏不需要经过网络的传输，因而对音乐的损伤效果低；且伴奏和用户的语音数据相对独立，因此可分开调整二者的音量，具有更高的便捷性。

需要说明的是：上述实施例提供的终端及服务器在处理语音数据时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将终端及服务器的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的终端及服务器与处理语音数据的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (17)

1.一种处理语音数据的方法，其特征在于，所述方法包括：

多个终端中的任一终端接收服务器发送的播放伴奏指令，所述播放伴奏指令中包括播放伴奏的时间T_播放；

根据所述T_播放及处理所述播放伴奏指令的时间T_当前调整本地伴奏播放进度，以使所述任一终端与所述多个终端中的其他终端同步播放伴奏及显示歌词；

采集用户的语音数据，并记录相对于所述服务器的采集所述语音数据的时间戳；

将采集到的时间戳携带在所述语音数据中，得到携带时间戳的语音数据，并将所述携带时间戳的语音数据上传至所述服务器，由所述服务器对所述携带时间戳的语音数据进行混音处理得到混音数据后，将所述混音数据下发至所述多个终端；

接收所述服务器下发的混音数据，并结合伴奏对所述混音数据进行播放。

2.根据权利要求1所述的方法，其特征在于，所述记录相对于所述服务器的采集所述语音数据的时间戳，包括：

计算本地系统时间与服务器系统时间的时间偏差△t1；

根据所述时间偏差△t1将所述语音数据的时间戳修改为相对于所述服务器的时间戳。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

提示所述用户是否进入语音数据播放模式，并检测所述用户是否执行了进入语音数据播放模式的操作；

如果检测到所述用户执行了进入语音数据播放模式的操作，则获取所述语音数据的时间戳与相对于所述服务器的接收所述混音数据的时间戳之差△t2，并根据所述时间差△t2对当前正在播放的伴奏的播放进度进行后退调整。

4.根据权利要求3所述的方法，其特征在于，所述检测到所述用户执行了进入语音数据播放模式的操作之后，所述方法还包括：

根据所述用户的点击操作开启语音数据采集模式，并将本地伴奏和歌词的播放进度调整到与其他正在唱歌的用户的伴奏和歌词的播放进度同步。

5.根据权利要求4所述的方法，其特征在于，所述将本地伴奏和歌词的播放进度调整到与其他正在唱歌的用户的伴奏和歌词的播放进度同步，包括：

根据所述时间差△t2对当前正在播放的伴奏的播放进度进行快进调整。

6.一种终端，其特征在于，所述终端包括：

第一接收模块，用于接收服务器发送的播放伴奏指令，所述播放伴奏指令中包括播放伴奏的时间T_播放；

第一调整模块，用户根据所述第一接收模块接收的T_播放及处理所述播放伴奏指令的时间T_当前调整本地伴奏播放进度，以使所述任一终端与所述多个终端中的其他终端同步播放伴奏及显示歌词；

采集模块，用于采集用户的语音数据；

记录模块，用于记录相对于所述服务器的采集语音数据的时间戳；

上传模块，用于将采集到的时间戳携带在所述语音数据中，得到携带时间戳的语音数据，并将所述携带时间戳的语音数据上传至所述服务器，由所述服务器对所述携带时间戳的语音数据进行混音处理得到混音数据后，将所述混音数据下发至所述多个终端；

第二接收模块，用于接收所述服务器下发的混音数据；

播放模块，用于结合伴奏对所述第二接收模块接收的混音数据进行播放。

7.根据权利要求6所述的终端，其特征在于，所述记录模块用于计算本地系统时间与服务器系统时间的时间偏差△t1；根据所述时间偏差△t1将所述语音数据的时间戳修改为相对于所述服务器的时间戳。

8.根据权利要求6所述的终端，其特征在于，所述终端还包括：

提示模块，用于提示所述用户是否进入语音数据播放模式；

检测模块，用于检测所述用户是否执行了进入语音数据播放模式的操作；

获取模块，用于当所述检测模块检测到所述用户执行了进入语音数据播放模式的操作时，获取所述语音数据的时间戳与相对于所述服务器的接收所述混音数据的时间戳之差△t2；

第二调整模块，用于根据所述获取模块获取的时间差△t2对当前正在播放的伴奏的播放进度进行后退调整。

9.根据权利要求8所述的终端，其特征在于，所述终端还包括：

启动模块，用于根据所述用户的点击操作开启语音数据采集模式；

第三调整模块，用于将本地伴奏和歌词的播放进度调整到与其他正在唱歌的用户的伴奏和歌词的播放进度同步。

10.根据权利要求9所述的终端，其特征在于，所述第三调整模块用于根据所述获取模块获取的时间差△t2对当前正在播放的伴奏的播放进度进行快进调整。

11.一种处理语音数据的方法，其特征在于，所述方法包括：

服务器接收各个终端上传的携带时间戳的语音数据；

根据所述各个语音数据的时间戳将所述各个语音数据进行同步混音，得到混音数据；

将所述混音数据下发至所述各个终端，由所述各个终端结合伴奏对所述混音数据进行播放。

12.根据权利要求11所述的方法，其特征在于，所述服务器接收所述各个终端上传的携带时间戳的语音数据之前，所述方法还包括：

根据点歌列表向所述各个终端发送当前待播放曲目的播放伴奏指令。

13.根据权利要求11所述的方法，其特征在于，所述根据所述各个语音数据的时间戳将所述各个语音数据进行同步混音之前，所述方法还包括：

为所述各个终端设置深度时间；

所述根据所述各个语音数据的时间戳将所述各个语音数据进行同步混音，包括：

根据所述各个终端的深度时间及所述各个语音数据的时间戳将具有相同时间戳的各个语音数据进行混音，并将经过混音后的混音数据的时间戳设置为初始时间戳。

14.一种服务器，其特征在于，所述服务器包括：

接收模块，用于接收各个终端上传的携带时间戳的语音数据；

混音模块，用于根据所述接收模块接收的各个语音数据的时间戳将所述各个语音数据进行同步混音，得到混音数据；

下发模块，用于将所述混音模块得到的混音数据下发至所述各个终端，由所述各个终端结合伴奏对所述混音数据进行播放。

15.根据权利要求14所述的服务器，其特征在于，所述服务器还包括：

发送模块，用于根据点歌列表向所述各个终端发送当前待播放曲目的播放伴奏指令。

16.根据权利要求14所述的方法，其特征在于，所述服务器还包括：

设置模块，用于为所述各个终端设置深度时间；

所述混音模块，用于根据所述设置模块设置的各个终端的深度时间及所述各个语音数据的时间戳将具有相同时间戳的各个语音数据进行混音，并将经过混音后的混音数据的时间戳设置为初始时间戳。

17.一种处理语音数据的系统，其特征在于，所述系统包括：多个终端及一个服务器；

其中，所述多个终端中的任一终端如所述权利要求6至10中任一权利要求所述的终端，所述服务器如所述权利要求14至16中任一权利要求所述的服务器。

Images