CN105045578A - 音频合成方法及装置 - Google Patents

Abstract

本发明公开了一种音频合成方法及装置，属于多媒体处理领域。所述方法包括：通过Flash程序获取伴奏音频流；通过Flash程序获取演唱音频流；通过Flash程序将伴奏音频流和演唱音频流合成为混音音频流。本发明通过Flash程序将伴奏音频流和演唱音频流合成为混音音频流；解决了在集成声卡不具有音频混合能力时，无法让用户在电脑上演唱歌曲的问题；达到了即便是使用集成声卡，也能够实现演唱歌曲并混音播放的效果。

Description

音频合成方法及装置

技术领域

本发明涉及多媒体处理领域，特别涉及一种音频合成方法及装置。

背景技术

在线直播是目前非常受用户欢迎的互联网应用。

通常采用网页客户端或者应用程序客户端向用户提供在线直播服务。如果用户需要在在线直播中演唱歌曲，需要在电脑中安装具有音频混合能力的独立声卡。在演唱歌曲的过程中，由该独立声卡将伴奏音频流和麦克风采集到的演唱音频流合成为混音音频流，然后播放该混音音频流。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：由于大部分电脑中自带的集成声卡都不具有音频混合能力，所以大部分用户都无法在在线直播服务中演唱歌曲。

发明内容

为了解决在集成声卡不具有音频混合能力时，无法让用户在电脑上演唱歌曲的问题，本发明实施例提供了一种音频合成方法及装置。所述技术方案如下：

第一方面，提供了一种音频合成方法，该方法包括：

通过Flash程序获取伴奏音频流；

通过所述Flash程序获取演唱音频流；

通过所述Flash程序将所述伴奏音频流和所述演唱音频流合成为混音音频流。

在一种可能的实现方式中，所述通过所述Flash程序将所述伴奏音频流和所述演唱音频流合成为混音音频流，包括：

通过所述Flash程序获取所述伴奏音频流中的各个音频帧和每个音频帧所对应的时间戳；

通过所述Flash程序获取所述演唱音频流中的各个音频帧和每个音频帧所对应的时间戳；

通过所述Flash程序将所述伴奏音频流和所述演唱音频流中具有相同时间戳的音频帧叠加得到合成音频帧，所述合成音频帧具有原始时间戳；

将所述合成音频帧、所述伴奏音频流中在所述演唱音频流不具有相同时间戳的音频帧、所述演唱音频流中在所述伴奏音频流不具有相同时间戳的音频帧按照时间戳由前到后的顺序生成所述混合音频流。

在一种可能的实现方式中，所述通过所述Flash程序将所述伴奏音频流和所述演唱音频流合成为混音音频流之后，还包括：

将所述混音音频流保存至比特阵列byteArray中。

在一种可能的实现方式中，所述将所述混音音频流保存至比特阵列byteArray中之后，还包括：

从所述byteArray读取所述混音音频流进行实时播放。

在一种可能的实现方式中，所述将所述混音音频流保存至比特阵列byteArray中之后，还包括：

从所述byteArray读取所述混音音频流传输至其它网页客户端或应用程序客户端，以便所述其它网页客户端或应用程序客户端对所述混音音频流进行实时播放。

第二方面，提供了一种音频合成装置，所述装置包括：

第一获取模块，用于通过Flash程序获取伴奏音频流；

第二获取模块，用于通过所述Flash程序获取演唱音频流；

合成模块，用于通过所述Flash程序将所述伴奏音频流和所述演唱音频流合成为混音音频流。

在一种可能的实现方式中，所述合成模块，包括：

第一获取单元，用于通过所述Flash程序获取所述伴奏音频流中的各个音频帧和每个音频帧所对应的时间戳；

第二获取单元，用于通过所述Flash程序获取所述演唱音频流中的各个音频帧和每个音频帧所对应的时间戳；

合成单元，用于通过所述Flash程序将所述伴奏音频流和所述演唱音频流中具有相同时间戳的音频帧叠加得到合成音频帧，所述合成音频帧具有原始时间戳；

生成单元，用于将所述合成音频帧、所述伴奏音频流中在所述演唱音频流不具有相同时间戳的音频帧、所述演唱音频流中在所述伴奏音频流不具有相同时间戳的音频帧按照时间戳由前到后的顺序生成所述混合音频流。

在一种可能的实现方式中，所述装置，还包括：

保存模块，用于将所述混音音频流保存至比特阵列byteArray中。

在一种可能的实现方式中，所述装置，还包括：

播放模块，用于从所述byteArray读取所述混音音频流进行实时播放。

在一种可能的实现方式中，所述装置，还包括：

传输模块，用于从所述byteArray读取所述混音音频流传输至其它网页客户端或应用程序客户端，以便所述其它网页客户端或应用程序客户端对所述混音音频流进行实时播放。

本发明实施例提供的技术方案带来的有益效果是：

通过Flash程序将伴奏音频流和演唱音频流合成为混音音频流；解决了在集成声卡不具有音频混合能力时，无法让用户在电脑上演唱歌曲的问题；达到了即便是使用集成声卡，也能够实现演唱歌曲并混音播放的效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的音频合成方法的方法流程图；

图2是本发明另一实施例提供的音频合成方法的方法流程图；

图3是本发明图2实施例提供的音频合成方法的子步骤示意图；

图4是本发明图2实施例提供的音频合成方法的子步骤示意图；

图5是本发明一个实施例提供的音频合成装置的结构示意图；

图6是本发明另一实施例提供的音频合成装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图1是本发明一个实施例提供的音频合成方法的方法流程图。该方法包括：

步骤102，通过Flash程序获取伴奏音频流。

用户的电脑中运行有具有歌曲演唱功能的客户端，该客户端可以是网页客户端或者应用程序客户端。本文实施例中主要以该客户端是网页客户端来举例说明，但对此不加以限定。

该网页客户端的具体表现形式，可以是：在线KTV客户端、在线直播客户端、在线学习音乐客户端等等，本实施例对此也不加以限定。

以该网页客户端是在线直播客户端为例，在开始演唱歌曲时，网页客户端首先通过网页中的Flash程序从后台服务器下载伴奏音频流。

步骤104，通过Flash程序获取演唱音频流。

网页客户端还通过网页中的Flash程序获取用户的演唱音频流。用户的演唱声音被电脑中的麦克风所采集后，由声卡从模拟信号转换为数字信号，然后由网页中的Flash程序读取到该演唱音频流。

需要说明的是，本发明实施例对并列的步骤102和步骤104的执行顺序不做限定。

步骤106，通过Flash程序将伴奏音频流和演唱音频流合成为混音音频流。

网页中的Flash程序将伴奏音频流和演唱音频流合成为混音音频流。

综上所述，本实施例提供的音频合成方法，通过Flash程序将伴奏音频流和演唱音频流合成为混音音频流；解决了在集成声卡不具有音频混合能力时，无法让用户在电脑上演唱歌曲的问题；达到了即便是使用集成声卡，也能够实现演唱歌曲并混音播放的效果。

图2是本发明一个实施例提供的音频合成方法的方法流程图。该方法包括：

步骤202，通过Flash程序获取伴奏音频流。

用户的电脑中运行有具有歌曲演唱功能的客户端，该客户端可以是网页客户端或者应用程序客户端。本文实施例中主要以该客户端是网页客户端来举例说明，但对此不加以限定。

该网页客户端的具体表现形式，可以是：在线KTV客户端、在线直播客户端、在线学习音乐客户端等等，本实施例对此也不加以限定。

以该网页客户端是在线直播客户端为例，在开始演唱歌曲时，网页客户端首先通过网页中的Flash程序从后台服务器下载伴奏音频流。

步骤204，通过Flash程序获取演唱音频流。

网页客户端还通过网页中的Flash程序获取用户的演唱音频流。用户的演唱声音被电脑中的麦克风所采集后，由声卡从模拟信号转换为数字信号，然后由网页中的Flash程序读取到该演唱音频流。

步骤206，通过Flash程序将伴奏音频流和演唱音频流合成为混音音频流。

本步骤包括如下子步骤，如图3所示：

步骤206a，通过Flash程序获取伴奏音频流中的各个音频帧和每个音频帧所对应的时间戳；

步骤206b，通过Flash程序获取演唱音频流中的各个音频帧和每个音频帧所对应的时间戳；

步骤206c，通过Flash程序将伴奏音频流和演唱音频流中具有相同时间戳的音频帧叠加得到合成音频帧，合成音频帧具有原始时间戳；

步骤206d，将合成音频帧、伴奏音频流中在演唱音频流不具有相同时间戳的音频帧、演唱音频流中在伴奏音频流不具有相同时间戳的音频帧按照时间戳由前到后的顺序生成混合音频流。

结合图4可知，伴奏音频流42和演唱音频流44均包括很多音频帧，每个音频帧具有各自的时间戳。如果两个流中的两个音频帧具有相同时间戳，则Flash程序将这两个音频帧叠加得到音频帧，比如，将具有相同时间戳的音频帧a1和音频帧b1叠加得到合成音频帧c1；将具有相同时间戳的音频帧a3和音频帧b3叠加得到合成音频帧c2；将具有相同时间戳的音频帧a6和音频帧b4叠加得到合成音频帧c3。

然后，将两个流中的其它音频帧和合成音频帧按照时间戳由前到后的顺序生成混合音频流46。

需要说明的是，在演唱过程中，本步骤可以循环不断地执行。

步骤208，将混音音频流保存至byteArray中。

网页客户端中的Flash程序将混音音频流保持至byteArray中。由于该混音音频流按照演唱过程会不断生成，所以相应的音频帧会不断地生成并保存至byteArray中。

步骤210，从byteArray读取混音音频流进行实时播放。

网页客户端中的Flash程序从byteArray读取混音音频流进行实时播放。

也即，网页客户端向用户播放该混音音频流，从而使用户听到自身演唱的歌曲内容。

步骤212，从byteArray读取混音音频流传输至其它网页客户端或应用程序客户端，以便其它网页客户端或应用程序客户端对所述混音音频流进行实时播放。

如果该网页客户端是在线直播类客户端，主播用户在演唱歌曲时，听众用户也需要在线实时收听到该主播用户所演唱的内容。

此时，网页客户端中的Flash程序从byteArray读取混音音频流，然后将该混音音频流发送至服务器，服务器将该混音音频流转发给属于同一直播间的其它听众所使用的网页客户端或应用程序客户端，由其它网页客户端或应用程序客户端对混音音频流进行实时播放。

综上所述，本实施例提供的音频合成方法，通过Flash程序将伴奏音频流和演唱音频流合成为混音音频流；解决了在集成声卡不具有音频混合能力时，无法让用户在电脑上演唱歌曲的问题；达到了即便是使用集成声卡，也能够实现演唱歌曲并混音播放的效果。

图5是本发明一个实施例提供的音频合成装置的结构示意图。该音频合成装置包括：

第一获取模块520，用于通过Flash程序获取伴奏音频流。

第二获取模块540，用于通过所述Flash程序获取演唱音频流。

合成模块560，用于通过所述Flash程序将所述伴奏音频流和所述演唱音频流合成为混音音频流。

综上所述，本实施例提供的音频合成装置，通过Flash程序将伴奏音频流和演唱音频流合成为混音音频流；解决了在集成声卡不具有音频混合能力时，无法让用户在电脑上演唱歌曲的问题；达到了即便是使用集成声卡，也能够实现演唱歌曲并混音播放的效果。

图6是本发明另一实施例提供的音频合成装置的结构示意图。该音频合成装置包括：

第一获取模块520，用于通过Flash程序获取伴奏音频流。

第二获取模块540，用于通过所述Flash程序获取演唱音频流。

合成模块560，用于通过所述Flash程序将所述伴奏音频流和所述演唱音频流合成为混音音频流。

在一种可能的实现方式中，所述合成模块560，包括：

第一获取单元562，用于通过所述Flash程序获取所述伴奏音频流中的各个音频帧和每个音频帧所对应的时间戳；

第二获取单元564，用于通过所述Flash程序获取所述演唱音频流中的各个音频帧和每个音频帧所对应的时间戳；

合成单元566，用于通过所述Flash程序将所述伴奏音频流和所述演唱音频流中具有相同时间戳的音频帧叠加得到合成音频帧，所述合成音频帧具有原始时间戳；

生成单元568，用于将所述合成音频帧、所述伴奏音频流中在所述演唱音频流不具有相同时间戳的音频帧、所述演唱音频流中在所述伴奏音频流不具有相同时间戳的音频帧按照时间戳由前到后的顺序生成所述混合音频流。

在一种可能的实现方式中，所述装置，还包括：

保存模块580，用于将所述混音音频流保存至比特阵列byteArray中。

在一种可能的实现方式中，所述装置，还包括：

播放模块592，用于从所述byteArray读取所述混音音频流进行实时播放。

在一种可能的实现方式中，所述装置，还包括：

传输模块594，用于从所述byteArray读取所述混音音频流传输至其它网页客户端或应用程序客户端，以便所述其它网页客户端或应用程序客户端对所述混音音频流进行实时播放。

综上所述，本实施例提供的音频合成装置，通过Flash程序将伴奏音频流和演唱音频流合成为混音音频流；解决了在集成声卡不具有音频混合能力时，无法让用户在电脑上演唱歌曲的问题；达到了即便是使用集成声卡，也能够实现演唱歌曲并混音播放的效果。

需要说明的是：上述实施例提供的音频合成装置在合成混音音频流时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的音频合成装置与音频合成方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种音频合成方法，其特征在于，所述方法包括：

通过Flash程序获取伴奏音频流；

通过所述Flash程序获取演唱音频流；

通过所述Flash程序将所述伴奏音频流和所述演唱音频流合成为混音音频流。

2.根据权利要求1所述的方法，其特征在于，所述通过所述Flash程序将所述伴奏音频流和所述演唱音频流合成为混音音频流，包括：

通过所述Flash程序获取所述伴奏音频流中的各个音频帧和每个音频帧所对应的时间戳；

通过所述Flash程序获取所述演唱音频流中的各个音频帧和每个音频帧所对应的时间戳；

通过所述Flash程序将所述伴奏音频流和所述演唱音频流中具有相同时间戳的音频帧叠加得到合成音频帧，所述合成音频帧具有原始时间戳；

将所述合成音频帧、所述伴奏音频流中在所述演唱音频流不具有相同时间戳的音频帧、所述演唱音频流中在所述伴奏音频流不具有相同时间戳的音频帧按照时间戳由前到后的顺序生成所述混合音频流。

3.根据权利要求1或2所述的方法，其特征在于，所述通过所述Flash程序将所述伴奏音频流和所述演唱音频流合成为混音音频流之后，还包括：

将所述混音音频流保存至比特阵列byteArray中。

4.根据权利要求3所述的方法，其特征在于，所述将所述混音音频流保存至比特阵列byteArray中之后，还包括：

从所述byteArray读取所述混音音频流进行实时播放。

5.根据权利要求3所述的方法，其特征在于，所述将所述混音音频流保存至比特阵列byteArray中之后，还包括：

从所述byteArray读取所述混音音频流传输至其它网页客户端或应用程序客户端，以便所述其它网页客户端或应用程序客户端对所述混音音频流进行实时播放。

6.一种音频合成装置，其特征在于，所述装置包括：

第一获取模块，用于通过Flash程序获取伴奏音频流；

第二获取模块，用于通过所述Flash程序获取演唱音频流；

合成模块，用于通过所述Flash程序将所述伴奏音频流和所述演唱音频流合成为混音音频流。

7.根据权利要求6所述的装置，其特征在于，所述合成模块，包括：

第一获取单元，用于通过所述Flash程序获取所述伴奏音频流中的各个音频帧和每个音频帧所对应的时间戳；

第二获取单元，用于通过所述Flash程序获取所述演唱音频流中的各个音频帧和每个音频帧所对应的时间戳；

合成单元，用于通过所述Flash程序将所述伴奏音频流和所述演唱音频流中具有相同时间戳的音频帧叠加得到合成音频帧，所述合成音频帧具有原始时间戳；

生成单元，用于将所述合成音频帧、所述伴奏音频流中在所述演唱音频流不具有相同时间戳的音频帧、所述演唱音频流中在所述伴奏音频流不具有相同时间戳的音频帧按照时间戳由前到后的顺序生成所述混合音频流。

8.根据权利要求6或7所述的装置，其特征在于，所述装置，还包括：

保存模块，用于将所述混音音频流保存至比特阵列byteArray中。

9.根据权利要求8所述的装置，其特征在于，所述装置，还包括：

播放模块，用于从所述byteArray读取所述混音音频流进行实时播放。

10.根据权利要求8所述的装置，其特征在于，所述装置，还包括：

传输模块，用于从所述byteArray读取所述混音音频流传输至其它网页客户端或应用程序客户端，以便所述其它网页客户端或应用程序客户端对所述混音音频流进行实时播放。