CN102932567B - 终端和音频处理方法 - Google Patents

Abstract

本发明提出了一种终端，包括：第一应用控制模块，将第一应用生成的第一音频数据流发送至硬件抽象层；第二应用控制模块，将第二应用生成的第二音频数据流发送至音频服务；音频服务控制模块，通过音频服务对第二音频数据流进行处理后，再发送至硬件抽象层；硬件抽象层控制模块，在所述硬件抽象层同时接收所述第一音频数据流和处理后的所述第二音频数据流，并发送至声卡；声卡控制模块，通过声卡对第一音频数据流和第二音频数据流进行混音处理并输出播放。相应地，本发明还提供了一种音频处理方法。通过本发明的技术方案，可以实现将来自VOIP和/或VOLTE的音频数据流和来自播放器的音频数据流进行混音并播放，并且能够满足传统语音通话的低延迟要求。

Description

终端和音频处理方法

技术领域

本发明涉及音频处理技术领域，具体而言，涉及一种终端和一种音频处理方法。

背景技术

随着移动网络的发展，通过移动网络进行语音通话已经变得越来越普遍，例如目前比较常见的VOIP(voice over internet protocal,语音数据通过网络进行通话)和VOLTE(voice over LTE,语音通过LTE移动网络进行通话)。

对于移动终端上较为流行的android系统平台来说，为实现VOIP/VOLTE应用正常发声且与其他类型声音冲突，现有技术的一种方案如下：

方案1，如图1所示，使用Audioflinger(android的音频服务，通过混音和重采样来实现声音的并发)进行播放声音，VOIP/VOLTE应用相当于播放器。这种方案程序简单，容易与其他声音并发。但是其缺陷在于：采用了Audioflinger而不使用direct output(Audioflinger音频服务里的一个子线程，绕过混音和重采用，直接把音频数据流写到HAL(hardwareabstract layer，硬件抽象层)层进行播放)方式，经历重采样和混音，通话延迟就会加大50ms左右。传统语音通话延迟时间必须小于170ms，目前VOIP/VOLTE延迟一般是200ms以上，达不到传统语音通话低延迟的要求。

因此，需要一种新的音频处理技术，在保证VOPI/VOLTE可以正常发声，且不与其他类型声音产生冲突的情况下，满足传统语音通话低延迟的要求。

发明内容

本发明正是基于上述问题，提出了一种新的音频处理技术，在保证VOPI/VOLTE可以正常发声，且不与其他类型声音产生冲突的情况下，满足传统语音通话低延迟的要求。

有鉴于此，本发明提出了一种终端，包括：第一应用控制模块，将第一应用生成的第一音频数据流发送至硬件抽象层；第二应用控制模块，将第二应用生成的第二音频数据流发送至音频服务；音频服务控制模块，通过所述音频服务对所述第二音频数据流进行处理后，再发送至所述硬件抽象层；硬件抽象层控制模块，在所述硬件抽象层同时接收所述第一音频数据流和处理后的所述第二音频数据流，并发送至声卡；声卡控制模块，通过所述声卡对所述第一音频数据流和所述第二音频数据流进行混音处理并输出播放。

在该技术方案中，第一数据流和第二数据流来源于不同的应用。比如，第一数据流可能来源于VOIP和/或VOLTE应用，第二数据流可能来源于播放器等应用。通过本发明的技术方案，可以在HAL层同时接收第一音频数据流和第二音频数据流，一起发送至声卡以对第一音频数据流和第二音频数据流进行混音处理，并播放出来，并且本方案的混音操作是通过硬件来实现的，从而降低语音延迟。

在上述技术方案中，优选地，所述硬件抽象层控制模块将所述第一音频数据流发送至所述声卡的第一数字音频接口，将所述第二音频数据流发送至所述声卡的第二数字音频接口。

在该技术方案中，由于大部分声卡支持多路数字音频接口(如I2S(内部整合电路声音)、PCM(脉冲编码调制)、SLIMBUS(低功耗芯片间串行媒体总线))同时输出，利用这个特性，硬件抽象层可同时接收第一音频数据流和第二音频数据流并发送到两路不同的数字音频接口，而上述声卡可实现两路数字音频接口同时进行播放，从而实现对两路音频数据流的混音，此为全硬件混音方案，软件没有任何混音工作量，延迟最少，适用于支持多路数字音频接口的声卡终端。

在上述技术方案中，优选地，所述第一应用控制模块将所述第一音频数据流作为第一声道的音频数据流发送至所述硬件抽象层；所述音频服务控制模块将所述第二音频数据流作为第二声道的音频数据流发送到所述硬件抽象层；所述声卡控制模块通过所述声卡对所述第一音频数据流和所述第二音频数据流进行混音处理，并通过单声道输出播放。

在该技术方案中，第一音频数据流和第二音频数据流通过不同的声道被发送到硬件抽象层。比如，左声道发送第一音频数据流，右声道发送第二音频数据流，则硬件抽象层可同时接收两个数据流，声卡接到硬件抽象层发来的两个数据流以后，对两个音频数据流进行混音处理，并通过单声道进行播放，这样也实现了对两个数据流进行混音，并可以实现同时播放的效果。此为全硬件混音方案，软件没有任何混音工作量，适用于任意声卡终端。

在上述技术方案中，优选地，所述声卡控制模块在所述第一应用工作时，将所述声卡由原有播放模式更改为单声道播放模式，在所述第一应用停止工作时，将所述声卡由所述单声道播放模式恢复为所述原有播放模式。

在该技术方案中，为了能实现对两个来自不同应用的数据流进行混音播放，在第一应用工作时，采用单声道模式进行播放。但是由于单声道音质稍差，所以为了提高音质，在第一应用停止工作时，重新恢复成原有播放模式，例如立体声模式。

在上述技术方案中，优选地，所述第一应用包括VOIP和/或VOLTE应用，所述第二应用包括播放器，所述音频服务用于对音频数据流进行混音和/或重采样处理。

根据本发明的又一方面，还提供了一种音频处理方法，包括：步骤402，将第一应用生成的第一音频数据流发送至硬件抽象层；步骤404，将第二应用生成的第二音频数据流发送至音频服务；步骤406，通过所述音频服务对所述第二音频数据流进行处理后，再发送至所述硬件抽象层；步骤408，在所述硬件抽象层同时接收所述第一音频数据流和处理后的所述第二音频数据流，并发送至声卡；步骤410，通过所述声卡对所述第一音频数据流和所述第二音频数据流进行混音处理并输出播放。

在该技术方案中，第一数据流和第二数据流来源于不同的应用。比如，第一数据流可能来源于VOIP和/或VOLTE应用，第二数据流可能来源于播放器等应用。通过本发明的技术方案，可以在HAL层同时接收第一音频数据流和第二音频数据流，一起发送至声卡以对第一音频数据流和第二音频数据流进行混音处理，并播放出来，并且本方案的混音操作是通过硬件来实现的，从而降低语音延迟。

在上述技术方案中，优选地，所述步骤408包括：将所述第一音频数据流发送至所述声卡的第一数字音频接口，将所述第二音频数据流发送至所述声卡的第二数字音频接口。

在该技术方案中，由于大部分声卡支持多路数字音频接口(如I2S、PCM、SLIMBUS)同时输出，利用这个特性，硬件抽象层可同时接收第一音频数据流和第二音频数据流并发送到两路不同的数字音频接口，而上述声卡可实现两路数字音频接口同时进行播放，从而实现对两路音频数据流的混音，此为全硬件混音方案，软件没有任何混音工作量，延迟最少，适用于支持多路数字音频接口的声卡终端。

在上述技术方案中，优选地，所述步骤402包括：将所述第一音频数据流作为第一声道的音频数据流发送至所述硬件抽象层；所述步骤406包括：将所述第二音频数据流作为第二声道的音频数据流发送到所述硬件抽象层；所述步骤410包括：通过所述声卡对所述第一音频数据流和所述第二音频数据流进行混音处理，并通过单声道输出播放。

在该技术方案中，第一音频数据流和第二音频数据流通过不同的声道被发送到硬件抽象层。比如，左声道发送第一音频数据流，右声道发送第二音频数据流，则硬件抽象层可同时接收两个数据流，声卡接到硬件抽象层发来的两个数据流以后，对两个音频数据流进行混音处理，并通过单声道进行播放，这样也实现了对两个数据流进行混音，并可以实现同时播放的效果。此为全硬件混音方案，软件没有任何混音工作量，适用于任意声卡终端。

在上述技术方案中，优选地，还包括：在所述第一应用工作时，将所述声卡由原有播放模式更改为单声道播放模式，在所述第一应用停止工作时，将所述声卡由所述单声道播放模式恢复为所述原有播放模式。

在该技术方案中，为了能实现对两个来自不同应用的数据流进行混音播放，在第一应用工作时，采用单声道模式进行播放。但是由于单声道音质稍差，所以为了提高音质，在第一应用停止工作时，重新恢复成原有播放模式，例如立体声模式。

在上述技术方案中，优选地，所述第一应用包括VOIP和/或VOLTE应用，所述第二应用包括播放器，所述音频服务用于对音频数据流进行混音和/或重采样处理。

以android平台为例，VOIP/VOLTE通过direct output直接发送至HAL层，普通播放器的音频数据流则经audioflinger混音及重采样后，再发送至HAL层，最终由声卡完成混音处理。需要注意的是，本处虽以android平台为例说明本发明的技术方案，但本领域技术人员应当了解，还存在很多结构类似于android的其他系统平台(例如很多由android衍生而来)，其功能服务类似于android，基于这些平台同样能够实现本申请的技术方案，在此不进行赘述。

通过以上技术方案，可以实现将来自VOIP和/或VOLTE的音频数据流和来自播放器的音频数据流进行混音并播放，同时混音采用硬件方式实现，降低了语音延迟。

附图说明

图1示出了传统音频处理方法的流程示意图；

图2示出了根据本发明的实施例的终端的框图；

图3示出了根据本发明的实施例的音频处理方法的流程图；

图4和图5示出了根据本发明的实施例的音频处理方法的流程示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图2示出了根据本发明的实施例的终端的框图。

如图2所示，本发明的实施例的终端200包括：第一应用控制模块202，将第一应用生成的第一音频数据流发送至硬件抽象层；第二应用控制模块204，将第二应用生成的第二音频数据流发送至音频服务；音频服务控制模块206，通过所述音频服务对所述第二音频数据流进行处理后，再发送至所述硬件抽象层；硬件抽象层控制模块208，在所述硬件抽象层同时接收所述第一音频数据流和处理后的所述第二音频数据流，并发送至声卡；声卡控制模块210，通过所述声卡对所述第一音频数据流和所述第二音频数据流进行混音处理并输出播放。

在该技术方案中，第一数据流和第二数据流来源于不同的应用。比如，第一数据流可能来源于VOIP和/或VOLTE应用，第二数据流可能来源于播放器等应用。通过本发明的技术方案，可以在HAL层同时接收第一音频数据流和第二音频数据流，一起发送至声卡以对第一音频数据流和第二音频数据流进行混音处理，并播放出来，并且本方案的混音操作是通过硬件来实现的，从而降低语音延迟。

在上述技术方案中，优选地，所述硬件抽象层控制模块208将所述第一音频数据流发送至所述声卡的第一数字音频接口，将所述第二音频数据流发送至所述声卡的第二数字音频接口。

在该技术方案中，由于大部分声卡支持多路数字音频接口(如I2S、PCM、SLIMBUS)同时输出，利用这个特性，硬件抽象层可同时接收第一音频数据流和第二音频数据流并发送到两路不同的数字音频接口，而上述声卡可实现两路数字音频接口同时进行播放，从而实现对两路音频数据流的混音，此为全硬件混音方案，软件没有任何混音工作量，延迟最少，适用于支持多路数字音频接口的声卡终端。

在上述技术方案中，优选地，所述第一应用控制模块202将所述第一音频数据流作为第一声道的音频数据流发送至所述硬件抽象层；所述音频服务控制模块206将所述第二音频数据流作为第二声道的音频数据流发送到所述硬件抽象层；所述声卡控制模块210通过所述声卡对所述第一音频数据流和所述第二音频数据流进行混音处理，并通过单声道输出播放。

在该技术方案中，第一音频数据流和第二音频数据流通过不同的声道被发送到硬件抽象层。比如，左声道发送第一音频数据流，右声道发送第二音频数据流，则硬件抽象层可同时接收两个数据流，声卡接到硬件抽象层发来的两个数据流以后，对两个音频数据流进行混音处理，并通过单声道进行播放，这样也实现了对两个数据流进行混音，并可以实现同时播放的效果。此为全硬件混音方案，软件没有任何混音工作量，适用于任意声卡终端。

在上述技术方案中，优选地，所述声卡控制模块210在所述第一应用工作时，将所述声卡由原有播放模式更改为单声道播放模式，在所述第一应用停止工作时，将所述声卡由所述单声道播放模式恢复为所述原有播放模式。

在该技术方案中，为了能实现对两个来自不同应用的数据流进行混音播放，在第一应用工作时，采用单声道模式进行播放。但是由于单声道音质稍差，所以为了提高音质，在第一应用停止工作时，重新恢复成原有播放模式，例如立体声模式。

在上述技术方案中，优选地，所述第一应用包括VOIP和/或VOLTE应用，所述第二应用包括播放器，所述音频服务用于对音频数据流进行混音和/或重采样处理。

图3示出了根据本发明的实施例的音频处理方法的流程图。

如图3所示，本发明的实施例的音频处理方法，包括：步骤302，将第一应用生成的第一音频数据流发送至硬件抽象层；步骤304，将第二应用生成的第二音频数据流发送至音频服务；步骤306，通过所述音频服务对所述第二音频数据流进行处理后，再发送至所述硬件抽象层；步骤308，在所述硬件抽象层同时接收所述第一音频数据流和处理后的所述第二音频数据流，并发送至声卡；步骤310，通过所述声卡对所述第一音频数据流和所述第二音频数据流进行混音处理并输出播放。

在该技术方案中，第一数据流和第二数据流来源于不同的应用。比如，第一数据流可能来源于VOIP和/或VOLTE应用，第二数据流可能来源于播放器等应用。通过本发明的技术方案，可以在HAL层同时接收第一音频数据流和第二音频数据流，一起发送至声卡以对第一音频数据流和第二音频数据流进行混音处理，并播放出来，并且本方案的混音操作是通过硬件来实现的，从而降低语音延迟。

在上述技术方案中，优选地，所述步骤308包括：将所述第一音频数据流发送至所述声卡的第一数字音频接口，将所述第二音频数据流发送至所述声卡的第二数字音频接口。

在该技术方案中，由于大部分声卡支持多路数字音频接口(如I2S、PCM、SLIMBUS)同时输出，利用这个特性，硬件抽象层可同时接收第一音频数据流和第二音频数据流并发送到两路不同的数字音频接口，而上述声卡可实现两路数字音频接口同时进行播放，从而实现对两路音频数据流的混音，此为全硬件混音方案，软件没有任何混音工作量，延迟最少，适用于支持多路数字音频接口的声卡终端。

在上述技术方案中，优选地，所述步骤302包括：将所述第一音频数据流作为第一声道的音频数据流发送至所述硬件抽象层；所述步骤306包括：将所述第二音频数据流作为第二声道的音频数据流发送到所述硬件抽象层；所述步骤310包括：通过所述声卡对所述第一音频数据流和所述第二音频数据流进行混音处理，并通过单声道输出播放。

在该技术方案中，第一音频数据流和第二音频数据流通过不同的声道被发送到硬件抽象层。比如，左声道发送第一音频数据流，右声道发送第二音频数据流，则硬件抽象层可同时接收两个数据流，声卡接到硬件抽象层发来的两个数据流以后，对两个音频数据流进行混音处理，并通过单声道进行播放，这样也实现了对两个数据流进行混音，并可以实现同时播放的效果。此为全硬件混音方案，软件没有任何混音工作量，适用于任意声卡终端。

在上述技术方案中，优选地，还包括：在所述第一应用工作时，将所述声卡由原有播放模式更改为单声道播放模式，在所述第一应用停止工作时，将所述声卡由所述单声道播放模式恢复为所述原有播放模式。

在该技术方案中，为了能实现对两个来自不同应用的数据流进行混音播放，在第一应用工作时，采用单声道模式进行播放。但是由于单声道音质稍差，所以为了提高音质，在第一应用停止工作时，重新恢复成原有播放模式，例如立体声模式。

在上述技术方案中，优选地，所述第一应用包括VOIP和/或VOLTE应用，所述第二应用包括播放器，所述音频服务用于对音频数据流进行混音和/或重采样处理。

以android平台为例，VOIP/VOLTE通过direct output直接发送至HAL层，普通播放器的音频数据流则经audioflinger混音及重采样后，再发送至HAL层，最终由声卡完成混音处理。需要注意的是，本处虽以android平台为例说明本发明的技术方案，但本领域技术人员应当了解，还存在很多结构类似于android的其他系统平台(例如很多由android衍生而来)，其功能服务类似于android，基于这些平台同样能够实现本申请的技术方案，在此不进行赘述。

下面结合图4和图5，对基于本发明的技术方案的音频处理的方案流程，进行具体说明。

如图4所示，是利用声卡数字音频接口进行硬件混音，其过程如下：VOIP和/或VOLTE应用绕过Audioflinger的重采样和混音操作，将音频数据流直接发送至硬件抽象层。同时播放器将音频数据流发送至音频服务，通过音频服务对音频数据流进行混音和/或重采样处理后，再将其发送至硬件抽象层。由于大部分声卡支持多路数字音频接口(如I2S、PCM、SLIMBUS)同时输出，利用这个特性，硬件抽象层将VOIP和/或VOLTE的音频数据流和播放器发送的音频数据流发送到两路不同的数字音频接口，而两路数字音频接口可以同时进行播放，音频数据流在声卡内数模转换后，直接进行模拟信号混音处理，然后输出到发声设备如喇叭。此为全硬件混音方案，软件没有任何混音工作量，语音通话延迟最少。

如图5所示，是利用左右声道单声道模式进行混音，其过程如下：VOIP和/或VOLTE绕过Audioflinger的重采样和混音操作，将音频数据流直接通过右声道发送至硬件抽象层，同时播放器将音频数据流发送至音频服务，通过音频服务对音频数据流进行混音和/或重采样处理后，再将其通过左声道发送至硬件抽象层，然后把声卡设置成单声道模式，数据写到声卡后，由声卡硬件完成混音，得到单声道数据进行播出。此时因为是单声道播放，音质稍差，为了提高音质，仅在VOIP/VOLTE通话开始时启用单声道播放，VOIP/VOLTE通话结束后恢复立体声。

以上结合附图，详细说明了本发明的技术方案。通过本发明的技术方案，可以实现将来自VOIP和/或VOLTE的音频数据流和来自播放器的音频数据流进行混音并播放，同时混音采用硬件方式实现，降低语音延迟。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种终端，其特征在于，包括：

第一应用控制模块，将第一应用生成的第一音频数据流发送至硬件抽象层；

第二应用控制模块，将第二应用生成的第二音频数据流发送至音频服务；

音频服务控制模块，通过所述音频服务对所述第二音频数据流进行处理后，再发送至所述硬件抽象层；

硬件抽象层控制模块，在所述硬件抽象层同时接收所述第一音频数据流和处理后的所述第二音频数据流，并发送至声卡；

声卡控制模块，通过所述声卡对所述第一音频数据流和所述第二音频数据流进行混音处理并输出播放；

其中，所述第一应用控制模块将所述第一音频数据流作为第一声道的音频数据流发送至所述硬件抽象层；

所述音频服务控制模块将所述第二音频数据流作为第二声道的音频数据流发送到所述硬件抽象层；

所述声卡控制模块通过所述声卡对所述第一音频数据流和所述第二音频数据流进行混音处理，并通过单声道输出播放。

2.根据权利要求1所述的终端，其特征在于，所述硬件抽象层控制模块将所述第一音频数据流发送至所述声卡的第一数字音频接口，将所述第二音频数据流发送至所述声卡的第二数字音频接口。

3.根据权利要求1所述的终端，其特征在于，所述声卡控制模块在所述第一应用工作时，将所述声卡由原有播放模式更改为单声道播放模式，在所述第一应用停止工作时，将所述声卡由所述单声道播放模式恢复为所述原有播放模式。

4.根据权利要求1至3中任一项所述的终端，其特征在于，所述第一应用包括VOIP和/或VOLTE应用，所述第二应用包括播放器，所述音频服务用于对音频数据流进行混音和/或重采样处理。

5.一种音频处理方法，其特征在于，包括：

步骤402，将第一应用生成的第一音频数据流发送至硬件抽象层；

步骤404，将第二应用生成的第二音频数据流发送至音频服务；

步骤406，通过所述音频服务对所述第二音频数据流进行处理后，再发送至所述硬件抽象层；

步骤408，在所述硬件抽象层同时接收所述第一音频数据流和处理后的所述第二音频数据流，并发送至声卡；

步骤410，通过所述声卡对所述第一音频数据流和所述第二音频数据流进行混音处理并输出播放；

其中，所述步骤402包括：

将所述第一音频数据流作为第一声道的音频数据流发送至所述硬件抽象层；

所述步骤406包括：将所述第二音频数据流作为第二声道的音频数据流发送到所述硬件抽象层；

所述步骤410包括：通过所述声卡对所述第一音频数据流和所述第二音频数据流进行混音处理，并通过单声道输出播放。

6.根据权利要求5所述的音频处理方法，其特征在于，所述步骤408包括：

将所述第一音频数据流发送至所述声卡的第一数字音频接口，将所述第二音频数据流发送至所述声卡的第二数字音频接口。

7.根据权利要求5所述的音频处理方法，其特征在于，还包括：

在所述第一应用工作时，将所述声卡由原有播放模式更改为单声道播放模式，在所述第一应用停止工作时，将所述声卡由所述单声道播放模式恢复为所述原有播放模式。

8.根据权利要求5至7中任一项所述的音频处理方法，其特征在于，所述第一应用包括VOIP和/或VOLTE应用，所述第二应用包括播放器，所述音频服务用于对音频数据流进行混音和/或重采样处理。