CN103021419A

CN103021419A - 一种混合音频的处理方法及装置

Info

Publication number: CN103021419A
Application number: CN2012105755367A
Authority: CN
Inventors: 高陆军; 樊国栋
Original assignee: Datang Mobile Communications Equipment Co Ltd
Current assignee: Datang Mobile Communications Equipment Co Ltd
Priority date: 2012-12-26
Filing date: 2012-12-26
Publication date: 2013-04-03

Abstract

本发明实施例提供了一种混合音频的处理方法及装置，用以对混合音频的溢出进行处理，提升混合音频的质量。该方法包括：对于当前接收的混合音频样本，根据当前的混合音频样本和根据上一混合音频样本确定的衰减因子，确定当前的混合音频样本的第一输出值；当确定所述第一输出值不在预设的范围内时，根据预设的数值集合与所述第一输出值重新确定衰减因子，并根据所述第一输出值和重新确定的衰减因子重新确定当前的混合音频样本的第二输出值。

Description

一种混合音频的处理方法及装置

技术领域

本发明涉及音频处理领域，尤其涉及一种混合音频的处理方法及装置。

背景技术

声音是由于物体振动对周围的空气产生压力而传播的一种压力波，转换成电信号后，再经过抽样、量化，仍然是一种连续平滑的波形信号。音调、响度和音色是声音的三个主要特征，量化后的语音信号的频率与声音的频率对应，振幅与声音的音量对应。在自然界中，人耳听见的语音则是来自四面八方声音的叠加，量化的语音信号的叠加等价于空气中声波的叠加。所以当各信号的抽样率一致时，混合音频可以实现为将各信号的采样数据线性叠加。

对于会议系统来说，由于网络带宽的限制和网络环境的多变性，人们采用降低编码比特率和改善网络条件等办法获取高质量的语音和视频。同时人们希望会议系统能够模拟真实的会议环境，在有多人同时说话时，终端能同时听到每个人说话的声音，这就需要增加混音功能。将来自与会者的语音数据在时域混合成一个音频流，这样在播放时就达到模拟真实会议场景的目的。语音信号的抽样及量化都在声卡芯片上进行，常用的声卡为16位，量化精度多为16bit。在众多操作系统中，声卡缓冲区的数据类型通常为signed short，其值范围在-32768~32767。多路混音后，幅值有可能超出声卡可接受的范围（在-32768~32767范围之外），从而造成声音的失真，由此产生混音溢出问题。目前对混音后采样值溢出的处理方法较多，但基本思想基本上都是先对语音信号的振幅做一定的平滑处理，即可以在不破坏（或基本不破坏）语音信号原有频率的基础上避免溢出。现有技术中对混音信号的处理方案主要有如下几种：

一、直接箝位法；

这种方法的思想是指定声音幅值的最大和最小临界值，这个由量化精度及其取值范围确定。当混合后语音样本值超出缓冲区数据类型范围时，溢出的样本值用最大或最小临界值代替，不产生溢出的混音样本结果保持不变，见下式描述。可以看出，用临界值代替线性叠加值，会造成语音波形的人为削峰，在破坏语音信号特性的同时会促使噪音的产生。

二、归一化定标法；

归一化定标算法的主要思想是使用一个衰减因子对音频数据进行衰减。衰减因子会随着混音后的样本值的变化而变化。当产生溢出时，衰减因子比较小，以保证溢出的样本值经过衰减处理后在临界值范围内。没有溢出时，衰减因子会慢慢增加，以保持数据的平滑变化。该算法在对混音数据溢出处理时，仍然采用的是直接箝位法。若混音过程中，溢出比较频繁，就会影响混音的质量。另一方面，该算法中每一次衰减因子的更新，都要进行一次浮点数除法操作。

由此可见，现有技术中对混音的溢出处理不合理，会导致较差的混音质量。

发明内容

本发明实施例提供了一种混合音频的处理方法及装置，用以对混合音频的溢出进行处理，提升混合音频的质量。

本发明实施例提供的一种混合音频的处理方法包括：

对于当前接收的混合音频样本，根据当前的混合音频样本和根据上一混合音频样本确定的衰减因子，确定当前的混合音频样本的第一输出值；

当确定所述第一输出值不在预设的范围内时，根据预设的数值集合与所述第一输出值重新确定衰减因子，并根据所述第一输出值和重新确定的衰减因子重新确定当前的混合音频样本的第二输出值。

本发明实施例提供的一种多路音频的混合处理装置包括：

第一输出单元，用于对于当前接收的混合音频样本，根据当前的混合音频样本和根据上一混合音频样本确定的衰减因子，确定当前的混合音频样本的第一输出值；

第二输出单元，用于当确定所述第一输出值不在预设的范围内时，根据预设的数值集合与所述第一输出值重新确定衰减因子，并根据所述第一输出值和重新确定的衰减因子重新确定当前的混合音频样本的第二输出值。

通过以上技术方案可知，本发明中对于当前接收的混合音频样本，根据当前的混合音频样本和根据上一混合音频样本确定的衰减因子，确定当前的混合音频样本的第一输出值；当确定所述第一输出值不在预设的范围内时，根据预设的数值集合与所述第一输出值重新确定衰减因子，并根据所述第一输出值和重新确定的衰减因子重新确定当前的混合音频样本的第二输出值。通过可变的衰减因子使得混合音频不会产生溢出的同时尽量保持较小的失真度；其中，当确定的第一输出值溢出时，并未采用现有的箝位方法，而是重新确定衰减因子，以及重新确定混合音频样本的输出值；保持了混音波形的平滑，提升了混音的质量。

附图说明

图1为本发明实施例提供的一种混合音频的处理方法的流程示意图；

图2为本发明具体实施例提供的一种混合音频的处理方法的流程示意图；

图3为本发明实施例提供的一种混合音频的处理装置的结构示意图；

图4为本发明实施例提供的一种混合音频的处理装置的另一结构示意图。

具体实施方式

参见图1，本发明实施例提供的一种混合音频的处理方法包括：

S101、对于当前接收的混合音频样本，根据当前的混合音频样本和根据上一混合音频样本确定的衰减因子，确定当前的混合音频样本的第一输出值；

S102、当确定所述第一输出值不在预设的范围内时，根据预设的数值集合与所述第一输出值重新确定衰减因子，并根据所述第一输出值和重新确定的衰减因子重新确定当前的混合音频样本的第二输出值。

较佳的，衰减因子的初始值为1；即对第一个混合音频样本进行处理时，衰减因子为1。

较佳的，所述预设的数值集合中的各数值不大于1；S102中，所述根据预设的数值集合与所述第一输出值重新确定衰减因子，具体为：将预设的数值集合中与所述第一输出值的乘积在所述预设的范围内的最大值对应的数值，确定为衰减因子。

较佳的，所述预设的数值集合，为{i/n}，i为整数，0<i<n，n是根据将所述混合音频存储为数字信号时所采用的比特位数确定的。

较佳的，S102重新确定当前的混合音频样本的第二输出值之后，该方法还包括：判断衰减因子是否小于预设的门限值，如果是，将衰减因子f增加一个变化步长；否则，将衰减因子确定为1；其中，一个变化步长为（1-f）/n，n是根据将所述混合音频存储为数字信号时所采用的比特位数确定的。当衰减因子非常接近于1时，将衰减因子重新置为1，以减少浮点数除法操作，提高运算效率。

较佳的，该方法还包括：当确定所述第一输出值在预设的范围内时，判断衰减因子是否小于预设的门限值，如果是，将衰减因子f增加一个变化步长；否则，将衰减因子确定为1；其中，一个变化步长为（1-f）/n，n是根据将所述混合音频存储为数字信号时所采用的比特位数确定的。

较佳的，所述预设的范围，是根据将所述混合音频存储为数字信号时所采用的比特位数确定的。

下面是本发明的具体实施例：

假设共有M个输入音频流，每个音频流有N个样本，mixing[i]为将音频流混合后当前帧的第i个样本的线性叠加值，output[i]为当前混音帧的第i个样本的输出，input[i,j]为当前帧的第j个音频流的第i个样本的输入(其中0≤j≤M-1,0≤i≤N），则线性叠加式如下：

output [i] = Σ_{j = 0}^{M - 1} input [i, j]

公式(1)

按照公式（1），每个语音流以帧为单位将对应的样本值线性叠加，就得到混合的样本值。考虑到语音的短时平稳性，一般取帧长为10~30ms。如果取帧长为20ms，采样率为8kHZ，则每帧就有160个样本。现在绝大部分语音的量化精度为16bit，即C语言中的short类型，取值范围为-32768~32767之间，多个语音流按上式（1）直接线性叠加，结果就可能会溢出，造成声音的失真及产生大量噪声。

如图2所示，多个输入音频流的混合处理方法包括如下步骤：

S201、衰减因子f初始化为1；

S202、接收当前需要处理的混音样本mixing[i];

S203、对当前混音样本进行处理：output[i]＝mixing[i]×f；f是上一次混音样本处理后得到的f，如果是处理第一个混音样本，f采用初始化值1；

S204、判断是否output[i]＞MAX,如果是，转S205；否则，转S207；

其中，MAX为正的最大值32767；MIN为负的最小值-32768；

S205、求得最大的f′，使得output[i]×f′＜MAX；

其中，f′为新的衰减因子；f′取值通过如下方法获得：声卡采用16位采样，那么f′的取值范围为(i)/16(i＝1,...,15)，这里output[i]＝output[i]×f′，相比于现有技术中output[i]＝MAX，对混音质量的影响更小；

S206、f＝f′，output[i]＝output[i]×f′；转S210;

S207、判断是否output[i]＜MIN，如果是，转S208；否则，转S210；

S208、求得最大的f′，使得output[i]×f′＞MIN；

S209、f＝f′，output[i]＝output[i]×f′;

S210、对衰减因子f进行调整：如果1-f＞10^-6，则f＝f+STEPSIZE；否则f＝1；

其中，STEPSIZE为f变化的步长，这里取为(1-f)/16；

S211、i++，返回S202，确定下一个混音样本的输出。

参见图3，本发明实施例提供的一种混合音频的处理装置包括：

第一输出单元31，用于对于当前接收的混合音频样本，根据当前的混合音频样本和根据上一混合音频样本确定的衰减因子，确定当前的混合音频样本的第一输出值；

第二输出单元32，用于当确定所述第一输出值不在预设的范围内时，根据预设的数值集合与所述第一输出值重新确定衰减因子，并根据所述第一输出值和重新确定的衰减因子重新确定当前的混合音频样本的第二输出值。

较佳的，所述预设的数值集合中的各数值不大于1；所述第二输出单元32根据预设的数值集合与所述第一输出值重新确定衰减因子，具体用于：将预设的数值集合中与所述第一输出值的乘积在所述预设的范围内的最大值对应的数值，确定为衰减因子。

参见图4，较佳的，该装置还包括：衰减因子调整单元33，用于在重新确定当前的混合音频样本的第二输出值之后，判断衰减因子是否小于预设的门限值，如果是，将衰减因子f增加一个变化步长；否则，将衰减因子确定为1；其中，一个变化步长为（1-f）/n，n是根据将所述混合音频存储为数字信号时所采用的比特位数确定的。

较佳的，所述衰减因子调整单元还用于当确定所述第一输出值在预设的范围内时，判断衰减因子是否小于预设的门限值，如果是，将衰减因子f增加一个变化步长；否则，将衰减因子确定为1；其中，一个变化步长为（1-f）/n，n是根据将所述混合音频存储为数字信号时所采用的比特位数确定的。

较佳的，衰减因子的初始值为1。

综上所述，本发明实施例提供了一种混合音频的处理方法及装置，用以对混合音频的溢出进行处理，提升混合音频的质量。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种混合音频的处理方法，其特征在于，该方法包括：

2.权利要求1所述的方法，其特征在于，所述预设的数值集合中的各数值不大于1；所述根据预设的数值集合与所述第一输出值重新确定衰减因子，具体为：

将预设的数值集合中与所述第一输出值的乘积在所述预设的范围内的最大值对应的数值，确定为衰减因子。

3.如权利要求2所述的方法，其特征在于，所述预设的数值集合，为{i/n}，i为整数，0<i<n，n是根据将所述混合音频存储为数字信号时所采用的比特位数确定的。

4.如权利要求1所述的方法，其特征在于，所述重新确定当前的混合音频样本的第二输出值之后，该方法还包括：

判断衰减因子是否小于预设的门限值，如果是，将衰减因子f增加一个变化步长；否则，将衰减因子确定为1；

其中，一个变化步长为（1-f）/n，n是根据将所述混合音频存储为数字信号时所采用的比特位数确定的。

5.如权利要求1所述的方法，其特征在于，该方法还包括：

当确定所述第一输出值在预设的范围内时，判断衰减因子是否小于预设的门限值，如果是，将衰减因子f增加一个变化步长；否则，将衰减因子确定为1；

6.权利要求1所述的方法，其特征在于，所述预设的范围，是根据将所述混合音频存储为数字信号时所采用的比特位数确定的。

7.权利要求1所述的方法，其特征在于，衰减因子的初始值为1。

8.一种混合音频的处理装置，其特征在于，该装置包括：

9.如权利要求8所述的装置，其特征在于，所述预设的数值集合中的各数值不大于1；所述第二输出单元根据预设的数值集合与所述第一输出值重新确定衰减因子，具体用于：

10.如权利要求9所述的装置，其特征在于，所述预设的数值集合，为{i/n}，i为整数，0<i<n，n是根据将所述混合音频存储为数字信号时所采用的比特位数确定的。

11.如权利要求8所述装置，其特征在于，该装置还包括：

衰减因子调整单元，用于在重新确定当前的混合音频样本的第二输出值之后，判断衰减因子是否小于预设的门限值，如果是，将衰减因子f增加一个变化步长；否则，将衰减因子确定为1；

12.如权利要求8所述的装置，其特征在于，所述衰减因子调整单元还用于当确定所述第一输出值在预设的范围内时，判断衰减因子是否小于预设的门限值，如果是，将衰减因子f增加一个变化步长；否则，将衰减因子确定为1；

13.如权利要求8所述的装置，其特征在于，所述预设的范围，是根据将所述混合音频存储为数字信号时所采用的比特位数确定的。

14.如权利要求8所述的装置，其特征在于，衰减因子的初始值为1。