CN105869648A

CN105869648A - 混音方法及装置

Info

Publication number: CN105869648A
Application number: CN201610340458.0A
Authority: CN
Inventors: 李文海; 李良; 仲兆峰; 郭伟文; 李基源; 黄丹燕
Original assignee: Guangzhou Ropente Technology Development Co Ltd
Current assignee: Guangzhou Ropente Technology Development Co Ltd
Priority date: 2016-05-19
Filing date: 2016-05-19
Publication date: 2016-08-17
Anticipated expiration: 2036-05-19
Also published as: CN105869648B

Abstract

本发明实施例公开了一种混音方法及装置。所述方法包括：对各路被混音频的采样率进行统一；为各路被混音频分配对应的加权系数；根据分配的加权系数对所述被混音频加权求和，以生成混音音频。本发明实施例提供的混音方法及装置降低了混音过程的计算量。

Description

混音方法及装置

技术领域

本发明实施例涉及计算机数据处理技术领域，尤其涉及一种混音方法及装置。

背景技术

在视频会议或其它需要多路音频同时播放的场合，往往需要进行多路实时混音，目前较流行的混音算法有线性叠加、自适应加权、强对齐权重、弱对齐权重法等，在混音路数在到一定数目时存在混音后各路音量同时降低、溢出、爆音等缺点，除线性叠加法计算比较简单外，其它算法往往计算量较大。

发明内容

针对上述技术问题，本发明实施例提供了一种混音方法及装置，以降低混音过程的计算量。

一方面，本发明实施例提供了一种混音方法，所述方法包括：

对各路被混音频的采样率进行统一；

为各路被混音频分配对应的加权系数；

根据分配的加权系数对所述被混音频加权求和，以生成混音音频。

另一方面，本发明实施例还提供了一种混音装置，所述装置包括：

采样率调整模块，用于对各路被混音频的采样率进行统一；

加权系数分配模块，用于为各路被混音频分配对应的加权系数；

求和模块，用于根据分配的加权系数对所述被混音频加权求和，以生成混音音频。

本发明实施例提供的混音方法和装置，通过对各路被混音频的采样率的统一，为各路被混音频分配对应的加权系数，以及根据分配的加权系数对所述被混音频加权求和，已生成混音音频，降低了混音过程的计算量。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明第一实施例提供的混音方法的流程图；

图2是本发明第二实施例提供的混音方法的流程图；

图3是本发明第三实施例提供的混音方法的流程图；

图4是本发明第四实施例提供的混音方法中特殊系数调整操作的流程图；

图5是本发明第五实施例提供的混音方法的流程示意图；

图6是本发明第六实施例提供的混音装置的结构图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

第一实施例

本实施例提供了混音方法的一种技术方案。所述混音方法由混音方法装置执行，所述混音装置集成在进行混音处理的计算装置当中。

参见图1，所述混音方法包括：

S11，对各路被混音频的采样率进行统一。

在获取到需要被混音各路的被混音频之后，首先需要对各路被混音频进行解码，得到各路被混音频的脉冲编码调制(Pulse code modulation,PCM)数据。

在一些情况下，各路被混音频之间的采样率可能并不相同。此时，需要对各路被混音频的采样率进行统一。示例性的，以各路被混音频的采样率中采样率的取值最低的一路被混音频的采样率，作为实际的采样率，对其他各路被混音频进行降采样。

另外，示例性的，也可以以各路被混音频中采样率取值最高的一路被混音频的采样率，作为实际的采样率，对其他各路被混音频进行增采样，以实现对各路被混音频的采样率的统一。

S12，为各路被混音频分配对应的加权系数。

为了以最小的计算量完成对各路被混音频的混音，需要对各路被混音频分配其对应的加权系数。也即，在真正的混音操作开始之前，需要对各路混音音频的加权系数进行初始化。

例如，对各路被混音频中第一路被混音频分配加权系数A₁，对第二路被混音频分配加权系数A₂，以此类推。

分配的加权系数决定了其对应的被混音频在最终的混音音频中所占的比重。例如，对一路被混音频所分配的加权系数比其他各路被混音频所分配的加权系数都大，这就意味着在最终的混音音频中，该路被混音频数据所占据的比重将大于其他各路被混音频。

分配加权系数时，可以为不同的被混音频均分配相同的加权系数。也就是说，假设共有N路被混音频，为每一路被混音频均分配取值是1/N的加权系数。

另外，也可以在分配加权系数时，为不同的被混音频分配不同的加权系数。最为极端的情况是，在分配加权系数时，将各路被混音频中的一路的加权系数的取值设定为1，而将其他各路被混音频的加权系数均设定为0。

无论是以何种方式进行加权系数的取值分配，均需要保证分配后的各个加权系数之和为1。这样，才能够保证最终生成的混音音频中，不会出现溢出、爆音等问题。

S13，根据分配的加权系数对所述被混音频加权求和，以生成混音音频。

对各路被混音频的加权求和依据如下公式进行：

S_{i} = Σ_{j = 1}^{N} P_{j i} \cdot A_{j}

在上面的公式中，S_i是第i时刻的混音音频，P_ji是在第i时刻的第j路被混音频，A_j是分配给第j路被混音频的加权系数。

或者，以矩阵相乘的形式，上面的公式可以写成：

S＝P×A

其中，S是不同时刻的混音音频数据组成的向量。P是不同时刻各路被混音频数据组成的矩阵，并且，矩阵P中同一行的数据表示同一时刻被混音频数据，同一列的数据表示各路被混音频中一路被混音频的数据。A表示分配给各路被混音频的加权系数组成的加权系数向量。

本实施例通过对各路被混音频的采样率的统一，为各路被混音频分配对应的加权系数，以及根据分配的加权系数对所述被混音频加权求和，以生成混音音频，降低了混音过程的计算量。

第二实施例

本实施例以本发明上述实施例为基础，进一步的提供了混音方法的一种技术方案。在该技术方案中，所述混音方法还包括：对已分配的对应于各路被混音频的加权系数进行调整。

参见图2，所述混音方法包括：

S21，对各路被混音频的采样率进行统一。

S22，为各路被混音频分配对应的加权系数。

S23，根据分配的加权系数对所述被混音频加权求和，以生成混音音频。

S24，对已分配的对应于各路被混音频的加权系数进行调整。

在进行加权系数的调整时，需要注意的是，无论是选择将各路被混音频中的一部分被混音频的加权系数调高，还是选择将各路被混音频中一部分被混音频的加权系数调低，均需要保证调整后各路被混音频的加权系数之和仍然是1。

举例来说，假设在加权系数调整中，第j路被混音频的加权系数被调整了ΔA_j，则其他各路被混音频的调整量之和应该是-ΔA_j。因此，其他各路被混音频中的每一路对应的加权系数调整量应该是：

{ΔA}_{i} = - {ΔA}_{j} \cdot \frac{A_{i}}{1 - A_{j}}

A_{j new}＝A_j+ΔA_j

A_{i new}＝A_i+ΔA_i

其中，A_i是第i路被混音频被调整之前的加权系数，ΔA_i是第i路被混音频的加权系数的调整量，ΔA_j是第j路被混音频的加权系数的调整量。上式中，i≠j，且A_j≠1。A_{j new}是第j路被混音频被调整之后的加权系数，A_{i new}是第i路被混音频被调整之后的加权系数。

假设在加权系数调整中，第j路被混音频的加权系数被调整了ΔA_j，同时第k路被混音频的加权系数被调整了ΔA_k。此时，其他各路被混音频中每一路对应的加权系数调整量应该是：

{ΔA}_{i} = - ({ΔA}_{j} + {ΔA}_{k}) \cdot \frac{A_{i}}{1 - A_{j} - A_{k}}

A_{j new}＝A_j+ΔA_j

A_{k new}＝A_k+ΔA_k

A_{i new}＝A_i+ΔA_i

上式中，A_i是第i路被混音频被调整之前的加权系数，A_j是第j路被混音频被调整之前的加权系数，A_k是第k路被混音频被调整之前的加权系数，ΔA_i是第i路被混音频的加权系数的调整量，ΔA_j是第j路被混音频的加权系数的调整量，ΔA_k是第k路被混音频的加权系数的调整量。上式中，i≠j≠k，且A_j≠1，A_k≠1,A_j+A_k≠1。A_{j new}是第j路被混音频被调整之后的加权系数，A_{k new}是第k路被混音频调整之后的加权系数，A_{i new}是第i路被混音频调整之后的加权系数。

本实施例通过在生成混音音频之后，对已分配的对应于各路被混音频的加权系数进行调整，实现了对不同被混音频的加权系数的调整。

第三实施例

本实施例以本发明上述实施例为基础，进一步的提供了混音方法的一种技术方案。在该技术方案中，所述混音方法还包括：根据对选定的被混音频的静音检测，调整各路被混音频的加权系数。

参见图3，所述混音方法包括：

S31，对各路被混音频的采样率进行统一。

S32，为各路被混音频分配对应的加权系数。

S33，根据分配的加权系数对所述被混音频加权求和，以生成混音音频。

S34，根据对选定的被混音频的静音检测，调整各路被混音频的加权系数。

本实施例提供的加权系数调整操作又被称为VIP加权系数调整。具体的，在所述VIP加权系数调整中，依据对选定的被混音频的静音检测，调整各路被混音频的加权系数。

更为具体的，为了防止被混音频中短时的静音情况对静音检测结果的影响，造成对静音的误判，需要检测被混音频中静音时长超出预设的静音检测时长，才能判定当前为被混音频的静音状态，进而执行对被混音频的加权系数的调整。

本实施例通过在生成混音音频之后，根据对选定的被混音频的静音检测，调整各路被混音频的加权系数，实现了依据对被混音频的静音检测结果对加权系数的调整。

第四实施例

本实施例以本发明上述实施例为基础，进一步的提供了所述混音方法中特殊系数调整的一种技术方案。在该技术方案中，根据对选定的被混音频的静音检测，调整各路被混音频的加权系数包括：通过对选定的被混音频的静音检测，确定所述选定的被混音频为非静音状态时，调整各路被混音频的加权系数为预置的特殊加权系数；通过对选定的被混音频的静音检测，确定所述选定的被混音频为静音状态时，调整各路被混音频的加权系数为原始的加权系数。

参见图4，根据对选定的被混音频的静音检测，调整各路被混音频的加权系数包括：

S41，通过对选定的被混音频的静音检测，确定所述选定的被混音频为非静音状态时，调整各路被混音频的加权系数为预置的特殊加权系数。

在上述的VIP加权系数调整中，预置了对被混音频的特殊加权系数。所述特殊加权系数采用一定的系数设置，使得最终的混音音频能够体现出特定的音效。例如，通过对所述特殊加权系数的设置，可以有意突出被混音频中的某一路或者某几路被混音频，而将其他被混音频的音效进行弱化。

如果在所有被混音频中，被选定的被混音频在一段时间内连续的被认定为非静音状态，则可以对各路被混音频应用预置的所述特殊加权系数。也即，对所述被混音频应用预设的特殊加权系数进行混音。

S42，通过对选定的被混音频的静音检测，确定所述选定的被混音频为静音状态时，调整各路被混音频的加权系数为原始的加权系数。

如果在所有的被混音频中，被选定的被混音频在一段时间内连续的被认定为处于静音状态，则可以对各路被混音频应用原始的加权系数。也即，不再根据预置的特殊加权系数进行混音运算。

本实施例通过对选定的被混音频的静音检测，确定所述选定的被混音频为非静音状态时，调整各路被混音频的加权系数为预置的特殊加权系数，以及通过对选定的被混音频的静音检测，确定所述选定的被混音频为静音状态时，调整各路被混音频的加权系数为原始的加权系数，实现了依据对被混音频的静音检测结果对加权系数的调整。

第五实施例

本实施例提供了混音方法的另一种技术方案。在该技术方案中，所述混音方法包括：对原始音频进行解码，生成被混音频的PCM数据；对各路被混音频的PCM数据分配加权系数；以外部调整或者VIP调整的方式对所述加权系数进行调整；根据调整后的加权系数，对所述被混音频的PCM数据进行加权求和，以生成混音音频的PCM数据；对所述混音音频的PCM数据进行编码，以生成所述混音音频；输出所述混音音频。

参见图5，所述混音方法包括：

S51，对原始音频进行解码，生成被混音频的PCM数据。

S52，对各路被混音频的PCM数据分配加权系数。

S53，以外部调整或者VIP调整的方式对所述加权系数进行调整。

其中，所述外部调整方式就是本发明第二实施例提供的加权系数调整方式，而VIP调整就是本发明第四实施例提供的加权系数调整方式。

S54，根据调整后的加权系数，对所述被混音频的PCM数据进行加权求和，以生成混音音频的PCM数据。

S55，对所述混音音频的PCM数据进行编码，以生成所述混音音频。

S56，输出所述混音音频。

本实施例通过对原始音频进行解码，生成被混音频的PCM数据，对各路被混音频的PCM数据分配加权系数，以外部调整或者VIP调整的方式对所述加权系数进行调整，根据调整后的加权系数，对所述被混音频的PCM数据进行加权求和，以生成混音音频的PCM数据，对所述混音音频的PCM数据进行编码，以生成所述混音音频，以及输出所述混音音频，完成了从原始音频解码至混音音频输出的混音全过程。

第六实施例

本实施例提供了混音装置的一种技术方案。参见图6，在该技术方案中，所述混音装置包括：采样率调整模块61、加权系数分配模块62及求和模块63。

所述采样率调整模块61用于对各路被混音频的采样率进行统一。

所述加权系数分配模块62用于为各路被混音频分配对应的加权系数。

所述求和模块63用于根据分配的加权系数对所述被混音频加权求和，以生成混音音频。

特别的，根据如下公式对所述被混音频进行加权求和：

S_{i} = Σ_{j = 1}^{N} P_{j i} \cdot A_{j}

其中，S_i是第i时刻的混音音频，P_ji是在第i时刻的第j路被混音频，A_j是分配给第j路被混音频的加权系数。

特别的，所述混音装置还包括：系数调整模块64。

所述系数调整模块64用于对已分配的对应于各路被混音频的加权系数进行调整。

特别的，所述混音装置还包括：特殊系数调整模块65。

所述特殊系数调整模块65用于根据对选定的被混音频的静音检测，调整各路被混音频的加权系数。

特别的，所述特殊系数调整模块65包括：特殊系数设定子模块及普通系数设定子模块。

所述特殊系数设定子模块用于通过对选定的被混音频的静音检测，确定所述选定的被混音频为非静音状态时，调整各路被混音频的加权系数为预置的特殊加权系数。

所述普通系数设定子模块用于通过对选定的被混音频的静音检测，确定所述选定的被混音频为静音状态时，调整各路被混音频的加权系数为原始的加权系数。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种混音方法，其特征在于，包括：

对各路被混音频的采样率进行统一；

为各路被混音频分配对应的加权系数；

2.根据权利要求1所述的方法，其特征在于，根据如下公式对所述被混音频进行加权求和：

S_{i} = Σ_{j = 1}^{N} P_{j i} \cdot A_{j}

3.根据权利要求1或2所述的方法，其特征在于，还包括：

对已分配的对应于各路被混音频的加权系数进行调整。

4.根据权利要求1或2所述的方法，其特征在于，还包括：

根据对选定的被混音频的静音检测，调整各路被混音频的加权系数。

5.根据权利要求4所述的方法，其特征在于，根据对选定的被混音频的静音检测，调整各路被混音频的加权系数包括：

通过对选定的被混音频的静音检测，确定所述选定的被混音频为非静音状态时，调整各路被混音频的加权系数为预置的特殊加权系数；

通过对选定的被混音频的静音检测，确定所述选定的被混音频为静音状态时，调整各路被混音频的加权系数为原始的加权系数。

6.一种混音装置，其特征在于，包括：

采样率调整模块，用于对各路被混音频的采样率进行统一；

7.根据权利要求6所述的装置，其特征在于，根据如下公式对所述被混音频进行加权求和：

S_{i} = Σ_{j = 1}^{N} P_{j i} \cdot A_{j}

8.根据权利要求6或7所述的装置，其特征在于，还包括：

系数调整模块，用于对已分配的对应于各路被混音频的加权系数进行调整。

9.根据权利要求6或7所述的装置，其特征在于，还包括：

特殊系数调整模块，用于根据对选定的被混音频的静音检测，调整各路被混音频的加权系数。

10.根据权利要求9所述的装置，其特征在于，所述特殊系数调整模块包括：

特殊系数设定子模块，用于通过对选定的被混音频的静音检测，确定所述选定的被混音频为非静音状态时，调整各路被混音频的加权系数为预置的特殊加权系数；

普通系数设定子模块，用于通过对选定的被混音频的静音检测，确定所述选定的被混音频为静音状态时，调整各路被混音频的加权系数为原始的加权系数。