CN108200003A - 一种音频数据的混合处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种音频数据的混合处理方法及装置，所述方法包括：根据预设采样频率分别对源音频数据和目标音频数据进行数据采样；将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加，得到该采样时刻的混合音频数据值；将所述目标音频数据中该采样时刻对应的采样值更新为所述混合音频数据值。本发明实施例提出的音频数据的混合处理方法及装置，能够简单有效地实现音频数据的混合。

Description

一种音频数据的混合处理方法及装置

技术领域

本发明涉及音频数据处理技术领域，尤其涉及一种音频数据的混合处理方法及装置。

背景技术

在开发与音频相关的应用程序，如直播、视频聊天等软件时，需要使用到音频流混合技术，例如直播中需要把桌面背景音乐和麦克风音频数据进行混合，这样就把两个或者更多的音频数据混合成一个音频流数据。最后将混合的数据发送到服务器，服务器进行分发来达到实时通讯目的。

现有技术中，常用的实现音频数据的混合的方法有线性叠加后求平均法、归一化混音(自适应加权混音算法)法等，但是这些方法的实现过程均比较复杂。因此，如何提供一种能够简单有效地实现音频数据的混合的方法具有重要意义。

发明内容

鉴于上述问题，本发明提出了一种音频数据的混合处理方法及装置，能够简单有效地实现音频数据的混合。

本发明的一个方面，提供了一种音频数据的混合处理方法，所述方法包括:

根据预设采样频率分别对源音频数据和目标音频数据进行数据采样；

将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加，得到该采样时刻的混合音频数据值；

将所述目标音频数据中该采样时刻对应的采样值更新为所述混合音频数据值。

可选地，所述根据预设采样频率分别对源音频数据和目标音频数据进行采样，包括：

对所述源音频数据的左声道和右声道进行数据采样，并将左声道和右声道的采样值进行间隔存储；以及

对所述目标音频数据的左声道和右声道进行数据采样，并将左声道和右声道的采样值进行间隔存储。

可选地，在所述将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加之前，所述方法还包括：

检测当前音频数据混合模式是否为单声道模式；

若当前音频数据混合模式为单声道模式，则将同一采样时刻对应的源音频数据的左声道和右声道的采样值进行均值计算，得到采样均值，并将所述源音频数据中该采样时刻对应的左声道和右声道的采样值分别更新为所述采样均值，否则，直接执行将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加的步骤。

可选地，所述根据预设采样频率分别对源音频数据和目标音频数据进行数据采样，包括：

将所述源音频数据和目标音频数据从时域信号转换到频域信号；

根据预设采样频率分别对源音频数据和目标音频数据的频域信号进行数据采样。

可选地，所述将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加之后，所述方法还包括：

判定叠加后的数据是否大于第一预设阈值，若叠加后的数据大于所述第一预设阈值，则将所述第一预设阈值作为该采样时刻的混合音频数据值；

若叠加后的数据小于所述第一预设阈值，则判定叠加后的数据是否小于第二预设阈值，若叠加后的数据小于所述第二预设阈值，则将所述第二预设阈值作为该采样时刻的混合音频数据值，所述第二预设阈值小于所述第一预设阈值。

本发明的又一个方面，提供了一种音频数据的混合处理装置，所述装置包括:

采样模块，用于根据预设采样频率分别对源音频数据和目标音频数据进行数据采样；

混合模块，用于将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加，得到该采样时刻的混合音频数据值；

更新模块，用于将所述目标音频数据中该采样时刻对应的采样值更新为所述混合音频数据值。

可选地，所述采样模块，具体用于对所述源音频数据的左声道和右声道进行数据采样，并将左声道和右声道的采样值进行间隔存储；以及对所述目标音频数据的左声道和右声道进行数据采样，并将左声道和右声道的采样值进行间隔存储。

可选地，所述装置还包括：

检测模块，用于在所述将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加之前，检测当前音频数据混合模式是否为单声道模式；

所述混合模块，还用于当所述检测模块检测出当前音频数据混合模式为单声道模式时，将同一采样时刻对应的源音频数据的左声道和右声道的采样值进行均值计算，得到采样均值，并将所述源音频数据中该采样时刻对应的左声道和右声道的采样值分别更新为所述采样均值；否则，直接执行将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加的操作。

可选地，所述采样模块，包括：

信号转换单元，用于将所述源音频数据和目标音频数据从时域信号转换到频域信号；

数据采样单元，用于根据预设采样频率分别对源音频数据和目标音频数据的频域信号进行数据采样。

可选地，所述装置还包括：

判断模块，用于在所述将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加之后，判定叠加后的数据是否大于第一预设阈值，若叠加后的数据大于所述第一预设阈值，则将所述第一预设阈值作为该采样时刻的混合音频数据值；若叠加后的数据小于所述第一预设阈值，则判定叠加后的数据是否小于第二预设阈值，若叠加后的数据小于所述第二预设阈值，则将所述第二预设阈值作为该采样时刻的混合音频数据值，所述第二预设阈值小于所述第一预设阈值。

本发明实施例提供的音频数据的混合处理方法及装置，通过将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加，得到该采样时刻的混合音频数据值，然后将目标音频数据中该采样时刻对应的采样值更新为混合音频数据值，实现源音频数据与目标音频数据的混合。本发明实施例通过采样值的叠加简单有效地实现音频数据的混合。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例的一种音频数据的混合处理方法的流程图；

图2为本发明实施例的一种音频数据的混合处理装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。

图1示意性示出了本发明实施例一种音频数据的混合处理方法的流程图。参照图1，本发明实施例的音频数据的混合处理方法具体包括以下步骤：

S11、根据预设采样频率分别对源音频数据和目标音频数据进行数据采样。

其中，本发明实施例中的采样频率为预先设定的，具体可根据实际应用场景的采用精度进行设置，本发明对此不作具体限定。

数字音频的质量取决于采样频率、量化位数和声道数三个因素。采样频率是指一秒钟时间内采样的次数。在计算机多媒体音频处理中，采样频率通常采用三种：11.025KHz(语音效果)、22.05KHz(音乐效果)、44.1KHz(高保真效果)。

本发明实施例中，首先通过将源音频数据和目标音频数据从时域信号转换到频域信号，然后根据预设采样频率分别对源音频数据和目标音频数据的频域信号进行数据采样。具体实现方式为：根据预设采样频率对所述源音频数据的左声道和右声道进行数据采样，并将左声道和右声道的采样值进行间隔存储；并对所述目标音频数据的左声道和右声道进行数据采样，并将左声道和右声道的采样值进行间隔存储，实现对源音频数据和目标音频数据的采样。

S12、将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加，得到该采样时刻的混合音频数据值。

S13、将所述目标音频数据中该采样时刻对应的采样值更新为所述混合音频数据值。

本发明实施例提供的音频数据的混合处理方法，通过将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加，得到该采样时刻的混合音频数据值，然后将目标音频数据中该采样时刻对应的采样值更新为混合音频数据值，实现源音频数据与目标音频数据的混合。本发明实施例通过采样值的叠加简单有效地实现音频数据的混合。

在本发明实施中，在所述将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加之前，所述方法还包括以下图中未示出步骤：

A11、检测当前音频数据混合模式是否为单声道模式，若当前音频数据混合模式为单声道模式，则执行步骤A12，否则，直接执行将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加的步骤；

A12、将同一采样时刻对应的源音频数据的左声道和右声道的采样值进行均值计算，得到采样均值，并将所述源音频数据中该采样时刻对应的左声道和右声道的采样值分别更新为所述采样均值；

A13，将对应的左声道和右声道的采样值更新后的源音频数据的采样值与同一采样时刻对应的目标音频数据的采样值进行叠加。

本实施例中，音频数据混合的工作模式包括单声道模式和双声道模式。具体可通过预先配置的工作模式标识bForceMono实现模式的选择切换。

本发明实施例提供了多种进行音频数据混合的工作模式供用户选择，能够满足不同用户或不同应用场景对音频数据混合后输出数据的要求，提升用户体验。

在本发明实施中，在所述将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加之后，所述方法还包括以下图中未示出步骤：

B11、判定叠加后的数据是否大于第一预设阈值，若叠加后的数据大于所述第一预设阈值，则执行步骤B12，否则，执行步骤B13；

B12、将所述第一预设阈值作为该采样时刻的混合音频数据值；

B13、判定叠加后的数据是否小于第二预设阈值，若叠加后的数据小于所述第二预设阈值，则执行步骤B14，否则，执行步骤B15；

B14、将所述第二预设阈值作为该采样时刻的混合音频数据值；其中，所述第二预设阈值小于所述第一预设阈值；

B15、直接将叠加后的数据作为该采样时刻的混合音频数据值。

下面通过一个具体实施例对本发明技术方案进行详细地解释说明。

第一步、判断预设采样数据标识判定是否存在采样数据，若存在采样数据则进入检测音频数据混合的工作模式的步骤，否则，没有处理数据则结束。

第二步、根据工作模式标识bForceMono判断是否使用强制单声道，如果为真则执行第三步，否则不使用强制单声道处理，直接执行第四步；

第三步、遍历采样数据，由于左声道和右声道的采样值是间隔存储的，强制单声道只需将间隔的采样值相加，具体实现如下：

将同一采样时刻对应的源音频数据的左声道和右声道的采样值进行均值计算，得到采样均值，并将所述源音频数据中该采样时刻对应的左声道和右声道的采样值分别更新为所述采样均值；

将对应的左声道和右声道的采样值更新后的源音频数据的采样值与同一采样时刻对应的目标音频数据的采样值进行叠加。

第四步、遍历采样总数，将源音频数据和目标音频数据进行混合(相加)具体实现如下：

将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加；

判定叠加后的数据是否大于第一预设阈值，若叠加后的数据大于所述第一预设阈值，则将所述第一预设阈值作为该采样时刻的混合音频数据值；

若叠加后的数据小于所述第一预设阈值，则判定叠加后的数据是否小于第二预设阈值，若叠加后的数据小于所述第二预设阈值，则将所述第二预设阈值作为该采样时刻的混合音频数据值。

对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

图2示意性示出了本发明实施例的一种音频数据的混合处理装置的结构示意图。参照图2，本发明实施例的音频数据的混合处理装置具体包括采样模块201、混合模块202以及更新模块203，其中：所述的采样模块201，用于根据预设采样频率分别对源音频数据和目标音频数据进行数据采样；所述的混合模块202，用于将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加，得到该采样时刻的混合音频数据值；所述的更新模块203，用于将所述目标音频数据中该采样时刻对应的采样值更新为所述混合音频数据值。

本发明实施例提供的音频数据的混合处理装置，混合模块202通过将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加，得到该采样时刻的混合音频数据值，然后通过更新模块203将目标音频数据中该采样时刻对应的采样值更新为混合音频数据值，实现源音频数据与目标音频数据的混合。本发明实施例通过采样值的叠加，能够简单有效地实现音频数据的混合。

在本发明的一个可选实施例中，所述采样模块201，具体用于对所述源音频数据的左声道和右声道进行数据采样，并将左声道和右声道的采样值进行间隔存储；以及对所述目标音频数据的左声道和右声道进行数据采样，并将左声道和右声道的采样值进行间隔存储。

本发明实施例中，所述装置进一步地还包括附图中未示出的检测模块，所述的检测模块，用于在所述将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加之前，检测当前音频数据混合模式是否为单声道模式。

相应的，所述的混合模块202，还用于当所述检测模块检测出当前音频数据混合模式为单声道模式时，将同一采样时刻对应的源音频数据的左声道和右声道的采样值进行均值计算，得到采样均值，并将所述源音频数据中该采样时刻对应的左声道和右声道的采样值分别更新为所述采样均值；否则，直接执行将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加的操作。

在本发明的一个可选实施例中，所述采样模块201，包括信号转换单元和数据采样单元，其中：所述的信号转换单元，用于将所述源音频数据和目标音频数据从时域信号转换到频域信号；所述的数据采样单元，用于根据预设采样频率分别对源音频数据和目标音频数据的频域信号进行数据采样。

在本发明的一个可选实施例中，所述装置还包括附图中未示出的判断模块，所述的判断模块，用于在所述将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加之后，判定叠加后的数据是否大于第一预设阈值，若叠加后的数据大于所述第一预设阈值，则将所述第一预设阈值作为该采样时刻的混合音频数据值；若叠加后的数据小于所述第一预设阈值，则判定叠加后的数据是否小于第二预设阈值，若叠加后的数据小于所述第二预设阈值，则将所述第二预设阈值作为该采样时刻的混合音频数据值，所述第二预设阈值小于所述第一预设阈值。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明实施例提供的音频数据的混合处理方法及装置，通过将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加，得到该采样时刻的混合音频数据值，然后将目标音频数据中该采样时刻对应的采样值更新为混合音频数据值，实现源音频数据与目标音频数据的混合。本发明实施例通过采样值的叠加简单有效地实现音频数据的混合。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种音频数据的混合处理方法，其特征在于，所述方法包括:

根据预设采样频率分别对源音频数据和目标音频数据进行数据采样；

将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加，得到该采样时刻的混合音频数据值；

将所述目标音频数据中该采样时刻对应的采样值更新为所述混合音频数据值。

2.根据权利要求1所述的方法，其特征在于，所述根据预设采样频率分别对源音频数据和目标音频数据进行采样，包括：

对所述源音频数据的左声道和右声道进行数据采样，并将左声道和右声道的采样值进行间隔存储；以及

对所述目标音频数据的左声道和右声道进行数据采样，并将左声道和右声道的采样值进行间隔存储。

3.根据权利要求2所述的方法，其特征在于，在所述将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加之前，所述方法还包括：

检测当前音频数据混合模式是否为单声道模式；

若当前音频数据混合模式为单声道模式，则将同一采样时刻对应的源音频数据的左声道和右声道的采样值进行均值计算，得到采样均值，并将所述源音频数据中该采样时刻对应的左声道和右声道的采样值分别更新为所述采样均值，否则，直接执行将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加的步骤。

4.根据权利要求1所述的方法，其特征在于，所述根据预设采样频率分别对源音频数据和目标音频数据进行数据采样，包括：

将所述源音频数据和目标音频数据从时域信号转换到频域信号；

根据预设采样频率分别对源音频数据和目标音频数据的频域信号进行数据采样。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加之后，所述方法还包括：

判定叠加后的数据是否大于第一预设阈值，若叠加后的数据大于所述第一预设阈值，则将所述第一预设阈值作为该采样时刻的混合音频数据值；

若叠加后的数据小于所述第一预设阈值，则判定叠加后的数据是否小于第二预设阈值，若叠加后的数据小于所述第二预设阈值，则将所述第二预设阈值作为该采样时刻的混合音频数据值，所述第二预设阈值小于所述第一预设阈值。

6.一种音频数据的混合处理装置，其特征在于，所述装置包括:

采样模块，用于根据预设采样频率分别对源音频数据和目标音频数据进行数据采样；

混合模块，用于将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加，得到该采样时刻的混合音频数据值；

更新模块，用于将所述目标音频数据中该采样时刻对应的采样值更新为所述混合音频数据值。

7.根据权利要求6所述的装置，其特征在于，所述采样模块，具体用于对所述源音频数据的左声道和右声道进行数据采样，并将左声道和右声道的采样值进行间隔存储；以及对所述目标音频数据的左声道和右声道进行数据采样，并将左声道和右声道的采样值进行间隔存储。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

检测模块，用于在所述将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加之前，检测当前音频数据混合模式是否为单声道模式；

所述混合模块，还用于当所述检测模块检测出当前音频数据混合模式为单声道模式时，将同一采样时刻对应的源音频数据的左声道和右声道的采样值进行均值计算，得到采样均值，并将所述源音频数据中该采样时刻对应的左声道和右声道的采样值分别更新为所述采样均值；否则，直接执行将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加的操作。

9.根据权利要求6所述的装置，其特征在于，所述采样模块，包括：

信号转换单元，用于将所述源音频数据和目标音频数据从时域信号转换到频域信号；

数据采样单元，用于根据预设采样频率分别对源音频数据和目标音频数据的频域信号进行数据采样。

10.根据权利要求6-9任一项所述的装置，其特征在于，所述装置还包括：

判断模块，用于在所述将同一采样时刻对应的源音频数据的采样值与目标音频数据的采样值进行叠加之后，判定叠加后的数据是否大于第一预设阈值，若叠加后的数据大于所述第一预设阈值，则将所述第一预设阈值作为该采样时刻的混合音频数据值；若叠加后的数据小于所述第一预设阈值，则判定叠加后的数据是否小于第二预设阈值，若叠加后的数据小于所述第二预设阈值，则将所述第二预设阈值作为该采样时刻的混合音频数据值，所述第二预设阈值小于所述第一预设阈值。