CN103310776B - 一种实时混音的方法和装置 - Google Patents

Abstract

本发明实施例公开了一种实时混音的方法和装置，所述方法包括：首先，在接收到预设时间段的实时音频数据时，获取所述预设时间段的非实时音频数据；其次，将所述实时音频数据与所述非实时音频数据进行合并后，得到混音音频数据。在此过程中，实时音频数据推动混音的整个处理流程，准确把握了混音的时间，消除了音频数据合并不同步的问题，避免了调整时间偏差操作，提高了混音效率，真正意义上实现了以实时音频数据的时间为基准的实时混音技术。进一步的，本发明预先设置实时音频数据的采样参数，避免了混音之前的音频重采样操作，有效提高了混音的效率。

Description

一种实时混音的方法和装置

技术领域

本发明涉及音频数据领域，具体涉及一种实时混音的方法和装置。

背景技术

混音，即对多路音频数据的叠加，在音频数据领域被广泛应用，其中，计算机卡拉OK系统中就用这项技术将来自麦克风的实时音频数据与播放解码输出的伴奏音频数据进行叠加，实现实时演唱、录制功能。

现有技术中，计算机卡拉OK系统通常由一路独立的播放模块实现伴奏音频数据的回放，由另一路独立的采集模块采集并回放来自麦克风的实时音频数据，由于实时音频数据的采集需要硬件及其驱动程序协作，不同厂商的硬件及驱动程序在功能、性能及精度上存有一定的差异，加上不同版本的操作系统对采集接口实现方式的差异性以及系统负载不同而引起的各种数据缓冲、传输延迟，导致采集音频数据出现延迟、临时卡屯、掉帧、帧累积等现象，使得两份音频数据之间会存在时间偏差，最终导致采集音频数据与伴奏音频数据之间的不同步。所以，在进行音频数据的叠加之前需要预先进行步调一致性的调节，才能完成音频的混音，但同时也带来了混音效率低的问题。

发明内容

本发明提供了一种实时混音的方法和装置，能够在避免音频不同步的情况下，提高混音的效率，实现音频数据的实时混音。

本发明提供了一种实时混音的方法，所述方法包括：

在接收到预设时间段的实时音频数据时，获取所述预设时间段的非实时音频数据；

将所述实时音频数据与所述非实时音频数据进行合并后，得到混音音频数据。

优选地，所述方法之前还包括：

获取非实时音频数据的采样参数；

根据所述非实时音频数据的采样参数，预先设置实时音频数据的采样参数；

根据所述采样参数，获取所述实时音频数据。

优选地，所述方法还包括：

在得到混音音频数据后，播放所述混音音频数据。

优选地，所述方法还包括：

保存所述混音音频数据，以便用于回放。

优选地，所述方法应用于计算机卡拉OK系统中。

本发明提供了一种实时混音的装置，所述装置包括：

第一获取模块，用于在接收到预设时间段的实时音频数据时，获取所述预设时间段的非实时音频数据；

混音模块，用于将所述实时音频数据与所述非实时音频数据进行合并后，得到混音音频数据。

优选地，所述装置还包括：

第二获取模块，用于获取非实时音频数据的采样参数；

设置模块，用于根据所述非实时音频数据的采样参数，预先设置实时音频数据的采样参数；

第三获取模块，用于根据所述采样参数，获取所述实时音频数据。

优选地，所述装置还包括：

播放模块，用于在得到混音音频数据后，播放所述混音音频数据。

优选地，所述装置还包括：

保存模块，用于保存所述混音音频数据，以便用于回放。

优选地，所述装置应用于计算机卡拉OK系统中。

本发明以实时音频数据为驱动，在接收到预设时间段的实时音频数据时，获取与实时音频数据相同时间段的非实时音频数据，进而完成实时音频数据与非实时音频数据的合并，在此过程中，实时音频数据推动混音的整个处理流程，准确把握了混音的时间，消除了音频数据合并不同步的问题，避免了调整时间偏差操作，提高了混音效率，真正意义上实现了以实时音频数据的时间为基准的实时混音技术。

进一步的，本发明预先设置实时音频数据的采样参数，避免了混音之前的音频重采样操作，有效提高了混音的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一的实时混音的方法流程图；

图2为本发明实施例一的获取与非实时音频数据相同采样参数的实时音频数据的方法流程图；

图3为本发明实施例二的应用于计算机卡拉OK系统中的实时混音方法流程图；

图4为本发明实施例三的实时混音的装置结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例一、

音频技术领域中，音频可以分为实时音频和非实时音频，实时音频为系统实时接收到的声音，期间未经过任何处理，如麦克风接收到的人声等，而非实时音频与实时音频正好相反，为经过处理后的音频，如被保存的MP3音频等。本实施例中，以实时音频数据作为驱动，推动混音的整个处理流程，准确把握了混音的时间，消除了音频数据合并不同步的问题。

参考图1，图1为本实施例提供的实时混音的方法流程图，具体包括：

步骤101：在接收到预设时间段的实时音频数据时，获取所述预设时间段的非实时音频数据。

本实施例中，以实时数据的获取为驱动，在接收到预设时间段的实时音频数据时，获取与实时音频数据相同时间段的非实时音频数据。其中，预设的时间段不受限制，可以根据系统的硬件要求进行设置。

另外，非实时音频数据可以为预先存储的音频数据，在接收实时音频数据之前，非实时音频数据预先进行解码，处于缓冲状态，等待实时音频数据的触发。当接收到实时音频数据时，系统从处于缓冲状态的非实时音频数据中获取与实时音频数据相同时间段的非实时音频数据。

步骤102：将所述实时音频数据与所述非实时音频数据进行合并后，得到混音音频数据。

本实施例中，将获取的实时音频数据和非实时音频数据进行波形叠加、限幅等操作后，完成了音频数据的合并，得到音频数据合并后的混音音频数据。

实际操作中，当混音音频数据被获取到之后，可以立即传送至音频播放设备，此种情况下播放的混音音频数据与实时音频数据除不可避免的延迟之外不会引进新的延迟，基本实现了实时的目的。具体步骤可以为在得到混音音频数据后，播放所述混音音频数据。

同时，当混音音频数据被获取到之后，可以保存混音音频数据，以便后续对其进行回放，其中，混音音频数据的保存形式不受限制，可以为MP3压缩文件形式。具体步骤可以为保存所述混音音频数据，以便用于回放。

由于实时音频和非实时音频均为经过音频采样得到的音频数据，由于完成混音的音频数据必须具有相同采样参数，所以，现有技术中，当实时音频数据与非实时音频数据的采样参数不同时，在进行实时音频数据与非实时音频数据合并之前，必须对其进行音频重采样，但是，由于音频重采样的计算量巨大，音频重采样所花费的时间较长，这一过程会一定时间的占用CPU，导致混音效率降低。本实施例提供了如下方法，有效避免了混音之前的音频重采样步骤，参考图2，图2为获取与非实时音频数据相同采样参数的实时音频数据的方法流程图，具体如下：

步骤201：获取非实时音频数据的采样参数。

本实施例中，在获取实时音频数据之前，首先获取待混音的非实时数据的采样参数，其中，采样参数可以包括采样率和采样深度。

由于混音对象必须是具有相同采样参数的音频数据，所以在进行混音之前，首先获取非实时音频数据的采样参数，以该采样参数为标准，进行后续操作。

实际操作中，获取音频数据的采样参数的方式不受限制，且均在本实施例的保护范围之内。

步骤202：根据所述非实时音频数据的采样参数，预先设置实时音频数据的采样参数。

本实施例中，在获取非实时音频数据的采样参数之后，将实时音频数据的采样参数设置为非实时音频数据的采样参数，以便具有相同的采样参数的音频数据进行混音。

实时操作中，可以将在声卡中设置实时音频数据的采样参数，此时系统获取的实时音频数据的采样参数即与非实时数据的采样参数相同。

步骤203：根据所述采样参数，获取所述实时音频数据。

本实施例中，根据设置的实时数据采样参数，采集实时音频数据，以满足混音的条件，即混音的音频数据的采样参数相同。

本实施例以实时音频数据为驱动，在接收到预设时间段的实时音频数据时，获取与实时音频数据相同时间段的非实时音频数据，进而完成实时音频数据与非实时音频数据的合并，在此过程中，实时音频数据推动混音的整个处理流程，准确把握了混音的时间，消除了音频数据合并不同步的问题，避免了调整时间偏差操作，提高了混音效率，真正意义上实现了以实时音频数据的时间为基准的实时混音技术。

进一步的，本发明预先设置实时音频数据的采样参数，避免了混音之前的音频重采样操作，有效提高了混音的效率。

实施例二、

实际操作中，实时混音技术可以应用于计算机卡拉OK系统中，可以用于实现“所听即所得的”的录音功能，其中计算机卡拉OK系统中，通过麦克风获取的人声为实时音频，而存储于计算机卡拉OK系统中的MP3等格式的音频或者MV等格式的带有音频的视频为非实时音频，可以为用于伴奏的音频等。通过将人声与伴奏音乐混音，实现计算机卡拉OK系统的实时演唱功能和录音功能。

参考图3，图3为应用于计算机卡拉OK系统中的实时混音方法流程图，具体如下：

步骤301：获取存储于计算机卡拉OK系统中的待混音伴奏音频的采样参数。

步骤302：根据所述采样参数，预先设置来自麦克风的人声数据采样参数。

步骤303：根据设置的采样参数，获取来自麦克风的人声数据。

本实施例中，为了避免混音之前的音频重采样操作，首先获取待混音伴奏音频的采样参数，其次，根据该采样参数，设置来自麦克风的人声数据采样参数，最后，根据设置的采样参数，获取来自麦克风的人声数据，有效地避免了音频重采样操作，提高了混音的效率。

步骤304：在接收到预设时间段的人声数据时，获取相同时间段的伴奏音频数据。

本实施例中，在接收人声数据之前，伴奏音频数据预先进行解码，处于缓冲状态，等待人声数据的触发。当接收到人声数据时，系统从处于缓冲状态的伴奏音频数据中获取与人声数据相同时间段的伴奏音频数据。

实际操作中，系统根据获取的人声音频依次截取相同时间段的对应的伴奏音频数据，也就是说，随着人声音频的获取，伴奏音频数据依次与其对应的人声音频进行合并，实现人声音频与伴奏音频的混音。

实际操作中，计算机卡拉OK系统中的麦克风每次可以获取一定时间段的人声数据的，其中，具体时间段的设置不受限制，可以与计算机卡拉OK系统的硬件要求有关。

步骤305：将所述人声数据与所述伴奏音频数据进行合并后，得到混音音频数据。

本实施例中，将麦克风获取的人声数据与伴奏音频数据进行波形叠加、限幅等操作后，完成了音频数据的合并，得到音频数据合并后的混音音频数据。

步骤306：在得到混音音频数据后，播放所述混音音频数据。

本实施例中，当混音音频数据被获取到之后，可以立即传送至音频播放设备，此种情况下播放的混音音频数据与实时音频数据除不可避免的延迟之外不会引进新的延迟，实现了实时混音的目的。

步骤307：保存所述混音音频数据，以便用于回放。

本实施例中，在混音音频数据被获取到之后，可以保存混音音频数据，作为录音文件，以便后续对其进行回放，实现录音的功能。

本实施例将实时混音技术应用于计算机卡拉OK系统中，以人声为驱动，在接收到预设时间段的人声时，获取与人声数据相同时间段的伴奏音频数据，进而完成人声数据与伴奏音频数据的合并，在此过程中，人声数据推动混音的整个处理流程，准确把握了混音的时间，消除了音频数据合并不同步的问题，避免了调整时间偏差操作，提高了混音效率，真正意义上实现了以人声数据的时间为基准的实时混音技术。

进一步的，本发明预先设置人声数据的采样参数，避免了混音之前的音频重采样操作，有效提高了混音的效率。

实施例三、

参考图4，图4为本实施例提供的实时混音装置结构图，具体包括：

第一获取模块401，用于在接收到预设时间段的实时音频数据时，获取所述预设时间段的非实时音频数据；

混音模块402，用于将所述实时音频数据与所述非实时音频数据进行合并后，得到混音音频数据。

为了避免混音之前的音频重采样步骤，本实施例提供了获取与非实时音频数据相同采样参数的实时音频数据的装置，所述装置包括：

第二获取模块，用于获取非实时音频数据的采样参数；

设置模块，用于根据所述非实时音频数据的采样参数，预先设置实时音频数据的采样参数；

第三获取模块，用于根据所述采样参数，获取所述实时音频数据。

当混音音频数据被获取到之后，可以立即传送至音频播放设备，此种情况下播放的混音音频数据与实时音频数据除不可避免的延迟之外不会引进新的延迟，实现了实时的目的。本实施例提供了如下模块，具体为：

播放模块，用于在得到混音音频数据后，播放所述混音音频数据。

当混音音频数据被获取到之后，可以保存混音音频数据，以便后续对其进行回放，对此本实施例提供了如下模块，具体为：

保存模块，用于保存所述混音音频数据，以便用于回放。

所述装置可以应用于计算机卡拉OK系统中。

本实施例以实时音频数据为驱动，在接收到预设时间段的实时音频数据时，获取与实时音频数据相同时间段的非实时音频数据，进而完成实时音频数据与非实时音频数据的合并，在此过程中，实时音频数据推动混音的整个处理流程，准确把握了混音的时间，消除了音频数据合并不同步的问题，避免了调整时间偏差操作，提高了混音效率，真正意义上实现了以实时音频数据的时间为基准的实时混音技术。

进一步的，本发明预先设置实时音频数据的采样参数，避免了混音之前的音频重采样操作，有效提高了混音的效率。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明实施例所提供的实时混音的方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种实时混音的方法，其特征在于，所述方法包括：

以实时音频数据作为驱动，在接收到预设时间段的实时音频数据时，获取相同时间段的处于缓冲状态的非实时音频数据，所述非实时音频数据在接收到所述实时音频数据之前预先进行解码；

将所述实时音频数据与所述非实时音频数据进行合并后，得到混音音频数据。

2.根据权利要求1所述的方法，其特征在于，所述方法之前还包括：

获取非实时音频数据的采样参数；

根据所述非实时音频数据的采样参数，预先设置实时音频数据的采样参数；

根据所述采样参数，获取所述实时音频数据。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在得到混音音频数据后，播放所述混音音频数据。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

保存所述混音音频数据，以便用于回放。

5.根据权利要求1所述的方法，其特征在于，所述方法应用于计算机卡拉OK系统中。

6.一种实时混音的装置，其特征在于，所述装置包括：

第一获取模块，用于以实时音频数据作为驱动，在接收到预设时间段的实时音频数据时，获取相同时间段的处于缓冲状态的非实时音频数据，所述非实时音频数据在接收到所述实时音频数据之前预先进行解码；

混音模块，用于将所述实时音频数据与所述非实时音频数据进行合并后，得到混音音频数据。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第二获取模块，用于获取非实时音频数据的采样参数；

设置模块，用于根据所述非实时音频数据的采样参数，预先设置实时音频数据的采样参数；

第三获取模块，用于根据所述采样参数，获取所述实时音频数据。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

播放模块，用于在得到混音音频数据后，播放所述混音音频数据。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

保存模块，用于保存所述混音音频数据，以便用于回放。

10.根据权利要求6所述的装置，其特征在于，所述装置应用于计算机卡拉OK系统中。