CN103701624A

CN103701624A - 一种音频数据混音方法和装置

Info

Publication number: CN103701624A
Application number: CN201310751976.8A
Authority: CN
Inventors: 郑智嵘
Original assignee: GUANGDONG GONSIN DIGITAL EQUIPMENT Co Ltd
Current assignee: GUANGDONG GONSIN DIGITAL EQUIPMENT Co Ltd
Priority date: 2013-12-31
Filing date: 2013-12-31
Publication date: 2014-04-02
Anticipated expiration: 2033-12-31
Also published as: CN103701624B

Abstract

本发明公开了一种音频数据混音方法和装置，所述的方法包括步骤：申请发言的终端采集用户语音、生成音频数据包，并向主机发送申请信号；主机接收到全部所述申请发言的终端的申请信号后，同时向各所述申请发言的终端发送许可指令；申请发言的终端接收所述许可指令，并将所述音频数据包向主机发送；主机接收全部所述申请发言的终端的多路音频数据包并进行混音；在需要进行混音时，主机会向各个申请发言的终端发送许可指令，各申请发言的终端接收许可指令后，同步地向主机发送音频数据，能够避免现有的混音过程接收音频数据时容易受网络传输状态影响出现较大延迟的现象。

Description

一种音频数据混音方法和装置

技术领域

本发明涉及音频数据传输方法及设备领域，特别是指一种音频数据混音方法和装置。

背景技术

数字音频会议系统是利用计算机、数字及网络技术进行各系统组网，包括主机和多个终端的音频数据传输系统，线路上传输的均为数字化信号，不仅大大改善了音质，提高了系统可靠性，而且从根本上消除了一般会议系统存在的干扰、失真、串音及系统不稳定等缺陷，使每一位与会者均能收听到稳定、纯正的声音。

现有的数字音频会议系统在传输音频数据时，主机向各终端发送多路音频数据，对多路音频数据进行混音处理时，只是简单的把接收到的音频数据进行混合，由于网络传输即TCP/IP协议本身存在的延迟性，会出现某些数据延迟，某些数据出现队列过长的现象，这会造成某些单元机的语音会出现延迟。

发明内容

有鉴于此，本发明的目的在于提出一种高效、低延迟的音频数据混音方法和装置。

基于上述目的本发明提供的一种音频数据混音方法，应用于包括一个主机和多个终端的数字音频会议系统，包括以下步骤：

申请发言的终端采集用户语音、生成音频数据包，并向主机发送申请信号；

主机接收到全部所述申请发言的终端的申请信号后，同时向各所述申请发言的终端发送许可指令；

申请发言的终端接收所述许可指令，并将所述音频数据包向主机发送；

主机接收全部所述申请发言的终端的多路音频数据包并进行混音。

优选的，所述终端采集用户语音过程中的音频数据传输采用DMA方式，具体的包括：从内存中申请第一存储块和第二存储块，并将所述第一存储块和第二存储块分别与DMA输出硬件地址和DMA输入硬件地址做关联映射。

优选的，所述第一存储块和第二存储块均划分成多个用于缓冲音频数据包的分片，采集的音频数据依次存入空闲的所述分片。

优选的，所述主机接收全部所述申请发言的终端的音频数据包步骤还包括：

为每个申请发言的终端申请一包含有两个缓冲区的缓冲队列，接收到的音频数据包依次存储至其对应的缓冲队列中的空闲缓冲区内。

优选的，所述将接收到的音频数据包依次存储至缓冲区的步骤还包括：

当新接收一个音频数据包并将要存储至所述缓冲队列，但所述缓冲队列中无空闲缓冲区时，清空所述缓冲队列的所有缓冲区，并对其它缓冲队列中的音频数据包进行混音。

本发明还提供了一种音频数据混音装置，应用于包括一个主机和多个终端的数字音频会议系统，包括：

申请模块，用于在申请发言的终端采集用户语音、生成音频数据包后，并向主机发送申请信号；

许可模块，用于在主机接收到全部所述申请发言的终端的申请信号后，向各所述申请发言的终端发送许可指令；

发送模块，用于接收所述许可指令，并将所述音频数据包向主机发送；

混音模块，用于将接收到的多路音频数据包进行混音。

优选的，所述终端采集用户语音过程中的音频数据传输采用DMA方式；所述音频数据混音装置还包括：

第一缓冲模块，用于内存中申请第一存储块和第二存储块，并将所述第一存储块和第二存储块分别与DMA输出硬件地址和DMA输入硬件地址做关联映射。

优选的，所述第一缓冲模块申请的所述第一存储块和第二存储块均划分成多个用于缓冲音频数据包的分片，采集的音频数据依次存入空闲的所述分片。

优选的，所述的音频数据混音装置还包括：

第二缓冲模块，用于为每个申请发言的终端申请一包含有两个缓冲区的缓冲队列，接收到的音频数据包依次存储至其对应的缓冲队列中的空闲缓冲区内。

优选的，所述第二缓冲模块还用于当新接收一个音频数据包并将要存储至所述缓冲队列，但所述缓冲队列中无空闲缓冲区时，清空所述缓冲队列的所有缓冲区，并令所述混音模块对其它缓冲队列中的音频数据包进行混音。

从上面所述可以看出，本发明提供的音频数据混音方法和装置，在需要进行混音时，主机会向各个申请发言的终端发送许可指令，各申请发言的终端接收许可指令后，同步地向主机发送音频数据，能够避免现有的混音过程接收音频数据时容易受网络传输状态影响出现较大延迟的现象；在终端采集用户语音以及主机接收音频数据时，都采用缓冲存储处理，进一步保证音频传输质量。

附图说明

图1为本发明实施例的音频数据混音方法流程图。；

图2为本发明实施例中终端采集音频数据的流程图；

图3为本发明实施例的音频数据混音装置结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明实施例提供的一种音频数据混音方法，应用于包括一个主机和多个终端的数字音频会议系统，包括以下步骤：

本实施例的音频数据传输方法，优选的应用于数字音频会议系统，所述的音频会议系统包括一个主机和多个终端，主机和终端之间通讯连接，所述的通讯连接方式能够选择无线或有线的方式，能够选用无线连接方式包括WIFI、RFID、NFC、蓝牙等等，有线连接方式一般为通用串口并配合数据线。

所述的主机用于转理、处中来自各终端的音频数据，包括对音频数据进行模/数、数/模转换，以及接收发言的终端发送来的音频数据，并将接收到的音频数据经过处理后向所有终端发送。

所述的终端由每个音频会议的参与者持有，用于在与会者发言时，采集其声音并生成音频数据向主机发送；还用于在收听其它与会者发言时，接收经主机处理、传输发送的音频数据，并播放使与会者直接收听或通过外接的设备收听。在发送、接收音频数据的过程中，必要的还要对音频数据进行模/数、数/模转换。

参考图1，为本发明实施例的音频数据混音方法流程图。

步骤101：申请发言的终端采集用户语音、生成音频数据包，并向主机发送申请信号；

音频会议进行中，想要发言的用户通过其持有的终端进行语音输入。区别于现有的方法，本实施例的终端在采集用户语音并生成音频数据包之后，并不会直接将音频数据包发送，而是先向主机发送一申请信号，通知主机该申请发言的终端的音频数据包已做好传输准备。

步骤102：主机接收到全部所述申请发言的终端的申请信号后，同时向各所述申请发言的终端发送许可指令；

所有申请发言的终端均向主机发送申请信号，使主机得知将要接收几路音频数据。随后，主机同时向各所述申请发言的终端发送许可指令，允许终端发送音频数据包。

步骤103：申请发言的终端接收所述许可指令，并将所述音频数据包向主机发送；

各个申请发言的终端均接收由主机发出的许可指令，然后将其先前生成的音频数据包向主机发送。

步骤104：主机接收全部所述申请发言的终端的多路音频数据包并进行混音；

由于各个申请发言的终端是收到许可指令后同时发出音频数据包，则在主机接收时，即接收了多路同步的音频数据包，有效地降低了现有的混音方法中在接收多路音频数据包时的延迟情况。

对本实施例中的具体延时数据可以估算：若使用44.1KHz采样率，即终端以44.1KHz的频率发送申请信号，主机也以44.1KHz的频率发出所述许可指令。每采集一个数据包为1024字节，采集时延为：

(1024*8)/(44.1*1000*16*2)*1000=5.8ms

网络传输时延按100Mb带宽传输一包1024字节数据：

T=（1024*8）/(100*1024*1024*1024)按照此公式算，传输时间可以忽略。

混音部分时延，本实施例的主机中采用的400MHz处理器s3c2440进行混音，实测数据大概在10ms左右，整个混音流程总时间为5.8ms+10ms+10ms=26ms，其中第一个10ms为混音延迟，第二个10ms为网络抖动+终端底层网络数据处理时间。

参考图2，为本发明实施例中终端采集音频数据的流程图。

作为一个实施例，所述终端采集用户语音过程中的音频数据传输采用DMA方式，具体的包括：

步骤201：从内存中申请第一存储块和第二存储块，用于缓冲音频数据，一般来讲，第一存储块作为读音频数据内存块，第二存储块作为写音频数据内存块，两块内存块一般大小相等，且为语音包大小的倍数。

步骤202：将所述第一存储块和第二存储块分别与DMA输出硬件地址和DMA输入硬件地址做关联映射，当往第一存储块作读操作时，硬件会从DMA硬件地址，把语音数据传送到第一存储块，从而获取到PCM数据，DMA完成操作后，回调函数会释放该缓冲片的使用权。当往第二存储块写数据时，即往语音芯片播放数据，DMA会把第二存储块数据传送到DMA硬件地址通过IIS线发送给语音芯片。

步骤203：进一步的，所述第一存储块和第二存储块均划分成多个用于缓冲音频数据包的分片。

另外，如果存储块分片越多，则数据缓冲得越多，增加的延迟时间是该语音包的大小采集时间乘以缓冲片数，语音延迟就会随之增加，所以存储块一般分成2至4分片为佳。

步骤204：将采集的音频数据依次存入空闲的所述分片，硬件直接把数据从内存块传送到DMA的硬件地址或者数据从DMA地址传送到内存块，不需要经过CPU，从而减少CPU工作量。

步骤205：完成一次音频数据的缓冲并成功向主机发送出后，清空存储块的分片，以待下一次使用。

作为另一个实施例，本发明优选实施例的音频数据混音方法中的主机一端，为进一步保证音频数据传输质量，降低延迟，主机在接收音频数据的过程中也做了缓冲处理，具体的：

对于每一个申请发言的终端，主机都会为其申请一个缓冲队列，用于缓冲音频数据包，能够在一定程度上减少断音现象，且在局域网环境下音频数据包并不能稳定地做到一个一个音频数据包准时到达，所以当一个音频数据包未处理完时，对当前收到的音频数据包要进行缓冲，当然缓冲次数越多，延迟就会越大，所以缓冲队列中优选的仅设置两个缓冲区。

进一步的，对于本实施例中将接收到的音频数据包依次存储至缓冲区的步骤还包括：

即在一个音频数据包未处理完，其该路音频数据所对应的缓冲队列的两个缓冲区均存储有待处理的音频数据包情况下，再次收到一个新的音频数据包时，为了避免排队过长，将会放弃存储该新收到的音频数据包，同时将当前缓冲队列的两个缓冲区中存储的音频数据包也一并清除，在接下来的混音步骤中，将不会对该路的音频数据进行混音，一般来说在良好的局域网环境比较少出现经常某一路音频数据缓冲过长的情况，所以，总能把每一路的音频的延迟控制在1-2个数据包的延迟，也就是5-10ms的抖动范围。

本发明实施例还公开了一种音频数据混音装置，应用于包括一个主机和多个终端的数字音频会议系统，参考图3，为本发明实施例的音频数据混音装置结构图。

本实施例的音频数据混音装置包括：

申请模块301，用于在申请发言的终端采集用户语音、生成音频数据包后，并向主机发送申请信号；

许可模块302，用于在主机接收到全部所述申请发言的终端的申请信号后，向各所述申请发言的终端发送许可指令；

发送模块303，用于接收所述许可指令，并将所述音频数据包向主机发送；

混音模块304，用于将接收到的多路音频数据包进行混音。

其中，所述申请模块301和发送模块303设置在各个终端，所述许可模块302和混音模块304设置在主机。

所述终端采集用户语音过程中的音频数据传输采用DMA方式；本实施例的音频数据混音装置还包括：

第一缓冲模块305，用于内存中申请第一存储块和第二存储块，并将所述第一存储块和第二存储块分别与DMA输出硬件地址和DMA输入硬件地址做关联映射。所述的第一缓冲模块305设置在终端，用于在采集用户语音过程中对音频数据进行缓冲处理。

进一步的，所述第一缓冲模块305申请的所述第一存储块和第二存储块均划分成多个用于缓冲音频数据包的分片，采集的音频数据依次存入空闲的所述分片。为避免缓冲次数过多造成较大延迟，所以存储块一般分成2至4分片为佳。

作为一个实施例，所述的音频数据混音装置，还包括：

第二缓冲模块306，用于为每个申请发言的终端申请一包含有两个缓冲区的缓冲队列，接收到的音频数据包依次存储至其对应的缓冲队列中的空闲缓冲区内。所述的第二缓冲模块306设置在主机，用于在进行混音前，对接收的各路音频数据进行缓冲处理。

进一步的，第二缓冲模块306还用于当新接收一个音频数据包并将要存储至所述缓冲队列，但所述缓冲队列中无空闲缓冲区时，清空所述缓冲队列的所有缓冲区，并令所述混音模块304对其它缓冲队列中的音频数据包进行混音。

所属领域的普通技术人员应当理解：以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种音频数据混音方法，应用于包括一个主机和多个终端的数字音频会议系统，其特征在于，包括以下步骤：

2.根据权利要求1所述的音频数据混音方法，其特征在于，所述终端采集用户语音过程中的音频数据传输采用DMA方式，具体的包括：从内存中申请第一存储块和第二存储块，并将所述第一存储块和第二存储块分别与DMA输出硬件地址和DMA输入硬件地址做关联映射。

3.根据权利要求2所述的音频数据混音方法，其特征在于，所述第一存储块和第二存储块均划分成多个用于缓冲音频数据包的分片，采集的音频数据依次存入空闲的所述分片。

4.根据权利要求1所述的音频数据混音方法，其特征在于，所述主机接收全部所述申请发言的终端的音频数据包步骤还包括：

5.根据权利要求4所述的音频数据混音方法，其特征在于，所述将接收到的音频数据包依次存储至缓冲区的步骤还包括：

6.一种音频数据混音装置，应用于包括一个主机和多个终端的数字音频会议系统，其特征在于，包括：

混音模块，用于将接收到的多路音频数据包进行混音。

7.根据权利要求6所述的音频数据混音装置，其特征在于，所述终端采集用户语音过程中的音频数据传输采用DMA方式；所述音频数据混音装置还包括：

8.根据权利要求7所述的音频数据混音装置，其特征在于，所述第一缓冲模块申请的所述第一存储块和第二存储块均划分成多个用于缓冲音频数据包的分片，采集的音频数据依次存入空闲的所述分片。

9.根据权利要求6所述的音频数据混音装置，其特征在于，还包括：

10.根据权利要求9所述的音频数据混音装置，其特征在于，所述第二缓冲模块还用于当新接收一个音频数据包并将要存储至所述缓冲队列，但所述缓冲队列中无空闲缓冲区时，清空所述缓冲队列的所有缓冲区，并令所述混音模块对其它缓冲队列中的音频数据包进行混音。