CN104867359A - 一种直录播系统中的音频处理方法及系统 - Google Patents

Abstract

本发明提供一种直录播系统中的音频处理方法及系统，上述方法包括以下步骤：音频处理设备接收不同类型的音频信息，并按照预设音频处理策略进行处理。本发明还提供一种直录播系统中的音频处理系统，上述系统包括：音频处理设备、音频采集设备、电子播放设备、音频播放设备、音频录制设备、教学客户端和远程客户端；所述音频采集设备、所述电子播放设备、所述教学客户端、所述远程客户端、所述音频录制设备分别与所述音频处理设备相连；所述电子播放设备、所述教学客户端、所述远程客户端分别与所述音频播放设备相连；所述音频录制设备还与所述远程客户端相连。

Description

一种直录播系统中的音频处理方法及系统

技术领域

本发明属于音频处理领域，尤其涉及一种直录播系统中的音频处理方法及系统。

背景技术

远程教学已经成为一种常见的教学方式，课程录制是教育信息化的一种重要手段，利用课程录制系统将教学、讲座、会场等现场实况的音频、视频甚至演示内容进行播放并录制下来，制作成多媒体音频，从而助于记忆、保存，让更多的人了解、回顾、学习和共享这些优质教学资源。

现有直录播教室中的音频录制和处理过程中，通常只能通过话筒来采集教师讲课的声音，对于教室中存在的各类音频设备的播放声音不能有效采集和处理，因此，易出现噪音较大和声音不清晰等问题，在录制过程中不能很好地还原直录播教室中的声音实况场景。

发明内容

本发明提供一种直录播系统中的音频处理方法及系统，以解决上述问题。

本发明提供一种直录播系统中的音频处理方法。上述方法包括以下步骤：音频处理设备接收不同类型的音频信息，并按照预设音频处理策略进行处理。

本发明还提供一种直录播系统中的音频处理系统，上述系统包括：音频处理设备、音频采集设备、电子播放设备、音频播放设备、音频录制设备、教学客户端和远程客户端；所述音频采集设备、所述电子播放设备、所述教学客户端、所述远程客户端、所述音频录制设备分别与所述音频处理设备相连；所述电子播放设备、所述教学客户端、所述远程客户端分别与所述音频播放设备相连；所述音频录制设备还与所述远程客户端相连；所述音频处理设备，用于接收不同类型的音频信息，并按照预设音频处理策略进行处理；所述音频采集设备、所述电子播放设备、所述教学客户端、所述远程客户端，分别用于向所述音频处理设备发送音频信息；所述音频录制设备，用于对所述电子播放设备输出的音频信息、所述教学客户端输出的音频信息与所述第一音频信息进行音频混音的结果，结合远程客户端输出的音频信息，进行音频录制。

相较于先前技术，根据本发明提供的直录播系统中的音频处理方法及系统，在音频信号的采集和录制过程中，通过音频处理设备接收不同类型的音频信息，并按照预设音频处理策略对接收到的音频信号进行采集端音频混音处理、音频回声消除处理、音频噪声消除处理、音频自动音量控制处理和传输端音频混音处理等。此外，本发明还通过视频跟踪定位信息指导音频处理，实现了直录播系统中的各类语音控制，从而实现了直录播教室中的音频实况还原。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1所示为根据本发明的较佳实施例提供的直录播系统中的音频处理方法的流程图；

图2所示为根据本发明的较佳实施例提供的直录播系统中的音频处理系统的结构示意图；

图3所示为根据本发明的较佳实施例提供的直录播系统中的音频处理系统中音频处理设备的组成结构示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

如图1所示为根据本发明的较佳实施例提供的直录播系统中的音频处理方法的流程图。如图1所示，本发明的较佳实施例提供的直录播系统中的音频处理方法包括步骤101。

步骤101：音频处理设备接收不同类型的音频信息，并按照预设音频处理策略进行处理。

所述预设音频处理策略包括采集端音频混音处理、音频回声消除处理、音频噪声消除处理、音频自动音量控制处理、传输端音频混音处理中的一种或多种。

所述音频处理设备接收音频采集设备采集的音频信息并对所述音频采集设备采集的音频信息依次进行采集端音频混音处理、音频回声消除处理、音频噪声消除处理、音频自动音量控制处理，输出处理后的第一音频信息。

所述音频处理设备接收音频采集设备采集的音频信息并对所述音频采集设备采集的音频信息进行采集端音频混音处理后、结合远程客户端输出的音频信息，进行音频回声消除处理。

将电子播放设备输出的音频信息、教学客户端输出的音频信息，与所述第一音频信息在传输端进行音频混音后进行传输。

将电子播放设备输出的音频信息、教学客户端输出的音频信息与所述第一音频信息在传输端进行音频混音后，结合远程客户端输出的音频信息，通过音频录制设备进行录制。将电子播放设备输出的音频信息、教学客户端输出的音频信息、远程客户端输出的音频信息通过音频播放设备进行播放。

下面举例进行详细说明：

在直录播教室中，假设教室中的讲话者为教师，远程客户端为班班通电脑，麦克风采集教师讲课的音频信息a和直录播教室中其他的音频信息y(假设音频信息y为班班通电脑发送来的音频信息)，将麦克风采集到的音频信息发送给音频处理设备进行采集端音频混音处理，得到采集端音频混音处理后的音频信息A。

其中，所述采集端音频混音处理的具体处理过程为：采集当前图像，根据获取的声源与各个音频采集设备之间距离，确定各个音频采集设备对应的一次混音权重值；根据各个音频采集设备采集的音频信息、各个音频采集设备对应的一次混音权重值，获取各个音频采集设备进行一次混音权重分配后的语音信号包络值；对获取的各个音频采集设备进行一次混音权重分配后的语音信号包络值进行平滑处理；获取各个音频采集设备平滑处理后的语音信号包络值总和，并根据获取的各个音频采集设备平滑处理后的语音信号包络值总和，获取各个音频采集设备的语音信号权重值，并对所述语音信号权重值进行平滑处理，得到二次混音权重值；根据各个音频采集设备的二次混音权重值、各个音频采集设备采集的音频信息，进行混音，获取混音后的音频输出值。

其中，所述采集端音频混音处理过程为：假设声源的发出者为教师，假设直录播教室中有多个麦克风，通过全景摄像头获取整个录播教室的当前帧图像，根据运动目标检测法检测得到教师所在当前帧图像中的位置，根据获取的教师与各个麦克风之间距离，确定各个音频采集设备对应的一次混音权重值的过程为：

$l_i=\frac{1}{{(x_i-x_p)}^2+{(y_i-y_p)}^2};$

$k_i=\frac{l_i}{l_1+l_2+l_3+......+l_n};$

其中，P(x_p,y_p)为所述声源位置坐标，所述声源位置坐标通过运动目标检测方法实时获取；

其中，l_i为第i路音频采集设备位置坐标Mic_i(x_i,y_i)和声源位置坐标P(x_p,y_p)之间距离平方的倒数，i＝1,2,3……n；

其中，k_i为第i路音频采集设备的一次混音权重值。

根据各个音频采集设备采集的音频信息、各个音频采集设备对应的一次混音权重值，获取各个音频采集设备进行一次混音权重分配后的语音信号包络值的过程为：env_i＝|e_i|*k_i；其中，e_i表示第i路音频采集设备直接采集到的语音信号幅值，k_i是第i路音频采集设备的一次混音权重值；env_i表示第i路音频采集设备进行一次混音权重分配后的语音信号包络值。

对一次混音权重分配后的语音信号包络值env_i进行平滑处理；其中，处理过程如下：E_i＝env_i*h+env′_i*(1-h)；其中，env′_i表示第i路音频采集设备上一个采样点的语音信号包络值，h表示平滑系数，E_i表示第i路音频采集设备平滑处理后的语音信号包络值。

获取各个音频采集设备平滑处理后的语音信号包络值总和即及各个音频采集设备的语音信号权重值

将各个音频采集设备平滑处理后的语音信号包络值总和E与阈值E_th进行比较，并根据比较结果做出相应处理。

根据比较结果做出相应处理的过程为：

若E≤E_th，E_th表示音频采集设备语音信号包络总和的阈值，则对权重值W_i做平滑，得到二次混音权重值w_i，

$w_i=\left\{\begin{array}{cc}{W}_i*(1-m_1)+w_{\mathrm{th}}*m_1& W_i\&GreaterEqual;w_{\mathrm{th}}\\ W_i*(1-m_2)+w_{\mathrm{th}}*m_2& W_i<w_{\mathrm{th}}\end{array}\right.;$

其中m₁、m₂表示平滑系数，w_th表示权重值的阈值；

如果E＞E_th，对权重值做平滑：

$w_i=\left\{\begin{array}{cc}{W}_i*(1-m_1)+w_i^{\&prime;}*m_1& W_i\&GreaterEqual;W_i^{\&prime;}\\ W_i*(1-m_2)+W_i^{\&prime;}*m_2& W_i<W_i^{\&prime;}\end{array}\right.;$

其中W′_i表示第i路音频采集设备上一个采样点所分配的权重值。

根据各个音频采集设备的二次混音权重值、各个音频采集设备采集的音频信息，进行混音，获取混音后的音频输出值的过程：混音后的音频输出值

假设混音后的音频输出值E_m为采集端音频混音处理后的音频信息A。将采集端音频混音处理后的音频信息A和接收到的远程客户端发送来的音频信息y进行音频回声消除处理，得到回声消除处理后的音频信息a。将音频信息a依次进行音频噪声消除处理、音频自动音量控制处理，得到处理后的第一音频信息c。

其中，音频回声消除处理的方法包括：基于频域NLMS自适应回声消除算法、仿射投影自适应滤波器法、最小二乘滤波器法。

其中，音频噪声消除处理的方法包括：谱减法、子空间分解法。

其中，音频自动音量控制处理的方法包括：自动增益控制法。

假设电子播放设备为电吉他，将电吉他自身的音频信息分成两路输出，将其中一路音频信息d和教学客户端发送的音频信息j及第一音频信息c在传输端进行音频混音后进行传输，并将电子播放设备发出的音频信息d通过另一路发送给扬声器进行播放。

其中，传输端音频混音处理的方法包括：自适应权重混音算法、线性叠加法、平均值法。

假设教学客户端为直录播教室中的主控计算机，主控计算机播放的音频样本，将音频信息分为两路音频信息j，将其中一路音频信息j发送给扬声器进行播放，将音频信息j通过另一路与电吉他的音频信息d和第一音频信息c在传输端进行音频混音后进行传输。

假设远端客户端为辅课堂中的班班通电脑，班班通电脑将自身输出的音频信息分为三路，将其中第一路音频信息y通过扬声器进行播放，将第二路音频信息y与采集端音频混音处理后的音频信息A进行音频回声消除处理，得到音频信息a。

音频录制设备将电吉他的音频信息d、主控计算机的音频信息j和第一音频信息c在传输端进行音频混合，得到音频混合后的音频信息p，将音频信息p再与班班通电脑的音频信息y混音后，通过音频录制设备进行录制。

图2所示为根据本发明的较佳实施例提供的直录播系统中的音频处理系统，如图2所示，本发明的较佳实施例提供的直录播系统中的音频处理系统，上述系统包括：音频处理设备201、音频采集设备202、电子播放设备203、音频播放设备204、音频录制设备205、教学客户端206和远程客户端207；所述音频采集设备202、所述电子播放设备203、所述教学客户端206、所述远程客户端207、所述音频录制设备205分别与所述音频处理设备201相连；所述电子播放设备203、所述教学客户端206、所述远程客户端207分别与所述音频播放设备204相连；所述音频录制设备205还与所述远程客户端207相连；所述音频处理设备201，用于接收不同类型的音频信息，并按照预设音频处理策略进行处理；所述音频采集设备202、所述电子播放设备203、所述教学客户端206、所述远程客户端207，分别用于向所述音频处理设备201发送音频信息；所述音频录制设备205，用于对所述电子播放设备203输出的音频信息、所述教学客户端206输出的音频信息与所述第一音频信息进行音频混音的结果，结合远程客户端207输出的音频信息，进行音频录制。

如图3所示，所述音频处理设备201包括：采集端音频混音模块301、音频回声消除模块302、音频噪声消除模块303、音频自动音量控制模块304和传输端音频混音模块305，所述采集端音频混音模块301依次通过所述音频回声消除模块302、所述音频噪声消除模块303、所述音频自动音量控制模块304与所述传输端音频混音模块305相连。

此外，关于上述系统的具体操作过程同上述方法所述，故于此不再赘述。

综上所述，相较于先前技术，根据本发明提供的直录播系统中的音频处理方法及系统，在音频信号的采集和录制过程中，通过音频处理设备接收不同类型的音频信息，并按照预设音频处理策略对接收到的音频信号进行采集端音频混音处理、音频回声消除处理、音频噪声消除处理、音频自动音量控制处理和传输端音频混音处理等。此外，本发明还通过视频跟踪定位信息指导音频处理，实现了直录播系统中的各类语音控制，从而实现了直录播教室中的音频实况还原。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种直录播系统中的音频处理方法，其特征在于，包括以下步骤：

音频处理设备接收不同类型的音频信息，并按照预设音频处理策略进行处理。

2.根据权利要求1所述的方法，其特征在于，所述预设音频处理策略包括采集端音频混音处理、音频回声消除处理、音频噪声消除处理、音频自动音量控制处理、传输端音频混音处理中的一种或多种。

3.根据权利要求2所述的方法，其特征在于，所述音频处理设备接收音频采集设备采集的音频信息并对所述音频采集设备采集的音频信息依次进行采集端音频混音处理、音频回声消除处理、音频噪声消除处理、音频自动音量控制处理，输出处理后的第一音频信息。

4.根据权利要求3所述的方法，其特征在于，所述音频处理设备接收音频采集设备采集的音频信息并对所述音频采集设备采集的音频信息进行采集端音频混音处理后、结合远程客户端输出的音频信息，进行音频回声消除处理。

5.根据权利要求3或4所述的方法，其特征在于，所述采集端音频混音处理过程为：采集当前图像，根据获取的声源与各个音频采集设备之间距离，确定各个音频采集设备对应的一次混音权重值；根据各个音频采集设备采集的音频信息、各个音频采集设备对应的一次混音权重值，获取各个音频采集设备进行一次混音权重分配后的语音信号包络值；对获取的各个音频采集设备进行一次混音权重分配后的语音信号包络值进行平滑处理；获取各个音频采集设备平滑处理后的语音信号包络值总和，并根据获取的各个音频采集设备平滑处理后的语音信号包络值总和，获取各个音频采集设备的语音信号权重值，并对所述语音信号权重值进行平滑处理，得到二次混音权重值；根据各个音频采集设备的二次混音权重值、各个音频采集设备采集的音频信息，进行混音，获取混音后的音频输出值。

6.根据权利要求4所述的方法，其特征在于，将电子播放设备输出的音频信息、教学客户端输出的音频信息，与所述第一音频信息在传输端进行音频混音后进行传输。

7.根据权利要求6所述的方法，其特征在于，将电子播放设备输出的音频信息、教学客户端输出的音频信息与所述第一音频信息在传输端进行音频混音后，结合远程客户端输出的音频信息，通过音频录制设备进行录制。

8.根据权利要求6所述的方法，其特征在于，将电子播放设备输出的音频信息、教学客户端输出的音频信息、远程客户端输出的音频信息通过音频播放设备进行播放。

9.一种直录播系统中的音频处理系统，其特征在于，上述系统包括：音频处理设备、音频采集设备、电子播放设备、音频播放设备、音频录制设备、教学客户端和远程客户端；

所述音频采集设备、所述电子播放设备、所述教学客户端、所述远程客户端、所述音频录制设备分别与所述音频处理设备相连；

所述电子播放设备、所述教学客户端、所述远程客户端分别与所述音频播放设备相连；

所述音频录制设备还与所述远程客户端相连；

所述音频处理设备，用于接收不同类型的音频信息，并按照预设音频处理策略进行处理；

所述音频采集设备、所述电子播放设备、所述教学客户端、所述远程客户端，分别用于向所述音频处理设备发送音频信息；

所述音频录制设备，用于对所述电子播放设备输出的音频信息、所述教学客户端输出的音频信息与所述第一音频信息进行音频混音的结果，结合远程客户端输出的音频信息，进行音频录制。

10.根据权利要求9所述的系统，其特征在于，所述音频处理设备包括：采集端音频混音模块、音频回声消除模块、音频噪声消除模块、音频自动音量控制模块和传输端音频混音模块，所述采集端音频混音模块依次通过所述音频回声消除模块、所述音频噪声消除模块、所述音频自动音量控制模块与所述传输端音频混音模块相连。