CN105679326A - 弱环境下互联网3d立体声优化系统及方法 - Google Patents

Abstract

本发明公开了弱环境下互联网3D立体声优化系统及方法，包括：时频分析模块，预处理模块，音频处理模块和音频质量评估模块；时频分析模块对输入的时域音频信号A转换为频域音频信号B，将音频处理模块发送的频域音频信号D转换为时域音频信号E；预处理模块对频域音频信号B进行重采样操作得到频域音频信号C；音频处理模块对频域音频信号C进行回声消除和束波降噪，输出频域音频信号D；音频质量评估模块对时域音频信号A和经过处理的时域音频信号E进行测试，评估经过处理后的音频质量，当处理后的音频质量提升时，完成3D立体声的优化。本发明消除回声和降噪的效果好，使得处理后的音频质量更好，更符合人们的听觉感官。

Description

弱环境下互联网3D立体声优化系统及方法

技术领域

本发明涉及音频处理技术领域，尤其涉及弱环境下互联网3D立体声优化系统及方法。

背景技术

随着3D影视行业的逐步发展，3D音频编码越来越受到人们的重视，随着不同编码方法的提出，编码中产生的噪声也越来越突出，所以更好的降噪技术也备受人们期待。现有音频降噪、除噪的常用方法主要有谱减法、维纳滤波法和门限阈值法等方法。谱减法在假定噪声和信号相互独立的条件下，从含有噪声的信号谱中减去噪声谱，从而实现降噪谱减法相对简单，但噪声和信号相互独立的假设并不完全相符，这使得采用谱减法降噪处理后的音频中残留有很大的音乐噪声。P.Loehwood等在谱减法的基础上，提出一种自适应地调整语音信号增益的非线性谱减法，该算法在一定程度上提高了信号的信噪比，但降噪处理后音频的质量并没有得到提高。

维纳滤波法是通过音频统计模型建立参数滤波器，优化降噪后的音频质量，该算法能降低降噪处理后存在的音乐噪声，但算法中所采用的参数需要根据音频类型进行调整，而在降噪处理中音频的类型是未知的，这使得参数的选择难度很大。

门限阈值法是假设在噪声方差已知的条件下，通过最小Stein风险估计法自适应地调整时频块的参数，对各种类型的音频都具有良好的降噪效果，该算法需要从含有噪声的音频信号中估计出噪声方差，噪声方差估计的准确度直接影响了降噪后音频的质量。

发明内容

针对上述问题中存在的不足之处，本发明提供弱环境下互联网3D立体声优化系统及方法。

为实现上述目的，本发明提供了一种弱环境下互联网3D立体声优化系统，包括：时频分析模块，预处理模块，音频处理模块和音频质量评估模块；

所述时频分析模块，用于对输入的时域音频信号A转换为频域音频信号B，并将频域音频信号B发送给所述预处理模块；还用于将所述音频处理模块发送的频域音频信号D转换为时域音频信号E，并将时域音频信号E发送给音频质量评估模块；

所述预处理模块，用于对所述频域音频信号B进行重采样操作得到频域音频信号C，并将频域音频信号C发送给所述音频处理模块；

所述音频处理模块用于对频域音频信号C进行回声消除和束波降噪，得到频域音频信号D；并将频域音频信号D发送给所述时频分析模块；

所述音频质量评估模块，接收初始的时域音频信号A和经过处理的时域音频信号E，进行测试，评估经过处理后的音频质量，直至当处理后的音频质量提升时，完成3D立体声的优化。

作为本发明的进一步改进，所述重采样操作包括采样格式的转换，信道的重新映射和采样率的变换。

作为本发明的进一步改进，所述互联网3D立体声优化系统应用于Linux系统中。

作为本发明的进一步改进，所述音频处理模块包括前置滤波器、后置滤波器和自动回声消除器、所述自动回声消除器与所述后置滤波器相连；前期前置滤波器通过后置滤波器协助自动回声消除器完成频域音频信号C的回声消除；然后前置滤波器独立完成束波降噪，输出频域音频信号D。

本发明还公开了一种弱环境下互联网3D立体声优化系统的优化方法，包括：

步骤一、将输入的时域音频信号A做快速傅里叶变换，转换成频域音频信号B；

步骤二、对频域音频信号B进行重采样操作，输出频域音频信号C；所述重采样操作包括采样格式的转换，信道的重新映射和采样率的变换；

步骤三、对频域音频信号C进行回声消除和束波降噪，输出频域音频信号D；

步骤四、对频域音频信号D做快速傅里叶变换，转换成时域音频信号E；

步骤五、将时域音频信号A与时域音频信号E进行测试，判断音频的质量是否提升；当音频质量提升时，则完成音频的优化；当音频质量无提升时，则重复步骤三～步骤五。

作为本发明的进一步改进，所述频域音频信号B包括采样率为48KHz的16位符号整型的交叉立体样本数据，所述频域音频信号C为单声道的采样率为16KHz的单精度浮点型数据。

作为本发明的进一步改进，对频域音频信号C进行回声消除和束波降噪的方法包括：

所述音频处理模块接收频域音频信号C，前期前置滤波器通过后置滤波器协助自动回声消除器完成频域音频信号C的回声消除；然后前置滤波器独立完成束波降噪。

作为本发明的进一步改进，所述束波降噪的过程为：

通过前置滤波器形成波束形成器，计算波束形成器需要的权重，波束形成器把声波引导到一个目标方向，同时抑制其它方向的声波。

作为本发明的进一步改进，所述步骤五包括：

将时域音频信号A和时域音频信号E放在一个16KHz采样率和配置了PulseAudio3.0的Linux操作系统中，利用GNU编译器调用相关命令，绘制两个音频的谱图，计算其脉冲响应，两相对比判断音频的质量。

与现有技术相比，本发明的有益效果为：

本发明提供了弱环境下互联网3D立体声优化系统及方法，通过后置滤波器将前置滤波器和自动回声消除器相连；当自动回声消除器没有适应时，前置滤波器协助自动回声消除器适应，进行回声消除；待自动回声消除器完全适应时，前置滤波器独立进行束波降噪；本发明消除回声和降噪的效果好，使得处理后的音频质量更好，更符合人们的听觉感官。

附图说明

图1为本发明一种实施例公开的弱环境下互联网3D立体声优化系统的框架图；

图2为本发明一种实施例公开的弱环境下互联网3D立体声优化方法的流程图。

图中：1、时频分析模块；2、预处理模块；3、音频处理模块；3-1、前置滤波器；3-2、后置滤波器；3-3、自动回声消除器；4、音频质量评估模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明公开了一种弱环境下互联网3D立体声优化系统，包括：时频分析模块，预处理模块，音频处理模块和音频质量评估模块；

自动回声消除器时频分析模块，用于对输入的时域音频信号A转换为频域音频信号B，并将频域音频信号B发送给自动回声消除器预处理模块；还用于将自动回声消除器音频处理模块发送的频域音频信号D转换为时域音频信号E，并将时域音频信号E发送给音频质量评估模块；

自动回声消除器预处理模块，用于对自动回声消除器频域音频信号B进行重采样操作得到频域音频信号C，并将频域音频信号C发送给自动回声消除器音频处理模块；

自动回声消除器音频处理模块用于对频域音频信号C进行回声消除和束波降噪，自动回声消除器音频处理模块包括前置滤波器、后置滤波器和自动回声消除器、自动回声消除器自动回声消除器与自动回声消除器后置滤波器相连；前期前置滤波器通过后置滤波器协助自动回声消除器完成频域音频信号C的回声消除；然后前置滤波器独立完成束波降噪，输出频域音频信号D；并将频域音频信号D发送给自动回声消除器时频分析模块；

自动回声消除器音频质量评估模块，接收初始的时域音频信号A和经过处理的时域音频信号E，进行测试，评估经过处理后的音频质量，直至当处理后的音频质量提升时，完成3D立体声的优化。

下面结合附图对本发明做进一步的详细描述：

实施例1：如图1所示，本发明第一目的在于提供一种弱环境下互联网3D立体声优化系统，包括时频分析模块1，预处理模块2，音频处理模块3，和音频质量评估模块4；具体实施时可以采用软件固化技术实现各模块。

时频分析模块1，在初期：用于将输入的被处理信号的时域音频信号A转换为频域音频信号B，并将所获得的频域音频信号B输出，输出连接时频分析模块2。在后期：用于将频域音频信号转换为时域音频信号，输出连接到音频质量评估模块4。

预处理模块2，用于在Linux系统中的对音频系统中的频域音频信号B进行重采样操作。重采样包括采样格式的转换，信道的重新映射和采样率的变换。处理后的信号按照相应的映射关系输出，输出频域音频信号C，输出连接到音频处理模块3。Linux系统中的音频硬件只能处理采样率为48KHz的16位符号整型的交叉立体样本数据，而应用程序一般是针对单声道的采样率为16KHz的单精度浮点型数据，所以在进行降噪处理前需要现对频域音频数据进行处理。经过重采样操作的数据更为模块化，为后续操作带来很很大的便利。

音频处理模块3，包括前置滤波器3-1、后置滤波器3-2和自动回声消除器(AEC)3-3，前置滤波器3-1和后置滤波器3-2均为自适应滤波器；自动回声消除器(AEC)3-3与后置滤波器3-2相连，同时，前置滤波器3-1通过后置滤波器3-2可以实现对自动回声消除器(AEC)3-3的协助。前置滤波器3-1通过后置滤波器3-2与自动回声消除器(AEC)3-3之间协助工作完成频域音频信号C的回声消除和束波降噪，输出频域音频信号D，处理后的频域音频信号D按照相应的映射关系输出，输出连接到音频质量评估模块4。其中：音频处理模块接收频域音频信号C，前期前置滤波器3-1通过后置滤波器3-2协助自动回声消除器3-3完成频域音频信号C的回声消除；然后前置滤波器3-1独立完成束波降噪。

音频处理模块3用于降低音频中的噪声处理；其降噪原理为：通过前置滤波器3-1形成一个波束形成器，将多通道的音频约束成为一个单声道音频，通过消除旁瓣从而去除一部分的噪声。其中：前置滤波器3-1本质上就是一个噪声抑制器，用前置滤波器3-1形成的波束形成器将多通道的音频，导向一个目标方向，抑制其他方向的声波形成一个类似单声道的音频。其中，波束形成器的约束是权重控制的，通常一个固定的波束形成器使用固定的可以预先计算的权重，而自适应滤波器形成的波束形成器使用的权重是依赖于电流噪声场产生的，采用自适应滤波器形成的波束形成器，能够适应不断变化的噪声场，使得降噪效果更好。根据束波目的方向对准信号，将来自其他方向的信号按照一定的相位过滤掉一部分；完成束波降噪。

自动回声消除器3-3，用于结合噪声和回声的抑制。前期波束形成器通过后置滤波器3-2协助自动回声消除器AEC3-3执行回声消除操作，然后波束形成器在独立完成降噪操作。这里的自动回声消除器AEC3-3，是一个已有的回声消除模块，但是一直没有实现AEC与自适应滤波器形成的波束形成器同时作用，在本发明中，在处理噪声和回声时，在自动回声消除器AEC3-3没有适应时，由波束形成器协助回声消除模块AEC3-3适应，待回声消除模块AEC3-3完全适应，波束形成器就专注于减少噪声。

处理后的频域音频信号D经过时频分析模块1转换为时域音频信号E，并将时域音频信号E发送给音频质量评估模块4；

音频质量评估模块4，接收初始的时域音频信号A和经过处理的时域音频信号E，进行主客观测试，评估经过处理后的音频质量是否提升，通过听音测试、人工听音打分来判断处理后的音频是否合格，如果合格则完成3D立体声的优化，如果不合格则继续上述操作，直至合格为止。

实施例2：如图2所示，本发明第二目的在于提供一种弱环境下互联网3D立体声优化方法，可以采用计算机技术手段自动进行流程，具体包括以下步骤：

步骤1，将输入的时域音频信号A做快速傅里叶变换，转换成频域音频信号B，因为在Linux系统中所有音频处理的操作都是在频域中完成的。

步骤2，Linux系统中的音频硬件只能处理采样率为48KHz的16位符号整型的交叉立体样本数据，而应用程序一般是针对单声道的采样率为16KHz的单精度浮点型数据。在处理过程中采样率一定要匹配，如果样本数据不对称，就没办法进行后面的回声消除模块AEC。在设计中，为了节省成本，将频域音频信号B通过预处理模块2处理成浮点型数据来进行处理，输出频域音频信号C。这个过程是由ARMNEON完成的，这样可以使16位样本数据转换操作更加迅速。

步骤3，对频域音频信号C进行回声消除和束波降噪，输出频域音频信号D；前期前置滤波器通过后置滤波器，协助自动回声消除器完成频域音频信号C的回声消除；然后前置滤波器独立完成束波降噪。

束波降噪的过程为：在步骤1,2的基础上对输入的频域音频信号C进行束波处理，其中频域音频信号C为多声道音频信号。音频处理模块3由前置滤波器、后置滤波器和自动回声消除器构成。前置滤波器形成波束形成器，通过波束形成器将波束都引向一个目标方向，抑制其他方向。具体实施过程如下：

首先，我们要计算一些基本的数据，假设想要得到的声音是S，实验环境中的混响声为Sr，回声信号为Y，噪声信号为V，麦克风捕捉的声音为D，这样麦克风捕捉的声音的表达式就如下所示：

D＝S+Sr+Y+V

在实际操作中，自适应滤波器的降噪其实就是抑制噪声，抑制噪声的原理是在滤波器中加入一个增益因子G(l,f)进行滤波，其中引入的l,f分别与时间和频率有关。

接下来，可以根据现有的公式计算波束形成器的权重W，权重W是进行束波的重要指标。假设输入的信号S有M个，就可以建立如下的函数关系表达式：

$F(l,f)=\underset{m=0}{\overset{M-1}{\Σ}}Wm(l,f)Dm(l,f)$

其中，m是发声麦克风的索引，Wm(l,f)是第m个麦克风发出音源的权重；F(l,f)表示映射关系；

然后，用一个前置滤波器构成一个波束形成器，让波束形成器根据所的权重W，注意一点，W是频率独立的时间延迟，将声波引导到一个目标方向，同时抑制其他方向的声波。这些操作主要是将信号与目标方向进行时间校准。

最后，经过波束形成器处理的信号在波束方向上低频区有一个非常宽的主瓣，高频区有一个很窄的主瓣。消除旁瓣就可以去除一部分的噪声。

回声消除的过程为：自动回声消除器AEC，是一个已有的回声消除模块，但是一直没有实现AEC与自适应滤波器形成的波束形成器同时作用，在本发明中，在处理噪声和回声时，在AEC没有适应时，由波束形成器协助AEC适应，待AEC完全适应，波束形成器就专注于减少噪声。自动回声消除器属现有技术。

步骤4，将经过处理的频域音频信号D做快速傅里叶逆变换，转换成时域音频信号E。

步骤5，将一开始就输入的时域音频信号A和经过处理的时域音频信号E进行主客观测试，判断音频的质量是否提升。具体实施过程如下：

将原始时域音频信号A和输出的处理后的信号E放在一个16KHz采样率和配置了PulseAudio3.0的Linux操作系统中，利用GNU编译器调用相关命令，绘制两个音频的谱图计算他们的脉冲响应，两相对比判断音频的质量。

本发明提供了弱环境下互联网3D立体声优化系统及方法，通过后置滤波器将前置滤波器和自动回声消除器相连；当自动回声消除器没有适应时，前置滤波器协助自动回声消除器适应，进行回声消除；待自动回声消除器完全适应时，前置滤波器独立进行束波降噪；本发明消除回声和降噪的效果好，使得处理后的音频质量更好，更符合人们的听觉感官。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种弱环境下互联网3D立体声优化系统，其特征在于，包括：时频分析模块，预处理模块，音频处理模块和音频质量评估模块；

所述时频分析模块，用于对输入的时域音频信号A转换为频域音频信号B，并将频域音频信号B发送给所述预处理模块；还用于将所述音频处理模块发送的频域音频信号D转换为时域音频信号E，并将时域音频信号E发送给音频质量评估模块；

所述预处理模块，用于对所述频域音频信号B进行重采样操作得到频域音频信号C，并将频域音频信号C发送给所述音频处理模块；

所述音频处理模块用于对频域音频信号C进行回声消除和束波降噪，得到频域音频信号D；并将频域音频信号D发送给所述时频分析模块；

所述音频质量评估模块，接收初始的时域音频信号A和经过处理的时域音频信号E，进行测试，评估经过处理后的音频质量，直至当处理后的音频质量提升时，完成3D立体声的优化。

2.如权利要求1所述的弱环境下互联网3D立体声优化系统，其特征在于，所述重采样操作包括采样格式的转换，信道的重新映射和采样率的变换。

3.如权利要求1所述的弱环境下互联网3D立体声优化系统，其特征在于，所述互联网3D立体声优化系统应用于Linux系统中。

4.如权利要求1所述的弱环境下互联网3D立体声优化系统，其特征在于，所述音频处理模块包括前置滤波器、后置滤波器和自动回声消除器、所述自动回声消除器与所述后置滤波器相连；前期前置滤波器通过后置滤波器协助自动回声消除器完成频域音频信号C的回声消除；然后前置滤波器独立完成束波降噪，输出频域音频信号D。

5.一种如权利要求1～4中任一项权利要求所述的弱环境下互联网3D立体声优化系统的优化方法，其特征在于，包括：

步骤一、将输入的时域音频信号A做快速傅里叶变换，转换成频域音频信号B；

步骤二、对频域音频信号B进行重采样操作，输出频域音频信号C；所述重采样操作包括采样格式的转换，信道的重新映射和采样率的变换；

步骤三、对频域音频信号C进行回声消除和束波降噪，输出频域音频信号D；

步骤四、对频域音频信号D做快速傅里叶变换，转换成时域音频信号E；

步骤五、将时域音频信号A与时域音频信号E进行测试，判断音频的质量是否提升；当音频质量提升时，则完成音频的优化；当音频质量无提升时，则重复步骤三～步骤五。

6.如权利要求5所述的弱环境下互联网3D立体声优化系统的优化方法，其特征在于，所述频域音频信号B包括采样率为48KHz的16位符号整型的交叉立体样本数据，所述频域音频信号C为单声道的采样率为16KHz的单精度浮点型数据。

7.如权利要求5所述的弱环境下互联网3D立体声优化系统的优化方法，其特征在于，对频域音频信号C进行回声消除和束波降噪的方法包括：

所述音频处理模块接收频域音频信号C，前期前置滤波器通过后置滤波器协助自动回声消除器完成频域音频信号C的回声消除；然后前置滤波器独立完成束波降噪。

8.如权利要求7所述的弱环境下互联网3D立体声优化系统的优化方法，其特征在于，所述束波降噪的过程为：

通过前置滤波器形成波束形成器，计算波束形成器需要的权重，波束形成器把声波引导到一个目标方向，同时抑制其它方向的声波。

9.如权利要求5所述的弱环境下互联网3D立体声优化系统的优化方法，其特征在于，所述步骤五包括：

将时域音频信号A和时域音频信号E放在一个16KHz采样率和配置了PulseAudio3.0的Linux操作系统中，利用GNU编译器调用相关命令，绘制两个音频的谱图，计算其脉冲响应，两相对比判断音频的质量。