CN107068164B - 音频信号处理方法、装置和电子设备 - Google Patents

Abstract

公开了一种音频信号处理方法、装置和电子设备。所述方法包括：接收扬声器单元采集的第一输入信号，所述第一输入信号包括源自振动源所产生的机械振动的干扰分量；接收麦克风单元采集的第二输入信号，所述第二输入信号包括源自声源所发出的声源音频信号的信号分量和源自所述机械振动所产生的振动噪声信号的噪声分量；以及根据所述第一输入信号来从所述第二输入信号中提取所述信号分量。因此，可以实现无损的关注信号增强和噪声信号抑制。

Description

音频信号处理方法、装置和电子设备

技术领域

本申请涉及音频技术领域，且更具体地，涉及一种音频信号处理方法、装置、电子设备、计算机程序产品和计算机可读存储介质。

背景技术

语音控制远场设备的应用中存在诸多问题，尤其对干扰环境下的语音控制提出很高的要求。

某些电子设备，如洗衣机、扫地机、空调、空气净化器等，由于例如其中的电机转动、齿轮摩擦等原因，在正常工作的时候，自身会产生强烈的机械振动并发出巨大的振动噪声。该振动噪声容易被在该电子设备上装备的麦克风单元所采集，引入较高的噪声分量，从而对语音识别产生很大的影响。

因此，现有的音频信号处理方法存在缺陷。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种音频信号处理方法、装置、电子设备、计算机程序产品和计算机可读存储介质，其可以实现无损的关注信号增强和噪声信号抑制。

根据本申请的一个方面，提供了一种音频信号处理方法，包括：接收扬声器单元采集的第一输入信号，所述第一输入信号包括源自振动源所产生的机械振动的干扰分量；接收麦克风单元采集的第二输入信号，所述第二输入信号包括源自声源所发出的声源音频信号的信号分量和源自所述机械振动所产生的振动噪声信号的噪声分量；以及根据所述第一输入信号来从所述第二输入信号中提取所述信号分量。

根据本申请的另一方面，提供了一种音频信号处理装置，包括：第一接收单元，用于接收扬声器单元采集的第一输入信号，所述第一输入信号包括源自振动源所产生的机械振动的干扰分量；第二接收单元，用于接收麦克风单元采集的第二输入信号，所述第二输入信号包括源自声源所发出的声源音频信号的信号分量和源自所述机械振动所产生的振动噪声信号的噪声分量；以及信号提取单元，用于根据所述第一输入信号来从所述第二输入信号中提取所述信号分量。

根据本申请的另一方面，提供了一种电子设备，包括：处理器；存储器；以及存储在所述存储器中的计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行上述的音频信号处理方法。

根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述的音频信号处理方法。

根据本申请的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述的音频信号处理方法。

与现有技术相比，采用根据本申请实施例的音频信号处理方法、装置、电子设备、计算机程序产品和计算机可读存储介质，可以接收扬声器单元采集的第一输入信号，所述第一输入信号包括源自振动源所产生的机械振动的干扰分量；接收麦克风单元采集的第二输入信号，所述第二输入信号包括源自声源所发出的声源音频信号的信号分量和源自所述机械振动所产生的振动噪声信号的噪声分量；并且根据所述第一输入信号来从所述第二输入信号中提取所述信号分量。因此，可以很好地从麦克风单元所采集的音频输入信号中提取声源所发出的声源音频信号并滤除源自噪声源的振动噪声信号。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的扬声器的结构示意图。

图2图示了根据本申请实施例的音频信号处理操作的应用场景的示意图。

图3图示了根据本申请第一实施例的音频信号处理方法的流程图。

图4图示了根据本申请第一实施例的自适应滤波器处理的示意图。

图5图示了根据本申请第二实施例的音频信号处理方法的流程图。

图6图示了根据本申请第二实施例的分量提取步骤的流程图。

图7图示了根据本申请第二实施例的自适应滤波器处理的示意图。

图8图示了根据本申请实施例的音频信号处理装置的框图。

图9图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

如上所述，现有的音频信号处理方法存在缺陷。即，在电子设备上装备的麦克风单元容易采集到由于设备自身或周围环境中的机械振动所产生的噪声分量，从而对诸如用户等的实际关注声源发出的声源音频信号造成干扰，使得后续的语音识别等音频处理无法准确地实现。

例如，像空调、洗衣机、扫地机等电子设备，本身在工作时会产生很强的机械振动，这个机械振动会作用在设备结构上而产生相应的振动噪音，该振动噪音传导到电子设备上装备的麦克风单元处，使得麦克风单元在正常获取用户发出的语音指令的同时，不利地受到该振动噪音的干扰。

针对该技术问题，本申请的基本构思是提出一种音频信号处理方法、装置、电子设备、计算机程序产品和计算机可读存储介质，其可以利用扬声器单元来作为机械振动的采集单元，获取设备的振动噪声的参考信号，从而将通过麦克风单元所采集到的振动噪声滤除，而仅仅保留所关注的音频信号。典型地，在装备有麦克风单元的电子设备中，扬声器单元也通常是不可缺少的部件，只不过它一般都是作为发声器件使用。在本申请的实施例中，可以将扬声器单元单独地或复用地作为信号采集单元来使用，从而可以减少向电子设备中添加新部件的设计成本和设计难度。

图1图示了根据本申请实施例的扬声器的结构示意图。

扬声器是电子设备中常见的电子器件，常用于输出音频信号。如图1所示，扬声器SP可以包括磁体M、线圈C、和振膜VD，其发声原理为：当线圈C中有交流电信号通过时，线圈C会在磁体M的磁场中受力振动，并带动振膜VD振动进而推动空气，发出声音被人耳听到。

然而，不为人熟知的是，与麦克风相似地，扬声器SP也可以用于信号采集。与麦克风的区别在于，在扬声器SP中，为了以大音量输出音频信号，振膜VD的面积通常较大，因而其质量也通常较大，从而难以被微弱声音信号所产生的空气压差所驱动。然而，当外界存在机械振动时，由于振膜VD的面积较大，它很容易会因受到该机械振动的影响而产生共振，振膜VD的振动将导致线圈C随之振动，因而线圈C会切割磁体M的磁力线，从而产生交流电信号，随后，该交流电信号可被采集并用来作为滤除麦克风所采集的由于该机械振动所发出的振动噪声的依据。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图2图示了根据本申请实施例的音频信号处理操作的应用场景的示意图。

如图2所示，用于音频信号处理操作的应用场景包括音频信号处理设备100、声源200、和振动源300。

该声源200可以是任何类型的声源，包括有生命的声源和无生命的声源。例如，有生命的声源可以包括人和动物等；而无生命的声源可以包括机器人、电视机、音响等。该声源200可以是发出希望被关注的声源音频信号的信号源。

该振动源300可以是任何类型的振动源，其与音频信号处理设备100处于同一环境中，该振动源300可能由于电机转动、齿轮摩擦等原因产生机械振动，进而发出振动噪声。例如，该振动源300可以处于该音频信号处理设备100内部，替换地，也可以处于该音频信号处理设备100外部，但是该振动源300所产生的机械振动将会对该音频信号处理设备100的音频采集造成影响。在前一情况下，例如，该音频信号处理设备100可以是洗衣机，该振动源300可以是洗衣机的驱动马达。在后一情况下，例如，该音频信号处理设备100可以是临时放置在电冰箱顶部的移动电话，该振动源300可以是电冰箱内的压缩机。

该音频信号处理设备100用于从输入音频信号中滤除振动源300所产生的振动噪声信号，保留声源200发出的声源音频信号。例如，该音频信号处理设备100可以包括扬声器单元110、麦克风单元120、和信号处理模块130。

该扬声器单元110可以用于采集机械振动，并且还可以用于播放输出音频信号。该扬声器单元110可以是单独的扬声器，或者是由多个扬声器组成的阵列。例如，扬声器可以是如图1所示的扬声器SP。

该麦克风单元120可以用于采集输入音频信号，例如，声源200发出的声源音频信号、由于振动源300的振动所产生的振动噪声等。该麦克风单元120可以是单独的麦克风，或者是由一定数目的麦克风组成、用来对声场的空间特性进行采样并处理的系统。取决于指向性，麦克风可以包括全向麦克风和/或指向麦克风。全向麦克风对于来自不同角度的声音，其灵敏度是基本相同的，其头部采用压力感应的原理设计，振膜只接受来自外界的压力。指向麦克风主要采用压力梯度的原理设计，通过头部腔体后面的小孔，振膜接受到正反两面的压力，因此振膜受不同方向的压力并不相同，麦克风具有了指向性。例如，麦克风阵列可以包括各自拾音区不完全相同的多个麦克风MIC1到MICn，其中n是大于等于2的自然数。例如，取决于各个麦克风的相对位置关系，麦克风阵列可以分为：线性阵列，其阵元中心位于同一条直线上；平面阵列，其阵元中心分布在一个平面上；以及空间阵列，其阵元中心分布在立体空间中。

该信号处理模块130可以接收扬声器单元110采集的源自振动源300所产生的机械振动的干扰分量；接收麦克风单元120采集的源自声源200所发出的声源音频信号的信号分量和源自所述机械振动所产生的振动噪声信号的噪声分量；并且滤除所述干扰分量并提取所述信号分量。

需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施例不限于此。相反，本申请的实施例可以应用于可能适用的任何场景。例如，该声源和/或振动源可以是一个或多个，类似地，该音频信号处理设备也可以为一个或多个。

示例性方法

下面结合图2的应用场景，参考图3来描述根据本申请第一实施例的音频信号处理方法。

图3图示了根据本申请第一实施例的音频信号处理方法的流程图。

如图3所示，根据本申请第一实施例的音频信号处理方法可以包括：

在步骤S110中，接收扬声器单元采集的第一输入信号，所述第一输入信号包括源自振动源所产生的机械振动的干扰分量。

在步骤S120中，接收麦克风单元采集的第二输入信号，所述第二输入信号包括源自声源所发出的声源音频信号的信号分量和源自所述机械振动所产生的振动噪声信号的噪声分量。

在如图2所示的应用场景中，该音频信号处理设备100的麦克风单元120在采集声源200所发出的声源音频信号的同时，也将采集到由于振动源300的机械振动所带来的振动噪声信号，导致该声源音频信号无法被正确地分离，从而使得基于它的后续处理(例如，音频存储、语义识别、声纹识别)受到干扰或甚至失败。

为此，可以在驱动麦克风单元120工作的同时，驱动扬声器单元110对该机械振动进行信号采集。然后，可以接收扬声器单元110和麦克风单元120所采集的输入信号。

在第一实施例中，假设扬声器单元110仅仅用于信号输入、而不用于信号输出，那么，扬声器单元110所采集的第一输入信号可以仅仅包括源自振动源300所产生的机械振动的干扰分量SPv，而麦克风单元120所采集的第二输入信号可以仅仅包括源自声源200所发出的声源音频信号的信号分量Ms和源自所述机械振动所产生的振动噪声信号的噪声分量Mn。该第一输入信号和该第二输入信号可以进一步用于后续的音频信号处理。

在一个示例中，扬声器单元110和麦克风单元120可以经过预先校准，以使得两者具有相同的或已知对应关系的信号采集能力。这样，可以保证扬声器单元110所采集到的干扰分量与麦克风单元120所采集到的噪声分量可以具有相同的幅度，或者可以建立相应的对应关系(例如，放大系数)，从而保证可以在后续处理中从第二输入信号中准确、完全地滤除振动噪声。

替换地，也可以不对扬声器单元110和麦克风单元120进行预先校准，而将寻找对应关系的处理代价放到后续提取操作中直接实现。

在步骤S130中，根据所述第一输入信号来从所述第二输入信号中提取所述信号分量。

可以使用扬声器单元110所采集到的干扰分量作为噪声参考来对所述第二输入信号执行分离操作，以提取其中的信号分量。

例如，在扬声器单元110和麦克风单元120已经经过预先校准、以使得两者具有相同的信号采集能力的情况下，可以直接使用减法器来从第二输入信号中减去干扰分量(其等于噪声分量)，从而获得信号分量。

又如，在扬声器单元110和麦克风单元120已经经过预先校准、以使得两者具有已知对应关系的信号采集能力的情况下，可以使用减法器和乘法器来从第二输入信号中减去经过预定倍数倍乘后的干扰分量(使其等于噪声分量)，从而获得信号分量。

替换地，为了保证更加精确的信号提取结果，也可以使用自适应滤波器，来实现自适应的噪声滤除。

自适应滤波器是能够根据输入信号自动调整性能进行数字信号处理的数字滤波器。对于一些应用来说，由于事先并不知道所需要进行操作的参数，例如一些噪声信号的特性，所以要求使用自适应的系数进行处理。在这种情况下，通常使用自适应滤波器，自适应滤波器使用反馈来调整滤波器系数以及频率响应。总的来说，自适应的过程涉及到将代价函数用于确定如何更改滤波器系数，从而减小下一次迭代过程成本的算法。价值函数是滤波器最佳性能的判断准则，比如减小输入信号中的噪声成分的能力。

具体地，该步骤S130可以包括：将所述干扰分量作为噪声参考并将所述第二输入信号作为待处理信号输入自适应滤波器；以及调整所述自适应滤波器的参数，从所述第二输入信号中去除所述噪声分量，以得到所述信号分量。

图4图示了根据本申请第一实施例的自适应滤波器处理的示意图。

如图4所示，例如，可以将扬声器单元110所采集到的干扰分量SPv作为噪声参考提供到自适应滤波器中，并且可以将麦克风单元120所采集到的信号分量Ms和噪声分量Mn作为待处理信号提供到自适应滤波器中，由于干扰分量SPv与噪声分量Mn之间存在一定的对应关系，所以可以通过调整滤波器系数以及频率响应来滤除噪声分量Mn并提取信号分量Ms。

由此可见，采用根据本申请第一实施例的音频信号处理方法，可以接收扬声器单元采集的第一输入信号，所述第一输入信号包括源自振动源所产生的机械振动的干扰分量；接收麦克风单元采集的第二输入信号，所述第二输入信号包括源自声源所发出的声源音频信号的信号分量和源自所述机械振动所产生的振动噪声信号的噪声分量；并且根据所述第一输入信号来从所述第二输入信号中提取所述信号分量。因此，可以很好地从麦克风单元所采集的音频输入信号中提取声源所发出的声源音频信号并滤除源自噪声源的振动噪声信号。

具体来说，根据本申请第一实施例的音频信号处理方法具有以下好处：

1)扬声器单元是大功率驱动电声器件，可以很好地采集振动，但是对于远场的语音几乎没有任何响应。因此，可以很好地采集自适应滤波器需要的振动噪声，以将振动噪声滤除；

2)不需要额外增加器件，一般电子设备都装备有麦克风单元和扬声器单元。

在本申请的第一实施例中，简单地假设扬声器单元110仅用于振动信号采集。然而，在实际应用中，扬声器单元110还具有音频信号输出功能。

如果扬声器单元110在播放输出音频信号的同时采集振动信号，则一方面，振膜VD会因受到振动源的机械振动的影响而产生振动，而另一方面，振膜VD也会因受到线圈C中的交流电信号驱动而发生振动。也就是说，扬声器单元110所采集的第一输入信号除了包括源自振动源300所产生的机械振动的干扰分量之外，还可能包括源自所述输出音频信号的回声分量。同时，该输出音频信号也会被麦克风单元120所采集，而向第二输入信号中引入回声分量。

为此，在第二实施例中，可以进一步判断所述扬声器单元是否正在播放输出音频信号，并且由于输出音频信号是已知的，所以可以据此来滤除源自噪声源的振动噪声信号。

下面结合图2的应用场景，参考图5来描述根据本申请第二实施例的音频信号处理方法。

图5图示了根据本申请第二实施例的音频信号处理方法的流程图。

如图5所示，根据本申请第二实施例的音频信号处理方法可以包括：

在步骤S210中，预先对所述扬声器单元和所述麦克风单元进行校准。

在进行信号采集之前，可以对所述扬声器单元和所述麦克风单元进行预先校准，以使得所述扬声器单元采集特定机械振动所得到的第一信号和所述麦克风单元采集所述特定机械振动所产生的特定振动噪声信号所得到的第二信号具有相同的幅度。

这样，可以保证扬声器单元110所采集到的干扰分量与麦克风单元120所采集到的噪声分量可以具有相同的幅度，或者可以建立相应的对应关系(例如，放大系数)，从而保证可以在后续处理中从第二输入信号中准确、完全地滤除振动噪声。

在步骤S220中，接收扬声器单元采集的第一输入信号。

在步骤S230中，接收麦克风单元采集的第二输入信号。

在步骤S240中，根据所述第一输入信号来从所述第二输入信号中提取所述信号分量。

图6图示了根据本申请第二实施例的分量提取步骤的流程图。

如图6所示，步骤S240可以包括：

在子步骤S241中，判断所述扬声器单元是否正在播放输出音频信号。

在扬声器单元110正在播放输出音频信号SPo时，其中振膜VD因受到振动源的机械振动的影响而产生振动，同时振膜VD也因受到线圈C中的交流电信号驱动而发生振动，则扬声器单元110采集的第一输入信号除了所述干扰分量SPv之外，还包括源自所述输出音频信号的第一回声分量SPe。另一方面，由于扬声器单元110正在播放输出音频信号除了被自身采集之外，它也会被麦克风单元120所采集。即，麦克风单元120采集的第二输入信号除了源自声源所发出的声源音频信号的信号分量Ms和源自所述机械振动所产生的振动噪声信号的噪声分量Mn之外，还包括源自所述输出音频信号的第二回声分量Me。

相反地，在扬声器单元110没有播放输出音频信号SPo时，与第一实施例中类似地，扬声器单元110采集的第一输入信号仅仅包括干扰分量SPv，麦克风单元120采集的第二输入信号仅仅包括信号分量Ms和噪声分量Mn。

如果判断出扬声器单元110正在播放输出音频信号，则该方法前进到子步骤S242，否则，该方法前进到子步骤S243。

在子步骤S242中，响应于所述扬声器单元正在播放所述输出音频信号，根据所述输出音频信号和所述第一输入信号来从所述第二输入信号中提取所述信号分量。

具体地，子步骤S242可以包括：根据所述输出音频信号从所述第一输入信号中提取所述干扰分量；根据所述输出音频信号从所述第二输入信号中提取所述信号分量和所述噪声分量，作为中间结果信号；以及根据所述干扰分量来从所述中间结果信号中提取所述信号分量。

例如，在子步骤S242的各个处理中，可以使用自适应滤波器来实现更加精确的信号提取结果。

具体地，首先，可以将所述输出音频信号作为第一噪声参考并将所述第一输入信号作为待处理信号输入第一自适应滤波器；以及调整所述第一自适应滤波器的参数，从所述第一输入信号中去除所述第一回声分量，以得到所述干扰分量。

在此之前、之后或与之同时地，可以将所述输出音频信号作为第二噪声参考并将所述第二输入信号作为待处理信号输入第二自适应滤波器；以及调整所述第二自适应滤波器的参数，从所述第二输入信号中去除所述第二回声分量，以得到所述中间结果信号。

最后，可以将所提取的干扰分量作为第三噪声参考并将所述中间结果信号作为待处理信号输入第三自适应滤波器；以及调整所述第三自适应滤波器的参数，从所述中间结果信号中去除所述噪声分量，以得到所述信号分量。

图7图示了根据本申请第二实施例的自适应滤波器处理的示意图。

如图7所示，例如，首先，可以将扬声器单元110正在播放的输出音频信号SPo作为噪声参考提供到第一自适应滤波器中，并且可以将扬声器单元110所采集到的干扰分量SPv和第一回声分量SPe作为待处理信号提供到该第一自适应滤波器中，由于输出音频信号SPo与第一回声分量SPe之间存在一定的对应关系，所以可以通过调整滤波器系数以及频率响应来滤除第一回声分量SPe并提取干扰分量SPv。

在此之前、之后或与之同时地，可以将扬声器单元110正在播放的输出音频信号SPo作为噪声参考提供到第二自适应滤波器中，并且可以将麦克风单元120所采集到的信号分量Ms和噪声分量Mn和第二回声分量Me作为待处理信号提供到该第二自适应滤波器中，由于输出音频信号SPo与第二回声分量Me之间存在一定的对应关系，所以可以通过调整滤波器系数以及频率响应来滤除第二回声分量Me并提取信号分量Ms和噪声分量Mn。

最后，可以将第一自适应滤波器输出的干扰分量SPv作为噪声参考提供到第三自适应滤波器中，并且可以第二自适应滤波器输出的信号分量Ms和噪声分量Mn作为待处理信号提供到该第三自适应滤波器中，由于干扰分量SPv与噪声分量Mn之间存在一定的对应关系，所以可以通过调整滤波器系数以及频率响应来滤除噪声分量Mn并提取信号分量Ms。

在子步骤S243中，响应于所述扬声器单元没有播放所述输出音频信号，仅仅根据所述第一输入信号来从所述第二输入信号中提取所述信号分量。

具体地，子步骤S243可以包括：直接将所述干扰分量作为第四噪声参考并将所述第二输入信号作为待处理信号输入第四自适应滤波器；以及调整所述第四自适应滤波器的参数，从所述第二输入信号中去除所述噪声分量，以得到所述信号分量。

由于子步骤S243与第一实施例中的步骤S130基本相似，因而省略其详细描述。

需要说明的是，尽管上面以使用单独的自适应滤波器分别实现各个提取操作来进行描述，但是在实际应用中，可以使用更少的自适应滤波器来复用地实现上述的分量提取操作。另一方面，也可以除了自适应滤波器之外，也可以使用简单的减法器和乘法器的组合，或者其他任何可能实现相同操作的信号处理器件。

在获得源自声源所发出的声源音频信号的信号分量之后，可以直接进行后续的音频信号处理(例如，音频存储、语义识别、声纹识别)。替换地，也可以在进行音频信号处理之前，进一步引入空域滤波波束形成等方式，进一步滤除可能的噪声，以提高音频信号的精度。

此外，根据本申请实施例的音频信号处理方法还可以包括其他的附加步骤。

例如，在步骤S250中，根据所述干扰分量来确定所述振动源的工作状态。

扬声器单元110所采集到的干扰分量除了可以用于对所述第二输入信号执行分离操作，以滤除其中的噪声分量之外，还可以用于建立振动基准，以确定振动源的工作状态是否正常。

具体地，步骤S250可以包括：根据所述干扰分量来确定所述振动源的当前振动参数；获取所述振动源的基准振动参数；以及将所述基准振动参数与所述当前振动参数进行比较，以确定所述振动源的工作状态。

例如，可以监控振动源在正常状态下的诸如振动频率、振动幅度、振动规律等的振动参数，并设定门限(例如，±5％或±10％)进行存储。然后，可以实时地监控振动源的这些振动参数。当实时采集到的振动参数超过正常门限之外，则可能诸如设备马达之类的振动源300存在可疑故障，并提出报警。

由此可见，采用根据本申请第二实施例的音频信号处理方法，可以接收扬声器单元采集的第一输入信号；接收麦克风单元采集的第二输入信号；判断所述扬声器单元是否正在播放输出音频信号，以确定所述第一输入信号和所述第二输入信号中是否存在回声分量；并且根据回声分量的存在与否来从所述第二输入信号中提取所述信号分量。因此，本申请的实施例不仅可以适用于扬声器单元不发声的场景，而且即使它正在发声，也可以结合回声抑制来实现振动采集，从而很好地从麦克风单元所采集的音频输入信号中提取声源所发出的声源音频信号并滤除源自噪声源的振动噪声信号。

具体来说，根据本申请第二实施例的音频信号处理方法具有以下好处：

1)扬声器单元是大功率驱动电声器件，可以很好地采集振动，但是对于远场的语音几乎没有任何响应。因此，可以很好地采集自适应滤波器需要的振动噪声，以将振动噪声滤除；

2)不需要额外增加器件，一般电子设备都装备有麦克风单元和扬声器单元；

3)利用自适应回声抑制的方法不仅可以滤除振动噪声，还可以滤除可能出现的回声。

示例性装置

下面，参考图8来描述根据本申请实施例的音频信号处理装置。

图8图示了根据本申请实施例的音频信号处理装置的框图。

如图8所示，根据本申请实施例的所述音频信号处理装置400可以包括：第一接收单元410，用于接收扬声器单元采集的第一输入信号，所述第一输入信号包括源自振动源所产生的机械振动的干扰分量；第二接收单元420，用于接收麦克风单元采集的第二输入信号，所述第二输入信号包括源自声源所发出的声源音频信号的信号分量和源自所述机械振动所产生的振动噪声信号的噪声分量；以及信号提取单元430，用于根据所述第一输入信号来从所述第二输入信号中提取所述信号分量。

在一个示例中，所述音频信号处理装置400还可以包括：校准单元，用于预先对所述扬声器单元和所述麦克风单元进行校准，以使得所述扬声器单元采集特定机械振动所得到的第一信号和所述麦克风单元采集所述特定机械振动所产生的特定振动噪声信号所得到的第二信号具有相同的幅度。

在一个示例中，所述信号提取单元430可以将所述干扰分量作为噪声参考并将所述第二输入信号作为待处理信号输入自适应滤波器；并且调整所述自适应滤波器的参数，从所述第二输入信号中去除所述噪声分量，以得到所述信号分量。

在一个示例中，所述信号提取单元430可以判断所述扬声器单元是否正在播放输出音频信号；响应于所述扬声器单元正在播放所述输出音频信号，根据所述输出音频信号和所述第一输入信号来从所述第二输入信号中提取所述信号分量，所述第一输入信号除了所述干扰分量之外，还包括源自所述输出音频信号的第一回声分量，所述第二输入信号除了所述信号分量和所述噪声分量之外，还包括源自所述输出音频信号的第二回声分量；并且响应于所述扬声器单元没有播放所述输出音频信号，仅仅根据所述第一输入信号来从所述第二输入信号中提取所述信号分量。

在一个示例中，所述信号提取单元430可以根据所述输出音频信号从所述第一输入信号中提取所述干扰分量；根据所述输出音频信号从所述第二输入信号中提取所述信号分量和所述噪声分量，作为中间结果信号；并且根据所述干扰分量来从所述中间结果信号中提取所述信号分量。

在一个示例中，所述信号提取单元430可以将所述输出音频信号作为第一噪声参考并将所述第一输入信号作为待处理信号输入第一自适应滤波器；并且调整所述第一自适应滤波器的参数，从所述第一输入信号中去除所述第一回声分量，以得到所述干扰分量。

在一个示例中，所述信号提取单元430可以将所述输出音频信号作为第二噪声参考并将所述第二输入信号作为待处理信号输入第二自适应滤波器；并且调整所述第二自适应滤波器的参数，从所述第二输入信号中去除所述第二回声分量，以得到所述中间结果信号。

在一个示例中，所述信号提取单元430可以将所提取的干扰分量作为第三噪声参考并将所述中间结果信号作为待处理信号输入第三自适应滤波器；并且调整所述第三自适应滤波器的参数，从所述中间结果信号中去除所述噪声分量，以得到所述信号分量。

在一个示例中，所述信号提取单元430可以直接将所述干扰分量作为第四噪声参考并将所述第二输入信号作为待处理信号输入第四自适应滤波器；并且调整所述第四自适应滤波器的参数，从所述第二输入信号中去除所述噪声分量，以得到所述信号分量。

在一个示例中，所述音频信号处理装置400还可以包括：状态确定单元，用于根据所述干扰分量来确定所述振动源的工作状态。

在一个示例中，所述状态确定单元可以根据所述干扰分量来确定所述振动源的当前振动参数；获取所述振动源的基准振动参数；并且将所述基准振动参数与所述当前振动参数进行比较，以确定所述振动源的工作状态。

上述音频信号处理装置400中的各个单元和模块的具体功能和操作已经在上面参考图1到图7描述的音频信号处理方法中详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的音频信号处理装置400可以应用于如图2所示的音频信号处理设备100中，以用于从输入音频信号中滤除振动源300所产生的振动噪声信号，保留声源200发出的声源音频信号。

在一个示例中，根据本申请实施例的音频信号处理装置400可以作为一个软件模块和/或硬件模块而集成到该音频信号处理设备100中。例如，该音频信号处理装置400可以是被实现为音频信号处理设备100中的信号处理模块130。例如，该音频信号处理装置400可以是该音频信号处理设备100的操作系统中的一个软件模块，或者可以是针对于该音频信号处理设备100所开发的一个应用程序；当然，该音频信号处理装置400同样可以是该音频信号处理设备100的众多硬件模块之一。

替换地，在另一示例中，该音频信号处理装置400与该音频信号处理设备也可以是分立的设备，并且该音频信号处理装置400可以通过有线和/或无线网络连接到该音频信号处理设备，并且按照约定的数据格式来传输交互信息。

示例性电子设备

下面，参考图9来描述根据本申请实施例的电子设备。该电子设备可以是计算机或服务器或其他设备。

图9图示了根据本申请实施例的电子设备的框图。

如图9所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的音频信号处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如干扰分量、信号分量、噪声分量等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，该输入装置13可以是上述的扬声器单元110，用于采集振动源300产生的机械振动，并且还可以用于播放输出音频信号。该输入装置13还可以是上述的麦克风单元120，用于采集输入音频信号，例如，声源200发出的声源音频信号、由于振动源300的振动所产生的振动噪声信号等。

此外，该输入设备13还可以包括例如键盘、鼠标、以及通信网络及其所连接的远程输入设备等等。

该输出装置14可以向外部输出各种信息，包括提取出的干扰分量、信号分量、噪声分量等音频信号。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图9中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的音频信号处理方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的音频信号处理方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的方法、器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行执行、连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (12)

1.一种音频信号处理方法，包括：

接收扬声器单元采集的第一输入信号，所述第一输入信号包括源自振动源所产生的机械振动的干扰分量；

接收麦克风单元采集的第二输入信号，所述第二输入信号包括源自声源所发出的声源音频信号的信号分量和源自所述机械振动所产生的振动噪声信号的噪声分量；以及

根据所述第一输入信号来从所述第二输入信号中提取所述信号分量，

其中，根据所述第一输入信号来从所述第二输入信号中提取所述信号分量包括：

判断所述扬声器单元是否正在播放输出音频信号；

响应于所述扬声器单元正在播放所述输出音频信号，根据所述输出音频信号和所述第一输入信号来从所述第二输入信号中提取所述信号分量，所述第一输入信号除了所述干扰分量之外，还包括源自所述输出音频信号的第一回声分量，所述第二输入信号除了所述信号分量和所述噪声分量之外，还包括源自所述输出音频信号的第二回声分量；以及

响应于所述扬声器单元没有播放所述输出音频信号，根据所述第一输入信号来从所述第二输入信号中提取所述信号分量，

其中，根据所述输出音频信号和所述第一输入信号来从所述第二输入信号中提取所述信号分量包括：

根据所述输出音频信号从所述第一输入信号中提取所述干扰分量；

根据所述输出音频信号从所述第二输入信号中提取所述信号分量和所述噪声分量，作为中间结果信号；以及

根据所述干扰分量来从所述中间结果信号中提取所述信号分量。

2.如权利要求1所述的方法，还包括：

预先对所述扬声器单元和所述麦克风单元进行校准，以使得所述扬声器单元采集特定机械振动所得到的第一信号和所述麦克风单元采集所述特定机械振动所产生的特定振动噪声信号所得到的第二信号具有相同的幅度。

3.如权利要求1所述的方法，其中，根据所述第一输入信号来从所述第二输入信号中提取所述信号分量包括：

将所述干扰分量作为噪声参考并将所述第二输入信号作为待处理信号输入自适应滤波器；以及

调整所述自适应滤波器的参数，从所述第二输入信号中去除所述噪声分量，以得到所述信号分量。

4.如权利要求1所述的方法，其中，根据所述输出音频信号从所述第一输入信号中提取所述干扰分量包括：

将所述输出音频信号作为第一噪声参考并将所述第一输入信号作为待处理信号输入第一自适应滤波器；以及

调整所述第一自适应滤波器的参数，从所述第一输入信号中去除所述第一回声分量，以得到所述干扰分量。

5.如权利要求1所述的方法，其中，根据所述输出音频信号从所述第二输入信号中提取所述信号分量和所述噪声分量，作为中间结果信号包括：

将所述输出音频信号作为第二噪声参考并将所述第二输入信号作为待处理信号输入第二自适应滤波器；以及

调整所述第二自适应滤波器的参数，从所述第二输入信号中去除所述第二回声分量，以得到所述中间结果信号。

6.如权利要求1所述的方法，其中，根据所述干扰分量来从所述中间结果信号中提取所述信号分量包括：

将所提取的干扰分量作为第三噪声参考并将所述中间结果信号作为待处理信号输入第三自适应滤波器；以及

调整所述第三自适应滤波器的参数，从所述中间结果信号中去除所述噪声分量，以得到所述信号分量。

7.如权利要求1所述的方法，其中，仅仅根据所述第一输入信号来从所述第二输入信号中提取所述信号分量包括：

直接将所述干扰分量作为第四噪声参考并将所述第二输入信号作为待处理信号输入第四自适应滤波器；以及

调整所述第四自适应滤波器的参数，从所述第二输入信号中去除所述噪声分量，以得到所述信号分量。

8.如权利要求1所述的方法，还包括：

根据所述干扰分量来确定所述振动源的工作状态。

9.如权利要求8所述的方法，其中，根据所述干扰分量来确定所述振动源的工作状态包括：

根据所述干扰分量来确定所述振动源的当前振动参数；

获取所述振动源的基准振动参数；以及

将所述基准振动参数与所述当前振动参数进行比较，以确定所述振动源的工作状态。

10.一种音频信号处理装置，包括：

第一接收单元，用于接收扬声器单元采集的第一输入信号，所述第一输入信号包括源自振动源所产生的机械振动的干扰分量；

第二接收单元，用于接收麦克风单元采集的第二输入信号，所述第二输入信号包括源自声源所发出的声源音频信号的信号分量和源自所述机械振动所产生的振动噪声信号的噪声分量；以及

信号提取单元，用于根据所述第一输入信号来从所述第二输入信号中提取所述信号分量，

其中，根据所述第一输入信号来从所述第二输入信号中提取所述信号分量包括：

判断所述扬声器单元是否正在播放输出音频信号；

响应于所述扬声器单元正在播放所述输出音频信号，根据所述输出音频信号和所述第一输入信号来从所述第二输入信号中提取所述信号分量，所述第一输入信号除了所述干扰分量之外，还包括源自所述输出音频信号的第一回声分量，所述第二输入信号除了所述信号分量和所述噪声分量之外，还包括源自所述输出音频信号的第二回声分量；以及

响应于所述扬声器单元没有播放所述输出音频信号，根据所述第一输入信号来从所述第二输入信号中提取所述信号分量，

其中，根据所述输出音频信号和所述第一输入信号来从所述第二输入信号中提取所述信号分量包括：

根据所述输出音频信号从所述第一输入信号中提取所述干扰分量；

根据所述输出音频信号从所述第二输入信号中提取所述信号分量和所述噪声分量，作为中间结果信号；以及

根据所述干扰分量来从所述中间结果信号中提取所述信号分量。

11.一种电子设备，包括：

处理器；

存储器；以及

存储在所述存储器中的计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-9中任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-9中任一项所述的方法。

Images