CN116582783A

CN116582783A - 一种声音信号处理方法、装置和设备

Info

Publication number: CN116582783A
Application number: CN202310602324.1A
Authority: CN
Inventors: 邹辉
Original assignee: Lenovo Beijing Ltd
Current assignee: Lenovo Beijing Ltd
Priority date: 2023-05-25
Filing date: 2023-05-25
Publication date: 2023-08-11

Abstract

本申请公开一种声音信号处理方法、装置和设备，方法包括，获得第一声音信号、第二声音信号和第一振动信号，第一声音信号由第一拾音设备采集，第二声音信号由第二拾音设备采集，第一振动信号是振动传感器采集的第一拾音设备的振动信号，第二拾音设备到扬声器的距离小于第一拾音设备到扬声器的距离，第一拾音设备的轴线和扬声器的轴线不重合，第二拾音设备的轴线和扬声器的轴线重合；根据第二声音信号和第一振动信号，对第一声音信号进行声学回声消除，得到第三声音信号。

Description

一种声音信号处理方法、装置和设备

技术领域

本申请属于信号处理技术领域，尤其涉及一种声音信号处理方法、装置和设备。

背景技术

目前多数终端设备都集成有扬声器和麦克风，以实现音频播放和采集。使用这类终端设备时，扬声器发出的声音可能作为噪音被麦克风采集，因此终端设备需要削弱麦克风采集到的噪音。

发明内容

为此，本申请公开如下技术方案：

本申请第一方面公开一种声音信号处理方法，包括：

获得第一声音信号、第二声音信号和第一振动信号，所述第一声音信号由第一拾音设备采集，所述第二声音信号由第二拾音设备采集，所述第一振动信号是振动传感器采集的所述第一拾音设备的振动信号，所述第二拾音设备到扬声器的距离小于所述第一拾音设备到所述扬声器的距离，所述第一拾音设备的轴线和所述扬声器的轴线不重合，所述第二拾音设备的轴线和所述扬声器的轴线重合；

根据所述第二声音信号和所述第一振动信号，对所述第一声音信号进行声学回声消除，得到第三声音信号。

可选的，还包括：

根据预设的结构传递函数修正所述第二声音信号，获得修正后第二声音信号，所述结构传递函数根据所述第二声音信号和第四声音信号的相位差和幅度差建立，所述第四声音信号是第三拾音设备采集到的从所述扬声器发出的声音信号，所述第三拾音设备设置于所述第一拾音设备所在区域内；

所述根据所述第二声音信号和所述第一振动信号，对所述第一声音信号进行声学回声消除，得到第三声音信号，包括：

根据所述修正后第二声音信号和所述第一振动信号，对所述第一声音信号进行声学回声消除，得到第三声音信号。

可选的，所述扬声器和所述第二拾音设备的数量均为多个，多个所述扬声器和多个所述第二拾音设备一一对应；

所述获得第一声音信号、第二声音信号和第一振动信号，包括：

识别多个所述扬声器中处于工作状态的目标扬声器；

获得第一声音信号、第一振动信号和所述目标扬声器对应的所述第二拾音设备的第二声音信号。

可选的，所述识别多个所述扬声器中处于工作状态的目标扬声器，包括：

根据所述扬声器所属的电子设备的姿态信息，识别多个所述扬声器中处于工作状态的目标扬声器。

可选的，所述获得第一声音信号、第二声音信号和第一振动信号包括：

检测所述扬声器的输出功率；

当所述扬声器的输出功率大于或等于预设的功率阈值时，获得第一声音信号、第二声音信号和第一振动信号。

可选的，所述根据所述第二声音信号和所述第一振动信号，对所述第一声音信号进行声学回声消除，得到第三声音信号，包括：

比对所述第二声音信号和输入所述扬声器的音频模拟信号；

若所述第二声音信号和所述音频模拟信号不匹配，根据所述音频模拟信号和所述第一振动信号，对所述第一声音信号进行声学回声消除，得到第三声音信号；

若所述第二声音信号和所述音频模拟信号匹配，根据所述第二声音信号和所述第一振动信号，对所述第一声音信号进行声学回声消除，得到第三声音信号。

本申请第二方面提供一种声音信号处理装置，包括：

获得单元，用于获得第一声音信号、第二声音信号和第一振动信号，所述第一声音信号由第一拾音设备采集，所述第二声音信号由第二拾音设备采集，所述第一振动信号是振动传感器采集的所述第一拾音设备的振动信号，所述第二拾音设备到扬声器的距离小于所述第一拾音设备到所述扬声器的距离，所述第一拾音设备的轴线和所述扬声器的轴线不重合，所述第二拾音设备的轴线和所述扬声器的轴线重合；

消除单元，用于根据所述第二声音信号和所述第一振动信号，对所述第一声音信号进行声学回声消除，得到第三声音信号。

本申请第三方面提供一种电子设备，包括第一拾音设备，第二拾音设备，扬声器，振动传感器，存储器和处理器；

所述第二拾音设备到扬声器的距离小于所述第一拾音设备到所述扬声器的距离，所述第一拾音设备的轴线和所述扬声器的轴线不重合，所述第二拾音设备的轴线和所述扬声器的轴线重合；

所述振动传感器用于检测所述第一拾音设备的振动信号；

所述存储器用于存储计算机程序；

所述处理器用于执行所述计算机程序，以实现：

获得第一声音信号、第二声音信号和第一振动信号，所述第一声音信号由第一拾音设备采集，所述第二声音信号由第二拾音设备采集，所述第一振动信号由所述振动传感器采集；

可选的，所述第一拾音设备包括多个麦克风，所述多个麦克风形成的几何形状的中心位置区域用于设置第三拾音设备，所述第三拾音设备用于采集第四声音信号，所述第四声音信号用于建立结构传递函数，所述结构传递函数作为修正所述第二声音信号的依据。

可选的，所述第二拾音设备对拾取指向所述扬声器的方向上声音信号的灵敏度，大于对拾取其他方向上声音信号的灵敏度。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是相关技术中对麦克风的声音信号进行声学回声消除的方式对应的结构示意图；

图2是本申请实施例提供的一种电子设备的结构示意图；

图3是本申请实施例提供的一种电子设备的工作原理示意图；

图4是本申请实施例提供的一种建立结构传递函数的装置的示意图；

图5是本申请实施例提供的一种第二拾音设备的极性图；

图6是本申请实施例提供的一种声音信号处理方法的流程图；

图7是本申请实施例提供的一种平板电脑的姿态示意图；

图8是本申请实施例提供的一种振动信号的示意图；

图9是本申请实施例提供的一种振动噪音信号的示意图；

图10是本申请实施例提供的一种振动信号和振动噪音信号的对比示意图；

图11是本申请实施例提供的一种声音信号处理装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在一些需要扬声器和麦克风同时工作的场景中，终端设备需要对麦克风采集的声音信号进行降噪处理，以削弱从扬声器传导至麦克风的噪音信号。

示例性的，网络会议中的双讲场景，就是一个典型的需要扬声器和麦克风同时工作的场景。该场景下，接入网络会议的一台终端设备，既需要用麦克风采集当前用户说话的声音，获得当前用户的语音信号，又需要通过扬声器播放参与会议的其他用户的终端设备发送过来的声音信号。

以上述双讲场景为示例，如果采用直接削弱麦克风采集的声音信号的方式进行降噪，就会既削弱噪音，又削弱有效的语音信号，导致参与会议的其他用户不能清晰地听到当前用户的语音。

针对这一问题，相关技术中的一种降噪方式是，在降噪环节引入输入扬声器的模拟信号或者数字信号作为参考信号，根据参考信号对麦克风采集的声音信号进行降噪处理。

请参见图1，为这种降噪方式对应的结构示意图。

首先结合图1简要说明终端设备播放声音的原理。终端设备的处理器将需要播放的数字音频信号通过编码器传输给功率放大器，功率放大器将数字音频信号转换成模拟音频信号，将模拟音频信号(可以是电压信号或者电流信号)输出给扬声器，扬声器的振膜就可以在模拟音频信号的激励下振动，从而发出和模拟音频信号匹配的声音。

而在相关技术的降噪方式中，数字信号处理(Digital Signal Processing，DSP)可以通过以下任一方式获得参考信号：直接从功率放大器获取数字音频信号作为参考信号，或者，可以通过模数转换器将功率放大器输出的模拟音频信号转换为数字音频信号，以转换出的数字音频信号作为参考信号。

由此，DSP可以根据参考信号对麦克风采集的声音信号进行降噪，也就是从麦克风采集的原始声音信号中，消除或者削弱和参考信号匹配的那部分信号，这样既可以消除由扬声器播音产生的噪音信号，又不会影响用户说话产生的语音信号，从而部分解决了背景技术中无法兼顾低噪音和语音信号少衰减的问题。

但是，这种降噪方式仍然存在至少两方面的缺陷。

第一，由扬声器播音而产生的噪音信号，是扬声器的振膜在模拟音频信号的激励下振动，进而带动空气振动产生的声音信号，也就是说，在模拟音频信号到噪音信号之间，存在电信号-振动信号-声音信号的转换，而这一转换显然会受到扬声器自身声学特定的影响。所以，通过图1的方式获得的参考信号和扬声器实际产生的噪音信号之间存在一定差异，并不是完全匹配的。这种差异的存在导致按图1的降噪方式，理论上不可能完全消除从扬声器传导至麦克风的噪音信号。

第二，在麦克风工作时，特别是在扬声器和麦克风同时工作时，麦克风可能在终端设备的其他设备(包括但不限于麦克风)的影响下而产生振动，当这种振动被麦克风采集时，就成为振动噪音信号。而在相关技术的降噪方式中，由功率放大器提供作为参考的数字音频信号显然不能反映振动噪音信号，因此，相关技术的降噪方式不能消除振动噪音信号。

综上所述，相关技术的这种降噪方式降噪能力有限，不能充分消除扬声器传导至麦克风的噪音信号，也不能消除麦克风自身振动产生的振动噪音信号。

针对上述问题，本申请实施例提供一种电子设备，以提高电子设备的降噪能力，进一步消除麦克风和扬声器同时工作时麦克风的噪音。

请参见图2，为本实施例提供的电子设备的结构示意图，该电子设备可以包括第一拾音设备201，第二拾音设备202，扬声器203，振动传感器204，存储器205和处理器206。

处理器206具体可以是数字信号处理器。

第二拾音设备到扬声器的距离小于第一拾音设备到扬声器的距离，第一拾音设备的轴线和扬声器的轴线不重合，第二拾音设备的轴线和扬声器的轴线重合；

振动传感器用于检测第一拾音设备的振动信号；

存储器用于存储计算机程序；

处理器用于执行计算机程序，以实现：

获得第一声音信号、第二声音信号和第一振动信号，第一声音信号由第一拾音设备采集，第二声音信号由第二拾音设备采集，第一振动信号由振动传感器采集；

根据第二声音信号和第一振动信号，对第一声音信号进行声学回声消除，得到第三声音信号。

第一拾音设备，可以包括一个麦克风，也可以包括多个麦克风。当包括多个麦克风时，这些麦克风可以按照一定的几何形状排列，形成一个麦克风阵列。

第二拾音设备也可以包括一个或多个麦克风。

第二拾音设备，可以安装在扬声器播音的方向上，并且，为了使第二拾音设备尽可能准确地采集到扬声器播放的声音信号，可以设定第二拾音设备和扬声器之间的距离不大于预设的第一距离阈值。

第一距离阈值，可以根据第二拾音设备的拾音性能确定，不做限定，第二拾音设备的拾音性能较强，则可以设定较大的第一距离阈值，拾音性能较弱，则可以设定较小的第一距离阈值，使得第二拾音设备尽可能接近扬声器。

可选的，当该电子设备的扬声器的数量为多个时，第二拾音设备可以包括和扬声器相同数量的麦克风，并且，第二拾音设备的多个麦克风和扬声器一一对应。

在第二拾音设备的多个麦克风和扬声器一一对应的情况下，第二拾音设备的每一个麦克风均和其对应的扬声器同轴，麦克风安装在其对应的扬声器播音的方向上，并且相互对应的麦克风和扬声器之间的距离小于上述第一距离阈值。

振动传感器的数量可以和第一拾音设备包含的麦克风的数量一致，也可以比第一拾音设备包含的麦克风的数量少。

振动传感器设置于第一拾音设备所在区域内，以采集第一拾音设备的振动信号。

振动传感器可以采用多种不同方式安装，本实施例对其具体安装方式不做限定，下面是几种可选的振动传感器的安装方式。

当振动传感器的数量和第一拾音设备包含的麦克风的数量一致时，可以在每一个麦克风上均安装一个振动传感器。

当第一拾音设备包含多个麦克风，而振动传感器的数量为一个时，可以将振动传感器安装在麦克风所在的腔体上，且位于第一拾音设备的多个麦克风形成的几何形状的中心区域。

当振动传感器和第一拾音设备包含的麦克风均为多个，且振动传感器的数量比第一拾音设备的麦克风的数量少时，振动传感器可以安装在相邻的两个麦克风之间。

示例性的，当第一拾音设备包括线性排列的四个麦克风，而振动传感器数量为2时，可以在第一拾音设备一侧的两个麦克风之间安装一个振动传感器，在另一侧的两个麦克风之间安装另一个振动传感器。

可选的，振动传感器一般可以检测到多个方向上的振动信号。本实施例中，考虑到第一拾音设备的振动主要是由于扬声器播放声音时振膜的振动引起的，上述第一振动信号，可以设定为，振动传感器在扬声器振膜的振动方向上检测到的振动信号。

下面对图2所示的电子设备的工作原理进行说明。请参见图3，为本申请实施例提供的电子设备的工作原理示意图。

数字信号处理器分别从第一拾音设备、第二拾音设备和振动传感器，获得第一声音信号，第二声音信号和第一振动信号。

数字信号处理器基于预先建立的结构传递函数，对第二声音信号进行修正，获得修正后第二声音信号。

其中，结构传递函数用于修正由于第一拾音设备和第二拾音设备位置的不同而产生的声音信号的差异，包括但不限于延时差、相位差和幅度差。

具体的，由于第一拾音设备和第二拾音设备安装的位置不同，与扬声器的距离不同，所以第一拾音设备采集到的来自扬声器的噪音信号，和第二拾音设备采集到的第二声音信号之间，时延、相位和幅度均不一致。通过结构传递函数对第二声音信号进行修正，能够削弱两者之间时延、相位和幅度的差异，使得修正后第二声音信号尽可能接近第一拾音设备实际采集到的由扬声器发出的噪音信号，从而提高后续声学回声消除的准确度。

获得修正后第二声音信号后，数字信号处理器以修正后第二声音信号作为第一参考信号，对第一声音信号进行第一声学回声消除，获得经过中间声音信号。

本实施例中，第一声学回声消除的具体实施过程，可以参见相关技术中基于特定的参考信号对音频信号进行降噪处理的算法，不做赘述。可选的，进行第一声学回声消除时所用的降噪算法，可以和图1所示的降噪方式中所用的降噪算法一致。

可以理解，基于结构传递函数进行修正的环节为可选项，在一些可选的实施例中，也可以不执行该环节，数字信号处理器直接以第二声音信号作为第一参考信号，对第一声音信号进行第一声学回声消除，从而提高本实施例的执行效率。

获得中间声音信号后，数字信号处理器进一步根据振动信号，确定对应的振动噪音信号，然后以振动噪音信号作为第二参考信号，对中间声音信号进行第二声学回声消除，获得经过两次声学回声消除后的第三声音信号。

可以理解的，上述两次声学回声消除的先后顺序仅作为示例，在实际应用时，也可以先以振动噪音信号作为第一参考信号，进行第一声学回声消除，再以第二声音信号(或者修正后第二声音信号)作为第二参考信号进行第二声学回声消除。

可选的，数字信号处理器还可以先将振动噪音信号和第二声音信号(或者修正后第二声音信号)合并，获得合并信号，然后以合并信号作为参考信号，直接对第一声音信号进行一次声学回声消除，获得第三声音信号。

上述结构传递函数，可以通过如下方式建立：

首先，在第一拾音设备所在区域设置第三拾音设备。

第三拾音设备，可以是单个麦克风。

若第一拾音设备仅包括一个麦克风，则第三拾音设备可以和第一拾音设备相对设置，并且第一拾音设备和第三拾音设备同轴。

当第一拾音设备包括多个麦克风时，请参见图4，为本实施例提供的一种建立结构传递函数的装置的示意图，可以看出，这种情况下，可以在多个麦克风形成的几何形状的中心位置区域设置第三拾音设备。

进一步的，可以将第三拾音设备设置在上述几何形状的中心点处。

第一拾音设备到第三拾音设备的距离，小于第一拾音设备到其他部件(包括但不限于扬声器和第二拾音设备)的距离，具体的，第一拾音设备到第三拾音设备的距离可以被设定为小于或等于预设的距离阈值。

第三拾音设备用于在扬声器播音时，采集第四声音信号，这种情况下，第三拾音设备采集到的第四声音信号，相当于是由扬声器播放并从扬声器传导至第三拾音设备的声音信号，又由于第三拾音设备和第一拾音设备距离较近，可以认为从扬声器传导至第三拾音设备的声音信号，和从扬声器传导至第一拾音设备的声音信号一致。

因此，可以对第二声音信号进行快速傅里叶变换，获得对应的第二频谱，对第四声音信号进行快速傅里叶变换，获得对应的第四频谱，然后通过比对两者的频谱，获得由第一拾音设备和第二拾音设备的位置差异导致的延时差、相位差和幅度差，再将这些差异以函数的形式表示，就得到结构传递函数。

可选的，采集第四声音信号并基于第四拾音信号建立结构传递函数的步骤，可以在电子设备的生产制造阶段实施，在获得结构传递函数后，就可以从电子设备上拆除第三拾音设备，从而降低用户使用的电子设备的硬件复杂度。

在一些可选的实施例中，第一拾音设备、第二拾音设备和第三拾音设备所包含的麦克风，可以是相同型号或者相同功能的麦克风。

在另一些可选的实施例中，第一拾音设备、第二拾音设备和第三拾音设备所包含的麦克风也可以是功能不同的麦克风。

示例性的，第一拾音设备的麦克风对拾取不同方向上的声音信号的灵敏度可以基本一致，也就是说，第一拾音设备对来自不同方向的声音信号的灵敏度均较高，这样用户在使用电子设备时，不论用户和电子设备之间相对方位如何，第一拾音设备均能采集到用户发出的语音信号，改善用户的使用体验。

相对的，第二拾音设备和第三拾音设备均是用于采集由扬声器播出的声音信号，同时，从前述第一声学回声消除的原理和建立结构传递函数的原理可以看出，如果第二拾音设备和第三拾音设备采集的声音信号中掺杂了除扬声器以外其他声源的声音信号，将导致第一声学回声消除的准确度下降。

基于以上因素，第二拾音设备和第三拾音设备所包含的麦克风，可以被设置为对拾取指向扬声器的方向上声音信号的灵敏度，大于对拾取其他方向上声音信号的灵敏度。

换言之，第二拾音设备和第三拾音设备所包含的麦克风，对来自扬声器方向的声音信号具有最高的灵敏度，对其他方向的声源发出的声音信号具有较低的灵敏度，进一步可选的，其他声源的方向越偏离扬声器所在方向，对该声源的声音信号的灵敏度越差。

为了实现上述功能，第二拾音设备和第三拾音设备所包含的麦克风，可以选用单指向麦克风。

请参见图5，为本实施例提供的单指向麦克风的极性图。可以看到，单指向麦克风对拾取0度方向声音信号的灵敏度最高，随着方向逐渐偏离0度，单指向麦克风对拾取该方向声音信号的灵敏度逐渐降低，直至完全无法拾取。

基于单指向麦克风的特性，本实施例中可以将单指向麦克风的0度方向指向扬声器所在的方向，这样可以尽可能的避免第二拾音设备和第三拾音设备采集到来自非扬声器的声源的声音信号，从而提高后续的第一声学回声消除的准确度。

根据本申请实施例提供的电子设备，本申请实施例还提供一种声音信号处理方法，请参见图6，为该方法的流程图，该方法可以包括如下步骤。

本实施例所提供的声音信号处理方法，可以由图2所示的电子设备中的数字信号处理器执行。

S601，获得第一拾音设备采集的第一声音信号、第二拾音设备采集的第二声音信号和振动传感器采集的第一振动信号，第二拾音设备到扬声器的距离小于第一拾音设备到扬声器的距离。

第一拾音设备的轴线和扬声器的轴线不重合，第二拾音设备的轴线和扬声器的轴线重合。

该步骤中第一拾音设备、第二拾音设备和扬声器之间的位置关系，可以参见图2及其对应的实施例所提供的电子设备，不再赘述。

S602，根据第二声音信号和第一振动信号，对第一声音信号进行声学回声消除，得到第三声音信号。

可选的，在S602之前，本实施例的方法还可以包括：

根据预设的结构传递函数修正第二声音信号，获得修正后第二声音信号，结构传递函数根据第二声音信号和第四声音信号的相位差和幅度差建立，第四声音信号是第三拾音设备采集到的从扬声器发出的声音信号，第三拾音设备设置于第一拾音设备所在区域内。

第三拾音设备和其他部件的位置关系，可以参见图4。

当根据结构传递函数对第二声音信号进行修正时，步骤S602可以替换为：

根据修正后第二声音信号和第一振动信号，对第一声音信号进行声学回声消除，得到第三声音信号。

步骤S602的具体实施过程，可以参见图3以及前述电子设备的工作原理，不再赘述。

如前文所述，扬声器和第二拾音设备的数量均可以为多个，并且两者的数量可以相同，这种情况下，多个扬声器和多个第二拾音设备可以一一对应，每一扬声器的播音的方向上均安装有一个该扬声器对应的第二拾音设备，例如安装有一个该扬声器对应的单指向麦克风。

可选的，同一时刻电子设备的多个扬声器中，可能有部分扬声器工作，部分扬声器不工作，在获得第二声音信号时，可以区分多个扬声器中工作的和不工作的扬声器，然后仅驱动其中工作的扬声器对应的第二拾音设备采集声音信号，不工作的扬声器对应的第二拾音设备则不需要采集声音信号。

也就是说，S601可以包括：

识别多个扬声器中处于工作状态的目标扬声器；

获得第一声音信号、第一振动信号和目标扬声器对应的第二拾音设备的第二声音信号。

这样做的好处在于，一方面减少需要驱动的第二拾音设备的数量，可以降低电子设备的能耗。另一方面，如果扬声器不工作但是对应的第二拾音设备仍然采集声音信号，该第二拾音设备容易采集到非扬声器的声源的声音信号，导致后续的声学回声消除的准确度降低，所以通过上述方式控制第二拾音设备，有助于提高声学回声消除的准确度。

识别扬声器是否处于工作状态，可以通过多种方式实现。

一种可选的识别方式是：

检测各个扬声器是否故障，将其中发生故障的扬声器确定为不处于工作状态的扬声器，未发生故障的扬声器确定为处于工作状态的扬声器。

另一种可选的识别方式是：

根据扬声器所属的电子设备的姿态信息，识别多个扬声器中处于工作状态的目标扬声器。

该识别方式中，可以先确定电子设备的每个扬声器在电子设备上的位置，然后，根据电子设备的姿态信息和扬声器在电子设备上的位置，确定多个扬声器中哪些扬声器和电子设备的支撑平面距离较近，哪些距离较远。一般距离支撑平面较近的扬声器播音的效果较差，所以电子设备通常不会用这些扬声器播音。

所以，可以将和支撑平面距离较近的扬声器确定为不处于工作状态，将和支撑平面距离较远的扬声器确定为处于工作状态。

支撑平面，指代用于放置电子设备的物体表面，例如可以是桌面，室内的地板等。

下面以扬声器所属电子设备是平板电脑为示例，对上述识别方式进行说米。

请参见图7，为本申请实施例提供的一种平板电脑的姿态示意图。可以看到，该平板电脑设置有四个扬声器，如图所示，这四个扬声器分别是，接近左上角的扬声器1，接近左下角的扬声器2，接近右上角的扬声器3，接近右下角的扬声器4。

当平板电脑的姿态信息为竖直放置时，此时平板电脑的姿态可以如图7的(1)所示，可以看到，此时扬声器2和4距离支撑平面较近，扬声器1和3距离支撑平面较远，于是确定扬声器1和3是处于工作状态的目标扬声器。

当平板电脑的姿态信息为左侧向下水平放置时，此时平板电脑的姿态可以如图7的(2)所示，可以看到，此时扬声器1和2距离支撑平面较近，扬声器3和4距离支撑平面较远，于是确定扬声器3和4是处于工作状态的目标扬声器。

再一种可选的识别方式是：

先启动每一个第二拾音设备，采集一段时间内的声音信号，然后比对各个第二拾音设备的声音信号的幅度，将其中幅度较高的第二拾音设备对应的扬声器确定为处于工作状态，幅度较低的第二拾音设备对应的扬声器确定为不处于工作状态。

可选的，有时电子设备的不同扬声器的音量可能不同，一些扬声器的音量较大，一些扬声器的音量较小。当一个扬声器的音量相对于第一声音信号的强度较小时，从该扬声器传播至第一拾音设备的噪音信号的强度较弱，相对于第一声音信号的强度可以忽略，这种情况下，音量较小的扬声器对应的第二拾音设备可以不采集第二声音信号，从而降低电子设备的能耗。

换言之，步骤S601可以包括：

检测扬声器的输出功率；

当扬声器的输出功率大于或等于预设的功率阈值时，获得第一声音信号、第二声音信号和第一振动信号。

由于自身故障，或者附近有非扬声器的其他声源等因素的影响，第二拾音设备采集到的第二声音信号和扬声器实际播放的声音信号可能偏差较大，如果直接将这类第二声音信号用于声学回声消除，显然会降低准确度。

为了避免上述情况，维持声学回声消除的准确度，步骤S602可以包括：

比对第二声音信号和输入扬声器的音频模拟信号；

若第二声音信号和音频模拟信号不匹配，根据音频模拟信号和第一振动信号，对第一声音信号进行声学回声消除，得到第三声音信号；

若第二声音信号和音频模拟信号匹配，根据第二声音信号和第一振动信号，对第一声音信号进行声学回声消除，得到第三声音信号。

扬声器播放的声音信号是在音频模拟信号的激励下产生的，所以扬声器播放的声音信号和音频模拟信号之间尽管有一定差异，但不会偏差过大。

所以，若第二声音信号和音频模拟信号匹配，说明采集第二声音信号的扬声器正常工作，且未受到非扬声器的其他声源干扰，此时可以认为第二声音信号和扬声器实际播放的声音信号一致；相对的，若第二声音信号和音频模拟信号不匹配，说明第二声音信号和扬声器实际播放的声音信号不一致，此时根据音频模拟信号进行声学回声消除会获得更高的准确度，所以根据音频模拟信号进行声学回声消除。

本实施例所称的第二声音信号和音频模拟信号匹配，可以定义为，第二声音信号对应的第二频谱，和音频模拟信号对应的模拟频谱，两者的相似度大于或等于预设的相似度阈值。相对的，若两者的频谱的相似度小于该相似度阈值，则可以认为两者不匹配。

不同声音信号的频谱的相似度的计算方法，可以参见相关技术的说明，不做限定。

如前文所述，数字信号处理器在根据第一振动信号进行声学回声消除时，需要先将振动信号转换为振动噪音信号，下面对振动信号到振动噪音信号的转换方法进行说明。

首先对第一振动信号进行快速傅里叶变换，将第一振动信号从时域变换到频域。

然后，根据预先建立的振动信号和振动噪音信号在频域的映射关系，将频域的第一振动信号映射为频域的振动噪音信号。

最后，对频域的振动噪音信号进行逆傅里叶变换，获得时域的振动噪音信号，然后就可以根据时域的振动噪音信号对第一声音信号进行声学回声消除。

对于不同的第一拾音设备，振动信号和振动噪音信号在频域的映射关系不相同。因此，该映射关系可以根据对第一拾音设备进行振动测试获得的数据建立。

可选的，第一拾音设备振动信号和振动噪音信号在频域的映射关系可以按照如下方式建立。

首先，在同一电子设备的扬声器和第一拾音设备之间设置隔音结构，避免扬声器播放的语音传播至第一拾音设备。

然后，使用扬声器播放一段语音，通过设置在第一拾音设备的振动传感器采集播放该段语音时第一拾音设备的振动信号，由此获得的振动信号可以如图8所示，其中(1)为振动信号的时域曲线，(2)为时域的振动信号经过快速傅里叶变换后得到的频域曲线。

从振动信号的时域曲线从可以看到明显的类语音信号，说明该振动信号就是由扬声器播放语音时的振动引起的。

在扬声器播放语音的同时，使用第一拾音设备采集声音信号，此时扬声器播放的语音无法传播至第一拾音设备，因此第一拾音设备采集到的声音信号，就是由上述振动信号引起的振动噪音信号。

请参见图9，为本申请实施例提供的一种振动噪音信号的时域曲线的示意图，其中横轴表示时间，纵轴表示强度。

接着，可以对振动噪音信号进行快速傅里叶变换，获得振动噪音信号的频域曲线，再将振动信号的频域曲线和振动噪音信号的频域曲线进行对比，请参见图10，为本申请实施例提供的一种频域振动信号和振动噪音信号的对比示意图。其中横轴表示频率，纵轴表示信号强度。

通过比对频域的振动信号和振动噪音信号可以发现，扬声器的振动传导至麦克风后，产生的振动噪音主要体现在100Hz至1000Hz范围内。

因此，可以在100Hz至1000Hz的频率范围内，按照1/24倍频的间隔划分出多个频点，然后针对每个频点在专用振动台对第一拾音设备进行振动和声压测试，获得该频点上第一拾音设备的振动信号和振动噪音信号之间的关系曲线，该关系曲线反映了当第一拾音设备产生该频点的振动信号时，振动信号的强度和第一拾音设备采集到的该频点的振动噪音信号的强度之间的关联关系。最后获得的100Hz至1000Hz的频率范围内每一频点的关系曲线的集合，就是第一拾音设备振动信号和振动噪音信号在频域的映射关系。

可以理解的，基于上述映射关系，数字信号处理器可以先将第一振动信号从时域变换至频域，然后从第一振动信号的频域曲线中，确定出第一振动信号在100Hz至1000Hz的频率范围内每一1/24倍频的频点上的强度，接着针对每一频点，利用映射关系中该频点的关系曲线，确定出该频点上振动噪音信号的强度，最后，就可以结合各个1/24倍频的频点上振动噪音信号的强度，拟合得到第一拾音设备的振动噪音信号的频域曲线，并通过逆傅里叶变换，获得振动噪音信号的时域曲线。

根据本申请实施例提供的声音信号处理方法，本申请实施例还提供一种声音信号处理装置。

本实施例的声音信号处理装置，可以认为是图2所示的数字信号处理芯片，或者可以认为是由该芯片执行的计算机程序。

请参见图11，为本实施例的装置的结构示意图，该装置可以包括如下单元。

获得单元1101，用于获得第一声音信号、第二声音信号和第一振动信号，第一声音信号由第一拾音设备采集，第二声音信号由第二拾音设备采集，第一振动信号是振动传感器采集的第一拾音设备的振动信号，第二拾音设备到扬声器的距离小于第一拾音设备到扬声器的距离，第一拾音设备的轴线和扬声器的轴线不重合，第二拾音设备的轴线和扬声器的轴线重合；

消除单元1102，用于根据第二声音信号和第一振动信号，对第一声音信号进行声学回声消除，得到第三声音信号。

可选的，该装置还包括修正单元1103，用于：

根据预设的结构传递函数修正第二声音信号，获得修正后第二声音信号，结构传递函数根据第二声音信号和第四声音信号的相位差和幅度差建立，第四声音信号是第三拾音设备采集到的从扬声器发出的声音信号，第三拾音设备设置于第一拾音设备所在区域内；

消除单元1102根据第二声音信号和第一振动信号，对第一声音信号进行声学回声消除，得到第三声音信号时，具体用于：

可选的，扬声器和第二拾音设备的数量均为多个，多个扬声器和多个第二拾音设备一一对应；

获得单元1101获得第一声音信号、第二声音信号和第一振动信号时，具体用于：

识别多个扬声器中处于工作状态的目标扬声器；

可选的，获得单元1101识别多个扬声器中处于工作状态的目标扬声器时，具体用于：

可选的，获得单元1101获得第一声音信号、第二声音信号和第一振动信号时，具体用于：

检测扬声器的输出功率；

可选的，消除单元1102根据第二声音信号和第一振动信号，对第一声音信号进行声学回声消除，得到第三声音信号时，具体用于：

比对第二声音信号和输入扬声器的音频模拟信号；

本实施例的声音信号处理装置，其具体工作原理可以参见本申请任一实施例的声音信号处理方法的相关步骤，不再赘述。

本实施例的装置通过接近扬声器的第二拾音器采集得到扬声器输出的第二声音信号，结合第二声音信号和第一拾音设备自身的振动信号，对第一拾音设备采集的第一声音信号进行声学回声消除。这样既能够准确地从第一声音信号中过滤掉从扬声器传播到第一拾音设备的噪音以及第一拾音设备振动产生的振动噪音，又不会削弱麦克风在近端采集到的语音信号，从而在确保语音信号少衰减的同时，获得低噪音的第三语音信号，达到兼顾低噪音和语音信号少衰减的效果。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

为了描述的方便，描述以上系统或装置时以功能分为各种模块或单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

最后，还需要说明的是，在本文中，诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims

1.一种声音信号处理方法，包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求1所述的方法，所述扬声器和所述第二拾音设备的数量均为多个，多个所述扬声器和多个所述第二拾音设备一一对应；

识别多个所述扬声器中处于工作状态的目标扬声器；

4.根据权利要求3所述的方法，所述识别多个所述扬声器中处于工作状态的目标扬声器，包括：

5.根据权利要求1所述的方法，所述获得第一声音信号、第二声音信号和第一振动信号包括：

检测所述扬声器的输出功率；

6.根据权利要求1所述的方法，所述根据所述第二声音信号和所述第一振动信号，对所述第一声音信号进行声学回声消除，得到第三声音信号，包括：

比对所述第二声音信号和输入所述扬声器的音频模拟信号；

7.一种声音信号处理装置，包括：

8.一种电子设备，包括第一拾音设备，第二拾音设备，扬声器，振动传感器，存储器和处理器；

所述振动传感器用于检测所述第一拾音设备的振动信号；

所述存储器用于存储计算机程序；

所述处理器用于执行所述计算机程序，以实现：

9.根据权利要求8所述的设备，所述第一拾音设备包括多个麦克风，所述多个麦克风形成的几何形状的中心位置区域用于设置第三拾音设备，所述第三拾音设备用于采集第四声音信号，所述第四声音信号用于建立结构传递函数，所述结构传递函数作为修正所述第二声音信号的依据。

10.根据权利要求8所述的设备，所述第二拾音设备对拾取指向所述扬声器的方向上声音信号的灵敏度，大于对拾取其他方向上声音信号的灵敏度。