CN107613428A - 声音处理方法、装置和电子设备 - Google Patents

Abstract

公开了一种声音处理方法、装置、电子设备。所述方法包括：在可移动设备移动到工作环境中的第一位置时，确定是否存在声音源；响应于存在声音源，确定所述声音源与所述可移动设备的第一相对方向；在所述可移动设备移动到所述工作环境中的第二位置时，确定所述声音源与所述可移动设备的第二相对方向，所述第二位置位于所述第一位置的邻域中；以及根据所述第一位置、所述第二位置、所述第一相对方向、和所述第二相对方向来确定所述声音源在所述工作环境中的位置。因此，可以通过可移动设备在工作环境中的移动，确定声音源在工作环境中的位置，对工作环境中的声音源建立位置分布模型，实现空间声音建模，还原整体声场。

Description

声音处理方法、装置和电子设备

技术领域

本申请涉及音频技术领域，且更具体地，涉及一种声音处理方法、装置和电子设备、计算机程序产品和计算机可读存储介质。

背景技术

在家居环境中，多个设备可装备有麦克风系统和/或扬声器系统，其扬声器系统发出的声音，如来自电视、音响的声音，对于其他设备都是噪声。另外，如洗衣机、空调、空气净化器等，其电机或者风扇转动的声音，对于其他设备也是噪声。智能语音交互最大的难点在于环境复杂，不知道噪声从何处来，噪声幅度多大，噪声具有什么属性。

在现有技术中，对说话人或者控制声源，可以进行空间增强，而对于远场空间的噪声，则没有办法进行针对性的减弱。其原因在于对于声源，有声源定位，而对于噪声源，则无法获取其方位、强度和属性等一系列信息。然而，在噪声源强度比较大的情况下，抑制噪声源要比增强声源的效果更好。

因此，如果能够获得声源的位置分布情况，则对智能家居应用的声音控制具有重要意义，而现有的声源定位方法或者声音处理方法仍然不能满足这种需求。

发明内容

鉴于上述现有技术状况，提出了本申请。本申请的实施例提供了一种声音处理方法、装置、电子设备、计算机程序产品和计算机可读存储介质，其可以通过可移动设备在工作环境中的移动，确定声音源在工作环境中的位置，对工作环境中的声音源建立位置分布模型。

根据本申请的一个方面，提供了一种声音处理方法，包括：在可移动设备移动到工作环境中的第一位置时，确定是否存在声音源；响应于存在声音源，确定所述声音源与所述可移动设备的第一相对方向；在所述可移动设备移动到所述工作环境中的第二位置时，确定所述声音源与所述可移动设备的第二相对方向，所述第二位置位于所述第一位置的邻域中；以及根据所述第一位置、所述第二位置、所述第一相对方向、和所述第二相对方向来确定所述声音源在所述工作环境中的位置。

根据本申请的另一方面，提供了一种声音处理装置，包括：检测单元，用于在可移动设备移动到工作环境中的第一位置时，确定是否存在声音源；第一方向确定单元，用于响应于存在声音源，确定所述声音源与所述可移动设备的第一相对方向；第二方向确定单元，用于在所述可移动设备移动到所述工作环境中的第二位置时，确定所述声音源与所述可移动设备的第二相对方向，所述第二位置位于所述第一位置的邻域中；以及位置确定单元，用于根据所述第一位置、所述第二位置、所述第一相对方向、和所述第二相对方向来确定所述声音源在所述工作环境中的位置。

根据本申请的另一方面，提供了一种电子设备，包括：处理器；存储器；以及存储在所述存储器中的计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行上述的声音处理方法。

根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述的声音处理方法。

根据本申请的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述的声音处理方法。

与现有技术相比，采用根据本申请实施例的声音处理方法、装置、电子设备、计算机程序产品和计算机可读存储介质，可以通过可移动设备在工作环境中的移动，确定声音源在工作环境中的位置，对工作环境中的声音源建立位置分布模型，实现空间声音建模，还原整体声场。利用整体声场信息，可以有效抑制目标点的噪声，更好地提取有用声音信号。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1A和1B图示了根据本申请实施例的声音处理的应用场景的示意图。

图2图示了根据本申请实施例的声音处理方法的流程图。

图3图示了根据本申请实施例的确定是否存在声音源的步骤的流程图。

图4图示了根据本申请实施例的确定存在声音源的步骤的流程图。

图5图示了根据本申请实施例的平面声音采集器件阵列对声音源进行定向的原理示意图。

图6A和6B图示了根据本申请实施例的平面声音采集器件阵列对声音源进行平面定位的示意图。

图7图示了根据本申请实施例的确定可移动设备的位置的三维坐标的流程图。

图8图示了根据本申请实施例的确定声音源到声音采集器件阵列平面的投影高度的示意图。

图9图示了根据本申请实施例的声音处理装置的框图。

图10图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

如上所述，目前，对于噪声源，无法获取其方位、强度和属性等一系列信息，难以实施有效的噪声抑制。

针对现有技术中的上述缺陷，本申请的基本构思是通过如扫地机器人的可移动设备在工作环境(如家居环境)中的移动，在接近作为噪声源的声音源处确定存在声音源，然后在可移动设备的移动邻域的不同位置，确定声音源与可移动设备的对应相对方向；利用两个位置和对应的两个相对方向，可以确定声音源在工作环境中的位置。通过确定每个声音源在工作环境中的位置，可以建立工作环境中的声音源的位置分布。因此，本申请提出一种声音处理方法、装置、电子设备、计算机程序产品和计算机可读存储介质，其可以通过可移动设备工作环境中的移动，确定声音源在工作环境中的位置，对工作环境中的声音源建立位置分布模型，从而实现对噪声源的有效抑制。

需要说明的是，本申请的上述基本构思不但可以应用于家居或家庭环境中的声音控制应用中，还可以应用于其他系统应用中，只要其中联网的可移动设备具有声音采集器件平面阵列并且可以对接近的声音源进行定向即可。例如，本申请同样适用于工业环境中的声音处理和控制，其可以充分利用声音源的分布信息，例如发声设备与收声设备之间的相对位置关系，乃至发出声音的频率范围，提高声音增强的有效性。此外，本申请的上述基本构思不但可以应用于提取语音的噪声抑制处理场景中，还可以应用于诸如动物、机器人等其他各种声音源的声音提取处理场景中。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图1A和1B图示了根据本申请实施例的声音处理的应用场景的示意图。

图1A为家庭应用环境的示意图，其中可能具有空调、电视、洗衣机、冰箱、音响(音箱)等家电设备。电视、音响(音箱)等声音源具有扬声器系统，其播放节目声音内容。空调、洗衣机、冰箱等声音源具有电机或者风扇，电机或者风扇的转动发出噪声干扰。

可选地，该家庭应用环境还可以具有控制中心，用于对所有设备进行协调控制。在一个示例中，控制中心的功能可以由某个具有足够计算处理能力的、能够与上述家电设备进行通信的单机设备完成。可替代地，该控制中心也可以集成到家庭环境中的上述某个家电设备(例如扫地机器人)中，或者，该控制中心也可以分布在多个家电设备之间。

图1B为扫地机器人的示意图。作为可移动设备，扫地机器人可以在家庭环境的地面移动来完成扫地功能。如图1B所示，扫地机器人可以配备有多个麦克风(MIC)，形成麦克风阵列，位于相同平面上，称为麦克风阵列平面，同时这种麦克风阵列也就被相应地称为平面麦克风阵列。根据平面麦克风阵列采集的声音源的信号，可以对声音源进行定向，即确定声音源与麦克风阵列的相对方向。通常麦克风阵列在扫地机器人上围绕一个中心(称为麦克风阵列中心)排列，以便于后续操作。扫地机器人可以将移动过程中采集的声音信号和其它数据发送给控制中心进行处理，替换地，也可以在本地处理上述数据，通过更高的本地处理资源来换取更快的处理速度。可移动设备还可以是其他适合的电子设备，只要配备有平面麦克风阵列并且具有数据采集和发送能力即可。

尽管电视、音响(音箱)等声音源播放的节目声音内容可能在一般情况下是期望接收的，但是如上所述，在执行声音控制的情况下，相对于控制声源的声音来说，它们的声音与空调、洗衣机、冰箱等的声音一样均为噪声。例如，电视和音响(音箱)等的扬声器发出的声音由于随着播放节目内容的变化而不断变化，所以可以称为非稳态噪声；而电机和/或风扇发出的声音由于在工作模式固定的情况下通常保持不变，所以称为稳态噪声。

在家庭环境中，稳态噪声通常属于低频信号，一般低于300Hz，例如，空调噪声、冰箱噪声或者空气净化器噪声低于100Hz；而洗衣机噪声处于100Hz和300Hz之间，与洗衣机模式相关，如轻柔模式噪声在100Hz左右，强劲模式噪声在200Hz左右。

另一方面，家庭环境中的非稳态噪声通常处于300Hz和8000Hz之间。例如，如电视、广播、音响等家电设备发出的语音，由于在录制节目时一般为16kHz采样，所以其输出信号的频率范围是0到8kHz；但这些设备的扬声器难以重现300Hz频率以下的声音，其原因在于：(1)扬声器重现低频依赖于直径较大的振膜，而一般家电设备采用的扬声器的振膜尺寸不够大；(2)低频重现需要比较大的腔体，而一般家电设备难以达到足够大的腔体；(3)低频扬声器容易产生失真，因而在播放时可能人为地增强，例如加高通滤波器(HPF，300Hz)，使得仅仅300Hz到8kHz频率的信号通过。

上述麦克风，作为声音采集器件的例子，在不引起歧义的情况下，在下文中两者可以互换。例如，上述麦克风可以是全向麦克风和/或指向麦克风。全向麦克风对于来自不同角度的声音，其灵敏度是基本相同的，其头部采用压力感应的原理设计，振膜只接受来自外界的压力。指向麦克风主要采用压力梯度的原理设计，通过头部腔体后面的小孔，振膜接受到正反两面的压力，因此振膜受不同方向的压力并不相同，麦克风具有指向性。

该控制声源可以是任何类型的声源，可以包括发出希望关注信号的信号源。例如，该声源可以是有生命的声源和无生命的声源。例如，有生命的声源可以包括人和动物等；而无生命的声源可以包括机器人、电视机、音响等。

需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施例不限于此。相反，本申请的实施例可以应用于可能适用的任何场景。例如，在诸如家庭、工业等的任何应用环境中可以包括两个或更多设备，该可移动设备可以包括多个声音采集器件组成的平面阵列，该控制声源也可以是一个或多个。

示例性方法

下面结合图1A和1B的应用场景，参考图2来描述根据本申请实施例的声音处理方法。

图2图示了根据本申请实施例的声音处理方法的流程图。

如图2所示，根据本申请实施例的声音处理方法可以包括步骤S100、步骤S200、步骤S300和步骤S400。

在步骤S100中，在可移动设备移动到工作环境中的第一位置时，确定是否存在声音源。

通常来说，来自声音源的声音随传播距离强度衰减，而不同类型的噪声在如家居环境的工作环境中具有不同的特性：稳态噪声一般在与声音源比较近的距离才接收到明显的信号；而对于如来自电视机的非稳态噪声，一般因为其目的(如希望在家居环境中的不同位置都可以听到)而设置比较高的音量，因而可能在比较远的距离也可以接收到明显的信号(例如，用户希望在房间的各个位置都能听到电视机的节目内容)。

在可移动设备在工作环境中移动时，由可移动设备上的麦克风阵列不断采集声音信号，当信号强度足够大时确定存在声音源。

图3图示了根据本申请实施例的确定是否存在声音源的步骤的流程图。

如图3所示，在步骤S110中，检测所述可移动设备上的声音采集器件阵列是否在所述第一位置处采集到第一声音信号。

这可以通过与预定的阈值比较来实现。例如，可以检测采集的信号的强度是否高于预定阈值强度；响应于采集的信号的强度高于所述预定阈值强度，确定采集到所述第一声音信号。

在步骤S120中，响应于采集到所述第一声音信号，可以确定存在声音源。

图4图示了根据本申请实施例的确定存在声音源的步骤的流程图。

如图4所示，在步骤S122中，将所述第一声音信号划分为低于或者等于预定频率的低频信号分量和高于所述预定频率的高频信号分量。在一个示例中，可以采用如上所述的300Hz作为预定频率，通过滤波器进行频率区分。

在步骤S124中，对所述低频信号分量和所述高频信号分量进行强度检测。然后，在步骤S126中，根据所述强度检测的结果来确定所述声音源的类型。

在一个示例中，确定所述声音源的类型可以包括：

响应于所述第一声音信号中所述低频信号分量的强度大于第一阈值强度，确定所述声音源包括稳态声音源；以及响应于所述第一声音信号中所述高频信号分量的强度大于第二阈值强度，确定所述声音源包括非稳态声音源。

在对采集的声音信号区分低频信号分量和高频信号分量后，利用强度检测来剔除可能的干扰；然后，根据前面有关稳态噪声和非稳态噪声的频率特性，可以确定采集的声音信号中包括哪种类型的噪声：如果具有低频信号分量，可以确定所述声音源包括稳态声音源，如果具有高频信号分量，可以确定所述声音源包括非稳态声音源；如果具有低频信号分量和高频信号分量，则可以确定所述声音源包括稳态声音源和非稳态声音源。

在图2的步骤S200中，响应于存在声音源，确定所述声音源与所述可移动设备的第一相对方向。

通过可移动设备上设置的平面麦克风阵列采集的来自声音源的声音信号，可以对声音源进行定向。具体地，根据采集的第一声音信号，通过所述声音采集器件阵列平面定向，可以确定所述声音源在麦克风阵列平面上的投影点与所述第一位置上所述声音采集器件阵列的第一相对方向。

图5图示了根据本申请实施例的平面声音采集器件阵列对声音源进行定向的原理示意图。

如图5所示，可移动设备(图中以椭圆所示)上设置的麦克风A、B、C和D形成阵列平面，其阵列中心为O，麦克风阵列平面可以形成自身的平面坐标系，例如，可以以阵列中心O为坐标系原点，选定坐标轴x和y。空间中的声音源M在阵列平面上的投影点为N，则可以通过该平面麦克风阵列对声音源M在阵列平面上的投影点N进行定向，即，根据该平面麦克风阵列采集的来自声音源M的声音信号，获得坐标系原点O和投影点N的连接线ON与坐标轴x的夹角θ，作为第一夹角。

在图2的步骤S300中，在所述可移动设备移动到所述工作环境中的第二位置时，确定所述声音源与所述可移动设备的第二相对方向，所述第二位置位于所述第一位置的邻域中。

也就是说，随着可移动设备的移动，在第一位置的邻域内的第二位置，也可以采集到相同声音源的第二声音信号。这种移动可以是由于可移动设备自身的任务所决定的，例如，扫地机器人为了打扫房间，需要不断在房间中行走以清扫尘土。替换地，这种移动也可以是可移动设备在检测到声音源之后，为了实现对它的定位而主动完成的。

由于稳态噪声源的声音一般在与其比较近的距离才能被接收到，而非稳态噪声源的声音可能在比较远的距离也可以接收到，所以为了对两种声音源都能够进行定位，第二位置与第一位置间隔在较小的阈值范围之内。例如，两者可以距离0.5米左右。当然，如果只需要对非稳态噪声源进行定位，那么阈值范围也可以较大，例如为3-5米左右，甚至更远。

类似于第一位置，也可以确定所述声音源与所述可移动设备的第二相对方向。具体地，步骤S300可以包括以下步骤：获取所述声音采集器件阵列在所述第二位置处采集到的第二声音信号；以及根据所述第二声音信号，通过所述声音采集器件阵列平面定向，可以确定所述声音源M在所述平面上的投影点N与所述第二位置上所述声音采集器件阵列的第二相对方向。

在一个示例中，对于第二位置，同样根据如图5所示的定向原理，可以确定所述声音源M在所述平面上的投影点N和所述声音采集器件阵列中心O'的连接线O'N与所述第二位置上所述声音采集器件阵列坐标系的坐标轴x'的夹角θ'，作为第二夹角。第二位置上的平面麦克风阵列的坐标系与第一位置在相同平面上，但其阵列中心(可以作为坐标系原点)与第一位置不同，因而坐标系也不同，以上使用撇号区分标记。

在图2的步骤S400中，根据所述第一位置、所述第二位置、所述第一相对方向和所述第二相对方向，可以确定所述声音源在工作环境中的位置。

在一个示例中，例如，可以根据所述第一位置和所述第二位置来计算移动距离。然后，可以根据所述移动距离、所述第一夹角θ和所述第二夹角θ'，并利用三角关系来确定所述声音源在所述平面上的投影点的位置。

图6A和6B图示了根据本申请实施例的平面声音采集器件阵列对声音源进行平面定位的示意图。图6A图示了三维透视图，而图6B图示了在阵列平面的投影图。

如图6A和6B所示，可移动设备从麦克风阵列中心在O的第一位置移动到麦克风阵列中心在O'的第二位置，声音源M在麦克风阵列平面上的投影点N；在第一位置，声音源投影点N和麦克风阵列中心O的连接线ON与麦克风阵列中心在第一位置和第二位置的连接线OO'形成夹角α，而在第二位置，声音源投影点N和麦克风阵列中心O'的连接线O'N与麦克风阵列中心在第一位置和第二位置的连接线OO'形成夹角β；可移动设备在第一位置和第二位置之间的移动距离可以由麦克风阵列中心O和O'的距离d表示。那么，根据夹角α、夹角β和距离d，利用三角关系可以确定所述声音源投影点N与在第一位置和第二位置的麦克风阵列中心O和O'的距离ON和O'N，从而如果已知第一位置O和第二位置O'的坐标，则即可确定投影点N在麦克风阵列平面上的位置。具体地，利用三角关系可以列出如下方程组：

ON*sinα＝O'N*sinβ；

ON*cosα＝d+O'N*cosβ。

通过求解上述方程组，可以确定距离ON和O'N。

如图6B所示，虚线表示可移动设备上的麦克风阵列坐标系的坐标轴x或者坐标轴x'，因为可移动设备在第一位置和第二位置的麦克风阵列坐标系的变化，夹角α与图5中的夹角θ(图6B中也有图示)可能是不同的；同理，夹角β与夹角θ'(见图6B)也可能是不同的。如上所述，利用如图5所示的定向原理，可以确定夹角θ和夹角θ'，而夹角α和夹角β需要根据麦克风阵列坐标系的变化从夹角θ和夹角θ'转换得到。例如，如图6B所示，可以确定可移动设备从第一位置到第二位置的移动方向，即连接线OO'的方向，再根据麦克风阵列坐标系在第一位置和第二位置的坐标轴x和坐标轴x'，可以分别确定连接线OO'与坐标轴x和坐标轴x'之间的夹角，由此可以从夹角θ和夹角θ'转换得到夹角α和夹角β。

在图2所示的方法中，还包括确定所述第一位置和所述第二位置，其中，所述可移动设备上的声音采集器件阵列中心用作为所述第一位置和所述第二位置。

在一个示例中，确定所述第一位置和所述第二位置可以包括：确定所述可移动设备上的声音采集器件阵列中心在预定坐标系中的三维坐标。预定坐标系可以是对如家庭环境的工作环境建立的坐标系。通常选择可移动设备使得其声音采集器件阵列形成平面，围绕所述中心安排，而且所述预定坐标系的水平参考坐标平面平行于所述声音采集器件阵列平面。

在一个示例中，在如扫地机器人的可移动设备初始接入家庭环境(建立初始化连接)时，可以设置所述可移动设备上的声音采集器件阵列中心在预定坐标系中的三维坐标，然后在可移动设备移动后，通过运动传感器和陀螺仪等，可以获得它移动的距离和角度。根据所述可移动设备平面移动的距离和角度，可以确定所述可移动设备在所述第一位置和所述第二位置的三维坐标。

在另一个示例中，可以在所述预定坐标系中设置具有已知三维坐标的多个定位信号接收器。在可移动设备初始接入家庭环境时，可以向所述可移动设备发送定位触发信号，所述定位触发信号用于触发所述可移动设备上的定位发射器发射定位信号到所述多个定位信号接收器。

图7图示了根据本申请实施例的确定可移动设备的位置的三维坐标的流程图。

如图7所示，确定第一位置和所述第二位置可以包括：

在步骤S612中，响应于与可移动设备建立初始化连接，向所述可移动设备发送定位触发信号；

在步骤S614中，从所述多个定位信号接收器接收定位信号；以及

在步骤S616中，根据接收的多个定位信号的延迟信息和所述定位信号接收器的三维坐标，确定所述可移动设备上的定位发射器的三维坐标，从而根据所述定位发射器与声音采集器件阵列中心的位置关系，确定第一位置和所述第二位置的三维坐标。

更具体地，所述预定坐标系可以是对家庭环境建立的三维坐标系。例如，扫地机器人上可以设有定位发射器，而房间的已知位置处可以设有多个(例如，3个)定位接收器(例如，该定位接收器可以是WIFI、蓝牙、红外等传感器)。当扫地机器人布置在室内时，可以通过联网配置将扫地机器人接入控制中心，在两者之间建立初始化连接。此时，扫地机器人上的如红外发射装置的定位发射器发射红外信号，房间内的定位接收器(如红外传感器)接收红外信号。根据红外发射和接收的时间以及幅度，通过三角定位原理，可确定出该可移动设备上的定位发射器在房间中的空间坐标。根据定位发射器与声音采集器件阵列中心的位置关系，例如，可以直接将定位发射器设置在所述阵列中心，可以确定所述阵列中心在第一位置和第二位置时在所述预定坐标系的三维坐标。

通过上面的操作，我们可以得到声音源在声音采集器件阵列平面上的投影点的平面位置。除此之外，在三维定位的情况下，我们可能还希望进一步确定声音源在空间中的高度。

因此，在图2所示的方法中，还可以包括：确定所述声音源到所述平面的投影高度。

例如，该步骤可以包括：根据所述第一声音信号和所述第二声音信号的强度的比率，获得所述声音源与所述声音采集器件阵列中心之间的相对距离在所述第一位置和所述第二位置上的比率；以及根据所述相对距离及其在所述声音采集器件阵列平面的投影，与所述声音源距离所述声音采集器件阵列平面的高度形成的直角三角形关系，并且根据所述相对距离在所述第一位置和所述第二位置上的比率，通过求解方程组，确定所述声音源距离所述声音采集器件阵列平面的高度。

图8图示了根据本申请实施例的确定声音源到声音采集器件阵列平面的投影高度的示意图。

我们知道，声波的强度随距离衰减。例如，所述噪声从其发生的位置传播到可移动设备而被其上的麦克风采集，噪声的传播随着传播距离而衰减。因此，根据噪声的传播距离可以确定所述噪声到达所述可移动设备上的麦克风发生的衰减比率。具体地，在正常情况下，声波与麦克风之间的距离增大一倍，强度衰减6dB。

如图8所示，扫地机器人从O移动到O'，分别采集到声源M的信号M1和M2。通过M1和M2强度关系，可以计算距离OM与O'M的比例关系m，如强度相差6dB，距离差一倍。强度差＝20log₁₀(距离比)，由此获得两者之间的比例系数m。如图6B所示，可以获得移动距离d，计算出ON和O'N，即图8中的g和k，只有声音源M到麦克风阵列平面的投影高度h和O'M的距离l未知。

利用两个直角三角形OMN和O'MN，按照勾股定理联立以下方程组：

g²+h²＝(ml)²；

k²+h²＝l²。

通过求解该方程组，可以获得投影高度h和O'M的距离l，即可以确定声源M的真实高度信息和真实距离信息。

因此，通过如扫地机器人的可移动设备在工作环境中的移动，可以获得每个声音源的空间位置、频率范围、声音源类型，在控制中心汇集这些信息，即可建立工作环境中的声音源的位置分布模型。

在该位置分布模型中可以包括以下信息：工作环境中包括多少个声音源、每个声音源是稳态噪声源还是非稳态噪声源、每个声音源的二维/三维坐标、每个稳态噪声源的频率信息(多少Hz)和能量信息(多少dBPa)。

这样，当最终把任何一个设备放在该工作环境(例如，上述的房间)中时，它就可以获取该位置分布模型，从而得知周围的噪声源分布信息。这样，在它需要接收外界的音频指令时，它就利用先验的噪声源分布信息来实现噪声消除操作。即，对于房间内的设备，可以知道房间内每一时刻人为之外的所有噪声的频域、空域特性，这样信号处理算法可以根据详尽的噪声信息做进一步的噪声回声分离，还原控制声源(例如，用户)的原始语音。

因此，例如，在图2所示的方法中，还可以包括：根据确定的声音源的位置和频率范围，在目标点进行垂直平面噪声抑制，所述垂直平面包含所述声音源与所述目标点的连接线并且垂直于所述可移动设备上的声音采集器件阵列平面。

如图5所示，在目标点O，包括声音源M的OMN所在平面垂直于声音采集器件阵列平面。在一个示例中，可以对如图5所示的OMN所在平面中的所有噪声进行抑制，即上述的垂直平面噪声抑制，可以增强目标点O的控制声音。

需要说明的是，尽管这里以平面波束形成来抑制噪声，但是噪声消除方法不限于此。例如，也可以采用盲信号分离技术。对于盲信号分离技术来说，由于知道噪声源的声音分布和声音属性，所以可以更有助于语音信号的增强。

由此可见，采用根据本申请实施例的声音处理方法，可以通过可移动设备在工作环境中的移动，确定声音源在工作环境中的位置，对工作环境中的声音源建立位置分布模型，实现空间声音建模，还原整体声场。利用整体声场信息，可以有效抑制目标点的噪声，更好地提取有用声音信号。在语音控制应用中，提高了提取语音控制命令的有效性，从而可以提升用户体验。

具体来说，根据本申请实施例的声音处理方法具有以下好处：

1)当移动机器人在室内巡视的时候，其上的麦克风阵列可以进行声音建模，移动机器人行走轨迹约密，时间越长拼接声场越精确；

2)声音建模可以记录房间中不同位置获取的噪声属性，通过大规模的训练和数据采集，可以记录到房间所有设备的位置和状态；

3)当将任何一台受控设备放入该房间中时，通过预先建立的声音模型，它可以知道其他位置声音源的位置特性和声音属性，极大的提升了语音增强系统的性能。例如，用户正在操作的设备会根据其他设备的信息做相应的语音增强处理，选择合适的噪声消除算法，最大化利用系统资源：

a)如果干扰足够小，则用简单降噪算法处理；

b)如果干扰大，且不在同一角度，则用波束形成算法；

c)如果干扰大，且在同一角度内，则用盲信号分离技术，当有充分的噪声信息和方位信息可以有效的提升盲信号分离技术的性能。

示例性装置

下面，参考图9来描述根据本申请实施例的声音处理装置。

图9图示了根据本申请实施例的声音处理装置的框图。

如图9所示，根据本申请实施例的所述声音处理装置800可以包括：检测单元810，用于在可移动设备移动到工作环境中的第一位置时，确定是否存在声音源；第一方向确定单元820，用于响应于存在声音源，确定所述声音源与所述可移动设备的第一相对方向；第二方向确定单元830，用于在所述可移动设备移动到所述工作环境中的第二位置时，确定所述声音源与所述可移动设备的第二相对方向，所述第二位置位于所述第一位置的邻域中；以及位置确定单元840，用于根据所述第一位置、所述第二位置、所述第一相对方向、和所述第二相对方向来确定所述声音源在所述工作环境中的位置。

在一个示例中，所述检测单元810可以检测所述可移动设备上的声音采集器件阵列是否在所述第一位置处采集到第一声音信号；以及响应于采集到所述第一声音信号，确定存在声音源。

在一个示例中，所述检测单元810可以检测采集的信号的强度是否高于预定阈值强度；以及响应于采集的信号的强度高于所述预定阈值强度，确定采集到所述第一声音信号。

在一个示例中，所述检测单元810可以将所述第一声音信号划分为低于或者等于预定频率的低频信号分量和高于所述预定频率的高频信号分量；对所述低频信号分量和所述高频信号分量进行强度检测；以及根据所述强度检测的结果来确定所述声音源的类型。

在一个示例中，所述检测单元810可以响应于所述第一声音信号中所述低频信号分量的强度大于第一阈值强度，确定所述声音源包括稳态声音源；以及响应于所述第一声音信号中所述高频信号分量的强度大于第二阈值强度，确定所述声音源包括非稳态声音源。

在一个示例中，所述第一方向确定单元820可以根据所述第一声音信号，通过所述声音采集器件阵列平面定向，确定所述声音源在所述平面上的投影点与所述第一位置上所述声音采集器件阵列的第一相对方向。

在一个示例中，所述第一方向确定单元820可以确定所述声音源在所述平面上的投影点和所述声音采集器件阵列中心的连接线与所述第一位置上所述声音采集器件阵列坐标系的坐标轴的夹角，作为第一夹角。

在一个示例中，所述第二方向确定单元830可以获取所述声音采集器件阵列在所述第二位置处采集到的第二声音信号；以及根据所述第二声音信号，通过所述声音采集器件阵列平面定向，确定所述声音源在所述平面上的投影点与所述第二位置上所述声音采集器件阵列的第二相对方向。

在一个示例中，所述第二方向确定单元830可以确定所述声音源在所述平面上的投影点和所述声音采集器件阵列中心的连接线与所述第二位置上所述声音采集器件阵列坐标系的坐标轴的夹角，作为第二夹角。

在一个示例中，所述位置确定单元840可以根据所述第一位置和所述第二位置来计算移动距离；以及根据所述移动距离、所述第一夹角和所述第二夹角，并利用三角关系来确定所述声音源在所述平面上的投影点的位置。

在一个示例中，所述位置确定单元840可以从所确定的所述声音源在所述平面上的投影点在所述第一位置和所述第二位置相对所述声音采集器件阵列坐标系的第一夹角和第二夹角，转换为所述声音源在所述平面上的投影点和所述声音采集器件阵列中心的连接线与所述第一位置和所述第二位置上所述声音采集器件阵列中心之间的连接线之间的夹角；以及根据所述距离和转换的两个夹角，利用三角关系来确定所述声音源在所述平面上的投影点与所述第一位置和所述第二位置上所述声音采集器件阵列中心之间的距离。

在一个示例中，所述声音处理装置800还可以包括移动位置确定单元(未示出)，用于确定所述第一位置和所述第二位置，其中，所述可移动设备上的声音采集器件阵列中心用作为所述第一位置和所述第二位置。

在一个示例中，所述移动位置确定单元可以确定所述可移动设备上的声音采集器件阵列中心在预定坐标系中的三维坐标，其中所述声音采集器件阵列形成平面，围绕所述中心安排，所述预定坐标系的水平参考坐标平面平行于所述声音采集器件阵列平面。

在一个示例中，所述移动位置确定单元还可以响应于与所述可移动设备建立初始化连接，设置所述可移动设备上的声音采集器件阵列中心在预定坐标系中的三维坐标；以及根据所述可移动设备平面移动的距离和角度，确定所述可移动设备在所述第一位置和所述第二位置的三维坐标。

在另一个示例中，所述移动位置确定单元还可以响应于与所述可移动设备建立初始化连接，向所述可移动设备发送定位触发信号，所述定位触发信号用于触发所述可移动设备上的定位发射器发射定位信号到多个定位信号接收器，所述定位信号接收器在所述预定坐标系中具有已知的三维坐标；从所述多个定位信号接收器接收定位信号；根据接收的多个定位信号的延迟信息和所述定位信号接收器的三维坐标，确定所述可移动设备上的定位发射器的三维坐标；以及根据在所述定位发射器与所述阵列中心之间的预定位置关系，确定所述阵列中心的三维坐标。

在一个示例中，所述定位信号包括WIFI、蓝牙或者红外信号，所述定位信号接收器可以包括对应的WIFI、蓝牙或者红外传感器。

在一个示例中，所述声音处理装置800还可以包括高度确定单元(未示出)，用于确定所述声音源到所述平面的投影高度。

在一个示例中，所述高度确定单元可以根据所述第一声音信号和所述第二声音信号的强度的比率，获得所述声音源与所述声音采集器件阵列中心之间的相对距离在所述第一位置和所述第二位置上的比率；以及根据所述相对距离及其在所述声音采集器件阵列平面的投影，与所述声音源距离所述声音采集器件阵列平面的高度形成的直角三角形关系，并且根据所述相对距离在所述第一位置和所述第二位置上的比率，通过求解方程组，确定所述声音源距离所述声音采集器件阵列平面的高度。

在一个示例中，所述声音处理装置800还可以包括噪声抑制单元(未示出)，用于根据确定的声音源的位置和频率范围，在目标点进行垂直平面噪声抑制，所述垂直平面包含所述声音源与所述目标点的连接线并且垂直于所述可移动设备上的声音采集器件阵列平面。

上述声音处理装置800中的各个单元和模块的具体功能和操作已经在上面参考图1A到图8描述的声音处理方法中进行了详细介绍，因此，这里将省略其重复描述。

如上所述，根据本申请实施例的声音处理装置800可以实现在声音处理设备中，如图1A所示，该声音处理设备可以是家电设备(例如扫地机器人)，也可以是与它们独立的控制中心，也可以分布在两个或多个设备之间。

在一个示例中，根据本申请实施例的声音处理装置800可以作为一个软件模块和/或硬件模块而集成到该声音处理设备中。例如，该声音处理装置800可以是该声音处理设备的操作系统中的一个软件模块，或者可以是针对该声音处理设备所开发的一个应用程序；当然，该声音处理装置800同样可以是该声音处理设备的众多硬件模块之一。

可替代地，在另一示例中，该声音处理装置800与该声音处理设备也可以是分立的设备，并且该声音处理装置800可以通过有线和/或无线网络连接到该声音处理设备，并且按照约定的数据格式来传输交互信息。

示例性电子设备

下面，参考图10来描述根据本申请实施例的电子设备。该电子设备可以是图1A中的家电设备、或与其独立的控制中心(单机设备)，该单机设备可以与家电设备进行通信，以从它们接收所采集到的输入信号。可替代地，该电子设备也可以是分布在两个或多个家电设备之间。

图10图示了根据本申请实施例的电子设备的框图。

如图10所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的声音处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如声音源信号等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备是如扫地机器人的可移动设备时，该输入装置13可以是上述的麦克风，用于捕捉声音源信号，作为输入信号。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从如扫地机器人的可移动设备接收所采集的输入信号。此外，该输入设备13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图10中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的声音处理方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的声音处理方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (20)

1.一种声音处理方法，包括：

在可移动设备移动到工作环境中的第一位置时，确定是否存在声音源；

响应于存在声音源，确定所述声音源与所述可移动设备的第一相对方向；

在所述可移动设备移动到所述工作环境中的第二位置时，确定所述声音源与所述可移动设备的第二相对方向，所述第二位置位于所述第一位置的邻域中；以及

根据所述第一位置、所述第二位置、所述第一相对方向、和所述第二相对方向来确定所述声音源在所述工作环境中的位置。

2.如权利要求1所述的方法，其中，所述在可移动设备移动到工作环境中的第一位置时，确定是否存在声音源，包括：

检测所述可移动设备上的声音采集器件阵列是否在所述第一位置处采集到第一声音信号；以及

响应于采集到所述第一声音信号，确定存在声音源。

3.如权利要求2所述的方法，其中，所述检测所述可移动设备上的声音采集器件阵列是否在所述第一位置处采集到第一声音信号包括：

检测采集的信号的强度是否高于预定阈值强度；以及

响应于采集的信号的强度高于所述预定阈值强度，确定采集到所述第一声音信号。

4.如权利要求2所述的方法，其中，所述响应于采集到所述第一声音信号，确定存在声音源，包括：

将所述第一声音信号划分为低于或者等于预定频率的低频信号分量和高于所述预定频率的高频信号分量；

对所述低频信号分量和所述高频信号分量进行强度检测；以及

根据所述强度检测的结果来确定所述声音源的类型。

5.如权利要求4所述的方法，其中，所述根据所述强度检测的结果来确定所述声音源的类型包括：

响应于所述第一声音信号中所述低频信号分量的强度大于第一阈值强度，确定所述声音源包括稳态声音源；以及

响应于所述第一声音信号中所述高频信号分量的强度大于第二阈值强度，确定所述声音源包括非稳态声音源。

6.如权利要求2所述的方法，其中，所述确定所述声音源与所述可移动设备的第一相对方向包括：

根据所述第一声音信号，通过所述声音采集器件阵列平面定向，确定所述声音源在所述平面上的投影点与所述第一位置上所述声音采集器件阵列的第一相对方向。

7.如权利要求6所述的方法，其中，所述确定所述声音源在所述平面上的投影点与所述第一位置上所述声音采集器件阵列的第一相对方向包括：

确定所述声音源在所述平面上的投影点和所述声音采集器件阵列中心的连接线与所述第一位置上所述声音采集器件阵列坐标系的坐标轴的夹角，作为第一夹角。

8.如权利要求7所述的方法，其中，所述在所述可移动设备移动到所述工作环境中的第二位置时，确定所述声音源与所述可移动设备的第二相对方向，包括：

获取所述声音采集器件阵列在所述第二位置处采集到的第二声音信号；以及

根据所述第二声音信号，通过所述声音采集器件阵列平面定向，确定所述声音源在所述平面上的投影点与所述第二位置上所述声音采集器件阵列的第二相对方向。

9.如权利要求8所述的方法，其中，所述确定所述声音源在所述平面上的投影点与所述第二位置上所述声音采集器件阵列的第二相对方向包括：

确定所述声音源在所述平面上的投影点和所述声音采集器件阵列中心的连接线与所述第二位置上所述声音采集器件阵列坐标系的坐标轴的夹角，作为第二夹角。

10.如权利要求9所述的方法，其中，所述根据所述第一位置、所述第二位置、所述第一相对方向、和所述第二相对方向来确定所述声音源在所述工作环境中的位置包括：

根据所述第一位置和所述第二位置来计算移动距离；以及

根据所述移动距离、所述第一夹角和所述第二夹角，并利用三角关系来确定所述声音源在所述平面上的投影点的位置。

11.如权利要求10所述的方法，其中，所述根据所述移动距离、所述第一夹角和所述第二夹角，并利用三角关系来确定所述声音源在所述平面上的投影点的位置包括：

从所确定的所述声音源在所述平面上的投影点在所述第一位置和所述第二位置相对所述声音采集器件阵列坐标系的第一夹角和第二夹角，转换为所述声音源在所述平面上的投影点和所述声音采集器件阵列中心的连接线与所述第一位置和所述第二位置上所述声音采集器件阵列中心之间的连接线之间的夹角；以及

根据所述距离和转换的两个夹角，利用三角关系来确定所述声音源在所述平面上的投影点与所述第一位置和所述第二位置上所述声音采集器件阵列中心之间的距离。

12.如权利要求10所述的方法，还包括：

确定所述第一位置和所述第二位置，其中，所述可移动设备上的声音采集器件阵列中心用作为所述第一位置和所述第二位置。

13.如权利要求12所述的方法，其中，所述确定所述第一位置和所述第二位置包括：

确定所述可移动设备上的声音采集器件阵列中心在预定坐标系中的三维坐标，其中，所述声音采集器件阵列形成平面，围绕所述中心安排，所述预定坐标系的水平参考坐标平面平行于所述声音采集器件阵列平面。

14.如权利要求13所述的方法，其中，所述确定所述第一位置和所述第二位置还包括：

响应于与所述可移动设备建立初始化连接，设置所述可移动设备上的声音采集器件阵列中心在预定坐标系中的三维坐标；以及

根据所述可移动设备平面移动的距离和角度，确定所述可移动设备在所述第一位置和所述第二位置的三维坐标。

15.如权利要求10所述的方法，还包括：

确定所述声音源到所述平面的投影高度。

16.如权利要求15所述的方法，其中，所述确定声音源的投影高度包括：

根据所述第一声音信号和所述第二声音信号的强度的比率，获得所述声音源与所述声音采集器件阵列中心之间的相对距离在所述第一位置和所述第二位置上的比率；以及

根据所述相对距离及其在所述声音采集器件阵列平面的投影，与所述声音源距离所述声音采集器件阵列平面的高度形成的直角三角形关系，并且根据所述相对距离在所述第一位置和所述第二位置上的比率，通过求解方程组，确定所述声音源距离所述声音采集器件阵列平面的高度。

17.如权利要求5所述的方法，还包括：

根据确定的声音源的位置和频率范围，在目标点进行垂直平面噪声抑制，所述垂直平面包含所述声音源与所述目标点的连接线并且垂直于所述可移动设备上的声音采集器件阵列平面。

18.一种声音处理装置，包括：

检测单元，用于在可移动设备移动到工作环境中的第一位置时，确定是否存在声音源；

第一方向确定单元，用于响应于存在声音源，确定所述声音源与所述可移动设备的第一相对方向；

第二方向确定单元，用于在所述可移动设备移动到所述工作环境中的第二位置时，确定所述声音源与所述可移动设备的第二相对方向，所述第二位置位于所述第一位置的邻域中；以及

位置确定单元，用于根据所述第一位置、所述第二位置、所述第一相对方向、和所述第二相对方向来确定所述声音源在所述工作环境中的位置。

19.一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-18中任一项所述的方法。

20.一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-18中任一项所述的方法。