CN108234792A - 声音信号处理方法、电子装置及计算机可读存储介质 - Google Patents

Abstract

一种声音信号处理方法、电子装置及计算机可读存储介质，其中，该方法包括：收集该电子装置周围的声音信号；定位用户的方向；对收集的声音信号中非来自该用户的方向的声音信号和回声反射信号进行抑制。上述声音信号处理方法、电子装置及计算机可读存储介质，可有效解决近距离免提语音交互时，容易产生回声啸叫的问题。

Description

声音信号处理方法、电子装置及计算机可读存储介质

技术领域

本申请涉及通信技术领域，尤其涉及一种声音信号处理方法、电子装置及计算机可读存储介质。

背景技术

随着移动终端及网络技术的发展，智能手机、平板电脑等智能移动终端的普及率越来越高。同时随着用户需求的提高，智能移动终端的功能也越来越多。其中，进行游戏是当前智能移动终端非常重要的功能之一，特别是多人游戏近距离免提语音交互的场景越来越普遍。但由于是近距离免提语音交互，扬声器播放的音频信号会重新被收集，再经过音频功率放大器放大播放，形成回环。回声量过大时，经常会导致回声抑制不足，从而容易引起啸叫的问题。

发明内容

本申请实施例提供一种声音信号处理方法、电子装置及计算机可读存储介质，用于解决近距离免提语音交互时，容易产生回声啸叫的问题。

本申请实施例第一方面提供一种声音信号处理方法，包括：收集所述电子装置周围的声音信号；定位用户的方向；对收集的声音信号中非来自所述用户的方向的声音信号和回声反射信号进行抑制。

本申请实施例第二方面提供一种电子装置，包括：收集模块，用于收集所述电子装置周围的声音信号；定位模块，用于定位用户的方向；信号处理模块，用于对收集的声音信号中非来自所述用户的方向的声音信号和回声反射信号进行抑制。

本申请实施例第三方面提供一种电子装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现上述本申请实施例第一方面提供的声音信号处理方法。

本申请实施例第四方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现上述本申请实施例第一方面提供的声音信号处理方法。

上述各实施例，通过在进行语音交互时，定位用户的方向，并对收集的声音信号中非来自用户的方向的声音信号和回声反射信号进行抑制，可降低收集的声音信号中回声信号的音量，从而有效解决近距离语音交互时，由于回声过大而引起的啸叫问题。

附图说明

图1为本申请实施例提供的声音信号处理方法的应用环境图；

图2为本申请一实施例提供的声音信号处理方法的实现流程示意图；

图3为本申请另一实施例提供的声音信号处理方法的实现流程示意图；

图4为本申请一实施例提供的电子装置的结构示意图；

图5为本申请另一实施例提供的电子装置的结构示意图；

图6为本申请一实施例提供的电子装置的硬件结构示意图。

具体实施方式

为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，为本申请实施例提供的声音信号处理方法的应用环境图。如图1所示，第一电子装置100的用户A、第二电子装置200的用户B以及第三电子装置300的用户C通过网络进行语音交互。当第一电子装置100开启免提功能时，通过下述声音信号处理方法，第一电子装置100可对采集的声音信号中的啸叫进行抑制。其中采集的声音信号中可包括用户的语音信号、第一电子装置100通过扬声器播放的声音信号以及周围环境中的其他声音信号。

请参阅图2，为本申请一实施例提供的一种声音信号处理方法的实现流程示意图，可应用于图1中的电子装置，该电子装置具有语音交互功能，如：智能手机、平板电脑、手提电脑等智能移动终端。如图2所示，该方法主要包括以下步骤：

201、收集电子装置周围的声音信号；

电子装置内置一个或多个具有可将声音信号转换为电信号的声音收集装置，如：麦克风(MIC)、扬声器、受话器等等。通过调用内置的声音收集装置收集自身附近立体空间的前景音的声音信号和背景音的声音信号。其中前景音主要包括用户的语音，背景音主要包括电子装置播放的声音以及电子装置周围环境中的环境音。

202、定位用户的方向；

具体的，可根据声音收集装置收集的各种声音信号的强度以及时间延迟程度，确定用户的方向。或者，还可以通过摄像装置拍摄的周围环境中人物的位置，定位用户的方向。于本实施例中，用户的方向以电子装置为参照物。

203、对收集的声音信号中非来自用户的方向的声音信号和回声反射信号进行抑制。

具体的，根据定位出的用户的方向，在声音收集装置收集的声音信号中，筛选出非来自于用户的方向的目标声音信号，并对该目标声音信号进行抑制。可选的，可通过将目标声音信号输入信号处理器，然后通过信号处理器对目标声音信号的大小进行衰减，从而实现对目标声音信号的抑制。其中，目标声音信号主要包括电子装置屏幕背面方向的声音和回声反射信号，由此可降低声音收集装置收集的回声信号的音量，保证回声抑制的性能，从而有效规避近距离回声过大引起的啸叫问题。

本实施例提供的声音信号处理方法，通过在进行语音交互时，定位用户的方向，并对收集的声音信号中非来自用户的方向的声音信号和回声反射信号进行抑制，可降低收集的声音信号中回声信号的音量，从而有效解决近距离语音交互时，由于回声过大而引起的啸叫问题。

请参阅图3，为本申请另一实施例提供的一种声音信号处理方法的实现流程示意图，可应用于图1中的电子装置，该电子装置具有语音交互功能，如：智能手机、平板电脑、手提电脑等智能移动终端。如图3所示，该方法主要包括以下步骤：

301、在进入免提状态时，利用副麦克风收集电子装置的顶部周围的声音信号作为主语音信号，利用主麦克风收集电子装置的底部周围的声音信号作为用于降噪的参考声音信号；

电子装置中设置有主麦克风和副麦克风。其中，主麦克风设置于电子装置的底部，副麦克风设置于电子装置的顶部。电子装置中还设置有事件监听器，当监听到开启免提事件时，确认进入免提状态，利用副麦克风收集电子装置的顶部周围的声音信号作为主语音信号，利用主麦克风收集电子装置的底部周围的声音信号作为用于降噪的参考声音信号。在一实际应用中，通过利用主麦克风收集的参考声音信号来去除副麦克风收集的主语音信号中的操作，从而可获得纯净语音信号。

由于免提状态时，特别是在进行游戏时，用户通常会横着放置电子装置，其位置更靠近电子装置的中部，因此利用副麦克风收集电子装置的顶部周围的声音信号作为主语音信号，利用主麦克风收集电子装置的底部周围的声音信号作为用于降噪的参考声音信号，由于用于收集主语音信号的麦克风距离用户最近，从而可以更好地收集到用户的语言信号，排除外部噪音的干扰。

302、利用主麦克风、副麦克风以及受话器定位用户的方向；

电子装置中设置有受话器，该受话器设置于电子装置的顶部。于本实施例中，受话器，或者也可以称之为听筒，其结构相当于扬声器。可以理解的，受话器可以包括振膜和磁感线圈。该振膜和磁感线圈可以组成动圈式麦克风，在该动圈式麦克风中，用户的声音通过该扬声器的声孔进入到听筒内，声波使振膜震动从而带动与该振膜相连的磁感线圈震动，该磁感线圈在磁铁的磁场中震动产生感应电流，即受话器收集到的声音信号。

可选的，可收集电子装置的周围来自多个不同预设方向的声音信号，然后根据收集到的来自多个不同预设方向的声音信号的音量大小以及来自不同方向的声音信号到达电子装置的时间差，确定用户的方向。例如：可以将音量最大和/或最先到达电子装置的声音信号对应的方向，确定为用户的方向。可以理解的，在实际应用中，根据收集到的来自多个不同预设方向的声音信号的音量大小以及来自不同方向的声音信号到达电子装置的时间差，确定用户的方向的具体方法还有很多，本实施例不做具体限定。

将受话器作为第三个麦克风来定位用户的方向，可提高受话器的利用率，降低成本。

可选的，电子装置中还设置有次麦克风或扬声器，次麦克风或扬声器设置于电子装置的顶部，通过利用主麦克风、副麦克风、以及次麦克风或扬声器定位用户的方向。利用主麦克风、副麦克风、以及次麦克风或扬声器定位用户的方向的具体方法，与利用主麦克风、副麦克风以及受话器定位用户的方向的方法相似，此处不再赘述。

可以理解的，步骤302和步骤303可以同时进行。

303、对收集的声音信号中来自电子装置的屏幕背面方向的声音信号和回声反射信号进行抑制。

具体的，将通过麦克风和受话器收集的所有声音信号输入信号处理器，然后通过信号处理器，根据定位出的用户的方向，筛选出来自电子装置的屏幕背面方向的声音信号和回声反射信号，并对筛选出的声音信号进行衰减，以抑制筛选出的声音信号。

进一步的，对经过啸叫抑制后的声音信号中的回声啸叫的大小进行检测。若检测到回声啸叫的大小大于预设的大小，则提高对非来自用户的方向的声音信号和回声反射信号的抑制强度。例如，提高对筛选出的声音信号的衰减度。

本实施例提供的声音信号处理方法，通过在通过免提进行语音交互时，利用副麦克风收集主要的语音信号，利用主麦克风收集用于降噪的参考声音信号，然后利用受话器作为第三个麦克风，通过三个麦克风定位出用户的方向，从而识别出来自电子装置屏幕前面的用户声音，对来自电子装置屏幕后面的声音信号进行衰减处理，达到降低主麦克风收集的回音信号的音量的效果，因此可有效解决近距离语音交互时，由于回声过大而引起的啸叫问题。

请参阅图4，为本申请一实施例提供的电子装置的结构示意图。该电子装置可用于实现上述图2所示实施例提供的声音信号处理方法。如图4所示，该电子装置主要包括：

收集模块401，用于收集该电子装置周围的声音信号；

定位模块402，用于定位用户的方向；

信号处理模块403，用于对收集的声音信号中非来自该用户的方向的声音信号和回声反射信号进行抑制。

具体的，电子装置内置一个或多个具有可将声音信号转换为电信号的声音收集装置，如：麦克风、扬声器、受话器等等。收集模块401通过调用内置的声音收集装置收集自身附近立体空间的前景音的声音信号和背景音的声音信号。同时，定位模块402可根据声音收集装置收集的各种声音信号的强度以及时间延迟程度，确定用户的方向。或者，定位模块402还可以通过摄像装置拍摄的周围环境中人物的位置，定位用户的方向。于本实施例中，用户的方向以电子装置为参照物。之后，信号处理模块403，根据定位模块402定位出的用户的方向，在声音收集装置收集的声音信号中，筛选出非来自于用户的方向的目标声音信号，并对该目标声音信号进行抑制。可选的，可通过将目标声音信号输入信号处理器，然后通过信号处理器对目标声音信号的大小进行衰减，从而实现对目标声音信号的抑制。

需要说明的是，以上图4示例的电子装置的实施方式中，各功能模块的划分仅是举例说明，实际应用中可以根据需要，例如相应硬件的配置要求或者软件的实现的便利考虑，而将上述功能分配由不同的功能模块完成，即将电子装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。而且，在实际应用中，本实施例中的相应的功能模块可以是由相应的硬件实现，也可以由相应的硬件执行相应的软件完成。本说明书提供的各个实施例都可应用上述描述原则，以下不再赘述。

本实施例提供的电子装置中各功能模块实现各自功能的具体过程，请参见上述图2所示实施例中描述的具体内容，此处不再赘述。

本实施例提供的电子装置，通过在进行语音交互时，定位用户的方向，并对收集的声音信号中非来自用户的方向的声音信号和回声反射信号进行抑制，可降低收集的声音信号中回声信号的音量，从而有效解决近距离语音交互时，由于回声过大而引起的啸叫问题。

请参阅图5，为本申请另一实施例提供的电子装置的结构示意图。该电子装置可用于实现上述图2和图3所示实施例提供的声音信号处理方法。与图4所示的电子装置不同的是，于本实施例中，

进一步的，收集模块401，具体用于在进入免提状态时，利用设置于该电子装置的顶部的副麦克风收集该电子装置的顶部周围的声音信号作为主语音信号，以及利用设置于该电子装置的底部的主麦克风收集该电子装置的底部周围的声音信号作为用于降噪的参考声音信号。

进一步的，定位模块402，具体用于利用该主麦克风、该副麦克风以及设置于该电子装置的顶部的受话器定位该用户的方向。

进一步的，定位模块402，具体还用于利用该主麦克风、该副麦克风以及设置于该电子装置的顶部的次麦克风或扬声器定位该用户的方向。

可选的，定位模块402可通过主麦克风、副麦克风以及设置于该电子装置的顶部的受话器或次麦克风或扬声器分别收集来自三个不同方向的声音信号，然后收集到的来自三个不同方向的声音信号的音量大小以及来自不同方向的声音信号到达电子装置的时间差，确定用户的方向。例如：可以将音量最大和/或最先到达电子装置的声音信号对应的方向，确定为用户的方向。

进一步的，信号处理模块403，具体用于对收集的声音信号中来自该电子装置的屏幕背面方向的声音信号和回声反射信号进行抑制。

进一步的，该电子装置还包括：

检测模块501，用于对抑制后的该收集的声音信号中的回声啸叫的大小进行检测；

信号处理模块403，还用于若检测模块501检测到该回声啸叫的大小大于预设的大小，则提高对该非来自该用户的方向的声音信号和回声反射信号的抑制强度。

具体的，信号处理模块403将通过麦克风和受话器收集的所有声音信号输入信号处理器，然后通过信号处理器，根据定位出的用户的方向，筛选出来自电子装置的屏幕背面方向的声音信号和回声反射信号，并对筛选出的声音信号进行衰减，以抑制筛选出的声音信号。在检测模块501对经过啸叫抑制后的声音信号中的回声啸叫的大小进行检测时，若检测到回声啸叫的大小大于预设的大小，则通知信号处理模块403提高对非来自用户的方向的声音信号和回声反射信号的抑制强度。例如，提高对筛选出的声音信号的衰减度。

本实施例提供的电子装置中各功能模块实现各自功能的具体过程，请参见上述图2至图4所示实施例中描述的具体内容，此处不再赘述。

本实施例提供的电子装置，通过在通过免提进行语音交互时，利用副麦克风收集主要的语音信号，利用主麦克风收集用于降噪的参考声音信号，然后利用受话器作为第三个麦克风，通过三个麦克风定位出用户的方向，从而识别出来自电子装置屏幕前面的用户声音，进而对来自电子装置屏幕后面的声音信号进行衰减处理，达到降低主麦克风收集的回音信号的音量的效果，因此可有效解决近距离语音交互时，由于回声过大而引起的啸叫问题。

请参阅图6，图6为本申请一实施例提供的电子装置的硬件结构示意图。

本实施例中所描述的电子装置，包括：

存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序，处理器602执行该计算机程序时，实现前述图2和图3所示实施例中描述的声音信号处理方法。

具体的，收集该电子装置周围的声音信号，定位用户的方向，对收集的声音信号中非来自该用户的方向的声音信号和回声反射信号进行抑制。

进一步的，该电子装置还包括：主麦克风和副麦克风，该主麦克风设置于该电子装置的底部，该副麦克风设置于该电子装置的顶部，则在进入免提状态时，利用该副麦克风收集该电子装置的顶部周围的声音信号作为主语音信号，利用该主麦克风收集该电子装置的底部周围的声音信号作为用于降噪的参考声音信号。

进一步的，该电子装置还包括受话器，该受话器设置于该电子装置的顶部，则利用该主麦克风、该副麦克风以及该受话器定位该用户的方向。

进一步的，该电子装置还包括：次麦克风或扬声器，该次麦克风或扬声器设置于该电子装置的顶部，则利用该主麦克风、该副麦克风、以及该次麦克风或扬声器定位该用户的方向。

进一步的，对收集的声音信号中来自该电子装置的屏幕背面方向的声音信号和回声反射信号进行抑制。

进一步的，在对收集的声音信号中非来自该用户的方向的声音信号和回声反射信号进行抑制之后，对抑制后的该收集的声音信号中的回声啸叫的大小进行检测；若检测到该回声啸叫的大小大于预设的大小，则提高对该非来自该用户的方向的声音信号和回声反射信号的抑制强度。

进一步的，该电子装置还包括：

至少一个输入设备603以及至少一个输出设备604。

上述存储器601、处理器602、输入设备603以及输出设备604，通过总线605连接。

其中，输入设备603具体可为摄像头、触控面板、物理按键或者鼠标等等。输出设备604具体可为显示屏。

存储器601可以是高速随机存取记忆体(RAM，Random Access Memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器601用于存储一组可执行程序代码，处理器602与存储器601耦合。

进一步的，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子装置中，该计算机可读存储介质可以是前述图6所示实施例中的存储器。该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述图2和图3所示实施例中描述的声音信号处理方法。进一步的，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施例中，应该理解到，所揭露的电子装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本申请所提供的声音信号处理方法、电子装置及计算机可读存储介质的描述，对于本领域的技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种声音信号处理方法，应用于电子装置，其特征在于，所述方法包括：

收集所述电子装置周围的声音信号；

定位用户的方向；

对收集的声音信号中非来自所述用户的方向的声音信号和回声反射信号进行抑制。

2.如权利要求1所述的声音信号处理方法，其特征在于，所述电子装置中设置有主麦克风和副麦克风，所述主麦克风设置于所述电子装置的底部，所述副麦克风设置于所述电子装置的顶部，则所述收集所述电子装置周围的声音信号，具体包括：

在进入免提状态时，利用所述副麦克风收集所述电子装置的顶部周围的声音信号作为主语音信号，利用所述主麦克风收集所述电子装置的底部周围的声音信号作为用于降噪的参考声音信号。

3.如权利要求2所述的声音信号处理方法，其特征在于，所述电子装置中设置有受话器，所述受话器设置于所述电子装置的顶部，则所述定位用户的方向包括：

利用所述主麦克风、所述副麦克风以及所述受话器定位所述用户的方向。

4.如权利要求2所述的声音信号处理方法，其特征在于，所述电子装置中还设置有次麦克风或扬声器，所述次麦克风或扬声器设置于所述电子装置的顶部，则所述定位用户的方向包括：

利用所述主麦克风、所述副麦克风、以及所述次麦克风或扬声器定位所述用户的方向。

5.如权利要求1所述的声音信号处理方法，其特征在于，所述对收集的声音信号中非来自所述用户的方向的声音信号和回声反射信号进行抑制，具体包括：

对收集的声音信号中来自所述电子装置的屏幕背面方向的声音信号和回声反射信号进行抑制。

6.如权利要求1至5中的任一项所述的声音信号处理方法，其特征在于，所述对收集的声音信号中非来自所述用户的方向的声音信号和回声反射信号进行抑制之后，包括：

对抑制后的所述收集的声音信号中的回声啸叫的大小进行检测；

若检测到所述回声啸叫的大小大于预设的大小，则提高对所述非来自所述用户的方向的声音信号和回声反射信号的抑制强度。

7.一种电子装置，其特征在于，所述电子装置包括：

收集模块，用于收集所述电子装置周围的声音信号；

定位模块，用于定位用户的方向；

信号处理模块，用于对收集的声音信号中非来自所述用户的方向的声音信号和回声反射信号进行抑制。

8.如权利要求7所述的电子装置，其特征在于，

所述收集模块，具体用于在进入免提状态时，利用设置于所述电子装置的顶部的副麦克风收集所述电子装置的顶部周围的声音信号作为主语音信号，以及利用设置于所述电子装置的底部的主麦克风收集所述电子装置的底部周围的声音信号作为用于降噪的参考声音信号；

所述定位模块，具体用于利用所述主麦克风、所述副麦克风以及设置于所述电子装置的顶部的受话器定位所述用户的方向；

所述定位模块，具体还用于利用所述主麦克风、所述副麦克风以及设置于所述电子装置的顶部的次麦克风或扬声器定位所述用户的方向。

9.如权利要求7所述的电子装置，其特征在于，

所述信号处理模块，具体用于对收集的声音信号中来自所述电子装置的屏幕背面方向的声音信号和回声反射信号进行抑制。

10.如权利要求7至9中的任一项所述的电子装置，其特征在于，所述电子装置还包括：

检测模块，用于对抑制后的所述收集的声音信号中的回声啸叫的大小进行检测；

所述信号处理模块，还用于若所述检测模块检测到所述回声啸叫的大小大于预设的大小，则提高对所述非来自所述用户的方向的声音信号和回声反射信号的抑制强度。

11.一种电子装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至6中的任意一项所述的声音信号处理方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至6中的任意一项所述的声音信号处理方法。