CN106878869B - 麦克风阵列及其使用方法 - Google Patents

Abstract

公开了一种电子设备以及使用麦克风的方法。所述电子设备包括：至少一个麦克风，用于采集音频输入信号；接收单元，用于接收来自另一电子设备的至少一个麦克风采集的音频输入信号；以及，处理单元，用于处理所述至少一个麦克风采集的音频输入信号和所述另一电子设备的至少一个麦克风采集的音频输入信号以生成与音频输入信号对应的音频输入数据。

Description

麦克风阵列及其使用方法

技术领域

本发明一般地涉及电子设备领域，更具体地涉及麦克风阵列及其使用方法。

背景技术

目前，随着语音技术逐渐成熟，语音交互的应用日益广泛。相应地，对设备的语音输入需求越来越高，尤其需要支持远场拾音。由此，麦克风阵列成为了应用热点。智能音箱等等设备(如亚马逊的echo，谷歌的google home等等)逐渐支持麦克风阵列的应用。

然而，当前的麦克风阵列的应用面临着一些问题，如成本高，算法复杂等等。此外，因为麦克风阵列的要求，对于产品设计有着严格的要求，甚至影响到设备的形态，这对于结构设计等存在着很大的制约。

因此，需要一种能克服上述问题中的至少一些问题的麦克风阵列应用。

发明内容

根据本申请的第一方面，提供了一种电子设备。所述电子设备包括：至少一个麦克风，用于采集音频输入信号；接收单元，用于接收来自另一电子设备的至少一个麦克风采集的音频输入信号；以及，处理单元，用于处理所述至少一个麦克风采集的音频输入信号和所述另一电子设备的至少一个麦克风采集的音频输入信号以生成与音频输入信号对应的音频输入数据。

在一些实施例中，所述接收单元有线地与所述另一电子设备连接。在另一些实施例中，所述接收单元无线地与所述另一电子设备连接。

在一些实施例中，所述处理单元进一步配置为：将所述电子设备的至少一个麦克风与所述另一电子设备的至少一个麦克风整体作为麦克风阵列，采用与所述麦克风阵列对应的算法处理所述至少一个麦克风采集的音频输入信号和所述另一电子设备的至少一个麦克风采集的音频输入信号以生成与音频输入信号对应的音频输入数据。

在一些实施例中，所述处理单元进一步配置为：确定所述电子设备与所述另一电子设备的相对位置，以及根据所述相对位置确定所述麦克风阵列。

在一些实施例中，所述电子设备适于放置在相对另一电子设备的固定位置处。

在一些实施例中，所述电子设备还包括：摄像头，用于捕获所述另一电子设备的图像。所述处理单元还用于：根据所捕获的所述另一电子设备的图像确定所述另一电子设备的至少一个麦克风相对于所述电子设备的至少一个麦克风的位置。

根据本申请的第二方面，提供了一种使用麦克风的方法，包括：利用第一电子设备的至少一个麦克风采集音频输入信号；接收来自第二电子设备的至少一个麦克风采集的音频输入信号；以及，处理所述第一电子设备的至少一个麦克风采集的音频输入信号和所述第二电子设备的至少一个麦克风采集的音频输入信号以生成与音频输入信号对应的音频输入数据。

在一些实施例中，所述接收包括：通过与所述第二电子设备的有线连接，接收来自第二电子设备的至少一个麦克风采集的音频输入信号。在另一些实施例中，所述接收包括：通过与所述第二电子设备的无线连接，接收来自第二电子设备的至少一个麦克风采集的音频输入信号。

在一些实施例中，所述处理包括：将所述第一电子设备的至少一个麦克风与所述第二电子设备的至少一个麦克风整体作为麦克风阵列，采用与所述麦克风阵列对应的算法处理所述电子设备的至少一个麦克风采集的音频输入信号和所述第二电子设备的至少一个麦克风采集的音频输入信号以生成与音频输入信号对应的音频输入数据。

在一些实施例中，所述将所述第一电子设备的至少一个麦克风与所述第二电子设备的至少一个麦克风整体视为麦克风阵列包括：确定所述第一电子设备与所述第二电子设备的相对位置；以及，根据所述相对位置确定所述麦克风阵列。

在一些实施例中，所述第一电子设备与所述第二电子设备在工作时具有固定的相对位置。

在一些实施例中，所述确定所述第一电子设备与所述第二电子设备的相对位置包括：利用第一电子设备的摄像头捕获所述第二电子设备的图像；以及，根据所捕获的所述第二电子设备的图像确定所述第一电子设备与所述第二电子设备的相对位置。

根据本申请的另一方面提供了一种非易失性存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的使用麦克风的方法。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

在附图中以示例而非限制的方式示出了一些实施例。

图1是示出了根据本发明示例实施例的电子设备的框图。

图2A～2B示出了根据本发明一些实施例的主设备和协作设备的一些示例。

图3A～3B示出了根据本发明一些实施例的主设备和协作设备的另一示例。

图4是示出了根据本发明示例实施例的电子设备中执行的使用麦克风的方法的示例操作的流程图。

图5是示出了根据一些示例实施例的机器的组件的框图，所述机器能够从机器可读介质中读取指令并且执行本文讨论的方法中的任何一个或多个。

在附图中，类似的参考标号表示类似的要素。

具体实施方式

根据结合附图对本公开示例性实施例的以下详细描述，本公开的其它方面、优势和突出特征对于本领域技术人员将变得显而易见。

在本公开中，术语“包括”和“含有”及其派生词意为包括而非限制；术语“或”是包含性的，意为和/或。

在本说明书中，下述用于描述本公开原理的各种实施例只是说明，不应该以任何方式解释为限制公开的范围。参照附图的下述描述用于帮助全面理解由权利要求及其等同物限定的本公开的示例性实施例。下述描述包括多种具体细节来帮助理解，但这些细节应认为仅仅是示例性的。因此，本领域普通技术人员应认识到，在不背离本公开的范围和精神的情况下，可以对本文中描述的实施例进行多种改变和修改。此外，为了清楚和简洁起见，省略了公知功能和结构的描述。此外，贯穿附图，相同参考数字用于相似功能和操作。

本发明实施例提出，基于现有的拥有麦克风的设备(例如仅具有单个或双麦克风的设备)，通过设备之间的协作，结合不同设备的麦克风可以构成麦克风阵列，使得这些设备可以具备完整麦克风阵列的作用，例如消回声、降噪、语音增强、声源定位、远场拾音等。

图1示出了根据本发明实施例的电子设备100的框图。根据本发明实施例的电子设备100可以是具有麦克风阵列和通信装置的任何设备，如智能音箱、移动电话、计算机、智能电视、机器人等等。

如图所示，电子设备100包括至少一个麦克风110、接收单元120，以及处理单元130。

麦克风110配置用于采集音频输入信号。

接收装置120配置用于接收来自其他设备的至少一个麦克风采集的音频输入信号。

处理装置130配置用于控制电子设备100的整体操作。特别地，处理单元130可以用于处理电子设备自身的至少一个麦克风110采集的音频输入信号和所接收的其他电子设备的至少一个麦克风采集的音频输入信号，以生成与音频输入信号对应的音频输入数据。

根据本发明实施例的电子设备100按照对麦克风的使用可以分为至少两种工作模式：单独工作模式，以及与其他设备的协作模式。在单独工作模式中，电子设备100仅利用自身的麦克风来拾音，不利用其他设备的麦克风。在协作工作模式中，电子设备100不仅利用自身的麦克风还利用其他设备的麦克风以形成麦克风阵列，可以具备完整麦克风阵列的作用，如消回声、降噪、语音增强、声源定位、远场拾音等。为了方便起见，在下文中，也将电子设备100称为“主设备”，将与电子设备100协作的其他设备称为“协作设备”。

在本发明一些实施例中，主设备和协作设备可以是两个相互独立的设备。例如，主设备和协作设备可以是两个移动电话，如图2A所示，其中移动电话的下部两侧的圆点处布置有麦克风。又如，主设备和协作设备可以是移动电话和计算机，如图2B所示，其中移动电话的下部两侧的圆点处布置有麦克风，计算机的两侧圆点处布置麦克风。

在本发明另一些实施例中，主设备和协作设备是互为配件的设备。例如主设备和协作设备可以分别是移动电话及其底座，如图3A和3B所示。图3A示出了移动电话及其底座各自的示图，图3B示出了移动电话安放在底座中的示图。在图3A和3B中，移动电话的下部两侧的圆点处布置有麦克风，底座两侧圆点处布置有麦克风。

在本发明一些实施例中，电子设备100可以根据用户操作(如特定的输入指令)在单独工作模式与协作工作模式之间执行切换。

作为替代或补充，电子设备100(具体地，处理设备)可以自动发现协作设备，自适应地在单独工作模式与协作工作模式之间执行切换。例如，电子设备100可以利用如蓝牙或NFC等发现技术自动检测周围是否存在可与之协作的其他设备。如果检测到这样的设备，电子设备100可以自适应地进入协作工作模式。可选地，电子设备100可以检测其与协作设备的物理连接，在检测到这样的连接时，自适应地进入协作工作模式。例如，参考图3A和3B所示的示例，当移动电话被安放到配套的底座中时，移动电话将检测到其与底座的连接，于是可以进入协作工作模式。

在协作工作模式下，电子设备100与协作设备可以通信。协作设备可以向电子设备100传输信息，如指示自身麦克风的形态的信息，自身麦克风采集的音频输入信号等。电子设备100与协作设备间的通信可以通过有线通信来实现，也可以通过无线通信来实现。

在协作工作模式下，电子设备100将自身的麦克风与协作设备的麦克风整体作为麦克风阵列，采用与所述麦克风阵列对应的算法处理采集到的音频信号以生成与音频输入信号对应的音频输入数据。

电子设备100与协作设备的相对位置可以是固定的，也可以是可变的。

在一些实施例中，例如在电子设备100与协作设备是例如图3A和3B所示的配套设备的实施例中，电子设备100与协作设备的相对位置是固定的。如果电子设备100和协作设备上的麦克风的位置是固定的，则电子设备100与协作设备的麦克风将形成固定形态的麦克风阵列，如线性的或者环形的等等。于是，电子设备100可以使用该麦克风阵列，具备完整麦克风阵列的作用，例如消回声、降噪、语音增强、声源定位、远场拾音等。例如，电子设备100(具体地，其处理装置130)可以基于与该麦克风阵列形态对应的算法来处理电子设备自身的麦克风和协作设备的麦克风采集的音频输入信号，以生成与音频输入信号对应的音频输入数据。

在另一些实施例中，电子设备100与协作设备的相对位置是可变的。例如，在图2A和图2B所示的电子设备100与协作设备相互独立的示例中，两者的相对位置是不固定的。在这样的实施例中，电子设备100需要确定与协作设备的相对位置，然后确定两者的麦克风组成的麦克风阵列形态。然后，电子设备100可以使用该麦克风阵列，具备完整麦克风阵列的作用，例如消回声、降噪、语音增强、声源定位、远场拾音等。例如，电子设备100(具体地，其处理装置130)可以基于与该麦克风阵列形态对应的算法来处理电子设备自身的麦克风和协作设备的麦克风采集的音频输入信号，以生成与音频输入信号对应的音频输入数据。

电子设备100与协作设备的相对位置可以通过多种方式来实现。可选地，电子设备100可以通过自身配置的摄像头捕获协作设备的图像，然后通过图像分析确定其与协作设备的相对位置，从而确定两者的麦克风组成的麦克风阵列形态。可选地，电子设备100可以基于与协作设备的无线通信来确定两者的相对位置。例如，电子设备100可以基于对从协作设备接收的无线信号执行信号分析确定协作设备的相对方向，然后在所确定的协作设备的方向发射特定频率的声波信号，启动自身麦克风获取该声波信号的反射信号，基于反射信号分析确定协作设备的相对位置。

电子设备100和协作设备上的麦克风的位置可以是固定的，也可以是可调的。在一些实施例中，电子设备100和协作设备中的至少一个设备上的麦克风的位置是可调的。在这些实施例中，在协作工作模式下，电子设备100与协作设备的麦克风形成的麦克风阵列的形态是可调的。电子设备100可以根据当前应用场景调整麦克风阵列形态，以实现最佳麦克风阵列形态。这种调整可以由设备自动执行，或者可以提醒用户手动调节。

应该理解，电子设备100的整体操作由其处理装置130来控制。上述所述的电子设备100的操作可以具体由处理装置130结合其他组件执行。根据本发明实施例，控制装置130可以以硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。可选地，控制装置130可以包括一个或多个专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成器件。作为备选或补充，控制装置130可以包括处理器(或微处理器)与存储在存储器上可由处理器执行的一个或多个计算机程序，下面将参考图4进行具体描述。

应该理解，图1所示的电子设备100的结构仅是作为示例，而不是限制。图1的电子设备100仅示出了与本发明相关的组件，以避免混淆本发明。然而，本领域技术人员应理解，尽管在图1中未示出，但是根据本发明实施例的电子设备100还可以包括图示组件之外的附加组件。例如，电子设备100可以具有摄像头，用于捕获图像。电子设备100还可以具有发送装置、显示装置、音频输出装置等等。

上面示例介绍了根据本发明实施例的电子设备100，其能够基于自身的麦克风并结合协作设备的麦克风构建出麦克风阵列，从而具备复杂麦克风阵列的作用。根据本发明实施例，设备形态灵活，对于产品的设计没有过高的要求，而且能够以相对低的成本实现麦克风阵列。

图4示出了根据本发明示例实施例的电子设备100在协作工作模式下使用麦克风的方法400的示例操作的流程图。

如前所述，电子设备100可以根据用户操作(如特定的输入指令)在单独工作模式与协作工作模式之间执行切换。作为替代或补充，电子设备100可以自动发现协作设备，自适应地在单独工作模式与协作工作模式之间执行切换。

在电子设备100进入协作工作模式后，方法400开始。

如图所示，在步骤S410中，电子设备100(也称为第一电子设备)利用自身的至少一个麦克风采集音频输入信号。

在步骤S420中，电子设备100接收来自协作设备(也称为第二电子设备)的至少一个麦克风采集的音频输入信号。在一些实施例中，电子设备可以通过与协作设备的有线连接，接收来自协作设备的至少一个麦克风采集的音频输入信号。在另一些实施例中，电子设备可以通过与协作设备的无线连接，接收来自协作设备的至少一个麦克风采集的音频输入信号。

在步骤S430中，电子设备100处理自身的至少一个麦克风采集的音频输入信号和协作设备的至少一个麦克风采集的音频输入信号以生成与音频输入信号对应的音频输入数据。

在一些实施例中，在步骤S430中，电子设备100可以将自身的至少一个麦克风与协作设备的至少一个麦克风整体作为麦克风阵列，采用与所述麦克风阵列对应的算法处理这些麦克风接收的音频输入信号以生成与音频输入信号对应的音频输入数据。

电子设备100与协作设备的相对位置可以是固定的。在这样的实施例中，如果电子设备100和协作设备上的麦克风的位置是固定的，则电子设备100与协作设备的麦克风将形成固定形态的麦克风阵列，如线性的或者环形的等等。

可选地，电子设备100与协作设备的相对位置可以是可变的。在这样的实施例中，步骤S430还可以包括：电子设备100确定与协作设备的相对位置，然后根据该相对位置确定两者的麦克风组成的麦克风阵列形态。

电子设备100与协作设备的相对位置可以通过多种方式来实现。可选地，步骤S430还可以包括：电子设备100通过自身配置的摄像头捕获协作设备的图像，然后通过图像分析确定其与协作设备的相对位置，从而确定两者的麦克风组成的麦克风阵列形态。可选地，电子设备100可以基于与协作设备的无线通信来确定两者的相对位置。例如，步骤S430还可以包括：电子设备100基于对从协作设备接收的无线信号执行信号分析确定协作设备的相对方向，然后在所确定的协作设备的方向发射特定频率的声波信号，启动自身麦克风获取该声波信号的反射信号，基于反射信号分析确定协作设备的相对位置。

应该理解，图4仅是示出了根据本发明示例实施例的电子设备100在协作工作模式下使用麦克风的方法的示例操作。电子设备的操作不局限于图4所示的步骤，例如还可以包括如何在单独工作模式和协作模式之间切换等操作。关于电子设备100的操作已经参考图1进行了详细描述，在此不再详述。

根据本发明实施例的方法，一个设备可以基于自身的麦克风并结合其他设备的麦克风构建出麦克风阵列，从而以较低的成本具备复杂麦克风阵列的功能。

图5示意性示出了根据本申请实施例的电子设备的控制装置130的实现示例的框图。

如图5所示，该控制装置130包括处理单元或处理器136。该处理器136可以是单个单元或者多个单元的组合，用于执行电子设备中的各种操作，包括电子设备在协作工作模式下的使用麦克风的方法400。控制装置130还可包括：输入单元132，用于从其他设备或组件(例如，电子设备的麦克风和/或接收装置)接收信号；以及输出单元134，用于向其他设备或组件提供信号。输入单元和输出单元可以被布置为一个整体。

此外，如图所示，控制装置130还包括存储器138，存储器138中存储有计算机程序139。

计算机程序139可以包括代码/计算机可执行指令，其在由处理器136执行时使得处理器136执行例如上面结合图4所描述的方法的操作流程及其任何变形。

计算机程序139可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序139中的代码可以包括一个或多个程序模块，例如包括139A、模块139B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器136执行时，使得处理器136可以执行例如上面结合图3所描述的方法流程及其任何变形。

上文已经结合优选实施例对本发明进行了描述。根据本发明实施例的电子设备可以适应不同的应用场景且有效利用麦克风阵列。可以理解，上面示出的设备和方法仅是示例性的。本发明的设备可以包括比示出的部件更多或更少的部件。本发明的方法并不局限于上面示出的步骤和顺序。本领域技术人员根据所示实施例的教导可以进行许多变化和修改。

根据本申请各实施例的上述方法、装置、单元和/或模块可以通过有计算能力的电子设备执行包含计算机指令的软件来实现。该系统可以包括存储设备，以实现上文所描述的各种存储。所述有计算能力的电子设备可以包含通用处理器、数字信号处理器、专用处理器、可重新配置处理器等能够执行计算机指令的装置，但不限于此。执行这样的指令使得电子设备被配置为执行根据本申请的上述各项操作。上述各设备和/或模块可以在一个电子设备中实现，也可以在不同电子设备中实现。这些软件可以存储在计算机可读存储介质中。计算机可读存储介质存储一个或多个程序(软件模块)，所述一个或多个程序包括指令，当电子设备中的一个或多个处理器执行所述指令时，所述指令使得电子设备执行本申请的方法。

这些软件可以存储为易失性存储器或非易失性存储装置的形式(比如类似ROM等存储设备)，不论是可擦除的还是可重写的，或者存储为存储器的形式(例如RAM、存储器芯片、设备或集成电路)，或者被存储在光可读介质或磁可读介质上(比如，CD、DVD、磁盘或磁带等等)。应该意识到，存储设备和存储介质是适于存储一个或多个程序的机器可读存储装置的实施例，所述一个程序或多个程序包括指令，当所述指令被执行时，实现本申请的实施例。实施例提供程序和存储这种程序的机器可读存储装置，所述程序包括用于实现本申请的任何一项权利要求所述的装置或方法的代码。此外，可以经由任何介质(比如，经由有线连接或无线连接携带的通信信号)来电传递这些程序，多个实施例适当地包括这些程序。

根据本申请各实施例的方法、装置、单元和/或模块还可以使用例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)或可以以用于对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式的适当组合来实现。该系统可以包括存储设备，以实现上文所描述的存储。在以这些方式实现时，所使用的软件、硬件和/或固件被编程或设计为执行根据本申请的相应上述方法、步骤和/或功能。本领域技术人员可以根据实际需要来适当地将这些系统和模块中的一个或多个，或其中的一部分或多个部分使用不同的上述实现方式来实现。这些实现方式均落入本申请的保护范围。

尽管已经参照本申请的特定示例性实施例示出并描述了本申请，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本申请的精神和范围的情况下，可以对本申请进行形式和细节上的多种改变。因此，本申请的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (12)

1.一种电子设备，包括：

至少一个麦克风，用于采集音频输入信号；

接收单元，用于接收来自另一电子设备的至少一个麦克风采集的音频输入信号；以及

处理单元，用于处理所述至少一个麦克风采集的音频输入信号和所述另一电子设备的至少一个麦克风采集的音频输入信号以生成与音频输入信号对应的音频输入数据，其中，

所述处理单元进一步配置为：自动发现协作设备，自适应地在单独工作模式与协作工作模式之间执行切换，以及在协作工作模式下，将所述电子设备的至少一个麦克风与作为协作设备的所述另一电子设备的至少一个麦克风整体作为麦克风阵列，采用与所述麦克风阵列对应的算法处理所述至少一个麦克风采集的音频输入信号和所述另一电子设备的至少一个麦克风采集的音频输入信号以生成与音频输入信号对应的音频输入数据。

2.根据权利要求1所述的电子设备，其中所述接收单元有线地与所述另一电子设备连接。

3.根据权利要求1所述的电子设备，其中所述接收单元无线地与所述另一电子设备连接。

4.根据权利要求1所述的电子设备，其中，

所述处理单元进一步配置为：确定所述电子设备与所述另一电子设备的相对位置，以及根据所述相对位置确定所述麦克风阵列。

5.根据权利要求1所述的电子设备，其适于放置在相对所述另一电子设备的固定位置处。

6.根据权利要求4所述的电子设备，还包括：摄像头，用于捕获所述另一电子设备的图像，以及

所述处理单元还用于：根据所捕获的所述另一电子设备的图像确定所述另一电子设备的至少一个麦克风相对于所述电子设备的至少一个麦克风的位置。

7.一种使用麦克风的方法，包括：

自动发现协作设备，自适应地在单独工作模式与协作工作模式之间执行切换，以及

在协作工作模式下：

利用第一电子设备的至少一个麦克风采集音频输入信号；

接收来自作为协作设备的第二电子设备的至少一个麦克风采集的音频输入信号；以及

将所述第一电子设备的至少一个麦克风与所述第二电子设备的至少一个麦克风整体作为麦克风阵列，采用与所述麦克风阵列对应的算法处理所述电子设备的至少一个麦克风采集的音频输入信号和所述第二电子设备的至少一个麦克风采集的音频输入信号以生成与音频输入信号对应的音频输入数据。

8.根据权利要求7所述的方法，其中所述接收包括：通过与所述第二电子设备的有线连接，接收来自第二电子设备的至少一个麦克风采集的音频输入信号。

9.根据权利要求7所述的方法，其中所述接收包括：通过与所述第二电子设备的无线连接，接收来自第二电子设备的至少一个麦克风采集的音频输入信号。

10.根据权利要求7所述的方法，所述将所述第一电子设备的至少一个麦克风与所述第二电子设备的至少一个麦克风整体视为麦克风阵列包括：

确定所述第一电子设备与所述第二电子设备的相对位置，以及

根据所述相对位置确定所述麦克风阵列。

11.根据权利要求7所述的方法，其中，所述第一电子设备与所述第二电子设备在工作时具有固定的相对位置。

12.根据权利要求10所述的方法，其中，所述确定所述第一电子设备与所述第二电子设备的相对位置包括：

利用第一电子设备的摄像头捕获所述第二电子设备的图像，以及

根据所捕获的所述第二电子设备的图像确定所述第一电子设备与所述第二电子设备的相对位置。

Images