CN108181612A - 确定麦克风波束成型角度的方法及相关装置 - Google Patents

Abstract

本发明实施例涉及图像处理技术领域，公开了一种确定麦克风波束成型角度的方法及相关装置。其中，确定麦克风波束成型角度的方法包括：检测环境中的声音信号，若检测到声音信号且确定声音信号中存在唤醒指示信息，则根据声音信号的来源方向确定麦克风阵列波束成型的角度，否则，判断环境中是否存在交互对象，若存在，确定交互对象的位置，根据交互对象的位置确定麦克风阵列波束成型的角度。机器人可以结合声音信号和交互对象的存在与否确定麦克风阵列波束成型的角度，从而实现了机器人与交互对象之间的自由交互，解决了现有技术中机器人仅在检测到关键词后才会被唤醒，造成的只能实现被动式交流的问题，避免了交互频繁和具有滞后性的问题。

Description

确定麦克风波束成型角度的方法及相关装置

技术领域

本发明实施例涉及人工智能技术领域，特别涉及一种确定麦克风波束成型角度的方法及相关装置。

背景技术

随着人工智能的迅速发展，智能机器人的应用越来越广泛。机器人通过多种传感器感知周边的环境，例如通过声音传感器感知环境中的声音，以及通过图像传感器感知环境中的人或物。

目前，智能机器人如何定位交互对象的位置，是业界普遍关注的问题。而基于麦克风阵列的声源定位和波束成型(Beamforming)是目前主要的声源定位方式。该定位方式的主要定位过程为：机器人检测声音信号，并在检测到声音信号中包含设定的关键词后唤醒，进一步通过麦克风阵列和波束成型技术定位声音信号的来源方向。

发明人发现现有技术中至少存在以下问题：基于关键词唤醒后定位的方式中，机器人只有检测到声音信号中的关键词(如机器人的名字)后才会被唤醒，属于被动唤醒，交互繁琐，具有滞后性。并且，实际交互场景中，也需要实现机器人与交互对象的主动交流。可见，如何使得机器人具备自由交互的能力，是需要解决的问题。

发明内容

本发明实施方式的目的在于提供一种确定麦克风波束成型角度的方法及相关装置，用以实现机器人与交互对象之间的自由交互。

为解决上述技术问题，本发明的实施方式提供了一种确定麦克风波束成型角度的方法，包括：

检测环境中的声音信号；

若检测到声音信号且确定声音信号中存在唤醒指示信息，则根据声音信号的来源方向确定麦克风阵列波束成型的角度；

否则，判断环境中是否存在交互对象，若存在，确定交互对象的位置，根据交互对象的位置确定麦克风阵列波束成型的角度。

本发明的实施方式还提供了一种确定麦克风波束成型角度的装置，包括：

检测模块，用于检测环境中的声音信号；

第一确定模块，用于若确定检测模块检测到声音信号且确定声音信号中存在唤醒指示信息，则根据声音信号的来源方向确定麦克风阵列波束成型的角度；

第二确定模块包括判断子模块、确定子模块和计算子模块，判断子模块用于若不满足检测到声音信号且确定声音信号中存在唤醒指示信息的条件，则判断环境中是否存在交互对象；确定子模块用于若判断子模块确定存在交互对象，确定交互对象的位置；计算子模块用于根据交互对象的位置确定麦克风阵列波束成型的角度。

本发明的实施方式还提供了一种机器人，包括至少一个处理器；以及，

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行确定麦克风波束成型角度的方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现确定麦克风波束成型角度的方法。

本发明的实施方式相对于现有技术而言，机器人可以结合声音信号和交互对象的存在与否确定麦克风阵列波束成型的角度，从而实现了机器人与交互对象之间的自由交互，解决了现有技术中机器人仅在检测到关键词后才会被唤醒，造成的只能实现被动式交流的问题，避免了交互频繁和具有滞后性的问题。

另外，交互对象的位置为交互对象在世界坐标下的坐标；

根据交互对象的位置确定麦克风阵列波束成型的角度，包括：将交互对象在世界坐标下的坐标转换为麦克风坐标系下的坐标；

采用交互对象在麦克风坐标系下的坐标修正麦克风阵列的声源位置；基于修正后的麦克风阵列的声源位置，确定麦克风阵列波束成型的角度。

通过交互对象的世界坐标下的坐标位置最终确定出麦克风阵列波束成型的角度，使得机器人能够主动定位交互对象。

另外，判断环境中是否存在交互对象，包括：若检测到声音信号且确定声音信号中不存在唤醒指示信息，判断声音信号的来源方向上是否存在交互对象，若不存在，进一步判断环境除声音信号来源方向之外的其它方向上是否存在交互对象。该方式中，在有声音信号的情况下优先在声音信号来源方向上检测交互对象，提高了检测效率。

另外，判断环境中是否存在交互对象，包括：通过图像传感器在环境中拍摄获得图像；判断图像中是否存在交互对象。该方式中，通过图像传感器在环境中拍摄的图像内容，直接判断环境中交互对象的存在情况，避免了增加额外的传感器导致的成本增加。

另外，判断环境中是否存在交互对象，包括：

采用接近传感器在环境中检测；

根据接近传感器的检测结果，判断环境中是否存在交互对象。

通过接近传感器在环境中进行检测所获得的检测结果，直接判断环境中交互对象的存在情况，判断过程简单、快速。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明第一实施方式的确定麦克风波束成型角度的方法流程图；

图2是本发明第二实施方式的确定麦克风波束成型角度的方法流程图；

图3是本发明第二实施方式的坐标转换示意图；

图4是本发明第三实施方式的确定麦克风波束成型角度的装置结构图；

图5是本发明第四实施方式的机器人的结构示例图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施方式涉及一种确定麦克风波束成型角度的方法，应用于机器人，该机器人具体可以是聊天机器人、智能音箱等。需要说明的是，本发明实施例中所称的机器人也可以称之为智能终端，对于所有具备人机交互能力的智能终端都属于这里所称的机器人的范畴。

如图1所示，具体流程如下：

步骤101，进入人机交互状态。

当机器人启动并处于正常使用状态时，即进入人机交互状态，并在人机交互状态下感知周边环境中的人或物。

具体地，机器人可以在特定触发事件发生时进入人机交互状态，例如检测到用户发出的进入人机交互状态的遥控指令，或者检测到用户对进入人机交互状态的触摸按键的触控操作等。

步骤102，检测环境中的声音信号。

其中，机器人在进入人机交互状态后会实时检测环境中的声音信号，并判断是否检测到声音信号。

具体地，机器人可以通过声音传感器检测环境中的声音信号。当然，这并不意味着必须使用声音传感器进行检测，理论上所有能够检测到声音信号的器件都可以应用到本实施例中，本实施例的保护范围并不受采用的声音信号检测方式的限制。

步骤103，判断是否检测到声音信号且声音信号中存在唤醒指示信息，若是，执行步骤104，否则，执行步骤105。

其中，唤醒指示信息具体可以是预设的唤醒词或预设的声音特征信息，例如，唤醒指示信息为机器人的名字，或者唤醒指示信息为指定用户的声音特征信息(音色、音调等)。

步骤104，根据声音信号的来源方向确定麦克风阵列波束成型的角度，结束本次确定过程。

具体地，当检测到声音信号并且确定声音信号中存在唤醒指示信息时，定位声音信号的来源方向，并根据声音信号的来源方向确定出麦克风阵列波束成型的角度。

其中，声音信号的来源方向的确定方式有多种，本实施例不限制具体采用哪种确定方式。例如，基于麦克风阵列确定声音信号的来源方向，具体过程为：麦克风阵列中的每个麦克风在接收到声音信号后，根据每个麦克风接收到的声音信号的强度的大小以及麦克风阵列中各麦克风的分布情况，确定声音信号的来源，最为简单的确定原则可以是：确定接收到的声音信号的强度最大的麦克风，将该麦克风所朝向的方位确定为声音信号的来源方向。

步骤105，判断环境中是否存在交互对象，若是，执行步骤106，否则，转去执行步骤102。

本实施例中，可以通过多种方式判断环境中是否存在交互对象。包括但不限于以下所列举的方式：

第一种方式是：通过图像传感器在环境中拍摄获得图像，判断图像中是否存在交互对象。例如，拍摄获得图像后，在图像中检测人脸，若检测到，则确定存在交互对象，若检测不到，则确定不存在交互对象。

该方式无需在机器人上增设额外的传感器，节约了成本。

第二种方式是：采用接近传感器在环境中检测，并根据接近传感器的检测结果，判断环境中是否存在交互对象。例如，该接近传感器为红外传感器。需要说明的是，此处仅为举例说明，并不用于限制本实施例的保护范围，对于其它能够检测到交互对象的传感器也可以应用于本实施例，并包含在本实施例所限定的范围之内。

该方式中，通过接近传感器在环境中进行检测所获得的检测结果，直接判断环境中交互对象的存在情况，判断过程简单、快速。

一个具体实现中，若检测到声音信号且确定声音信号中不存在唤醒指示信息，则在判断环境中是否存在交互对象的时候，可以采用以下方式：首先判断声音信号的来源方向上是否存在交互对象，若不存在，进一步判断环境除声音信号来源方向之外的其它方向上是否存在交互对象，从而提高检测效率。

步骤106，确定交互对象的位置，根据交互对象的位置确定麦克风阵列波束成型的角度，结束本次确定过程。

在确定出环境中交互对象的位置后，机器人会根据交互对象的位置确定出麦克风阵列波束成型的角度。机器人通过主动检测交互对象，然后确定其位置，并依据交互对象的位置确定出麦克风波束成型的角度，实现了机器人与交互对象的主动式交流。

与现有技术相比，本实施方式中，机器人可以结合声音信号和交互对象的存在与否确定麦克风阵列波束成型的角度，从而实现了机器人与交互对象之间的自由交互，解决了现有技术中机器人仅在检测到关键词后才会被唤醒，造成的只能实现被动式交流的问题，避免了交互频繁和具有滞后性的问题。

本发明的第二实施方式涉及一种确定麦克风波束成型角度的方法，第二实施方式是在第一实施方式的基础上，对步骤106的一个具体实现方式进行说明。该方法的具体流程如图2所示。

步骤201，进入交互状态。

其中，步骤201的具体实施可参见步骤101的描述，此处不再赘述。

步骤202，判断是否检测到环境中的声音信号，若是，则执行步骤203，否则，执行步骤206。

其中，步骤202所采用的具体检测方式可参见步骤102的描述，此处不再赘述。

步骤203，判断检测到声音信号中是否包含唤醒指示信息，若是，执行步骤204，否则，执行步骤205。

其中，当机器人确定通过声音传感器传输过来的信息中包含声音信号后，会继续检测声音信号中是否包含唤醒指示信息。

步骤204，确定声音信号的来源方向，并根据声音信号的来源方向确定麦克风阵列波束成型的角度，结束本次确定过程。

其中，步骤204的具体实施可参见步骤104的描述，此处不再赘述。

步骤205，确定声音信号的来源方向。

步骤206，判断环境中是否存在交互对象，若是，执行步骤207，否则，执行步骤202。

其中，步骤206的具体实施可参见步骤105的描述，重复之处不再赘述。

步骤207，确定交互对象的位置，该交互对象的位置为该交互对象在世界坐标系下的坐标。

具体地，交互对象的位置的确定方式有多种，列举如下：在有声音信号的情况下采用麦克风阵列定位的方式，在没有声音信号的情况下可以采用室内WiFi定位、室内超声波定位、室内红外线定位技术等。需要说明的是，本实施例并不限制所采用的确定交互对象位置的方式。

步骤208，将交互对象在世界坐标下的坐标转换为麦克风坐标系下的坐标。

其中，交互对象的世界坐标系下的坐标是交互对象的绝对坐标位置，而麦克风坐标系下是用户自定义的坐标系。

在一个具体实现中，假设麦克风阵列的具体形式为多个麦克风均匀分布的圆环，则该麦克风坐标系的定义方式为：将该麦克风阵列的圆心作为麦克风坐标系的原点，以麦克风阵列的一条直径方向作为麦克风坐标系的Y’轴，以垂直于Y’轴的另一条直径方向作为麦克风阵列的X’轴，麦克风坐标系的Z’轴垂直于圆环所在平面且穿过圆心。

根据世界坐标系和麦克风坐标系的转换参数，将交互对象在世界坐标系下的坐标(x,y,z)转换成麦克风坐标系下的坐标(x’,y’,z’)，如图3所示为坐标转换示意图。

步骤209，采用交互对象在麦克风坐标系下的坐标修正麦克风阵列的声源位置。

其中，机器人根据交互对象在麦克风坐标下的坐标修正麦克风阵列的声源位置，以控制机器人对准交互对象所在的位置。

步骤210，基于修正的麦克风阵列的声源位置，确定麦克风阵列波束成型的角度，结束本次确定过程。

与现有技术相比，本实施方式涉及的确定麦克风阵列波束成型角度的方法，使机器人可以结合声音信号和交互对象的存在与否确定麦克风阵列波束成型的角度，从而实现了机器人与交互对象之间的自由交互，解决了现有技术中机器人仅在检测到关键词后才会被唤醒，造成的只能实现被动式交流的问题，避免了交互频繁和具有滞后性的问题。并且在根据交互对象的位置确定麦克风波束成型的角度时，运用了严格的坐标转换和麦克风阵列的修正，使通过交互对象的位置确定出的麦克风波束成型的角度更加准确。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明的第三实施方式涉及一种确定麦克风波束成型角度的装置，该装置的具体结构如图4所示，具体包括：检测模块401、第一确定模块402、第二确定模块403，其中，第二确定模块403包括判断子模块4031、确定子模块4032和计算子模块4033。

其中，检测模块401用于检测环境中的声音信号。机器人在检测环境中的声音信号时具体可以通过声音传感器感知环境中的声音，并对声音传感器传输过来的信息进行判断。

第一确定模块402用于若确定检测模块检测到声音信号且确定声音信号中存在唤醒指示信息，则根据声音信号的来源方向确定麦克风阵列波束成型的角度。其中，唤醒指示信息包括声音信号中的关键词，例如机器人的声音等。

判断子模块4031用于若不满足检测到声音信号且确定声音信号中存在唤醒指示信息的条件，则判断环境中是否存在交互对象。在判断环境中是否存在交互对象时可以通过多种方式进行确定。一种方式是通过图像传感器在环境中拍摄获得图像，并判断图像中是否存在交互对象。另一种方式为采用接近传感器在环境中检测，并根据接近传感器的检测结果，判断环境中是否存在交互对象。不论是图像传感器还是接近传感器在确定是否存在交互对象时，都可以根据检测的结果直接判断出环境中是否存在交互对象，判断过程更加直观和快速。

确定子模块4032用于若判断子模块4031确定存在交互对象，确定交互对象的位置。并且具体用于若检测到声音信号且确定声音信号中不存在唤醒指示信息，判断声音信号的来源方向上是否存在交互对象，若不存在，进一步判断环境除声音信号来源方向之外的其它方向上是否存在交互对象。其中，交互对象的位置为交互对象在世界坐标下的坐标。

计算子模块4033用于根据交互对象的位置确定麦克风阵列波束成型的角度。

与现有技术相比，本实施方式中通过确定麦克风波束成型角度的装置，使得机器人可以结合声音信号和交互对象的存在与否确定麦克风阵列波束成型的角度，从而实现了机器人与交互对象之间的自由交互，解决了现有技术中机器人仅在检测到关键词后才会被唤醒，造成的只能实现被动式交流的问题，避免了交互频繁和具有滞后性的问题。

不难发现，本实施方式为与第一或第二实施方式相对应的装置实施方式，本实施方式可与第一或第二实施方式互相配合实施。第一或第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述任意方法实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明的第四实施方式涉及一种机器人，如图5所示为机器人的结构示例图，包括至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502。其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行确定麦克风波束成型角度的方法。

其中，处理器501、存储器502可以通过总线或者其他方式连接，图5中以通过总线连接为例，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器501、存储器502的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种确定麦克风波束成型角度的方法，应用于机器人，其特征在于，包括：

检测环境中的声音信号；

若检测到声音信号且确定所述声音信号中存在唤醒指示信息，则根据所述声音信号的来源方向确定麦克风阵列波束成型的角度；

否则，判断环境中是否存在交互对象，若存在，确定所述交互对象的位置，根据所述交互对象的位置确定麦克风阵列波束成型的角度。

2.如权利要求1所述的确定麦克风波束成型角度的方法，其特征在于，所述交互对象的位置为所述交互对象在世界坐标下的坐标；

根据所述交互对象的位置确定麦克风阵列波束成型的角度，包括：

将所述交互对象在世界坐标下的坐标转换为麦克风坐标系下的坐标；

采用所述交互对象在所述麦克风坐标系下的坐标修正所述麦克风阵列的声源位置；

基于修正后的所述麦克风阵列的声源位置，确定所述麦克风阵列波束成型的角度。

3.如权利要求1所述的确定麦克风波束成型角度的方法，其特征在于，所述判断环境中是否存在交互对象，包括：

若检测到声音信号且确定所述声音信号中不存在唤醒指示信息，判断所述声音信号的来源方向上是否存在交互对象，若不存在，进一步判断环境除所述声音信号来源方向之外的其它方向上是否存在交互对象。

4.如权利要求1～3任一项所述的确定麦克风波束成型角度的方法，其特征在于，所述判断环境中是否存在交互对象，包括：

通过图像传感器在环境中拍摄获得图像；

判断所述图像中是否存在所述交互对象。

5.如权利要求1～3任一项所述的确定麦克风波束成型角度的方法，其特征在于，所述判断环境中是否存在交互对象，包括：

采用接近传感器在环境中检测；

根据所述接近传感器的检测结果，判断环境中是否存在交互对象。

6.一种确定麦克风波束成型角度的装置，应用于机器人，其特征在于，包括：

检测模块，用于检测环境中的声音信号；

第一确定模块，用于若确定所述检测模块检测到声音信号且确定所述声音信号中存在唤醒指示信息，则根据所述声音信号的来源方向确定麦克风阵列波束成型的角度；

第二确定模块包括判断子模块、确定子模块和计算子模块，所述判断子模块用于若不满足检测到声音信号且确定所述声音信号中存在唤醒指示信息的条件，则判断环境中是否存在交互对象；所述确定子模块用于若所述判断子模块确定存在交互对象，确定所述交互对象的位置；所述计算子模块用于根据所述交互对象的位置确定麦克风阵列波束成型的角度。

7.如权利要求6所述的确定麦克风波束成型角度的装置，其特征在于，所述交互对象的位置为所述交互对象在世界坐标下的坐标；

所述计算子模块具体用于：

将所述交互对象在世界坐标下的坐标转换为麦克风坐标系下的坐标；

采用所述交互对象在所述麦克风坐标系下的坐标修正所述麦克风阵列的声源位置；

基于修正后的所述麦克风阵列的声源位置，确定所述麦克风阵列波束成型的角度。

8.如权利要求6所述的确定麦克风波束成型角度的装置，其特征在于，所述判断子模块具体用于：

若检测到声音信号且确定所述声音信号中不存在唤醒指示信息，判断所述声音信号的来源方向上是否存在交互对象，若不存在，进一步判断环境除所述声音信号来源方向之外的其它方向上是否存在交互对象。

9.一种机器人，其特征在于，包括至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1～5任一项所述的确定麦克风波束成型角度的方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～5任一项所述的确定麦克风波束成型角度的方法。