CN115312056A - 一种智能听觉系统 - Google Patents

Abstract

本发明公开了一种智能听觉系统，该系统包括声音采集单元，所述声音采集单元包括若干声音采集模块，若干所述声音采集模块分布在被控者的不同位置，以便获取来自不同方向的声波；主控单元，所述主控单元与所述声音采集单元相连；所述主控单元用于采集声波，并通过预设的识别算法确定所述声波中包含目标操控者对所述被控者下发的声波形式的任务指令。该系统采用语音交互的方法与系统进行交互，无需进入终端的操控界面，操控者通过语音指令就能直接下达命令，从而简化了操作流程、提升了系统的响应速度。在强对抗、强干扰环境，电磁信号容易受到电磁干扰，而声音信号具有衍射性和透射性，可以弥补其不足，具有良好的抗干扰性。

Description

一种智能听觉系统

技术领域

本发明涉及机器人控制技术领域，特别是涉及一种适用于机器人控制使用的智能听觉系统。

背景技术

随着科技的进步以及关键技术不断地突破，仿生机器人已经走向了我们生活的方方面面，包括外卖送餐、货物搬运、下棋、人机对话、问题求解、自动控制等，但是大多数都是基于仿生机器人的视觉系统、信息处理系统、控制系统的，而在机器人听觉系统解决的问题都比较单一，有的只能解决人机之间的交互，有的只能解决声纹的验证，有的只能解决声源的定位等。

现有的机器听觉系统功能单一，有的只能完成语音的交互，例如F-35装配了语音识别系统、欧洲战斗机“台风”能发出250个命令、市面上也有各种语音交互系统，但是这个机器听觉系统只具备语音交互的功能；有的只能完成声源的识别，例如Pilar系统通过监测子弹划破空气产生的声场确定飞行轨迹、回旋镖一代车载狙击探测系统探测枪声的位置、鸣笛抓拍装置等；有的只完成身份验证，例如当前一些门禁系统。综上所述，当前的机器人听觉系统的功能应用单一，未能实现真正的仿生智能，人与专属机器人之间的能力无法匹配，不能实现特殊应用场景下的人机高效协同。

因此，如何实现机器人的听觉系统智能化，是迫切需要本领域技术人员解决的技术问题。

发明内容

鉴于上述问题，本发明提供用于克服上述问题或者至少部分地解决上述问题的一种智能听觉系统。

本发明提供了如下方案：

一种智能听觉系统，包括：

声音采集单元，所述声音采集单元包括若干声音采集模块，若干所述声音采集模块分布在被控者的不同位置，以便获取来自不同方向的声波；

主控单元，所述主控单元与所述声音采集单元相连；

所述主控单元用于采集声波，并通过预设的识别算法确定所述声波中包含目标操控者对所述被控者下发的声波形式的任务指令；

所述主控单元用于接收所述声音采集单元发送的所述任务指令，并在所述任务指令被所述目标操控者确认后控制所述被控者执行所述任务指令。

优选地：所述声音采集单元还包括相连的抗干扰电路、滤波电路、AD转换电路；若干所述声音采集模块分别与所述抗干扰电路相连，所述AD转换电路与所述主控单元相连。

优选地：所述识别算法包括声纹识别算法和/或语音识别算法和/或声音定向定位算法。

优选地：还包括与所述主控单元相连的显示模块以及语音输出模块，所述主控单元还用于将所述任务指令通过所述显示模块展示和/或通过所述语音输出模块展示，以便所述目标操控者对所述任务指令进行确认。

优选地：所述主控单元还用于将所述被控者执行所述任务指令后获得的任务结果通过所述显示模块展示和/或通过所述语音输出模块展示。

优选地：所述任务结果包括目标信息，所述目标信息包括位置坐标、速度坐标、目标种类、目标状态。

优选地：还包括均与所述主控单元相连的速度传感器、卫星定位模块、惯导定位模块、视觉传感器、姿态传感器；所述主控单元还用于将所述任务指令发送给所述速度传感器、卫星定位模块、惯导定位模块、视觉传感器、姿态传感器，以便所述被控者在目标区域指令声音识别、声源定向及定位任务。

优选地：还包括与所述主控单元相连的时钟电路、存储模块以及供电模块。

优选地：所述被控者包括机器人，所述主控单元还用于在执行任务中始终保持人在回路。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本申请实施例提供的一种智能听觉系统，采用语音交互的方法与系统进行交互，无需进入终端的操控界面，操控者通过语音指令就能直接下达命令，从而简化了操作流程、提升了系统的响应速度。在强对抗、强干扰环境，电磁信号容易受到电磁干扰，而声音信号具有衍射性和透射性，可以弥补其不足，具有良好的抗干扰性。

另外，在优选的实施方式下，通过声纹识别技术可以对远程操控者的身份进行确认，在危险区域作业时，既保证了操控者的安全，又不会被其他人员干扰，保证操控者及机器人的安全。通过语音交互技术实现对机器人的远程操控，从而解放操控者双手，无需将注意力集中在操控终端上，以保证操控者在不因操控分散注意力的情况下在安全地点进行放松操控，保证操控者的安全。

另外，在另一种优选的实施方式下，在人员无法看见或进入的特殊区域、或在夜晚环境、或在遮挡条件下，纯视觉信号难以发现危险的位置，通过声音信号探测弥补视觉范围受限的缺陷，提升机器人的侦察感知能力。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种智能听觉系统的连接框图。

图中：声音采集模块1、主控单元2、抗干扰电路3、滤波电路4、AD转换电路5、显示模块6、语音输出模块7、速度传感器8、卫星定位模块9、惯导定位模块10、视觉传感器11、姿态传感器12、时钟电路13、存储模块14、供电模块15、通信模块16、被控者17。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，为本发明实施例提供的一种智能听觉系统，如图1所示，该系统可以包括：

声音采集单元，所述声音采集单元包括若干声音采集模块1，若干所述声音采集模块1分布在被控者17的不同位置，以便获取来自不同方向的声波；该声音采集模块1可以包括两个，例如可以包括第一声音采集模块1以及第二声音采集模块1。采用多个声音采集模块1的方式，可以保证获得各个不同方向的声音。该被控者17可以是机器人等可以自动执行任务的设备。

主控单元2，所述主控单元2与所述声音采集单元相连；

所述主控单元2用于采集声波，并通过预设的识别算法确定所述声波中包含目标操控者对所述被控者17下发的声波形式的任务指令；具体的，所述识别算法包括声纹识别算法和/或语音识别算法和/或声音定向定位算法。

所述主控单元2用于接收所述声音采集单元发送的所述任务指令，并在所述任务指令被所述目标操控者确认后控制所述被控者17执行所述任务指令。

本申请实施例提供的系统，可以通过声音采集模块1从多个方向采集操控者的声波信息，并对声波信息包含的任务指令进行判断，通过预设的识别算法可以判断该任务指令是否为目标操控者发出，确认为目标操控者发出后可以将该任务指令发送给主控单元2，主控单元2即可根据该任务指令控制被控者17执行该任务指令。该系统可以与专属的目标操控者完成语音交互，摆脱操控终端的束缚，直接进行自然人机交互，又能识别特定场景下的声源方向及位置。

本申请实施例提供的声音采集模块1可以包括麦克风，用于模拟人的耳朵，麦克风阵列分布在机器人的不同位置，接收来自不同方向的声波，包括语音、目标声音、背景声音等。为了提高获取到的目标声源的声波特性，本申请实施例还可以提供所述声音采集单元还包括相连的抗干扰电路3、滤波电路4、AD转换电路5；若干所述声音采集模块1分别与所述抗干扰电路3相连，所述AD转换电路5与所述主控单元2相连。

为了方便操控者对任务指令进行确认，本申请实施例还可以提供还包括与所述主控单元2相连的显示模块6以及语音输出模块7，所述主控单元2还用于将所述任务指令通过所述显示模块6展示和/或通过所述语音输出模块7展示，以便所述目标操控者对所述任务指令进行确认。进一步的，所述主控单元2还用于将所述被控者17执行所述任务指令后获得的任务结果通过所述显示模块6展示和/或通过所述语音输出模块7展示。所述任务结果包括目标信息，所述目标信息包括位置坐标、速度坐标、目标种类、目标状态。

为了方便该被控者17执行任务指令，本申请实施例还可以提供均与所述主控单元2相连的速度传感器8、卫星定位模块9、惯导定位模块10、视觉传感器11、姿态传感器12；所述主控单元2还用于将所述任务指令发送给所述速度传感器8、卫星定位模块9、惯导定位模块10、视觉传感器11、姿态传感器12，以便所述被控者17在目标区域指令声音识别、声源定向及定位任务。还包括与所述主控单元2相连的时钟电路13、存储模块14以及供电模块15。所述被控者17包括机器人，所述主控单元2还用于在执行任务中始终保持人在回路。

本申请实施例提供了一种面向机器人搭载的智能听觉系统，采用声音识别的方法完成对操控者的身份验证、对目标声源的定向定位以及与操控者的语音交互，解决专属机器人被他人控制或被他人误操控、危险源准确识别、人机之间的便捷交互等问题，不仅可以摆脱对操控终端的依赖、直接与机器人进行人机交互、保证了对机器人的安全使用和智能高效操控，而且可以从听觉上弥补视觉方式感知范围受限的缺陷、提升机器人的侦察感知能力，最终实现特殊应用场景下的人与专属机器人之间的高效协同。

该系统由硬件部分和软件部分组成，硬件部分主要由机器人本体、声音采集模块1、声音检测模块、数据传输模块、信息处理模块、定位导航模块、语音输出模块7、显示模块6、电源模块、存储模块14组成，软件部分由身份识别算法、声源识别算法、语音识别算法、声源定位算法等组成。

如图1所示，硬件采用高集成度设计，满足机器人模块化搭载，软件融合声纹识别技术、语音识别技术、声音定向定位技术等多项技术，完全模拟人的耳朵，既能辨别交互者的身份、与专属操控者完成语音交互，摆脱操控终端的束缚，直接进行自然人机交互，又能识别特定场景下的声源方向及位置，通过本发明将使机器人在听觉上更智能、更仿生，接近人耳、胜于人耳。

下面以被控者17为机器人为例，对本申请实施例提供的各个硬件模块的功能介绍如下：

(1)声音采集模块1：用于模拟人的耳朵，麦克风阵列分布在机器人的不同位置，接收来自不同方向的声波，包括语音、目标声音、背景声音等；

(2)抗干扰电路3：用于降低智能听觉系统采集的信号基底噪声，提高目标声源的声波特征；

(3)滤波电路4：对目标信号频率之外的声波进行滤除，该滤波电路4能够根据主控单元2预置目标声波参数，进行自适应调节滤波范围；

(4)AD转换电路5：用于实现模拟声波信号到数字声波信号的转换；

(5)速度传感器8：用于采集机器人的速度信息；

(6)卫星定位模块9：用于实时采集机器人的位置信息；

(7)惯导定位模块10：用于对机器人位置信息采集的补充，尤其是弱信号或受限的室内空间；

(8)视觉传感器11：用于机器人的目标视觉识别，视觉定位等；

(9)姿态传感器12：用于对机器人姿态信息的采集；

(10)时钟电路13：作为主控单元2的外围辅助功能电路，为智能听觉系统提供时间基准；

(11)通信模块16：为智能听觉系统提供与其他设备或系统建立数据连接无线通信的接口；

(12)存储模块14：为智能听觉系统提供目标声源特征库存储空间、语音指令存储空间和运行内存等；

(13)显示模块6：作为主控单元2的外围辅助功能电路，用于显示目标信息，包括位置坐标、速度坐标、目标种类、对话内容等内容的显示输出；

(14)语音输出模块7：作为主控单元2的外围辅助功能电路，直接向操控者播报目标信息，包括位置坐标、速度坐标、目标种类、对话内容等；

(15)电源模块：作为主控单元2的外围辅助功能电路，为智能听觉系统供电，并进行电源管理。

(16)主控单元2：主控单元2是一个综合性的处理单元，是智能听觉系统的核心，用于实现声音信号的智能处理，进行声音信号分类、语音信号提取、目标识别信号提取等，具备人机智能交互、声源定向及定位、身份验证、声音识别等能力；

(17)机器人：既是智能听觉系统的载体，又是领受任务后的执行机构。

控制过程：

(1)根据要执行的任务，到达相关地点，比如鸣笛抓拍、震区救援、丛林侦察等，通过机器人声音采集系统(第一声音采集模块、第二声音采集模块、抗干扰电路3、滤波电路4、AD转换电路5)采集专属操控者对机器人下发的指令，对非专属操控者的指令不予理睬；

(2)主控单元2接收到任务指令后，对接收到的指令进行解析、处理，通过显示模块6向操控者确认指令，同时通过语音输出模块7向操控者播报确认指令，任一方式即可确认指令；

(3)主控单元2将处理的结果分发给速度传感器8、卫星定位模块9、惯导定位模块10、视觉传感器11、姿态传感器12、机器人(被控者17)，机器人开始在某区域指令声音识别、声源定向及定位任务；

(4)在执行任务中，速度传感器8实时采集机器人的速度信息；卫星定位模块9与惯导定位模块10实时采集机器人的位置信息，主控单元2对采集的信息进行融合处理；姿态传感器12实时采集机器人的姿态信息；视觉传感器11实时采集周界信息等；主控单元2对采集的位置、速度、姿态、目标等信息再进行融合处理；

(5)在执行任务过程中，始终保持人在回路，可以与机器人实时地进行人机交互；

(6)搜索到目标后，通过显示模块6向操控者显示目标信息，同时通过语音输出模块7向操控者播报目标信息，包括位置坐标、速度坐标、目标种类、目标状态等；

(7)完成整个区域的侦察感知任务后，机器人自动返回出发地。

(8)整个任务执行过程，时钟电路13为智能听觉系统提供时间基准，电源模块为智能听觉系统供电，通信模块16是为操控终端与机器人保留的接口。

本申请实施例提供的智能听觉系统，采用麦克风阵列(声音采集模块1)，融合声纹识别、语音交互、声源识别等多种智能算法，能够满足复杂环境下对特定声波信号的采集、识别、定位、定向、验证等，在民用领域，可用于搜救被废墟掩埋的人员、发现化学品泄漏的位置、寻找光线不足处的呼救者、陪护老人小孩等；在军事领域，可以用于检测狙击手的位置，枪声、炮声位置，识别危险场景的目标，验证操控者身份，远程操控验证等。使得机器人具备人耳的功能，既能辨别交互者的身份、与专属操控者完成语音交互，摆脱操控终端的束缚，直接进行自然人机交互，保证对机器人的安全使用和智能高效操控，而且可以识别特定场景下的声源方向及位置，从听觉上弥补视觉方式感知范围受限的缺陷，提升机器人的侦察感知能力，最终实现特殊应用场景下的人与专属机器人之间的高效协同。通过本发明将使机器人在听觉上更智能、更仿生，接近人耳、胜于人耳。对于仿生听觉具有重大意义。

本申请实施例提供的系统具体有益效果可体现在：

1、强交互性。采用语音交互的方法与系统进行交互，无需进入终端的操控界面，操控者通过语音指令就能直接下达命令，从而简化了操作流程、提升了系统的响应速度。

2、高安全性。通过声纹识别技术可以对远程操控者的身份进行确认，在危险区域作业时，既保证了操控者的安全，又不会被其他人员干扰，保证操控者及机器人的安全。通过语音交互技术实现对机器人的远程操控，从而解放操控者双手，无需将注意力集中在操控终端上，以保证操控者在不因操控分散注意力的情况下在安全地点进行放松操控，保证操控者的安全。

3、好补充性。在人员无法看见或进入的特殊区域、或在夜晚环境、或在遮挡条件下，纯视觉信号难以发现危险的位置，通过声音信号探测弥补视觉范围受限的缺陷，提升机器人的侦察感知能力。

4、强抗干扰性。在强对抗、强干扰环境，电磁信号容易受到电磁干扰，而声音信号具有衍射性和透射性，可以弥补其不足，具有良好的抗干扰性。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加上必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种智能听觉系统，其特征在于，包括：

声音采集单元，所述声音采集单元包括若干声音采集模块，若干所述声音采集模块分布在被控者的不同位置，以便获取来自不同方向的声波；

主控单元，所述主控单元与所述声音采集单元相连；

所述主控单元用于采集声波，并通过预设的识别算法确定所述声波中包含目标操控者对所述被控者下发的声波形式的任务指令；

所述主控单元用于接收所述声音采集单元发送的所述任务指令，并在所述任务指令被所述目标操控者确认后控制所述被控者执行所述任务指令。

2.根据权利要求1所述的智能听觉系统，其特征在于，所述声音采集单元还包括相连的抗干扰电路、滤波电路、AD转换电路；若干所述声音采集模块分别与所述抗干扰电路相连，所述AD转换电路与所述主控单元相连。

3.根据权利要求1所述的智能听觉系统，其特征在于，所述识别算法包括声纹识别算法和/或语音识别算法和/或声音定向定位算法。

4.根据权利要求1所述的智能听觉系统，其特征在于，还包括与所述主控单元相连的显示模块以及语音输出模块，所述主控单元还用于将所述任务指令通过所述显示模块展示和/或通过所述语音输出模块展示，以便所述目标操控者对所述任务指令进行确认。

5.根据权利要求4所述的智能听觉系统，其特征在于，所述主控单元还用于将所述被控者执行所述任务指令后获得的任务结果通过所述显示模块展示和/或通过所述语音输出模块展示。

6.根据权利要求5所述的智能听觉系统，其特征在于，所述任务结果包括目标信息，所述目标信息包括位置坐标、速度坐标、目标种类、目标状态。

7.根据权利要求1所述的智能听觉系统，其特征在于，还包括均与所述主控单元相连的速度传感器、卫星定位模块、惯导定位模块、视觉传感器、姿态传感器；所述主控单元还用于将所述任务指令发送给所述速度传感器、卫星定位模块、惯导定位模块、视觉传感器、姿态传感器，以便所述被控者在目标区域指令声音识别、声源定向及定位任务。

8.根据权利要求1所述的智能听觉系统，其特征在于，还包括与所述主控单元相连的时钟电路、存储模块以及供电模块。

9.根据权利要求1所述的智能听觉系统，其特征在于，所述被控者包括机器人，所述主控单元还用于在执行任务中始终保持人在回路。

Images