CN105957535A - 机器人语音信号探测识别系统 - Google Patents

机器人语音信号探测识别系统 Download PDF

Info

Publication number
CN105957535A
CN105957535A CN201610230162.3A CN201610230162A CN105957535A CN 105957535 A CN105957535 A CN 105957535A CN 201610230162 A CN201610230162 A CN 201610230162A CN 105957535 A CN105957535 A CN 105957535A
Authority
CN
China
Prior art keywords
signal
host computer
robot
control circuit
mike
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610230162.3A
Other languages
English (en)
Inventor
王运志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Krund Robot Co Ltd
Original Assignee
Qingdao Krund Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Krund Robot Co Ltd filed Critical Qingdao Krund Robot Co Ltd
Priority to CN201610230162.3A priority Critical patent/CN105957535A/zh
Publication of CN105957535A publication Critical patent/CN105957535A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Abstract

本发明涉及语音信号探测识别技术领域，具体公开了一种机器人语音信号探测识别系统，包括机器人主体、摄像头、触摸屏、麦克风线阵、信号处理电路、控制电路和上位机，机器人主体的前侧设有斜面结构，麦克风线阵设在斜面结构的下部，信号处理电路用于对麦克风线阵采集的声信号进行声源定位和降噪处理、将声源定位结果和硬件唤醒信号传递给控制电路以及将降噪后的声信号传递给上位机，控制电路用于将声源定位结果和硬件唤醒信号传递给上位机以及将软件睡眠信号传递给信号处理电路，上位机用于对降噪后的声信号进行语音识别以及将软件睡眠信号传递给控制电路。本发明能够在适应机器人具体外观条件的情况下完成语音信号的探测识别。

Description

机器人语音信号探测识别系统
技术领域
本发明涉及语音信号探测识别技术领域，尤其涉及一种机器人语音信号探测识别系统。
背景技术
随着仿人机器人研究的不断发展，用于机器人听觉的声探测识别系统成为了智能机器人的组成部分，是实现人机交互以及机器人与环境交互的重要手段。声探测系统的定位和识别技术在现代军事系统、残疾人辅助以及智能设备中有重要的应用价值，发挥了极为重要的作用。
现有机器人为了与人类进行语音交互以及对周围事件发生进行监测，需要采用麦克风阵列(即传声器阵列)进行声源定位检测和语音信号识别。目前，机器人已采用的麦克风阵型根据采用麦克风个数不同和阵型不同，可包括，二元阵、多元线阵、多元平面阵和立体阵等。对于不同的机器人，要根据其特定的外观条件，根据其特定的声探测和处理的需求，进行麦克风阵设计和实现。
部分机器人采用安装在机器人头部两侧的两个麦克风构成的二元阵进行声探测和处理，该阵型利用声信号到达不同麦克风的时间差异和位相差异等信息对声源进行定位，进而进行后续处理。其他类型机器人有的将线阵、面阵或立体阵布置于机器人身体不同位置，构成声探测识别系统。实际上，对于不同的机器人，采用何种麦克风阵型进行布阵是需要结合具体外观条件具体设计的。
综上所述，现有机器人声探测识别技术已可对声源进行定位探测，亦可对语音信号进行识别，但是，针对一些机器人的具体情况，现有机器人声探测系统需要改造以适应机器人外观设计条件和语音应用需求。
发明内容
本发明的目的是提供一种机器人语音信号探测识别系统，以在适应机器人具体外观条件的情况下进行声信号降噪和声源定位，从而完成语音信号的探测识别。
为了解决上述技术问题，本发明提供了一种机器人语音信号探测识别系统，包括机器人主体、摄像头、触摸屏和麦克风线阵，还包括信号处理电路、控制电路和上位机；
所述机器人主体的前侧设有斜面结构，所述触摸屏设在所述斜面结构的中部，所述摄像头设在所述斜面结构的上部，所述麦克风线阵设在所述斜面结构的下部；所述麦克风线阵中的各麦克风的信号线与所述信号处理电路连接，所述信号处理电路又分别与所述控制电路和上位机连接，所述控制电路又与所述上位机连接；
所述信号处理电路用于对所述麦克风线阵采集的声信号进行声源定位和降噪处理、将声源定位结果和硬件唤醒信号传递给所述控制电路以及将降噪后的声信号传递给所述上位机，所述控制电路用于将声源定位结果和硬件唤醒信号传递给所述上位机以及将软件睡眠信号传递给所述信号处理电路，所述上位机设有声信号处理识别软件，所述上位机用于对降噪后的声信号进行语音识别以及将软件睡眠信号传递给所述控制电路。
优选地，所述麦克风线阵为四元麦克风线阵。
优选地，所述麦克风线阵设在所述斜面结构下部的长方形安装凹槽中。
优选地，所述声源定位结果为声源方位角度。
优选地，在所述信号处理电路和控制电路处于睡眠状态时，所述信号处理电路仅对麦克风线阵采集的声信号进行唤醒词识别。
优选地，所述上位机通过所述声信号处理识别软件识别降噪后的声信号并将声信号分为命令信号和人机交互信号。
优选地，当声信号为命令信号时，所述上位机评价命令信号识别率的高低，如果命令信号识别率高于预设的阈值，则该命令信号识别可信度高，所述上位机执行所识别的用户交与的相应命令，如果命令信号识别率低于预设的阈值，则该命令信号识别可信度低，所述上位机提问用户以确认是否执行其所识别的命令。
优选地，当声信号为人机交互信号时，所述上位机执行人机交互功能，完成用户交于的任务。
本发明的机器人语音信号探测识别系统能够利用固定在机器人主体胸部前侧斜面结构下半部分的麦克风线阵对机器人主体前方半球内的声源进行探测，当有背景声源干扰存在时，可对干扰噪声信号进行有效抑制，突出目标声源的声信号，即进行声信号降噪和声源定位，然后将降噪后的声信号传给上位机，通过上位机的声信号处理识别软件对声信号的内容进行语音识别，从而完成用户交与的任务，实现在适应机器人具体外观条件的情况下机器人的智能语音交互功能。
附图说明
图1为本发明实施例的机器人主体与摄像头、触摸屏及麦克风线阵的安装左视图；
图2为本发明实施例的机器人主体与摄像头、触摸屏及麦克风线阵的安装前视图；
图3为本发明实施例的机器人语音信号探测识别系统的工作原理图；
图4为本发明实施例的机器人语音信号探测识别系统的上位机的工作原理图。
图中，1：机器人主体；2：斜面结构；3：摄像头；4：触摸屏；5：麦克风线阵。
具体实施方式
下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。
如图1所示，本实施例的机器人语音信号探测识别系统包括：机器人主体1、摄像头3、触摸屏4、麦克风线阵5、信号处理电路、控制电路和上位机；
机器人主体1的胸部的前侧设有斜面结构2，如图2所示，触摸屏4设在斜面结构2的中部，摄像头3设在斜面结构2的上部，摄像头3为监控摄像头，用于进行图像检测和监控，麦克风线阵5设在斜面结构2的下部，具体的，麦克风线阵5可以设在斜面结构2下部的长方形安装凹槽中，信号处理电路、控制电路和上位机可设在机器人主体1中。
如图3所示，麦克风线阵5中的各麦克风的信号线与信号处理电路连接，具体的，麦克风线阵5可以为四元麦克风线阵，信号处理电路又分别与控制电路和上位机连接，控制电路又与上位机连接。
信号处理电路用于对麦克风线阵采集的声信号进行声源定位和降噪处理、将声源定位结果和硬件唤醒信号传递给控制电路以及将降噪后的声信号传递给上位机，其中，声源定位结果为声源方位角度，控制电路用于将声源定位结果和硬件唤醒信号传递给上位机以及将软件睡眠信号传递给信号处理电路，上位机设有声信号处理识别软件，上位机用于对降噪后的声信号进行语音识别以及将软件睡眠信号传递给控制电路。
具体的，当信号处理电路在睡眠状态时接收到并识别出唤醒词命令，则信号处理电路定位出发出唤醒词的声源，给出声源的方位角度。信号处理电路将硬件唤醒信号输出给控制电路，控制电路被唤醒。信号处理电路被唤醒词命令唤醒后，就开始对麦克风阵输出的声信号进行降噪等处理，并将降噪后的处理结果输出给上位机。在上位机发给控制电路软件睡眠信号后，控制电路会控制信号处理电路进入睡眠状态。进入睡眠状态后，信号处理电路仅对麦克风输入的声信号进行唤醒词识别，不对声信号做声定位和降噪等高级处理。当控制电路被硬件唤醒信号唤醒后，控制电路向上位机发出硬件唤醒信号，将上位机唤醒。上位机被唤醒之后，上位机开始读取信号处理电路输出的、降噪处理后的语音信号，进行语音识别等处理。同时，控制电路从信号处理电路读取声定位结果，将声源的方位角度结果输出给上位机。当上位机需要控制机器人进入睡眠状态时，上位机将软件睡眠信号发给控制电路。控制电路从上位机得到软件睡眠信号后，控制电路将控制信号处理电路进入睡眠状态。
上位机通过同控制电路进行通信，从控制电路获得硬件唤醒信号后被唤醒，进入到语音信号识别的工作状态中。当上位机判断机器人应该进入睡眠状态时，上位机通过和控制电路的通信，发给控制电路软件睡眠信号，则控制电路和信号处理电路会进入睡眠状态，降低功耗。控制电路和信号处理电路将处理结果传给上位机。在上位机中有语音识别软件系统，该系统可完成对语音信号识别和识别结果输出工作。在识别工作过程中，当机器人被唤醒后，用户发出人机交互语音，机器人接收、发送、处理语音数据，生成并解析语音处理结果，判定语音类型是命令类型或者是人机交互类型。如果是命令类型，则机器人执行用户交给的相应命令。如果是人机交互类型，则机器人执行用户交给的相应人机交互操作(如聊天、查询、播放音乐)。
如图4所示，在信号处理电路和控制电路处于睡眠状态时，信号处理电路仅对麦克风线阵采集的声信号进行唤醒词识别。上位机通过声信号处理识别软件识别降噪后的声信号并将声信号分为命令信号和人机交互信号。当声信号为命令信号时，上位机评价命令信号识别率的高低，如果命令信号识别率高于预设的阈值，则该命令信号识别可信度高，上位机执行所识别的用户交与的相应命令，如果命令信号识别率低于预设的阈值，则该命令信号识别可信度低，上位机提问用户以确认是否执行其所识别的命令，让用户做出判断，如果用户说识别的命令就是用户交与的命令，则上位机执行该命令，满足用户需求，如果用户说识别的命令不是用户交与的命令，则上位机不执行所识别的命令，重新开始语音信号识别，接收用户的命令。当声信号为人机交互信号时，上位机执行人机交互功能，完成用户交予的任务。
本发明的机器人语音信号探测识别系统能够利用固定在机器人主体胸部前侧斜面结构下半部分的麦克风线阵对机器人主体前方半球内的声源进行探测，当有背景声源干扰存在时，可对干扰噪声信号进行有效抑制，突出目标声源的声信号，即进行声信号降噪和声源定位，然后将降噪后的声信号传给上位机，通过上位机的声信号处理识别软件对声信号的内容进行语音识别，从而完成用户交与的任务，实现在适应机器人具体外观条件(如针对哇欧机器人特定的外观条件)的情况下机器人的智能语音交互功能。
本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (8)

1.一种机器人语音信号探测识别系统，包括机器人主体、摄像头、触摸屏和麦克风线阵，其特征在于，还包括信号处理电路、控制电路和上位机；
所述机器人主体的前侧设有斜面结构，所述触摸屏设在所述斜面结构的中部，所述摄像头设在所述斜面结构的上部，所述麦克风线阵设在所述斜面结构的下部；所述麦克风线阵中的各麦克风的信号线与所述信号处理电路连接，所述信号处理电路又分别与所述控制电路和上位机连接，所述控制电路又与所述上位机连接；
所述信号处理电路用于对所述麦克风线阵采集的声信号进行声源定位和降噪处理、将声源定位结果和硬件唤醒信号传递给所述控制电路以及将降噪后的声信号传递给所述上位机，所述控制电路用于将声源定位结果和硬件唤醒信号传递给所述上位机以及将软件睡眠信号传递给所述信号处理电路，所述上位机设有声信号处理识别软件，所述上位机用于对降噪后的声信号进行语音识别以及将软件睡眠信号传递给所述控制电路。
2.根据权利要求1所述的机器人语音信号探测识别系统，其特征在于，所述麦克风线阵为四元麦克风线阵。
3.根据权利要求1所述的机器人语音信号探测识别系统，其特征在于，所述麦克风线阵设在所述斜面结构下部的长方形安装凹槽中。
4.根据权利要求1所述的机器人语音信号探测识别系统，其特征在于，所述声源定位结果为声源方位角度。
5.根据权利要求1-4中任何一项所述的机器人语音信号探测识别系统，其特征在于，在所述信号处理电路和控制电路处于睡眠状态时，所述信号处理电路仅对麦克风线阵采集的声信号进行唤醒词识别。
6.根据权利要求5所述的机器人语音信号探测识别系统，其特征在于，所述上位机通过所述声信号处理识别软件识别降噪后的声信号并将声信号分为命令信号和人机交互信号。
7.根据权利要求6所述的机器人语音信号探测识别系统，其特征在于，当声信号为命令信号时，所述上位机评价命令信号识别率的高低，如果命令信号识别率高于预设的阈值，则该命令信号识别可信度高，所述上位机执行所识别的用户交与的相应命令，如果命令信号识别率低于预设的阈值，则该命令信号识别可信度低，所述上位机提问用户以确认是否执行其所识别的命令。
8.根据权利要求6所述的机器人语音信号探测识别系统，其特征在于，当声信号为人机交互信号时，所述上位机执行人机交互功能，完成用户交于的任务。
CN201610230162.3A 2016-04-15 2016-04-15 机器人语音信号探测识别系统 Pending CN105957535A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610230162.3A CN105957535A (zh) 2016-04-15 2016-04-15 机器人语音信号探测识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610230162.3A CN105957535A (zh) 2016-04-15 2016-04-15 机器人语音信号探测识别系统

Publications (1)

Publication Number Publication Date
CN105957535A true CN105957535A (zh) 2016-09-21

Family

ID=56917981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610230162.3A Pending CN105957535A (zh) 2016-04-15 2016-04-15 机器人语音信号探测识别系统

Country Status (1)

Country Link
CN (1) CN105957535A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108074581A (zh) * 2016-11-16 2018-05-25 深圳诺欧博智能科技有限公司 用于人机交互智能终端的控制系统
CN109817240A (zh) * 2019-03-21 2019-05-28 北京儒博科技有限公司 信号分离方法、装置、设备及存储介质
CN109961781A (zh) * 2017-12-22 2019-07-02 深圳市优必选科技有限公司 基于机器人的语音信息接收方法、系统及终端设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6070140A (en) * 1995-06-05 2000-05-30 Tran; Bao Q. Speech recognizer
CN1783213A (zh) * 2004-12-01 2006-06-07 国际商业机器公司 用于自动语音识别的方法和装置
JP2008164747A (ja) * 2006-12-27 2008-07-17 Toyota Motor Corp 音声認識ロボット
CN201518084U (zh) * 2009-03-25 2010-06-30 胡礼斌 一种具有助听功能的眼镜
CN102855872A (zh) * 2012-09-07 2013-01-02 深圳市信利康电子有限公司 基于终端及互联网语音交互的家电控制方法及系统
CN103240749A (zh) * 2013-05-10 2013-08-14 广州博斯特智能科技有限公司 一种服务机器人
CN104934033A (zh) * 2015-04-21 2015-09-23 深圳市锐曼智能装备有限公司 机器人的声源定位、唤醒识别的控制方法及其控制系统
CN104959987A (zh) * 2015-07-14 2015-10-07 百度在线网络技术（北京）有限公司 基于人工智能的伴侣机器人
CN105045122A (zh) * 2015-06-24 2015-11-11 张子兴 一种基于音频和视频的智能家居自然交互系统
CN204856459U (zh) * 2015-04-20 2015-12-09 钰太芯微电子科技（上海）有限公司 可识别声源位置的关键词语音唤醒系统及移动终端
CN105280183A (zh) * 2015-09-10 2016-01-27 百度在线网络技术（北京）有限公司 语音交互方法和系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6070140A (en) * 1995-06-05 2000-05-30 Tran; Bao Q. Speech recognizer
CN1783213A (zh) * 2004-12-01 2006-06-07 国际商业机器公司 用于自动语音识别的方法和装置
JP2008164747A (ja) * 2006-12-27 2008-07-17 Toyota Motor Corp 音声認識ロボット
CN201518084U (zh) * 2009-03-25 2010-06-30 胡礼斌 一种具有助听功能的眼镜
CN102855872A (zh) * 2012-09-07 2013-01-02 深圳市信利康电子有限公司 基于终端及互联网语音交互的家电控制方法及系统
CN103240749A (zh) * 2013-05-10 2013-08-14 广州博斯特智能科技有限公司 一种服务机器人
CN204856459U (zh) * 2015-04-20 2015-12-09 钰太芯微电子科技（上海）有限公司 可识别声源位置的关键词语音唤醒系统及移动终端
CN104934033A (zh) * 2015-04-21 2015-09-23 深圳市锐曼智能装备有限公司 机器人的声源定位、唤醒识别的控制方法及其控制系统
CN105045122A (zh) * 2015-06-24 2015-11-11 张子兴 一种基于音频和视频的智能家居自然交互系统
CN104959987A (zh) * 2015-07-14 2015-10-07 百度在线网络技术（北京）有限公司 基于人工智能的伴侣机器人
CN105280183A (zh) * 2015-09-10 2016-01-27 百度在线网络技术（北京）有限公司 语音交互方法和系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108074581A (zh) * 2016-11-16 2018-05-25 深圳诺欧博智能科技有限公司 用于人机交互智能终端的控制系统
CN109961781A (zh) * 2017-12-22 2019-07-02 深圳市优必选科技有限公司 基于机器人的语音信息接收方法、系统及终端设备
CN109817240A (zh) * 2019-03-21 2019-05-28 北京儒博科技有限公司 信号分离方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108231079B (zh) 用于控制电子设备的方法、装置、设备以及计算机可读存储介质
ES2953525T3 (es) Método y dispositivo de reconocimiento de voz, medio de almacenamiento y acondicionador de aire
CN102932212A (zh) 一种基于多通道交互方式的智能家居控制系统
TWI714989B (zh) 智慧型裝置的持續喚醒方法、裝置、智慧型裝置和儲存媒體
WO2016150001A1 (zh) 语音识别的方法、装置及计算机存储介质
CN104934033A (zh) 机器人的声源定位、唤醒识别的控制方法及其控制系统
US20120259638A1 (en) Apparatus and method for determining relevance of input speech
US11806862B2 (en) Robots, methods, computer programs, computer-readable media, arrays of microphones and controllers
CN203300127U (zh) 儿童教学监护机器人
CN107274901A (zh) 一种远场语音交互装置
CN104134060A (zh) 基于肌电信号和运动传感器的手语翻译和显示发声系统
CN105957535A (zh) 机器人语音信号探测识别系统
CN109955248A (zh) 一种机器人及其人脸跟随方法
Loper et al. Mobile human-robot teaming with environmental tolerance
US11216655B2 (en) Electronic device and controlling method thereof
CN111199733A (zh) 多级识别语音唤醒方法及装置、计算机存储介质及设备
WO2020087895A1 (zh) 语音交互处理方法及装置
WO2022156611A1 (zh) 交互时的声源定位方法、设备和计算机可读存储介质
CN105867595A (zh) 联合语音信息与手势信息的人机交互方式以及实施装置
CN110970020A (zh) 一种利用声纹提取有效语音信号的方法
Lei et al. Artificial robot navigation based on gesture and speech recognition
CN108594987A (zh) 基于多模态交互的多人机协同行为监控系统及其操控方法
CN108680902A (zh) 一种基于多麦克风阵列的声源定位系统
CN112786044A (zh) 语音控制方法、装置、主控制器、机器人及存储介质
CN207182906U (zh) 一种远场语音交互装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160921