CN108839017A - 一种基于听觉的人形机器人控制系统 - Google Patents

一种基于听觉的人形机器人控制系统 Download PDF

Info

Publication number
CN108839017A
CN108839017A CN201810659111.1A CN201810659111A CN108839017A CN 108839017 A CN108839017 A CN 108839017A CN 201810659111 A CN201810659111 A CN 201810659111A CN 108839017 A CN108839017 A CN 108839017A
Authority
CN
China
Prior art keywords
module
video
processor
anthropomorphic robot
hearing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810659111.1A
Other languages
English (en)
Inventor
刘玮
徐忠华
郭俊
厉冯鹏
陈勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangcheng Institute of Technology
Yancheng Institute of Technology
Original Assignee
Yangcheng Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangcheng Institute of Technology filed Critical Yangcheng Institute of Technology
Priority to CN201810659111.1A priority Critical patent/CN108839017A/zh
Publication of CN108839017A publication Critical patent/CN108839017A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass

Abstract

本发明一种基于听觉的人形机器人控制系统，人形机器人的大脑内设置视频处理系统，视频处理系统具有视频识别与处理能力的嵌入式计算机系统，视频图像采集模块电连接视频解码模块再电连接视频动作解析模块和处理器，听觉传感器模块电连接音频掩蔽模块再依次电连接至节奏识别模块和处理器，处理器与生活传感模块、语音播报模块和电机驱动模块相连。本发明提供的基于听觉的人形机器人控制系统，通过具有视频识别与处理能力的嵌入式计算机系统智能识别语音指令，完成视频图像解码和动作解析，可识别视频中的背景声音并获取对应的节奏和节拍信息，通过处理器驱动人形机器人跟随节拍做出动作，可实现远程控制，人机交互性强，提高机器人的娱乐功能。

Description

一种基于听觉的人形机器人控制系统
技术领域
本发明涉及机器人技术领域，具体涉及一种基于听觉的人形机器人控制系统。
背景技术
随着信息技术的快速发展，在工业、航天、家居等领域，人们越来越倾向于使用机器人代替人工作业。在家居生活中，机器人不仅能够做清洁家务，还能发声逗趣，但是目前的机器人的娱乐功能不够全面，机器人跟随节拍舞动的技术研究不成熟，且造价高，不适用于普通用户。
发明内容
为解决现有技术存在的问题，本发明提供了一种基于听觉的人形机器人控制系统，利用人形机器人识别语音指令和节拍并跟随语音和节拍做出动作，提高了机器人的娱乐功能，成本较低。
为实现上述目的，本发明采用的技术方案为：
一种基于听觉的人形机器人控制系统，包括一人形机器人，人形机器人具有能够活动的左、右手臂和左、右腿，人形机器人的大脑内设置视频处理系统，视频处理系统具有视频识别与处理能力的嵌入式计算机系统，视频处理系统包括生活传感模块、视频记忆模块、视频图像采集模块、视频解码模块、视频动作解析模块、节奏识别模块、听觉传感器模块、听觉处理模块、音频掩蔽模块、处理器、语音播报模块和电机驱动模块，视频图像采集模块电连接视频解码模块再电连接视频动作解析模块和处理器，听觉传感器模块电连接音频掩蔽模块再依次电连接至节奏识别模块和处理器，处理器与生活传感模块、语音播报模块和电机驱动模块相连；
视频图像采集模块采集视频图像信息并保存于视频记忆模块内，同时通过视频图像采集模块将包含动作的视频信息传送至视频解码模块进行解码处理，生成视频动作解析模块能够识别的电信号，视频动作解析模块将解码后的视频信息进行慢放并分离解析成若干个对应的连贯动作的组合，再传送至处理器，听觉传感器模块接收视频中含有的背景声音并传输至音频掩蔽模块进行降噪处理，去除杂音，获取清楚的背景声音，随后传送至节奏识别模块进行声音处理，获取对应的声音节奏和节拍信号并经转换生成处理器能够处理的数字信号，处理器接收动作的组合、声音节奏和节拍信号并进行处理和保存，每一个动作分别与一个节拍信息相对应，处理器驱动语音播报模块播放节奏信息，同时处理器通过电机驱动模块驱动人形机器人的左、右手臂根据节拍信息做出相应的动作。
进一步的，所述视频处理系统还包括输入模块，通过输入模块向处理器输入动作指令，通过处理器驱动语音播报模块发声播报动作指令并驱动人形机器人的左、右手臂根据动作指令做出相应的动作。
进一步的，所述输入模块为智能手机或电脑，输入模块通过WIFI通信模块或GPRS通信模块向处理器传送动作指令。
进一步的，所述生活传感模块包括与处理器相连的红外避障模块、温湿度传感模块、甲醛检测模块、显示模块和蜂鸣器，通过红外避障模块驱动人形机器人避障行驶，温湿度传感模块采集的人形机器人所处方位的温湿度数据传输至处理器，甲醛检测模块采集的人形机器人所处方位的甲醛含量信息传输至处理器，处理器接收温湿度数据和甲醛含量信息并分别与预设值比对，超出预设值时，处理器驱动蜂鸣器发声报警，处理器驱动人形机器人上的显示模块显示温湿度及甲醛含量信息。
进一步的，所述电机驱动模块包括用于驱动左手臂运动的左电机、用于驱动右手臂运动的右电机、用于驱动左腿运动的第一左电机和用于驱动右腿运动的第一右电机。
进一步的，所述音频掩蔽模块包括沿信号流入方向依次相连的信号放大电路和滤波电路，节奏识别模块通过模数转换模块连接至处理器。
与现有技术相比，本发明的有益效果为：
本发明公开了一种基于听觉的人形机器人控制系统，人形机器人具有具有活动能力的左、右手臂和左、右腿，人形机器人的大脑内设置视频处理系统，视频处理系统具有视频识别与处理能力的嵌入式计算机系统，视频处理系统包括生活传感模块、视频记忆模块、视频图像采集模块、视频解码模块、视频动作解析模块、节奏识别模块、听觉传感器模块、听觉处理模块、音频掩蔽模块、处理器、语音播报模块和电机驱动模块，视频图像采集模块电连接视频解码模块再电连接视频动作解析模块和处理器，听觉传感器模块电连接音频掩蔽模块再依次电连接至节奏识别模块和处理器，处理器与生活传感模块、语音播报模块和电机驱动模块相连。本发明提供的基于听觉的人形机器人控制系统，通过具有视频识别与处理能力的嵌入式计算机系统智能识别语音指令，能够完成视频图像解码和动作解析，可识别视频中的背景声音并获取对应的节奏和节拍信息，通过处理器驱动人形机器人跟随节拍做出动作，可通过输入模块远程控制人形机器人按照对应的动作指令做出动作，还能够通过生活传感模块进行环境温湿度和甲醛含量监测，便于告知用户家居环境信息，人机交互性强，智能化水平高，提高了机器人的娱乐功能，结构简单，成本较低，应用前景广阔。
附图说明
图1是本发明的硬件结构框图。
具体实施方式
下面结合具体实施例对本发明作更进一步的说明。
如图1所示，一种基于听觉的人形机器人控制系统，包括一人形机器人，人形机器人具有能够活动的左、右手臂和左、右腿，人形机器人的大脑内设置视频处理系统，视频处理系统具有视频识别与处理能力的嵌入式计算机系统，视频处理系统包括生活传感模块、视频记忆模块、视频图像采集模块、视频解码模块、视频动作解析模块、节奏识别模块、听觉传感器模块、听觉处理模块、音频掩蔽模块、处理器、语音播报模块和电机驱动模块，视频图像采集模块电连接视频解码模块再电连接视频动作解析模块和处理器，听觉传感器模块电连接音频掩蔽模块再依次电连接至节奏识别模块和处理器，处理器与生活传感模块、语音播报模块和电机驱动模块相连。
视频图像采集模块采集视频图像信息并保存于视频记忆模块内，同时通过视频图像采集模块将包含动作的视频信息传送至视频解码模块进行解码处理，生成视频动作解析模块能够识别的电信号，视频动作解析模块将解码后的视频信息进行慢放并分离解析成若干个对应的连贯动作的组合，再传送至处理器，听觉传感器模块接收视频中含有的背景声音并传输至音频掩蔽模块进行降噪处理，去除杂音，获取清楚的背景声音，随后传送至节奏识别模块进行声音处理，获取对应的声音节奏和节拍信号并经转换生成处理器能够处理的数字信号，处理器接收动作的组合、声音节奏和节拍信号并进行处理和保存，每一个动作分别与一个节拍信息相对应，处理器驱动语音播报模块播放节奏信息，同时处理器通过电机驱动模块驱动人形机器人的左、右手臂根据节拍信息做出相应的动作。
视频处理系统还包括输入模块，通过输入模块向处理器输入动作指令，通过处理器驱动语音播报模块发声播报动作指令并驱动人形机器人的左、右手臂根据动作指令做出相应的动作，输入模块为智能手机或电脑，输入模块通过WIFI通信模块或GPRS通信模块向处理器传送动作指令。
生活传感模块包括与处理器相连的红外避障模块、温湿度传感模块、甲醛检测模块、显示模块和蜂鸣器，红外避障模块、温湿度传感模块、甲醛检测模块分别与处理器输入端相连，处理器输出端与蜂鸣器和人形机器人上的显示模块相连，通过红外避障模块采集路线信息并上传至处理器进行处理，处理器通过电机驱动模块的第一左、右电机分别驱动人形机器人的左、右腿避障行驶，温湿度传感模块采集的人形机器人所处方位的温湿度数据传输至处理器，甲醛检测模块采集的人形机器人所处方位的甲醛含量信息传输至处理器，处理器接收温湿度数据和甲醛含量信息并分别与预设温湿度值和预设甲醛浓度值进行比对，超出预设值时，处理器驱动蜂鸣器发声报警，处理器驱动显示模块显示当前温湿度及甲醛含量信息，便于用户实时监测所处家居中的环境质量，预设温湿度值和预设甲醛浓度值保存于处理器的存储器中并供处理器调用。
电机驱动模块包括用于驱动左手臂运动的左电机、用于驱动右手臂运动的右电机、用于驱动左腿运动的第一左电机和用于驱动右腿运动的第一右电机。
音频掩蔽模块包括沿信号流入方向依次相连的信号放大电路和滤波电路，节奏识别模块通过模数转换模块连接至处理器，听觉传感模块传输的背景声音经过信号放大电路的信号放大和滤波电路的滤波后，提高背景声音的音质，降噪效果良好。
上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围。

Claims (6)

1.一种基于听觉的人形机器人控制系统，包括一人形机器人，人形机器人具有能够活动的左、右手臂和左、右腿，其特征在于，人形机器人的大脑内设置视频处理系统，所述视频处理系统具有视频识别与处理能力的嵌入式计算机系统，视频处理系统包括生活传感模块、视频记忆模块、视频图像采集模块、视频解码模块、视频动作解析模块、节奏识别模块、听觉传感器模块、听觉处理模块、音频掩蔽模块、处理器、语音播报模块和电机驱动模块，视频图像采集模块电连接视频解码模块再电连接视频动作解析模块和处理器，听觉传感器模块电连接音频掩蔽模块再依次电连接至节奏识别模块和处理器，处理器与生活传感模块、语音播报模块和电机驱动模块相连；
所述视频图像采集模块采集视频图像信息并保存于视频记忆模块内，同时通过视频图像采集模块将包含动作的视频信息传送至视频解码模块进行解码处理，生成视频动作解析模块能够识别的电信号，视频动作解析模块将解码后的视频信息进行慢放并分离解析成若干个对应的连贯动作的组合，再传送至处理器，听觉传感器模块接收视频中含有的背景声音并传输至音频掩蔽模块进行降噪处理，去除杂音，获取清楚的背景声音，随后传送至节奏识别模块进行声音处理，获取对应的声音节奏和节拍信号并经转换生成处理器能够处理的数字信号，处理器接收动作的组合、声音节奏和节拍信号并进行处理和保存，每一个动作分别与一个节拍信息相对应，处理器驱动语音播报模块播放节奏信息，同时处理器通过电机驱动模块驱动人形机器人的左、右手臂根据节拍信息做出相应的动作。
2.根据权利要求1所述的一种基于听觉的人形机器人控制系统，其特征在于，所述视频处理系统还包括输入模块，通过输入模块向处理器输入动作指令，通过处理器驱动语音播报模块发声播报动作指令并驱动人形机器人的左、右手臂根据动作指令做出相应的动作。
3.根据权利要求2所述的一种基于听觉的人形机器人控制系统，其特征在于，所述输入模块为智能手机或电脑，输入模块通过WIFI通信模块或GPRS通信模块向处理器传送动作指令。
4.根据权利要求1所述的一种基于听觉的人形机器人控制系统，其特征在于，所述生活传感模块包括与处理器相连的红外避障模块、温湿度传感模块、甲醛检测模块、显示模块和蜂鸣器，通过红外避障模块驱动人形机器人避障行驶，温湿度传感模块采集的人形机器人所处方位的温湿度数据传输至处理器，甲醛检测模块采集的人形机器人所处方位的甲醛含量信息传输至处理器，处理器接收温湿度数据和甲醛含量信息并分别与预设值比对，超出预设值时，处理器驱动蜂鸣器发声报警，处理器驱动人形机器人上的显示模块显示温湿度及甲醛含量信息。
5.根据权利要求1所述的一种基于听觉的人形机器人控制系统，其特征在于，所述电机驱动模块包括用于驱动左手臂运动的左电机、用于驱动右手臂运动的右电机、用于驱动左腿运动的第一左电机和用于驱动右腿运动的第一右电机。
6.根据权利要求1所述的一种基于听觉的人形机器人控制系统，其特征在于，所述音频掩蔽模块包括沿信号流入方向依次相连的信号放大电路和滤波电路，节奏识别模块通过模数转换模块连接至处理器。
CN201810659111.1A 2018-06-25 2018-06-25 一种基于听觉的人形机器人控制系统 Pending CN108839017A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810659111.1A CN108839017A (zh) 2018-06-25 2018-06-25 一种基于听觉的人形机器人控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810659111.1A CN108839017A (zh) 2018-06-25 2018-06-25 一种基于听觉的人形机器人控制系统

Publications (1)

Publication Number Publication Date
CN108839017A true CN108839017A (zh) 2018-11-20

Family

ID=64203227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810659111.1A Pending CN108839017A (zh) 2018-06-25 2018-06-25 一种基于听觉的人形机器人控制系统

Country Status (1)

Country Link
CN (1) CN108839017A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110919699A (zh) * 2018-11-30 2020-03-27 深圳前海达闼云端智能科技有限公司 视听感知系统和设备以及机器人系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102553250A (zh) * 2010-12-15 2012-07-11 西安天动数字科技有限公司 具有动作模仿功能的智能玩具机器人
US20130211594A1 (en) * 2012-02-15 2013-08-15 Kenneth Dean Stephens, Jr. Proxy Robots and Remote Environment Simulator for Their Human Handlers
CN105652738A (zh) * 2014-12-01 2016-06-08 斯平玛斯特有限公司 可重新配置的机器人系统
CN105701196A (zh) * 2016-01-11 2016-06-22 北京光年无限科技有限公司 面向智能机器人的音频处理方法和智能机器人
CN106041964A (zh) * 2016-08-16 2016-10-26 管存忠 一种舞蹈机器人
CN106426168A (zh) * 2016-10-19 2017-02-22 辽宁工程技术大学 一种仿生机械臂及其控制方法
CN107650151A (zh) * 2017-11-08 2018-02-02 徐国聪 一种智能避障机器人
CN107932510A (zh) * 2017-11-28 2018-04-20 中国人民解放军陆军工程大学 基于动作采集的nao机器人系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102553250A (zh) * 2010-12-15 2012-07-11 西安天动数字科技有限公司 具有动作模仿功能的智能玩具机器人
US20130211594A1 (en) * 2012-02-15 2013-08-15 Kenneth Dean Stephens, Jr. Proxy Robots and Remote Environment Simulator for Their Human Handlers
CN105652738A (zh) * 2014-12-01 2016-06-08 斯平玛斯特有限公司 可重新配置的机器人系统
CN105701196A (zh) * 2016-01-11 2016-06-22 北京光年无限科技有限公司 面向智能机器人的音频处理方法和智能机器人
CN106041964A (zh) * 2016-08-16 2016-10-26 管存忠 一种舞蹈机器人
CN106426168A (zh) * 2016-10-19 2017-02-22 辽宁工程技术大学 一种仿生机械臂及其控制方法
CN107650151A (zh) * 2017-11-08 2018-02-02 徐国聪 一种智能避障机器人
CN107932510A (zh) * 2017-11-28 2018-04-20 中国人民解放军陆军工程大学 基于动作采集的nao机器人系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110919699A (zh) * 2018-11-30 2020-03-27 深圳前海达闼云端智能科技有限公司 视听感知系统和设备以及机器人系统
CN110919699B (zh) * 2018-11-30 2021-12-24 达闼机器人有限公司 视听感知系统和设备以及机器人系统

Similar Documents

Publication Publication Date Title
CN205614688U (zh) 基于树莓派和Arduino的移动式家庭服务机器人
CN107953345A (zh) 面向儿童的熊猫造型智能教育陪护机器人
CN102192172A (zh) 一种声控电风扇
CN203831421U (zh) 用于变电站巡检机器人的具有音频检测功能的云台系统
CN108839017A (zh) 一种基于听觉的人形机器人控制系统
CN205166940U (zh) 一种服务机器人
CN107422662A (zh) 一种基于嵌入式的智能无线机器人控制系统
CN103736284B (zh) 一种脑电智能钓鱼玩具
CN106920552A (zh) 一种具有云端交互功能的智能机器人
CN202490446U (zh) 一种结合智能终端的玩具
CN106125566A (zh) 一种家居背景音乐控制系统
CN106814736B (zh) 一种机器人的路径控制方法及系统
CN208461829U (zh) 一种语音遥控器控制智能家居系统
CN105739726A (zh) 一种节能无线鼠标
CN206379964U (zh) 智能机器看家狗的电路控制结构
CN214870617U (zh) 一种配电房内轮式机器人
CN202883419U (zh) 语音识别无线风扇遥控器
CN208589261U (zh) 一种智能语音遥控器
CN208257030U (zh) 智能语音识别插座
CN207008407U (zh) 一种可移动过滤降噪机器人
CN108510048A (zh) 具有居家养老功能的电子宠物
CN203101409U (zh) 基于dsp的粮虫智能检测装置
CN208622213U (zh) 一种智能语音报警器
CN206700779U (zh) 一种语音互动玩具
CN110281245A (zh) 一种基于可移动底座的桌面小型机器人及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181120