CN106863307A - 一种基于视觉和语音智能控制的机器人 - Google Patents

一种基于视觉和语音智能控制的机器人 Download PDF

Info

Publication number
CN106863307A
CN106863307A CN201710240611.7A CN201710240611A CN106863307A CN 106863307 A CN106863307 A CN 106863307A CN 201710240611 A CN201710240611 A CN 201710240611A CN 106863307 A CN106863307 A CN 106863307A
Authority
CN
China
Prior art keywords
robot
intelligent
sound pick
motor
instruction system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201710240611.7A
Other languages
English (en)
Inventor
胡敏刚
张宇
杨阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Yuxi New Material Technology Co Ltd
Original Assignee
Suzhou Yuxi New Material Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Yuxi New Material Technology Co Ltd filed Critical Suzhou Yuxi New Material Technology Co Ltd
Priority to CN201710240611.7A priority Critical patent/CN106863307A/zh
Publication of CN106863307A publication Critical patent/CN106863307A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Abstract

本发明公开了一种基于视觉和语音智能控制的机器人，包括双向通信连接的智能指令系统和主控系统，以及视觉导航系统和语音交互系统；其中所述语音交互系统包括相连的语音处理模块和拾音器模组；所述语音处理模块与智能指令系统连接；所述拾音器模组包括设置于机器人本体的身体部位前端面的呈等边三角形结构分布的三个拾音器；所述视觉导航系统与智能指令系统连接；以及所述的主控系统设有信号控制电路，用于接收智能指令系统的控制信号；所述身体部位还设有第一驱动电机；所述第一驱动电机分别与所述主控系统和设置于机器人本体的腿部配置的一对驱动轮相连。

Description

一种基于视觉和语音智能控制的机器人
技术领域
本发明属于机器人技术领域，具体涉及一种基于视觉和语音智能控制的机器人。
背景技术
机器人及自动化装备有着广阔的应用市场，以机器人为例，机器人技术作为先进制造技术的典型代表，是集机械、电子、控制、计算机、传感器、人工智能等多学科先进技术于一体的重要的现代制造业自动化装备。
智能移动技术主要涉及到导航定位、路径规划和运动控制三个技术领域，其中导航定位是智能移动技术的一项核心技术，它是指机器通过传感器感知周围环境信息和自身状态，实现在有障碍的环境中对目标进行自主移动。
目前，在全世界的制造业中，工业机器人已经在生产中起到了越来越重要的作用。为了使用机器人能够胜任越来越复杂的工作，机器人不但要有更好的控制系统，还要需要更多的感知环境的变化。其中机器人视觉和听觉以其信息量大、信息完整成为最重要的机器人感知功能。
发明内容
本发明的目的是提供一种基于视觉和语音智能控制的机器人，以解决集合多角度的语音交互和视觉导航功能，使机器人运作更加精准的技术问题。
为了解决上述技术问题，本发明提供了一种基于视觉和语音智能控制的机器人，包括双向通信连接的智能指令系统和主控系统，以及视觉导航系统和语音交互系统；其中所述语音交互系统包括相连的语音处理模块和拾音器模组；所述语音处理模块与智能指令系统连接；所述拾音器模组包括设置于机器人本体的身体部位前端面的呈等边三角形结构分布的三个拾音器；所述视觉导航系统与智能指令系统连接；以及所述的主控系统设有信号控制电路，用于接收智能指令系统的控制信号；所述身体部位还设有第一驱动电机；所述第一驱动电机分别与所述主控系统和设置于机器人本体的腿部配置的一对驱动轮相连。
进一步，所述的视觉导航系统包括光线传感器、红外检测器和设置在机器人本体的头部前端面的呈等边三角形结构分布的三个主摄像头，以及设置于机器人手臂的腕关节上的辅助摄像头；以及 所述主摄像头和辅助摄像头均连接有图像采集卡；所述图像采集卡连接到图像传感器的输入端；所述图像传感器与一信号发射电路相连。
进一步，所述的语音处理模块通过电平信号与智能指令系统连接。
进一步，所述的拾音器为阵列式拾音器，该阵列式拾音器之间按一定距离排列并形成与空间滤波器相仿的波束。
进一步，所述身体部件两侧分别设有一机器人手臂，所述机器人手臂连接有第二驱动电机，所述机器人手臂由若干活动关节组成，所述主控系统与所述第二驱动电机相连。
进一步，所述机器人手臂设有与控制系统相连的手臂末端执行驱动器，以及受该手臂末端执行驱动器驱动的夹取装置；该夹取装置包括两个可开合的夹持手爪，两个所述夹持手爪之间通过开合实现对被抓取物体的夹持、放置和释放；所述手臂末端执行驱动器适于控制夹取装置使其能够拿起一个对象, 并且具有处理、传输、夹持、放置和释放对象到一个准确的离散位置的功能。
进一步，所述智能指令系统还与一数据库系统连接；所述数据库系统中存储有给定的物品图像，用户通过所述语音交互系统向所述智能指令系统发送欲抓取的物品信息，所述智能指令系统根据接收到的欲抓取的物品信息从数据库系统中找出对应的物品图像；同时所述视觉导航系统将环境信息传递给所述智能指令系统，该智能指令系统将环境信息与对应的物品图像相匹配，如果匹配成功，则控制所述控制系统控制所述第一驱动电机驱动机器人本体进行移动，以及控制第二驱动电机和手臂末端执行驱动器驱动机器人手臂抓取物品。
进一步，所述机器人还包括一触摸交互装置；该触摸交互装置包括设置于机器人本体的身体部位的触摸显示屏，适于用户通过点击触摸显示屏给智能指令系统下达指令任务，同时通过触摸显示屏显示机器人及当前环境的信息反馈，通过触摸显示屏对目标录入目标信息，进行系统设置。
本发明的有益效果是，本发明的基于视觉和语音智能控制的机器人，通过等边三角形结构分布的拾音器和摄像头，扩大了信号探测范围，提高了信息获取的完整性，同时通过语音识别系统可达到人机交流的效果。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本基于视觉和语音智能控制的机器人的立体结构示意图；
图2是本基于视觉和语音智能控制的机器人的工作原理图。
图中：拾音器1、驱动轮2、主摄像头3、光线传感器4、红外检测器5、辅助摄像头6、活动关节7、夹持手爪8、触摸显示屏9。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1至图2所示，本发明的一种基于视觉和语音智能控制的机器人，包括双向通信连接的智能指令系统和主控系统，以及视觉导航系统和语音交互系统；其中所述语音交互系统包括相连的语音处理模块和拾音器模组；所述语音处理模块与智能指令系统连接；所述拾音器模组包括设置于机器人本体的身体部位前端面的呈等边三角形结构分布的三个拾音器1；所述视觉导航系统与智能指令系统连接；以及所述的主控系统设有信号控制电路，用于接收智能指令系统的控制信号；所述身体部位还设有第一驱动电机；所述第一驱动电机分别与所述主控系统和设置于机器人本体的腿部配置的一对驱动轮2相连，所述第一驱动电机将电压信号转化为转矩和转速以驱动驱动轮2带动机器人的移动。
具体的，呈等边三角形结构分布的三个拾音器1在其工作角度内进行独立的语音信息采集工作，三个信息采集面同时采集信息，从而能够获取三个角度，从中选取最准确、离声源位置最近的一个拾音器1与声源相对角度作为确定的调整角度，实现更精确的声源位置定位功能。
具体的，所述的视觉导航系统包括光线传感器4、红外检测器5和设置在机器人本体的头部前端面的呈等边三角形结构分布的三个主摄像头3，以及设置于机器人手臂的腕关节上的辅助摄像头6；光线传感器4、红外检测器5设置于机器人本体的头部前端面，通过光线传感器4、红外检测器5和三个主摄像头3，对环境进行图像拍摄和距离测量；所述辅助摄像头6设置为超前下方，便于通过辅助摄像头6采集完成物品抓取任务所需的环境信息。以及所述主摄像头3和辅助摄像头6均连接有图像采集卡；所述图像采集卡连接到图像传感器的输入端；所述图像传感器与一信号发射电路相连。可选的，所述主摄像头3和辅助摄像头6采用RGB彩色摄像头。主摄像头3和辅助摄像头6的视觉深度范围0.5～4.0米。
所述的语音处理模块通过电平信号与智能指令系统连接。
优选的，所述的拾音器1为阵列式拾音器1，该阵列式拾音器1之间按一定距离排列并形成与空间滤波器相仿的波束。
所述身体部件两侧分别设有一机器人手臂，所述机器人手臂连接有第二驱动电机，所述机器人手臂由若干活动关节7组成，所述主控系统与所述第二驱动电机相连，所述第二驱动电机将电压信号转化为转矩和转速以驱动所述机器人手臂实现一些简单抬起运动。
所述机器人手臂设有与控制系统相连的手臂末端执行驱动器，以及受该手臂末端执行驱动器驱动的夹取装置；该夹取装置包括两个可开合的夹持手爪8，两个所述夹持手爪8之间通过开合实现对被抓取物体的夹持、放置和释放；所述手臂末端执行驱动器适于控制夹取装置使其能够拿起一个对象, 并且具有处理、传输、夹持、放置和释放对象到一个准确的离散位置的功能。可选的，所述手臂末端执行驱动器采用舵机，舵机体积相对较小、安装和控制方便、且成本低，可满足对于目标物品抓取的机械需求。
优选的，所述智能指令系统还与一数据库系统连接；所述数据库系统中存储有给定的物品图像，用户通过所述语音交互系统向所述智能指令系统发送欲抓取的物品信息，所述智能指令系统根据接收到的欲抓取的物品信息从数据库系统中找出对应的物品图像；同时所述视觉导航系统将环境信息传递给所述智能指令系统，该智能指令系统将环境信息与对应的物品图像相匹配，如果匹配成功，则控制所述控制系统控制所述第一驱动电机驱动机器人本体进行移动，以及控制第二驱动电机和手臂末端执行驱动器驱动机器人手臂抓取物品。
优选的，所述机器人还包括一触摸交互装置；该触摸交互装置包括设置于机器人本体的身体部位的触摸显示屏9，适于用户通过点击触摸显示屏9给智能指令系统下达指令任务，同时通过触摸显示屏9显示机器人及当前环境的信息反馈，通过触摸显示屏9对目标录入目标信息，进行系统设置。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (8)

1.一种基于视觉和语音智能控制的机器人，其特征在于，包括双向通信连接的智能指令系统和主控系统，以及视觉导航系统和语音交互系统；其中所述语音交互系统包括相连的语音处理模块和拾音器模组；所述语音处理模块与智能指令系统连接；所述拾音器模组包括设置于机器人本体的身体部位前端面的呈等边三角形结构分布的三个拾音器（1）；所述视觉导航系统与智能指令系统连接；以及所述的主控系统设有信号控制电路，用于接收智能指令系统的控制信号；所述身体部位还设有第一驱动电机；所述第一驱动电机分别与所述主控系统和设置于机器人本体的腿部配置的一对驱动轮（2）相连。
2.根据权利要求1所述的机器人，其特征在于，所述的视觉导航系统包括光线传感器（4）、红外检测器（5）和设置在机器人本体的头部前端面的呈等边三角形结构分布的三个主摄像头（3），以及设置于机器人手臂的腕关节上的辅助摄像头（6）；以及 所述主摄像头（3）和辅助摄像头（6）均连接有图像采集卡；所述图像采集卡连接到图像传感器的输入端；所述图像传感器与一信号发射电路相连。
3.根据权利要求2所述的机器人，其特征在于，所述的语音处理模块通过电平信号与智能指令系统连接。
4.根据权利要求3所述的机器人，其特征在于，所述的拾音器（1）为阵列式拾音器，该阵列式拾音器之间按一定距离排列并形成与空间滤波器相仿的波束。
5.根据权利要求4所述的机器人，其特征在于，所述身体部件两侧分别设有一机器人手臂，所述机器人手臂连接有第二驱动电机，所述机器人手臂由若干活动关节（7）组成，所述主控系统与所述第二驱动电机相连。
6.根据权利要求5所述的机器人，其特征在于，所述机器人手臂设有与控制系统相连的手臂末端执行驱动器，以及受该手臂末端执行驱动器驱动的夹取装置；该夹取装置包括两个可开合的夹持手爪（8），两个所述夹持手爪（8）之间通过开合实现对被抓取物体的夹持、放置和释放；所述手臂末端执行驱动器适于控制夹取装置使其能够拿起一个对象, 并且具有处理、传输、夹持、放置和释放对象到一个准确的离散位置的功能。
7.根据权利要求6所述的机器人，其特征在于，所述智能指令系统还与一数据库系统连接；所述数据库系统中存储有给定的物品图像，用户通过所述语音交互系统向所述智能指令系统发送欲抓取的物品信息，所述智能指令系统根据接收到的欲抓取的物品信息从数据库系统中找出对应的物品图像；同时所述视觉导航系统将环境信息传递给所述智能指令系统，该智能指令系统将环境信息与对应的物品图像相匹配，如果匹配成功，则控制所述控制系统控制所述第一驱动电机驱动机器人本体进行移动，以及控制第二驱动电机和手臂末端执行驱动器驱动机器人手臂抓取物品。
8.根据权利要求1所述的机器人，其特征在于，所述机器人还包括一触摸交互装置；该触摸交互装置包括设置于机器人本体的身体部位的触摸显示屏（9），适于用户通过点击触摸显示屏（9）给智能指令系统下达指令任务，同时通过触摸显示屏（9）显示机器人及当前环境的信息反馈，通过触摸显示屏（9）对目标录入目标信息，进行系统设置。
CN201710240611.7A 2017-04-13 2017-04-13 一种基于视觉和语音智能控制的机器人 Withdrawn CN106863307A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710240611.7A CN106863307A (zh) 2017-04-13 2017-04-13 一种基于视觉和语音智能控制的机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710240611.7A CN106863307A (zh) 2017-04-13 2017-04-13 一种基于视觉和语音智能控制的机器人

Publications (1)

Publication Number Publication Date
CN106863307A true CN106863307A (zh) 2017-06-20

Family

ID=59162209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710240611.7A Withdrawn CN106863307A (zh) 2017-04-13 2017-04-13 一种基于视觉和语音智能控制的机器人

Country Status (1)

Country Link
CN (1) CN106863307A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107253203A (zh) * 2017-06-29 2017-10-17 上海理工大学 多模式智能玩具搜集机器人
CN107511827A (zh) * 2017-09-29 2017-12-26 武汉康车自动化设备有限公司 一种通过捕捉腿部动作来控制机械手臂的装置
CN107718004A (zh) * 2017-10-27 2018-02-23 安徽硕威智能科技有限公司 一种基于人体生物信息控制的卡片机器人
CN107756417A (zh) * 2017-11-21 2018-03-06 北方民族大学 智能双臂安全协作人机共融机器人系统
CN107972069A (zh) * 2017-11-27 2018-05-01 胡明建 一种机械视觉和机械触觉以时间相互映射的设计方法
CN108189026A (zh) * 2017-12-01 2018-06-22 北京建筑大学 迎宾机器人交互控制方法及装置
CN108500985A (zh) * 2018-03-15 2018-09-07 芜湖超源力工业设计有限公司 一种智能控制行走机器人装置
CN108972577A (zh) * 2018-06-29 2018-12-11 张家港市泰克软件有限公司 具有报警功能的陪伴机器人
CN108972576A (zh) * 2018-06-29 2018-12-11 张家港市泰克软件有限公司 智能陪伴机器人
CN111958585A (zh) * 2020-06-24 2020-11-20 宁波薄言信息技术有限公司 一种智能消毒机器人
CN112714896A (zh) * 2018-09-27 2021-04-27 易享信息技术有限公司 自知视觉-文本共接地导航代理
CN114683260A (zh) * 2020-12-29 2022-07-01 大连理工江苏研究院有限公司 一种视听交互智能机器人及控制系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107253203A (zh) * 2017-06-29 2017-10-17 上海理工大学 多模式智能玩具搜集机器人
CN107511827A (zh) * 2017-09-29 2017-12-26 武汉康车自动化设备有限公司 一种通过捕捉腿部动作来控制机械手臂的装置
CN107718004A (zh) * 2017-10-27 2018-02-23 安徽硕威智能科技有限公司 一种基于人体生物信息控制的卡片机器人
CN107756417A (zh) * 2017-11-21 2018-03-06 北方民族大学 智能双臂安全协作人机共融机器人系统
CN107972069A (zh) * 2017-11-27 2018-05-01 胡明建 一种机械视觉和机械触觉以时间相互映射的设计方法
CN108189026A (zh) * 2017-12-01 2018-06-22 北京建筑大学 迎宾机器人交互控制方法及装置
CN108500985A (zh) * 2018-03-15 2018-09-07 芜湖超源力工业设计有限公司 一种智能控制行走机器人装置
CN108972577A (zh) * 2018-06-29 2018-12-11 张家港市泰克软件有限公司 具有报警功能的陪伴机器人
CN108972576A (zh) * 2018-06-29 2018-12-11 张家港市泰克软件有限公司 智能陪伴机器人
CN112714896A (zh) * 2018-09-27 2021-04-27 易享信息技术有限公司 自知视觉-文本共接地导航代理
CN112714896B (zh) * 2018-09-27 2024-03-08 硕动力公司 自知视觉-文本共接地导航代理
CN111958585A (zh) * 2020-06-24 2020-11-20 宁波薄言信息技术有限公司 一种智能消毒机器人
CN114683260A (zh) * 2020-12-29 2022-07-01 大连理工江苏研究院有限公司 一种视听交互智能机器人及控制系统

Similar Documents

Publication Publication Date Title
CN106863307A (zh) 一种基于视觉和语音智能控制的机器人
US10913151B1 (en) Object hand-over between robot and actor
WO2023056670A1 (zh) 复杂光照条件下基于视触融合的机械臂自主移动抓取方法
CN114080583B (zh) 视觉教导和重复移动操纵系统
Asfour et al. Toward humanoid manipulation in human-centred environments
US11584004B2 (en) Autonomous object learning by robots triggered by remote operators
CN108838991A (zh) 一种自主类人双臂机器人及其对运动目标的跟踪操作系统
CN107544515A (zh) 基于云服务器的多机器人建图导航系统与建图导航方法
Zhou et al. Use of human gestures for controlling a mobile robot via adaptive cmac network and fuzzy logic controller
CN106363612A (zh) 一种视觉引导的全向移动双臂机器人及其全向移动方法
CN102848388A (zh) 基于多传感器的服务机器人定位和抓取方法
CN102902271A (zh) 基于双目视觉的机器人目标识别与抓取系统及方法
CN114072255B (zh) 移动机器人传感器配置
Zhang et al. Improving robustness of robotic grasping by fusing multi-sensor
CN112454348A (zh) 一种智能机器人
CN205729299U (zh) 胶囊内窥镜的位姿控制系统及胶囊内窥镜
KR20160116445A (ko) 지능형 공구 심부름 로봇
CN207027516U (zh) 一种基于视觉和语音智能控制的机器人
Nafais et al. An IoT Based Intelligent Cargo Carrier
TW202303183A (zh) 適應性移動操作設備及方法
KR101151707B1 (ko) Ｃｔｓ를 이용한 물체감지 및 이동로봇 시스템
CN214348036U (zh) 智能垃圾分拣机器人
Song et al. LTF robot: Binocular robot with laser-point tracking and focusing function
Li et al. Design of Tai-Chi Push-Hands Robot Control System and Construction of Visual Platform
Kuo et al. Object Moving System of Four-wheel Mobile Vehicle with Mechanical Arm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20170620

WW01 Invention patent application withdrawn after publication