CN111168690A - 一种语音交互的非固定任务多人协作机器人 - Google Patents

一种语音交互的非固定任务多人协作机器人 Download PDF

Info

Publication number
CN111168690A
CN111168690A CN201911390207.3A CN201911390207A CN111168690A CN 111168690 A CN111168690 A CN 111168690A CN 201911390207 A CN201911390207 A CN 201911390207A CN 111168690 A CN111168690 A CN 111168690A
Authority
CN
China
Prior art keywords
voice
task
upper computer
lower computer
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911390207.3A
Other languages
English (en)
Other versions
CN111168690B (zh
Inventor
崔泽
刘小臣
唐韫泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wonderroad Magnesium Technology Co Ltd
Original Assignee
Beijing Wonderroad Magnesium Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wonderroad Magnesium Technology Co Ltd filed Critical Beijing Wonderroad Magnesium Technology Co Ltd
Priority to CN201911390207.3A priority Critical patent/CN111168690B/zh
Publication of CN111168690A publication Critical patent/CN111168690A/zh
Application granted granted Critical
Publication of CN111168690B publication Critical patent/CN111168690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种语音交互的非固定任务多人协作机器人,属于智能机器人领域,由上位机和下位机构成。其中,上位机接收语音信息指令,通过扬声器反馈信息,将多条任务在任务队列中排序,按顺序调度,对区域内的协助人员定位,通过机器视觉识别区域内的物品,并将语音下达的指令任务转换为实际电机动作指令传达给下位机,下位机主要负责运动机构和执行端的运动控制,根据上位机传达下来的位置指令对电机柔性插补控制,进而控制执行器的运动。与现有协作机器人相比,本发明的有益效果在于:部署方式简单,更贴近人们的日常生活,执行任务不限定于某一样固定任务,可通过语音与人员交互、接受任务,可以与多名人员协同工作。

Description

一种语音交互的非固定任务多人协作机器人
技术领域
本发明涉及智能机器人技术领域,具体为一种语音交互的非固定任务多人协作机器人。
背景技术
现有协作机器人多数采用单臂或双臂机械臂,通过机器视觉或多种传感器协同人工作,这种方案作业精度高,在工业上应用广泛,可以胜任焊接、码垛等工作,但是它的工作范围仅限于机械臂的臂展范围,对于较大范围的工作任务有一定局限性。而多轴机械臂的坐标建立方法多采用D-H模型,这种模型在确定某一位姿时需要计算运动学方程的正解和逆解,计算量较大,这在实时轨迹规划时效果不好,因此当前机械臂多应用于路径固定或路径变动较少的工作中。
目前在仓储物流领域中的轮式机器人可以解决上述工作范围小和实时路径规划问题,这种机器人多采用机器视觉对信标的识别达到对自身定位的目的,但是这种方案对工作环境有一定要求,对于不同路线环境需要额外部署相关设备,可移植性较差。此外,机器人在移动过程中需要足够宽度的活动空间,因而会浪费一些人的活动空间。而在商业以及民用领域的协作机器人主要以对话引导的人型机器人为主,当通过语音下达物体交互指令,如抓取某样物品时,人型机器人由于没有确切的基准坐标,不易进行语音命令的解析,抓取的运动控制以及轨迹规划的算法复杂,并增加规划路线避障的问题。
以上所述机器人在工业上应用较多,在日常生活中的应用还很少,目前市场有方案通过用智能语音信箱获取关键词控制电灯、电视等设备,但是这需要特定接线来智能控制特定设备,在非特定设备上的应用还很少。
发明内容
本发明的目的是提供一种语音交互的非固定任务多人协作机器人,以解决上述现有技术存在的问题。
为了实现上述目的,本发明采用以下技术方案:
一种语音交互的非固定任务多人协作机器人,包括上位机和下位机,上位机又包括用于反馈信息的扬声器,还包括阵列麦克风、摄像头、用于位置确定的UWB模块,可以通过关键词唤醒上位机,上位机接收语音信息指令,通过扬声器反馈信息,将多条任务在任务队列中排序,按顺序调度,对区域内的协助人员定位,利用摄像头产生的机器视觉识别区域内的物品,并将语音下达的指令任务转换为实际电机动作指令传达给下位机,下位机根据上位机传达下来的位置指令对电机柔性插补控制,进而控制执行器的运动;所述阵列麦克风固定于工作区域周边,数量和位置根据场地环境而定;上位机根据具体任务参考UWB模块和阵列麦克风反馈的人员位置信息与摄像头采集的图像信息进行路径算法规划,上位机将具体路径转换为下位机可执行的程序,传给下位机。上位机和下位机之间通过工业以太网连接。
进一步改进的,所述任务队列为空时,上位机处于待机状态,实时监听语音信息。
进一步改进的,所述下位机可调整运动机构和执行装置的运动控制参数,可控制任意运动机构和执行机构,并可拓展位置传感器作为执行机构的辅助。
进一步改进的,所述摄像头固定于俯瞰整体区域的位置或执行器上,作为产生机器视觉的部件。
本发明针对非固定环境、较大范围的实时非固定任务、可与多人协同工作,通过阵列麦克风人机交互,解析语音命令并实时分配任务队列,通过UWB为多名协作人定位,根据具体命令规划运动轨迹协助人的工作,同时在末端执行器装有摄像头,通过机器视觉识别物品以修正运动轨迹,可以实现与任意实体物品交互。
本发明的有益效果在于:部署方式简单,可移植性好,可以适应任意环境而不需设置信标,在一定范围内通过语音分配任务下达指令,实时分配任务,可参与任意物品动作,协助多人的工作;这种协作机器人造价低、可应对不同环境并节省操作空间,而且与现有协作机器人相比,更贴近人们的日常生活,执行任务不限定于某样固定任务,可通过语音与人员交互、接受任务。
附图说明
图1为本发明的系统结构框图;
图2为上位机工作流程图;
图3为本发明的实例示范图;
图4为一种根据本发明原理设计的执行机构示意图;
图5为图4中六轴机械臂示意图;
图6为图4中导轨部位放大图;
图7为图4中滑台部位放大图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和出示的本申请实施例的组件可以以各种不同的配置来布置和设计。
实施例1
请参阅图1,一种语音交互的非固定任务多人协作机器人,其特征在于:包括上位机和下位机,上位机又包括用于反馈信息的扬声器,还包括阵列麦克风、摄像头、用于位置确定的UWB模块,可以通过关键词唤醒上位机,上位机接收语音信息指令,通过扬声器反馈信息,并将获得的多条任务在任务队列中排序,按顺序调度,对区域内的协助人员定位,利用摄像头产生的机器视觉识别区域内的物品,并将语音下达的指令任务转换为实际电机动作指令传达给下位机,下位机采用PLC控制器,下位机根据上位机传达下来的位置指令对电机柔性插补控制,进而控制执行器的运动;所述阵列麦克风固定于工作区域周边,数量和位置根据场地环境而定;上位机根据具体任务参考UWB模块和阵列麦克风反馈的人员位置信息与摄像头采集的图像信息进行路径算法规划,上位机将具体路径转换为下位机可执行的程序,并传给下位机。
所述任务队列中无任务时上位机处于待机状态,实时监听语音信息;当有人员下达命令时,系统上位机的工作流程如图2所示;系统的唤醒词可定制。
所述下位机可调整运动机构和执行装置的运动控制参数,可适应任意运动机构和执行机构,可拓展多种传感器作为执行机构的辅助。所述摄像头固定于俯瞰整体区域位置或执行器上。
本发明中不指定执行器与运动机构的机械结构的具体机械结构,根据具体场所具体设计,下述实施例中的执行机构仅作举例说明。
摄像头可设置一个或多个,根据场所的大小和明暗程度设置,可置于俯瞰场所的高处或执行器上,核心是可清楚扫描场所内物品用于路径规划。
实施例2
本实施例中有3名协作人员,代号分别为A、B、C,区域内可交互物品有杯子、工具箱,可下达的示范命令和实际效果如图3所示,实际的任务将不限于实例提出的几种命令和语音命令下达方式,实际物品也不限于本实例提出的几种物品。
实施例3
如图4所示,给出一种滑台机构与机械臂相结合的执行机构的技术方案,如图6、图7所示,采用齿轮齿条驱动的运动滑台方式可以在横、纵两个方向快速运动,如图5所示,采用六轴机械臂作为系统的执行机构,在小范围内执行精密运动,完成抓取、固定等具体协助动作,所述附图为示意图,用于描述具体功能,实际应用中应根据具体场地环境参数设计机械结构。将控制滑台运动的两个伺服电机与六轴机械臂的六个伺服电机通过工业总线网络接入下位机即可构成一个完整的协作机器人系统。以上所述方案只作为不同环境的运动机构和执行机构的解决方案之一,作为具体实施方式的范例,并不限定系统的运动机构和执行机构具体实施方式,在实施本协作机器人时应考虑具体现场环境以及预算,协作机器人的下位机有不同的运动控制算法,可以接入不同的运动机构和执行机构。

Claims (4)

1.一种语音交互的非固定任务多人协作机器人,其特征在于:包括上位机和下位机,上位机又包括用于反馈信息的扬声器,还包括阵列麦克风、摄像头和用于位置确定的UWB模块,
可以通过关键词唤醒上位机,上位机接收语音信息指令,通过扬声器反馈信息,将多条任务在任务队列中排序,按顺序调度,对区域内的协助人员定位,通过机器视觉识别区域内的物品,并将语音下达的指令任务转换为实际电机动作指令传达给下位机,下位机根据上位机传达下来的位置指令对电机柔性插补控制,进而控制执行器的运动;所述阵列麦克风固定于工作区域周边,数量和位置根据场地环境而定;上位机根据具体任务参考UWB模块和阵列麦克风反馈的人员位置信息与摄像头采集的图像信息进行路径算法规划,上位机将具体路径转换为下位机可执行的程序,并传给下位机;
上位机和下位机之间通过工业以太网连接。
2.根据权利要求1所述的一种语音交互的非固定任务多人协作机器人,其特征在于:所述任务队列为空时上位机处于待机状态,实时监听语音信息。
3.根据权利要求1所述的一种语音交互的非固定任务多人协作机器人,其特征在于:所述下位机可调整运动机构和执行装置的运动控制参数,可控制任意运动机构和执行机构,可拓展传感器作为执行机构的辅助。
4.根据权利要求1所述的一种语音交互的非固定任务多人协作机器人,其特征在于:所述摄像头固定于俯瞰整体区域位置或执行器上。
CN201911390207.3A 2019-12-30 2019-12-30 一种语音交互的非固定任务多人协作机器人 Active CN111168690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911390207.3A CN111168690B (zh) 2019-12-30 2019-12-30 一种语音交互的非固定任务多人协作机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911390207.3A CN111168690B (zh) 2019-12-30 2019-12-30 一种语音交互的非固定任务多人协作机器人

Publications (2)

Publication Number Publication Date
CN111168690A true CN111168690A (zh) 2020-05-19
CN111168690B CN111168690B (zh) 2023-02-10

Family

ID=70618076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911390207.3A Active CN111168690B (zh) 2019-12-30 2019-12-30 一种语音交互的非固定任务多人协作机器人

Country Status (1)

Country Link
CN (1) CN111168690B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113746833A (zh) * 2021-09-02 2021-12-03 上海商汤智能科技有限公司 通信方法及装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070192910A1 (en) * 2005-09-30 2007-08-16 Clara Vu Companion robot for personal interaction
CN106378780A (zh) * 2016-10-21 2017-02-08 遨博(北京)智能科技有限公司 一种机器人系统、控制机器人的方法和服务器
CN106781332A (zh) * 2017-02-14 2017-05-31 上海斐讯数据通信技术有限公司 通过扫地机器人实现报警的方法及系统
CN108297098A (zh) * 2018-01-23 2018-07-20 上海大学 人工智能驱动的机器人控制系统及方法
CN108406776A (zh) * 2018-05-09 2018-08-17 科沃斯商用机器人有限公司 安全交互方法、安全交互装置及服务机器人
CN110116414A (zh) * 2019-05-22 2019-08-13 汤佳利 一种4s店智能综合服务机器人及其系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070192910A1 (en) * 2005-09-30 2007-08-16 Clara Vu Companion robot for personal interaction
CN106378780A (zh) * 2016-10-21 2017-02-08 遨博(北京)智能科技有限公司 一种机器人系统、控制机器人的方法和服务器
CN106781332A (zh) * 2017-02-14 2017-05-31 上海斐讯数据通信技术有限公司 通过扫地机器人实现报警的方法及系统
CN108297098A (zh) * 2018-01-23 2018-07-20 上海大学 人工智能驱动的机器人控制系统及方法
CN108406776A (zh) * 2018-05-09 2018-08-17 科沃斯商用机器人有限公司 安全交互方法、安全交互装置及服务机器人
CN110116414A (zh) * 2019-05-22 2019-08-13 汤佳利 一种4s店智能综合服务机器人及其系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭书杰等: "陪护机器人口语对话系统设计与实现", 《网络安全技术与应用》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113746833A (zh) * 2021-09-02 2021-12-03 上海商汤智能科技有限公司 通信方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN111168690B (zh) 2023-02-10

Similar Documents

Publication Publication Date Title
CN104440864B (zh) 一种主从式遥操作工业机器人系统及其控制方法
CN108393884B (zh) 一种基于Petri网的多机械臂遥操作系统协同任务规划方法
Koren et al. Robotics for engineers
JP2019123022A (ja) ロボット制御装置および自動組立システム
CN106584093A (zh) 工业机器人自我装配系统及方法
CN110405766A (zh) 一种工业机器人的机械手实时定位装置及控制系统
Lenz et al. Mechanisms and capabilities for human robot collaboration
Morita et al. Design and control of mobile manipulation system for human symbiotic humanoid: Hadaly-2
Nechyba et al. Human-robot cooperation in space: SM/sup 2/for new space station structure
CN110442133A (zh) 一种多组工业机器人协同作业的方法及系统
CN111168690B (zh) 一种语音交互的非固定任务多人协作机器人
Brecher et al. Towards anthropomorphic movements for industrial robots
Liu et al. A mixed perception-based human-robot collaborative maintenance approach driven by augmented reality and online deep reinforcement learning
Dmytriyev et al. Brain computer interface for human-cobot interaction in industrial applications
CN110405760A (zh) 一种通过电脑动画辅助机械臂控制的方法和系统
Nevliudov et al. Multithreaded Software Control of Industrial Manipulator Movement
CN114505853B (zh) 一种工业机器人的远程分层管控方法及系统
Wang et al. A visual servoing system for interactive human-robot object transfer
Cheng et al. A framework for safe and intuitive human-robot interaction for assistant robotics
Alami et al. Reasoning about humans and its use in a cognitive control architecture for a collaborative robot
CN109479520A (zh) 一种果蔬采摘机器人双边遥操作控制方法
CN117083157A (zh) 用于控制机器人的位移的方法
Ottogalli et al. Framework for the simulation of an aircraft final assembly line
CN111230892A (zh) 一种多机械臂的服务型机器人
Su et al. A method of human-robot collaboration for grinding of workpieces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant