CN206105869U - 一种机器人快速示教装置 - Google Patents

一种机器人快速示教装置 Download PDF

Info

Publication number
CN206105869U
CN206105869U CN201621117130.4U CN201621117130U CN206105869U CN 206105869 U CN206105869 U CN 206105869U CN 201621117130 U CN201621117130 U CN 201621117130U CN 206105869 U CN206105869 U CN 206105869U
Authority
CN
China
Prior art keywords
robot
augmented reality
reality equipment
teaching
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201621117130.4U
Other languages
English (en)
Inventor
杨辰光
梁聪垣
曾超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201621117130.4U priority Critical patent/CN206105869U/zh
Application granted granted Critical
Publication of CN206105869U publication Critical patent/CN206105869U/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Manipulator (AREA)

Abstract

本实用新型公开了一种机器人快速示教装置,包括机器人、摄像机、增强现实设备、动作捕捉模块、麦克风以及扬声器;摄像机有若干个,分别布置在机器人所在空间的若干方位上,每个摄像机分别通过数据线与增强现实设备相连;增强现实设备上设有用于显示机器人空间全景动态三维环境的显示屏;动作捕捉模块采集使用者的躯体运动数据,通过数据线与增强现实设备相连;动作捕捉模块同时通过数据线与机器人相连,机器人接收动作捕捉模块收集的使用者的示教动作,根据示教动作做出相应的动作;麦克风与机器人相连,扬声器与增强现实设备相连。本实用新型可以实现在混合现实的环境下,采用语音编程技术,对机器人进行高效示教。

Description

一种机器人快速示教装置
技术领域
本实用新型属于机器人应用领域,特别涉及一种机器人快速示教装置。
背景技术
如今,随着机器人技术的不断发展,机器人已经在人类社会的工业生产领域当中扮演着举足轻重的角色,机器人的大批量应用提升了工厂的生产自动化程度,提升了生产线的制造效率。然而,在机器人的实际应用当中,却需要花费大量的时间来对机器人进行示教编程。目前,已有机器人示教技术存在的问题大多在于模拟场景的精确度不高、难以真实还原机器人所处在的环境等等,同时,还存在着语音识别的准确度不高、要求使用者使用规定的语句语速下达命令等问题。
中国专利号:CN105679315A,名称:一种语音控制且可语音编程的控制方法和系统,该发明公开了一种语音控制且可语音编程的控制方法和系统,该方法具体为:选取部分特定关键字作为系统保留语音命令,使用者需使用指定方式提醒系统接下来的语音为控制命令,系统分析使用者的语音命令,若数据库中存在则直接执行,若数据库中不存在,则提示使用者进行演示,使用者演示结束后系统将该语音命令以及对应的操作存入数据库供以后使用。该实用新型具有减少了前期设计语音命令的工作量,降低了后期进行调整的难度,扩大了语音控制的适用使用者范围等优点。然而,该实用新型并没有将使用者的语音指令先转化为文字再和系统数据库中的命令关键词进行比对,直接的语音识别的准确性较低,因此,该实用新型并不能完全适用于现实的工业制造当中。
中国专利号:CN104772754A,名称:一种机器人示教器及示教方法,该发明公开了一种机器人示教器及示教方法,用以提高示教效率,实现机器人的自动示教。所述示教过程通过示教器控制机械手沿不同方向运动,通过设置在机械手手指上的第一传感器的检测,确定出机械手在第一方向上的示教坐标,通过设置在机械手手指根部上的第二传感器的检测,确定出机械手在第二方向上的示教坐标,通过设置在机械手底座上的第三传感器的检测,确定出机械手在第三方向上的示教坐标,最后由第一方向上的示教坐标、第二方向上的示教坐标、第三方向上的示教坐标,确定出示教位置的坐标。在整个示教过程中不需要操作人员对机械手进行调节,能够实现机器人示教过程的自动化,能够极大地提高示教的精度并缩短示教的时间。然而,该发明需要使用者在目视距离内对机器人进行示教,这样使得使用者并不能透过多视角对机器人进行精确的示教,使用者的视角容易受到遮掩,进而影响示教的效率和精度。
综上,在工业生产的实际应用中,由计算机生成机器人的行动轨迹存在计算复杂、需要规避奇点等问题,这延长了对机器人的示教时间,从而降低了示教的效率,因此,迫切需要高效的示教编程装置。
实用新型内容
本实用新型的目的在于克服现有技术的缺点与不足,提供一种机器人快速示教装置,该装置可以实现在混合现实的环境下,采用语音编程技术,对机器人进行高效示教。
本发明的目的通过以下的技术方案实现:一种机器人快速示教装置,包括机器人、摄像机、增强现实设备、动作捕捉模块、麦克风以及扬声器;摄像机有若干个,分别布置在机器人所在空间的若干方位上,每个摄像机分别通过数据线与增强现实设备相连;增强现实设备上设有用于显示机器人空间全景动态三维环境的显示屏;动作捕捉模块采集使用者的躯体运动数据,通过数据线与增强现实设备相连;动作捕捉模块同时通过数据线与机器人相连,机器人接收动作捕捉模块收集的使用者的示教动作,根据示教动作做出相应的动作;麦克风与机器人相连,扬声器与增强现实设备相连。
优选的,所述摄像机至少有四个,分别布置在机器人所在空间的四个方位。
优选的,增强现实设备可以是头戴式显示器、虚拟现实眼镜和/或全息三维投影仪。
优选的,动作捕捉模块包括两套可穿戴式外骨骼,一套牵引机器臂末端的外骨骼,另一套牵引机器臂关节的外骨骼。
具体的,所述可穿戴式外骨骼覆盖到使用者的十根手指,捕捉使用者的手部动作。
进一步的,所述可穿戴式外骨骼上设有力反馈模块,该模块通过数据线与增强现实设备相连。在示教过程中,通过该模块可以实时将使用者触碰到物件时力的反馈信息输出到增强现实设备,便于后面的力道调整。
优选的,动作捕捉模块包括视觉摄像头,所述视觉摄像头采集人躯体运动信息,并将信息传输到机器人。
本实用新型与现有技术相比,具有如下优点和有益效果:
1,本实用新型布置在机器人空间布置多角度的摄像机,捕捉机器人运动的画面信息,将这些信息融合成虚拟的三维场景,并通过增强现实设备输出给使用者,使得使用者在虚拟环境下精准地感知机器手臂的运动情况,从多角度,不同距离来观察机器人及其周边环境信息的变化,增强示教过程的临场感,提高使用者的示教速率和精度。
2、本实用新型动作捕捉模块记录操作者在虚拟场景中的示教动作,并实时动态地传递给机器人,提高对机器人的编程效率。
3、本实用新型设置有麦克风和扬声器,使用者可通过语音为动作提供关键字命名,用户的语音命令转化为文字后原语数据库,提高了系统识别语音命令的准确性。
附图说明
图1是本实施例的装置连接图;
图2是本实施例多方位摄像机的布置示意图;
图3是本实施例示教方法的流程图;
图4是本实施例机器人实际使用过程流程图。
具体实施方式
下面结合实施例及附图对本实用新型作进一步详细的描述,但本实用新型的实施方式不限于此。
一种机器人快速示教装置,如图1,包括机器人、摄像机、增强现实设备、动作捕捉模块、麦克风以及扬声器;摄像机有若干个,分别布置在机器人所在空间的若干方位上,每个摄像机分别通过数据线与增强现实设备相连;增强现实设备上设有用于显示机器人空间全景动态三维环境的显示屏;动作捕捉模块采集使用者的躯体运动数据,通过数据线与增强现实设备相连;动作捕捉模块同时通过数据线与机器人相连,机器人接收动作捕捉模块收集的使用者的示教动作,根据示教动作做出相应的动作;麦克风与机器人相连,扬声器与增强现实设备相连。
机器人:与动作捕捉模块相连,用于接收使用者的示教动作,根据示教动作做出相应的动作并显示在现实增强设备上;
摄像机:实时捕捉机器人空间的画面信息并传输给增强现实设备中的虚拟场景构建程序模块;摄像机至少有四个,分别布置在机器人所在空间的四个方位;每个摄像机分别通过数据线与增强现实设备相连,结构参见图2。
增强现实设备:包括显示屏,内部的虚拟场景构建程序模块将摄像机捕捉到的画面实时拼接为全景动态三维环境,将机器人以及机器人所处空间的实时视频信息以全景视频的方式呈现在显示屏上;增强现实设备可以是头戴式显示器、虚拟现实眼镜和/或全息三维投影仪。
动作捕捉模块:与增强现实设备相连,用于采集使用者的躯体运动数据;
麦克风:与机器人相连,用于多方位检测使用者声音,收集使用者的语音命令;
扬声器:与增强现实设备相连,用于播放机器人将要执行的动作名称,以便使用者进行确认。
动作捕捉模块包括两套可穿戴式外骨骼,一套牵引机器臂末端的外骨骼,另一套牵引机器臂关节的外骨骼。通过可穿戴式外骨骼采集使用者的运动信息,可直接将捕捉到的信息传输给机器人。
所述可穿戴式外骨骼覆盖到使用者的十根手指,捕捉使用者的手部动作。因此,增强现实设备上可以显示模拟的手部动画,所述手部动画根据动作捕捉模块采集的使用者躯体运动数据模拟出来。
可穿戴式外骨骼上设有力反馈模块,该模块通过数据线与增强现实设备相连。在示教过程中,通过该模块可以实时将使用者触碰到物件时力的反馈信息输出到增强现实设备,便于后面的力道调整。
动作捕捉模块还可以是视觉摄像头,所述视觉摄像头采集人躯体运动信息,并将信息传输到系统中。通过视觉摄像头采集使用者的运动信息,可通过机器学习算法捕捉使用者的动作并将其传输到机器人。
利用本实施例中机器人快速示教装置的示教方法,如图3,包括以下步骤:
S1、启动示教模式,摄像机捕捉机器人及其所在环境的画面信息;
S2、将捕捉的画面信息合成为全景视频信号输出到增强现实设备上;
S3、捕捉使用者的躯体运动数据,作为示教动作的输入信号;
S4、将此输入信号投射到机器人中,判断机器人是否按照使用者的示教动作做出相应的动作,如果是,则使用语音命令为该示教动作命名;
S5、将语音命令转化为文字关键字储存在原语数据库中,示教结束;所述原语数据库是用于存储不同的示教动作及其对应的文字关键字的数据库。
在每个简单的示教过程结束后,系统将提醒使用者使用语音关键字为上一时刻所进行的示教动作命名。不同的示教动作及其对应的语音关键字命令将会构成一个原语数据库,在机器人正式投入使用后,使用者只需发出由各道原语命令组合而成的一段完整的语音命令,便能使得机器人能够流畅地做出一套完整的操作,机器人实际使用过程如图4所示。
上述实施例为本实用新型较佳的实施方式,但本实用新型的实施方式并不受上述实施例的限制,其他的任何未背离本实用新型的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本实用新型的保护范围之内。

Claims (7)

1.一种机器人快速示教装置,其特征在于,包括机器人、摄像机、增强现实设备、动作捕捉模块、麦克风以及扬声器;摄像机有若干个,分别布置在机器人所在空间的若干方位上,每个摄像机分别通过数据线与增强现实设备相连;增强现实设备上设有用于显示机器人空间全景动态三维环境的显示屏;动作捕捉模块采集使用者的躯体运动数据,通过数据线与增强现实设备相连;动作捕捉模块同时通过数据线与机器人相连,机器人接收动作捕捉模块收集的使用者的示教动作,根据示教动作做出相应的动作;麦克风与机器人相连,扬声器与增强现实设备相连。
2.根据权利要求1所述的机器人快速示教装置,其特征在于,所述摄像机至少有四个,分别布置在机器人所在空间的四个方位。
3.根据权利要求1所述的机器人快速示教装置,其特征在于,增强现实设备可以是头戴式显示器、虚拟现实眼镜和/或全息三维投影仪。
4.根据权利要求1所述的机器人快速示教装置,其特征在于,动作捕捉模块包括两套可穿戴式外骨骼,一套牵引机器臂末端的外骨骼,另一套牵引机器臂关节的外骨骼。
5.根据权利要求4所述的机器人快速示教装置,其特征在于,所述可穿戴式外骨骼覆盖到使用者的十根手指,捕捉使用者的手部动作。
6.根据权利要求5所述的机器人快速示教装置,其特征在于,所述可穿戴式外骨骼上设有力反馈模块,该模块通过数据线与增强现实设备相连;在示教过程中,通过该模块可以实时将使用者触碰到物件时力的反馈信息输出到增强现实设备,便于后面的力道调整。
7.根据权利要求1所述的机器人快速示教装置,其特征在于,动作捕捉模块包括视觉摄像头,所述视觉摄像头采集人躯体运动信息,并将信息传输到机器人。
CN201621117130.4U 2016-10-12 2016-10-12 一种机器人快速示教装置 Expired - Fee Related CN206105869U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201621117130.4U CN206105869U (zh) 2016-10-12 2016-10-12 一种机器人快速示教装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201621117130.4U CN206105869U (zh) 2016-10-12 2016-10-12 一种机器人快速示教装置

Publications (1)

Publication Number Publication Date
CN206105869U true CN206105869U (zh) 2017-04-19

Family

ID=58528434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201621117130.4U Expired - Fee Related CN206105869U (zh) 2016-10-12 2016-10-12 一种机器人快速示教装置

Country Status (1)

Country Link
CN (1) CN206105869U (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108247633A (zh) * 2017-12-27 2018-07-06 珠海格力节能环保制冷技术研究中心有限公司 机器人的控制方法及系统
CN108972568A (zh) * 2017-05-31 2018-12-11 发那科株式会社 显示用于机器人的示教的信息的机器人系统
CN109078334A (zh) * 2018-06-21 2018-12-25 广州市世平计算机科技有限公司 一种基于虚拟机器人的vr操作引导及陪练方法和系统
CN109676615A (zh) * 2019-01-18 2019-04-26 合肥工业大学 一种利用手臂肌电信号与动作捕捉信号的喷涂机器人示教方法及装置
CN110599823A (zh) * 2019-09-05 2019-12-20 北京科技大学 一种基于示教视频和解说语音融合的服务机器人示教方法
CN111843983A (zh) * 2019-04-26 2020-10-30 发那科株式会社 机器人示教装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108972568A (zh) * 2017-05-31 2018-12-11 发那科株式会社 显示用于机器人的示教的信息的机器人系统
CN108972568B (zh) * 2017-05-31 2019-11-15 发那科株式会社 显示用于机器人的示教的信息的机器人系统
CN108247633A (zh) * 2017-12-27 2018-07-06 珠海格力节能环保制冷技术研究中心有限公司 机器人的控制方法及系统
CN108247633B (zh) * 2017-12-27 2021-09-03 珠海格力节能环保制冷技术研究中心有限公司 机器人的控制方法及系统
CN109078334A (zh) * 2018-06-21 2018-12-25 广州市世平计算机科技有限公司 一种基于虚拟机器人的vr操作引导及陪练方法和系统
CN109078334B (zh) * 2018-06-21 2020-04-14 广州市世平计算机科技有限公司 一种基于虚拟机器人的vr操作引导及陪练方法和系统
CN109676615A (zh) * 2019-01-18 2019-04-26 合肥工业大学 一种利用手臂肌电信号与动作捕捉信号的喷涂机器人示教方法及装置
CN111843983A (zh) * 2019-04-26 2020-10-30 发那科株式会社 机器人示教装置
CN110599823A (zh) * 2019-09-05 2019-12-20 北京科技大学 一种基于示教视频和解说语音融合的服务机器人示教方法
CN110599823B (zh) * 2019-09-05 2021-08-13 北京科技大学 一种基于示教视频和解说语音融合的服务机器人示教方法

Similar Documents

Publication Publication Date Title
CN106363637B (zh) 一种机器人快速示教方法及装置
CN206105869U (zh) 一种机器人快速示教装置
CN105825268B (zh) 面向机器人动作学习的数据处理方法和系统
TWI437875B (zh) Instant Interactive 3D stereo imitation music device
CN108334199A (zh) 基于增强现实的移动式多模态交互方法及装置
CN105252532A (zh) 动作捕捉机器人协同柔性姿态控制的方法
WO2015180497A1 (zh) 一种基于立体视觉的动作采集和反馈方法及系统
CN108127669A (zh) 一种基于动作融合的机器人示教系统及实施方法
CN110969905A (zh) 混合现实的远程教学互动、教具互动系统及其互动方法
CN109079794B (zh) 一种基于人体姿态跟随的机器人控制与示教方法
CN103578135A (zh) 虚拟影像与真实场景相结合的舞台交互集成系统及实现方法
CN106652590A (zh) 教学方法、教学识别体及教学系统
CN113221726A (zh) 一种基于视觉与惯性信息融合的手部姿态估计方法及系统
CN115346413B (zh) 一种基于虚实融合的装配指导方法及系统
CN109189217A (zh) 一种基于vr技术的工程验收模拟方法
CN108010400A (zh) 一种智能舞蹈步伐学习装置及方法
CN203630822U (zh) 虚拟影像与真实场景相结合的舞台交互集成系统
CN106293099A (zh) 手势识别方法及系统
CN105225270B (zh) 一种信息处理方法及电子设备
CN113506377A (zh) 一种基于虚拟漫游技术的教学培训方法
Zaldívar-Colado et al. A mixed reality for virtual assembly
CN110389664B (zh) 一种基于增强现实的火灾场景模拟分析装置及方法
CN112037090B (zh) 基于vr技术和6dof姿态跟踪的知识教育系统
Sun Research on dance motion capture technology for visualization requirements
CN115984437A (zh) 一种互动型三维舞台模拟系统及方法

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170419

Termination date: 20201012

CF01 Termination of patent right due to non-payment of annual fee