CN207888651U - 一种基于动作融合的机器人示教系统 - Google Patents
一种基于动作融合的机器人示教系统 Download PDFInfo
- Publication number
- CN207888651U CN207888651U CN201820223504.3U CN201820223504U CN207888651U CN 207888651 U CN207888651 U CN 207888651U CN 201820223504 U CN201820223504 U CN 201820223504U CN 207888651 U CN207888651 U CN 207888651U
- Authority
- CN
- China
- Prior art keywords
- operator
- action
- teaching
- robot
- main frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Manipulator (AREA)
Abstract
本实用新型提供一种基于动作融合的机器人示教系统,主要由机械臂,计算机主机,肌电信号传感器,动作捕捉模块,摄像机,增强现实设备和麦克风组成。动作捕捉模块在操作者示教时,负责捕捉其手臂动作和手势,并转化为控制机械臂的指令。机械臂运动情况由摄像机捕捉,并通过增强现实设备将图像呈现给操作者,为操作者提供具有临场感的立体视觉反馈。肌电信号传感器负责采集操作者手臂的表面肌电信号,本实用新型可以从肌电信号中提取操作者的疲劳度,用于多组示教动作的加权融合,增强了示教动作的稳定度。融合后的示教动作经过操作者的语音命令命名,存储在运动原语存储库中,实现了示教动作的复用,进一步提高了整体示教过程的效率。
Description
技术领域
本实用新型属于机器人应用领域,具体地涉及一种基于动作融合的机器人示教系统。
背景技术
随着机器人技术的快速发展,“机器换人”已成为时代趋势,以智能制造为代表“工业4.0”时代已经来临。传统机器人在投入生产工作前,需要专业人员对其进行编程和示教,这使得系统集成的费用往往超过机器人硬件本身。在传统的机器人示教方法中,操作人员需要通过示教器一步一步地操纵机器人,指导机器人完成任务。这种示教方法交互性差,耗时耗力,易造成操作者的疲劳,且示教动作僵化。而随着科技的发展,人类社会对产品的功能与质量的要求越来越高,产品更新换代的周期不断缩短,加工装配任务也在快速变化,传统示教方法将越来越无法满足生产的需要。在这种情况下,迫切需要一种新型的,高效灵活且对用户友好的机器人示教系统。
目前,与新型机器人示教系统相关的专利主要有:
1.中国公开专利号:CN206254183U,名称:一种机器人智能拖动示教系统。该发明为机器人的末端装配了拖动工具和力传感器,使得操作人员可以通过拖动机器人的方式进行示教,同时还提供了显示屏用于显示拖动力的大小和方向,以及机器人的关节位置信息。这类示教系统使得操作者可以更方便地对机器人进行示教,同时也提供了一定的反馈信息。但是,操作者仍需要与机器人直接接触,安全方面仍存在问题,而且示教者的动作会受机器人机械结构限制,同时也会加速操作者的疲劳。此外,显示屏的信息也无法给操作者一个直观的反馈。
2.中国公开专利号:CN206326605U,名称:一种基于机器视觉的智能示教系统。该发明利用体感设备获取操作者的示教动作,数据经过处理后发送到机器人端,实现了对机器人的远程示教,保证了操作者的人身安全和示教的灵活性;同时使用了双目视觉设备检测机器人的运动状态,为操作者提供了直观的视觉反馈。然而,一方面,该发明没有考虑示教动作的重用和存储问题,由于生产的变化带来的可能只是机器人动作的一些微小变化,机器人动作并不需要完全重新示教,因此示教动作的存储和重新利用,可以极大地提高示教的效率;另一方面,操作者在示教过程中必然会出现疲劳的问题,此时示教动作的质量和稳定度无法得到保障,而这个问题在远程示教中尤为明显。
发明内容
本实用新型提供一种基于动作融合的机器人示教系统。该系统主要由机械臂,计算机主机,肌电信号传感器,动作捕捉模块,摄像机,增强现实设备和麦克风组成。动作捕捉模块负责捕捉操作者的示教动作,肌电信号传感器负责采集操作者示教时的手臂表面肌电信号。考虑到操作者的疲劳度对示教动作的负面影响,本发明从肌电信号中评估出操作者的疲劳度,并进一步根据疲劳度,对示教动作进行融合,以得到稳定性更好的示教动作。利用摄像机和增强现实设备,可以将机械臂及其工作空间的动态三维实时视频信息反馈给操作者,为操作者提供更加真实的,直观的机械臂操作情况。利用麦克风采集操作者的动作命令,实现示教动作的存储和复用,可以极大地提高示教的效率。总的来讲,本发明旨在综合提高示教系统的示教动作稳定性,用户友好度及示教效率。
本发明的目的通过下述技术方案予以实现:
一种基于动作融合的机器人示教系统,其特征在于:所述系统主要由计算机主机(1),机械臂(2),肌电信号传感器(3),动作捕捉模块(4),摄像机(5),增强现实设备(6)和麦克风(7)组成。机械臂(2)是示教系统的主体操作对象,与计算机主机(1)连接;肌电信号传感器(3)与计算机主机(1)以有线或无线的方式连接,负责获取操作者手臂肌电信号;动作捕捉模块(4)与计算机主机(1)连接,负责捕捉操作者运动信息;摄像机(5)与计算机主机(1)连接,用于获取机械臂(2)及其工作空间的信息;增强现实设备(6)与计算机主机(1)连接,用于显示机械臂(2)及其工作空间的信息;麦克风(7)与计算机主机(1)连接,负责检测收集操作者的声音信息。
所述机械臂(2)可以是任意形式和任意自由度的机械臂,可以接收计算机主机(1)发出的控制指令并作出相应动作。
可选地,所述肌电信号传感器(3)穿戴在操作者的手臂,其功能主要是但不限于,通过检测人手肌电信号的变化,获取操作者当前的疲劳程度。
可选地,所述的动作捕捉模块(4)用于采集操作者手臂和手部的运动信息,动作捕捉模块(4)可以是但不限于可穿戴式外骨骼装置,视觉或红外设备。
进一步地,利用所述肌电信号传感器(3)获取的操作者疲劳度,以及动作捕捉模块(4)获取的操作者运动信息,可以通过机器学习算法对操作者示教动作进行融合,融合后的示教动作用于机器人的运动控制。
可选地,所述增强现实设备(6)可以对摄像机(5)捕捉到的机器人及机器人工作空间的视频信息进行处理,并显示出来。所显示的画面为动态三维实时视频。
进一步地,所述的摄像机(5)可以是任意的摄像头,摄像机数量最少为两个,布置在机器人前方的不同位置;增强现实设备(6)可以是但不限于头戴式显示器、虚拟现实眼镜。
可选地,所述麦克风(7)检测到的操作者的声音信息,用于示教动作的存储命名和复现触发指令。
本发明的另一种技术方案为一种基于动作融合的机器人示教系统的实施方法,其包括如下内容:
(1) 操作者的示教动作通过动作捕捉模块(4)采集,并通过计算机主机(1)发送到机械臂(2),控制机械臂(2)实时运动;操作者手臂的肌电信号通过肌电信号传感器(3)采集,并发送到计算机主机(1)进行处理;
(2) 从操作者的肌电信号中评估操作者的疲劳度,以及进一步的动作融合,是示教系统设计的核心问题;本发明采用平均度量评估法,对操作者疲劳度进行评估;采用机器学习算法,根据所评估的操作者疲劳度,对多组示教动作进行融合;
优选的,平均度量评估法采用肌电信号的三种度量来评估操作者的疲劳度;这三种度量包括肌电信号的平均频率,DImitrov指数和均方根;
优选的,机器学习算法采用加权高斯混合回归对示教动作进行加权融合;
(3) 在示教过程中,机械臂(2)及其工作空间的视频信息由摄像机(5)采集,并发送到计算机主机(1);所采集到的视频信息经计算机主机(1)处理,由增强现实设备(6)显示,增强现实设备(6)显示的是动态三维实时视频,可以实时将机械臂(2)及其工作空间的信息反馈给操作者;
(4) 在示教动作融合完成后,操作者发出声音信息,为示教动作命名,麦克风(7)采集操作者发出的声音信息,并发送到计算机主机(1)上进行处理,通过提取声音信息中的关键字,来为示教动作进行命名,示教动作以命名作为关键字,存储在运动原语存储库中,运动原语存储库用于示教动作复现阶段的动作复用。
附图说明
图1为本实用新型的基于动作融合的机器人示教系统的结构示意图,
图2为系统在示教过程中的信号流向图;
图3为示教者示教动作控制机械臂的示意图;
图4为基于疲劳度的动作融合的流程图。
其中1为计算机主机、2为机械臂、3为肌电信号传感器、4为动作捕捉模块、5为摄像机、6为增强现实设备、7为麦克风。
具体实施方式
为了使本实用新型的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地较为详细描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本实用新型保护的范围。
如附图1所示,本系统由计算机主机(1)、机械臂(2)、肌电信号传感器(3)、动作捕捉模块(4)、摄像机(5)和增强现实设备(6)和麦克风(7)组成。其中,肌电信号传感器(3)选为表面肌电检测手环,佩戴于操作者的手臂上,检测手臂表面肌电信号,并通过蓝牙与计算机主机通讯。增强显示设备(6)选为虚拟现实眼镜,该设备集成了麦克风,因此其在提供显示图像的同时也可以收集操作者发出的声音指令,另外,该设备可以选择以有线或者无线的方式与计算机主机通讯,当采用无线模式时,可以保证操作者头部不受连线的约束,为操作者提供更舒适的体验,当采用有线模式时,则可以提供更加清晰的显示图像。动作捕捉模块(4)选为带深度检测的双目摄像头,其集成了红外传感器,可以同时捕获操作者手臂的运动和手势。摄像机(5)至少有两个,布置在机械臂(2)的前方不同位置,用于捕获机械臂的运动图像,并将图像信息发送到计算机主机上进行处理。
示教过程系统各设备的信号流向如附图2所示。示教者的示教动作由运动捕捉模块捕捉,与此同时,示教者手臂的表面肌电信号也被肌电检测手环所检测与收集。运动捕捉模块捕捉到的示教者动作包括两方面的信息:左手的手臂动作和右手的手势。如附图3所示,操作者的左手手臂动作数据经过处理、提取,可以得到手臂的关节位置信息,该关节位置信息被用于控制机械臂各关节的运动。操作者的右手负责做出抓取的动作,经过计算机处理判断出抓取动作的方向和运动幅度,用于调整机械臂的末端位置,调整的方向为抓取动作的方向,而调整的幅度为右手手部的运动幅度。进一步地,机械臂的运动将被其前方的摄像头捕捉,经过计算机处理后发送到操作者佩戴的虚拟现实眼镜上,为操作者提供实时的立体视觉反馈,即机械臂的运动立体图像。在上述过程中,操作者的语音命令将被虚拟现实眼镜设备集成的麦克风(7)所捕获,并由计算机从中提取出动作命名关键词。
如附图4所示,操作者手臂的肌电信号经过处理后可以评估出操作者的疲劳度,并作为示教动作融合的权重。本发明采用平均度量评估法来评估操作者的疲劳度,该方法综合了肌电信号的平均频率,Dimitrov指数和均方根这三个度量指标。其中,平均频率表征了机电信号的功率谱密度向低频的转移,计算方法如下:
其中,为采样频率,为肌电信号的功率谱密度。Dimitrov指数表征了人疲劳时的肌电信号的频谱变化,其计算如下:
其中和决定了信号的带宽,为谱矩的阶次。肌电信号的均方根计算如下:
其中为肌电信号的第个样本,为样本数。
经过计算得到以上三个度量数值后,利用平均度量评估法可以计算得到操作者的疲劳度为:
其中和为可调整的常系数。进一步地,利用多组疲劳度和对应的位置信息,可以通过加权混合高斯回归算法,对多组示教动作进行融合。记多组示教动作为,其中表示第组示教动作,表示时间点。首先利用高斯混合模型,得到关于这批示教动作的均值和方差,再将疲劳度作为加权混合高斯模型的权重。融合得到的示教动作表示如下:
其中,
其中,表示均值为,方差为的高斯分布。利用上述方法计算得到的示教动作,融合了多组示教动作,同时还考虑到了示教者的疲劳度,因此该方法所得到的示教动作,与单组示教动作相比会更加的稳定。
融合后的示教动作,将以操作者发出的关键字命令命名,并存储到运动原语存储库中,实现示教动作的复用,提高示教过程的效率。在复现阶段,操作者可以发出多个语音命令,从运动原语存储库中提取多个示教动作进行拼接,使机器人实现更加复杂的任务。
上述实施例为本实用新型较佳的实施方式,但本实用新型的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本实用新型的保护范围之内。
Claims (8)
1.一种基于动作融合的机器人示教系统,其特征在于:所述系统主要由计算机主机(1),机械臂(2),肌电信号传感器(3),动作捕捉模块(4),摄像机(5),增强现实设备(6)和麦克风(7)组成;机械臂(2)是示教系统的主体操作对象,与计算机主机(1)连接;肌电信号传感器(3)与计算机主机(1)以有线或无线的方式连接,负责获取操作者手臂肌电信号;动作捕捉模块(4)与计算机主机(1)连接,负责捕捉操作者运动信息;摄像机(5)与计算机主机(1)连接,用于获取机械臂(2)及其工作空间的信息;增强现实设备(6)与计算机主机(1)连接,用于显示机械臂(2)及其工作空间的信息;麦克风(7)与计算机主机(1)连接,负责检测收集操作者的声音信息。
2.根据权利要求1所述的机器人示教系统,其特征在于:所述机械臂(2)可以是任意形式和任意自由度的机械臂,可以接收计算机主机(1)发出的控制指令并作出相应动作。
3.根据权利要求1所述的机器人示教系统,其特征在于:所述肌电信号传感器(3)穿戴在操作者的手臂,其功能主要是但不限于,通过检测人手肌电信号的变化,获取操作者当前的疲劳程度。
4.根据权利要求1所述的机器人示教系统,其特征在于:所述的动作捕捉模块(4)用于采集操作者手臂和手部的运动信息,动作捕捉模块(4)可以是但不限于可穿戴式外骨骼装置,视觉或红外设备。
5.根据权利要求1所述的机器人示教系统,其特征在于:利用所述肌电信号传感器(3)获取的操作者疲劳度,以及动作捕捉模块(4)获取的操作者运动信息,可以通过机器学习算法对操作者示教动作进行融合,融合后的示教动作用于机器人在示教复现阶段的运动控制。
6.根据权利要求1所述的一种基于动作融合的机器人示教系统,其特征在于:所述增强现实设备(6)可以对摄像机(5)捕捉到的机器人及机器人工作空间的视频信息进行处理,并显示出来;所显示的画面为动态三维实时视频。
7.根据权利要求1所述的一种基于动作融合的机器人示教系统,其特征在于,所述的摄像机(5)可以是任意的摄像头,摄像机数量最少为两个,布置在机器人前方的不同位置;增强现实设备(6)可以是但不限于头戴式显示器或虚拟现实眼镜。
8.根据权利要求1所述的一种基于动作融合的机器人示教系统,其特征在于:所述麦克风(7)检测到的操作者的声音信息,将发送到计算机主机(1)上进行存储处理,并用于示教动作的存储命名和复现触发指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201820223504.3U CN207888651U (zh) | 2018-02-08 | 2018-02-08 | 一种基于动作融合的机器人示教系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201820223504.3U CN207888651U (zh) | 2018-02-08 | 2018-02-08 | 一种基于动作融合的机器人示教系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN207888651U true CN207888651U (zh) | 2018-09-21 |
Family
ID=63543722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201820223504.3U Expired - Fee Related CN207888651U (zh) | 2018-02-08 | 2018-02-08 | 一种基于动作融合的机器人示教系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN207888651U (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110757461A (zh) * | 2019-11-13 | 2020-02-07 | 江苏方时远略科技咨询有限公司 | 一种工业移动机器人的控制系统及其控制方法 |
CN111163304A (zh) * | 2019-12-27 | 2020-05-15 | 扬州哈工科创机器人研究院有限公司 | 一种影片与矩阵机械单元融合的方法及装置 |
-
2018
- 2018-02-08 CN CN201820223504.3U patent/CN207888651U/zh not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110757461A (zh) * | 2019-11-13 | 2020-02-07 | 江苏方时远略科技咨询有限公司 | 一种工业移动机器人的控制系统及其控制方法 |
CN111163304A (zh) * | 2019-12-27 | 2020-05-15 | 扬州哈工科创机器人研究院有限公司 | 一种影片与矩阵机械单元融合的方法及装置 |
CN111163304B (zh) * | 2019-12-27 | 2021-10-08 | 扬州哈工科创机器人研究院有限公司 | 一种影片与矩阵机械单元融合的方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108127669A (zh) | 一种基于动作融合的机器人示教系统及实施方法 | |
CN110711374B (zh) | 多模态舞蹈动作评价方法 | |
WO2018120964A1 (zh) | 一种基于深度信息和骨骼信息的姿势矫正方法 | |
CN104951808B (zh) | 一种用于机器人交互对象检测的3d视线方向估计方法 | |
CN110083202A (zh) | 与近眼显示器的多模交互 | |
CN108983636B (zh) | 人机智能共生平台系统 | |
CN108564643B (zh) | 基于ue引擎的表演捕捉系统 | |
CN105252532A (zh) | 动作捕捉机器人协同柔性姿态控制的方法 | |
DE102018103572A1 (de) | Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium | |
CN101947152A (zh) | 仿人形义肢的脑电-语音控制系统及工作方法 | |
CN206340066U (zh) | 虚拟人现场互动表演系统 | |
CN106354264A (zh) | 基于视线追踪的实时人机交互系统及其工作方法 | |
CN106648068A (zh) | 一种双手三维动态手势识别方法 | |
CN207888651U (zh) | 一种基于动作融合的机器人示教系统 | |
CN113663312A (zh) | 一种基于微惯性的无器械健身动作质量评估方法 | |
Hafeez et al. | Multi-fusion sensors for action recognition based on discriminative motion cues and random forest | |
CN115202471A (zh) | 一种全身姿态追踪及触觉设备及虚拟现实系统 | |
CN108434698B (zh) | 一种体育球类运动教学系统 | |
CN117532609A (zh) | 融合脑肌电与单目视觉的仿人机器人实时控制系统及方法 | |
CN111310655A (zh) | 基于关键帧和组合注意力模型的人体动作识别方法和系统 | |
CN107783639A (zh) | 虚拟现实休闲学习系统 | |
KR102483387B1 (ko) | 손가락 재활 훈련을 위한 증강현실 콘텐츠 제공 방법 및 손가락 재활 훈련 시스템 | |
CN114639168B (zh) | 一种用于跑步姿态识别的方法和系统 | |
CN206411610U (zh) | 一种基于ios终端的双手手势识别系统 | |
CN111178216B (zh) | 一种基于姿态时空特征的考场异常行为识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180921 Termination date: 20210208 |
|
CF01 | Termination of patent right due to non-payment of annual fee |