CN108127669A - 一种基于动作融合的机器人示教系统及实施方法 - Google Patents

一种基于动作融合的机器人示教系统及实施方法 Download PDF

Info

Publication number
CN108127669A
CN108127669A CN201810127757.5A CN201810127757A CN108127669A CN 108127669 A CN108127669 A CN 108127669A CN 201810127757 A CN201810127757 A CN 201810127757A CN 108127669 A CN108127669 A CN 108127669A
Authority
CN
China
Prior art keywords
operator
teaching
action
main frame
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810127757.5A
Other languages
English (en)
Inventor
杨辰光
陈垂泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Puwang Technology Co Ltd
South China University of Technology SCUT
Original Assignee
Changzhou Puwang Technology Co Ltd
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Puwang Technology Co Ltd, South China University of Technology SCUT filed Critical Changzhou Puwang Technology Co Ltd
Priority to CN201810127757.5A priority Critical patent/CN108127669A/zh
Publication of CN108127669A publication Critical patent/CN108127669A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means

Abstract

本发明提供一种基于动作融合的机器人示教系统及其设计方法,主要由机械臂,计算机主机,肌电信号传感器,动作捕捉模块,摄像机,增强现实设备和麦克风组成。动作捕捉模块在操作者示教时,负责捕捉其手臂动作和手势,并转化为控制机械臂的指令。机械臂的运动情况由摄像机捕捉,并通过增强现实设备将图像呈现给操作者,为操作者提供具有临场感的立体视觉反馈。肌电信号传感器负责采集操作者手臂的表面肌电信号,本发明可以从肌电信号中提取操作者的疲劳度,用于多组示教动作的加权融合,增强了示教动作的稳定度。融合后的示教动作经过操作者的语音命令命名,存储在运动原语存储库中,实现了示教动作的复用,进一步提高了整体示教过程的效率。

Description

一种基于动作融合的机器人示教系统及实施方法
技术领域
本发明属于机器人应用领域,具体地涉及一种基于动作融合的机器人示教系统。
背景技术
随着机器人技术的快速发展,“机器换人”已成为时代趋势,以智能制造为代表“工业4.0”时代已经来临。传统机器人在投入生产工作前,需要专业人员对其进行编程和示教,这使得系统集成的费用往往超过机器人硬件本身。在传统的机器人示教方法中,操作人员需要通过示教器一步一步地操纵机器人,指导机器人完成任务。这种示教方法交互性差,耗时耗力,易造成操作者的疲劳,且示教动作僵化。而随着科技的发展,人类社会对产品的功能与质量的要求越来越高,产品更新换代的周期不断缩短,加工装配任务也在快速变化,传统示教方法将越来越无法满足生产的需要。在这种情况下,迫切需要一种新型的,高效灵活且对用户友好的机器人示教系统。
目前,与新型机器人示教系统相关的专利主要有:
1.中国公开专利号:CN206254183U,名称:一种机器人智能拖动示教系统。该发明为机器人的末端装配了拖动工具和力传感器,使得操作人员可以通过拖动机器人的方式进行示教,同时还提供了显示屏用于显示拖动力的大小和方向,以及机器人的关节位置信息。这类示教系统使得操作者可以更方便地对机器人进行示教,同时也提供了一定的反馈信息。但是,操作者仍需要与机器人直接接触,安全方面仍存在问题,而且示教者的动作会受机器人机械结构限制,同时也会加速操作者的疲劳。此外,显示屏的信息也无法给操作者一个直观的反馈。
2.中国公开专利号:CN206326605U,名称:一种基于机器视觉的智能示教系统。该发明利用体感设备获取操作者的示教动作,数据经过处理后发送到机器人端,实现了对机器人的远程示教,保证了操作者的人身安全和示教的灵活性;同时使用了双目视觉设备检测机器人的运动状态,为操作者提供了直观的视觉反馈。然而,一方面,该发明没有考虑示教动作的重用和存储问题,由于生产的变化带来的可能只是机器人动作的一些微小变化,机器人动作并不需要完全重新示教,因此示教动作的存储和重新利用,可以极大地提高示教的效率;另一方面,操作者在示教过程中必然会出现疲劳的问题,此时示教动作的质量和稳定度无法得到保障,而这个问题在远程示教中尤为明显。
发明内容
本发明提供一种基于动作融合的机器人示教系统及实施方法。该系统主要由机械臂,计算机主机,肌电信号传感器,动作捕捉模块,摄像机,增强现实设备和麦克风组成。动作捕捉模块负责捕捉操作者的示教动作,肌电信号传感器负责采集操作者示教时的手臂表面肌电信号。考虑到操作者的疲劳度对示教动作的负面影响,本发明从肌电信号中评估出操作者的疲劳度,并进一步根据疲劳度,对示教动作进行融合,以得到稳定性更好的示教动作。利用摄像机和增强现实设备,可以将机械臂及其工作空间的动态三维实时视频信息反馈给操作者,为操作者提供更加真实的,直观的机械臂操作情况。利用麦克风采集操作者的动作命令,实现示教动作的存储和复用,可以极大地提高示教的效率。总的来讲,本发明旨在综合提高示教系统的示教动作稳定性,用户友好度及示教效率。
本发明的目的通过下述技术方案予以实现:
一种基于动作融合的机器人示教系统,其特征在于:所述系统主要由计算机主机(1),机械臂(2),肌电信号传感器(3),动作捕捉模块(4),摄像机(5),增强现实设备(6)和麦克风(7)组成。机械臂(2)是示教系统的主体操作对象,与计算机主机(1)连接;肌电信号传感器(3)与计算机主机(1)以有线或无线的方式连接,负责获取操作者手臂肌电信号;动作捕捉模块(4)与计算机主机(1)连接,负责捕捉操作者运动信息;摄像机(5)与计算机主机(1)连接,用于获取机械臂(2)及其工作空间的信息;增强现实设备(6)与计算机主机(1)连接,用于显示机械臂(2)及其工作空间的信息;麦克风(7)与计算机主机(1)连接,负责检测收集操作者的声音信息。
所述机械臂(2)可以是任意形式和任意自由度的机械臂,可以接收计算机主机(1)发出的控制指令并作出相应动作。
可选地,所述肌电信号传感器(3)穿戴在操作者的手臂,其功能主要是但不限于,通过检测人手肌电信号的变化,获取操作者当前的疲劳程度。
可选地,所述的动作捕捉模块(4)用于采集操作者手臂和手部的运动信息,动作捕捉模块(4)可以是但不限于可穿戴式外骨骼装置,视觉或红外设备。
进一步地,利用所述肌电信号传感器(3)获取的操作者疲劳度,以及动作捕捉模块(4)获取的操作者运动信息,可以通过机器学习算法对操作者示教动作进行融合,融合后的示教动作用于机器人的运动控制。
可选地,所述增强现实设备(6)可以对摄像机(5)捕捉到的机器人及机器人工作空间的视频信息进行处理,并显示出来。所显示的画面为动态三维实时视频。
进一步地,所述的摄像机(5)可以是任意的摄像头,摄像机数量最少为两个,布置在机器人前方的不同位置;增强现实设备(6)可以是但不限于头戴式显示器、虚拟现实眼镜。
可选地,所述麦克风(7)检测到的操作者的声音信息,用于示教动作的存储命名和复现触发指令。
本发明的另一种技术方案为一种基于动作融合的机器人示教系统的实施方法,其包括如下内容:
(1) 操作者的示教动作通过动作捕捉模块(4)采集,并通过计算机主机(1)发送到机械臂(2),控制机械臂(2)实时运动;操作者手臂的肌电信号通过肌电信号传感器(3)采集,并发送到计算机主机(1)进行处理;
(2) 从操作者的肌电信号中评估操作者的疲劳度,以及进一步的动作融合,是示教系统设计的核心问题;本发明采用平均度量评估法,对操作者疲劳度进行评估;采用机器学习算法,根据所评估的操作者疲劳度,对多组示教动作进行融合;
优选的,平均度量评估法采用肌电信号的三种度量来评估操作者的疲劳度;这三种度量包括肌电信号的平均频率,DImitrov指数和均方根;
优选的,机器学习算法采用加权高斯混合回归对示教动作进行加权融合;
(3) 在示教过程中,机械臂(2)及其工作空间的视频信息由摄像机(5)采集,并发送到计算机主机(1);所采集到的视频信息经计算机主机(1)处理,由增强现实设备(6)显示,增强现实设备(6)显示的是动态三维实时视频,可以实时将机械臂(2)及其工作空间的信息反馈给操作者;
(4) 在示教动作融合完成后,操作者发出声音信息,为示教动作命名,麦克风(7)采集操作者发出的声音信息,并发送到计算机主机(1)上进行处理,通过提取声音信息中的关键字,来为示教动作进行命名,示教动作以命名作为关键字,存储在运动原语存储库中,运动原语存储库用于示教动作复现阶段的动作复用。
附图说明
图1为本发明的基于动作融合的机器人示教系统的结构示意图,
图2为系统在示教过程中的信号流向图;
图3为示教者示教动作控制机械臂的示意图;
图4为基于疲劳度的动作融合的流程图。
其中1为计算机主机、2为机械臂、3为肌电信号传感器、4为动作捕捉模块、5为摄像机、6为增强现实设备、7为麦克风。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地较为详细描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
如附图1所示,本系统由计算机主机(1)、机械臂(2)、肌电信号传感器(3)、动作捕捉模块(4)、摄像机(5)和增强现实设备(6)和麦克风(7)组成。其中,肌电信号传感器(3)选为表面肌电检测手环,佩戴于操作者的手臂上,检测手臂表面肌电信号,并通过蓝牙与计算机主机通讯。增强显示设备(6)选为虚拟现实眼镜,该设备集成了麦克风,因此其在提供显示图像的同时也可以收集操作者发出的声音指令,另外,该设备可以选择以有线或者无线的方式与计算机主机通讯,当采用无线模式时,可以保证操作者头部不受连线的约束,为操作者提供更舒适的体验,当采用有线模式时,则可以提供更加清晰的显示图像。动作捕捉模块(4)选为带深度检测的双目摄像头,其集成了红外传感器,可以同时捕获操作者手臂的运动和手势。摄像机(5)至少有两个,布置在机械臂(2)的前方不同位置,用于捕获机械臂的运动图像,并将图像信息发送到计算机主机上进行处理。
示教过程系统各设备的信号流向如附图2所示。示教者的示教动作由运动捕捉模块捕捉,与此同时,示教者手臂的表面肌电信号也被肌电检测手环所检测与收集。运动捕捉模块捕捉到的示教者动作包括两方面的信息:左手的手臂动作和右手的手势。如附图3所示,操作者的左手手臂动作数据经过处理、提取,可以得到手臂的关节位置信息,该关节位置信息被用于控制机械臂各关节的运动。操作者的右手负责做出抓取的动作,经过计算机处理判断出抓取动作的方向和运动幅度,用于调整机械臂的末端位置,调整的方向为抓取动作的方向,而调整的幅度为右手手部的运动幅度。进一步地,机械臂的运动将被其前方的摄像头捕捉,经过计算机处理后发送到操作者佩戴的虚拟现实眼镜上,为操作者提供实时的立体视觉反馈,即机械臂的运动立体图像。在上述过程中,操作者的语音命令将被虚拟现实眼镜设备集成的麦克风(7)所捕获,并由计算机从中提取出动作命名关键词。
如附图4所示,操作者手臂的肌电信号经过处理后可以评估出操作者的疲劳度,并作为示教动作融合的权重。本发明采用平均度量评估法来评估操作者的疲劳度,该方法综合了肌电信号的平均频率,Dimitrov指数和均方根这三个度量指标。其中,平均频率表征了机电信号的功率谱密度向低频的转移,计算方法如下:
其中,为采样频率,为肌电信号的功率谱密度。Dimitrov指数表征了人疲劳时的肌电信号的频谱变化,其计算如下:
其中决定了信号的带宽,为谱矩的阶次。肌电信号的均方根计算如下:
其中为肌电信号的第个样本,为样本数。
经过计算得到以上三个度量数值后,利用平均度量评估法可以计算得到操作者的疲劳度为:
其中为可调整的常系数。进一步地,利用多组疲劳度和对应的位置信息,可以通过加权混合高斯回归算法,对多组示教动作进行融合。记多组示教动作为,其中表示第组示教动作,表示时间点。首先利用高斯混合模型,得到关于这批示教动作的均值和方差,再将疲劳度作为加权混合高斯模型的权重。融合得到的示教动作表示如下:
其中,
其中,表示均值为,方差为的高斯分布。利用上述方法计算得到的示教动作,融合了多组示教动作,同时还考虑到了示教者的疲劳度,因此该方法所得到的示教动作,与单组示教动作相比会更加的稳定。
融合后的示教动作,将以操作者发出的关键字命令命名,并存储到运动原语存储库中,实现示教动作的复用,提高示教过程的效率。在复现阶段,操作者可以发出多个语音命令,从运动原语存储库中提取多个示教动作进行拼接,使机器人实现更加复杂的任务。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (9)

1.一种基于动作融合的机器人示教系统,其特征在于:所述系统主要由计算机主机(1),机械臂(2),肌电信号传感器(3),动作捕捉模块(4),摄像机(5),增强现实设备(6)和麦克风(7)组成;机械臂(2)是示教系统的主体操作对象,与计算机主机(1)连接;肌电信号传感器(3)与计算机主机(1)以有线或无线的方式连接,负责获取操作者手臂肌电信号;动作捕捉模块(4)与计算机主机(1)连接,负责捕捉操作者运动信息;摄像机(5)与计算机主机(1)连接,用于获取机械臂(2)及其工作空间的信息;增强现实设备(6)与计算机主机(1)连接,用于显示机械臂(2)及其工作空间的信息;麦克风(7)与计算机主机(1)连接,负责检测收集操作者的声音信息。
2.根据权利要求1所述的机器人示教系统,其特征在于:所述机械臂(2)可以是任意形式和任意自由度的机械臂,可以接收计算机主机(1)发出的控制指令并作出相应动作。
3.根据权利要求1所述的机器人示教系统,其特征在于:所述肌电信号传感器(3)穿戴在操作者的手臂,其功能主要是但不限于,通过检测人手肌电信号的变化,获取操作者当前的疲劳程度。
4.根据权利要求1所述的机器人示教系统,其特征在于:所述的动作捕捉模块(4)用于采集操作者手臂和手部的运动信息,动作捕捉模块(4)可以是但不限于可穿戴式外骨骼装置,视觉或红外设备。
5.根据权利要求1所述的机器人示教系统,其特征在于:利用所述肌电信号传感器(3)获取的操作者疲劳度,以及动作捕捉模块(4)获取的操作者运动信息,可以通过机器学习算法对操作者示教动作进行融合,融合后的示教动作用于机器人在示教复现阶段的运动控制。
6.根据权利要求1所述的一种基于动作融合的机器人示教系统,其特征在于:所述增强现实设备(6)可以对摄像机(5)捕捉到的机器人及机器人工作空间的视频信息进行处理,并显示出来;所显示的画面为动态三维实时视频。
7.根据权利要求1所述的一种基于动作融合的机器人示教系统,其特征在于,所述的摄像机(5)可以是任意的摄像头,摄像机数量最少为两个,布置在机器人前方的不同位置;增强现实设备(6)可以是但不限于头戴式显示器或虚拟现实眼镜。
8.根据权利要求1所述的一种基于动作融合的机器人示教系统,其特征在于:所述麦克风(7)检测到的操作者的声音信息,将发送到计算机主机(1)上进行存储处理,并用于示教动作的存储命名和复现触发指令。
9.一种基于动作融合的机器人示教系统的实施方法,其特征在于:所述方法包括如下内容:
(1) 操作者的示教动作通过动作捕捉模块(4)采集,并通过计算机主机(1)发送到机械臂(2),控制机械臂(2)实时运动;操作者手臂的肌电信号通过肌电信号传感器(3)采集,并发送到计算机主机(1)进行处理;
(2) 从操作者的肌电信号中评估操作者的疲劳度,以及进一步的动作融合,是示教系统设计的核心问题;本发明采用平均度量评估法,对操作者疲劳度进行评估;采用机器学习算法,根据所评估的操作者疲劳度,对多组示教动作进行融合;
优选的,平均度量评估法采用肌电信号的三种度量来评估操作者的疲劳度;这三种度量包括肌电信号的平均频率,DImitrov指数和均方根;
优选的,机器学习算法采用加权高斯混合回归对示教动作进行加权融合;
(3) 在示教过程中,机械臂(2)及其工作空间的视频信息由摄像机(5)采集,并发送到计算机主机(1);所采集到的视频信息经计算机主机(1)处理,由增强现实设备(6)显示,增强现实设备(6)显示的是动态三维实时视频,可以实时将机械臂(2)及其工作空间的信息反馈给操作者;
(4) 在示教动作融合完成后,操作者发出声音信息,为示教动作命名,麦克风(7)采集操作者发出的声音信息,并发送到计算机主机(1)上进行处理,通过提取声音信息中的关键字,来为示教动作进行命名,示教动作以命名作为关键字,存储在运动原语存储库中,运动原语存储库用于示教动作复现阶段的动作复用。
CN201810127757.5A 2018-02-08 2018-02-08 一种基于动作融合的机器人示教系统及实施方法 Pending CN108127669A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810127757.5A CN108127669A (zh) 2018-02-08 2018-02-08 一种基于动作融合的机器人示教系统及实施方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810127757.5A CN108127669A (zh) 2018-02-08 2018-02-08 一种基于动作融合的机器人示教系统及实施方法

Publications (1)

Publication Number Publication Date
CN108127669A true CN108127669A (zh) 2018-06-08

Family

ID=62430728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810127757.5A Pending CN108127669A (zh) 2018-02-08 2018-02-08 一种基于动作融合的机器人示教系统及实施方法

Country Status (1)

Country Link
CN (1) CN108127669A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109078334A (zh) * 2018-06-21 2018-12-25 广州市世平计算机科技有限公司 一种基于虚拟机器人的vr操作引导及陪练方法和系统
CN109676615A (zh) * 2019-01-18 2019-04-26 合肥工业大学 一种利用手臂肌电信号与动作捕捉信号的喷涂机器人示教方法及装置
CN110142770A (zh) * 2019-05-07 2019-08-20 中国地质大学(武汉) 一种基于头戴显示装置的机器人示教系统及方法
CN110253583A (zh) * 2019-07-02 2019-09-20 北京科技大学 基于穿戴示教服视频的人体姿态机器人示教方法及装置
CN110421559A (zh) * 2019-06-21 2019-11-08 国网安徽省电力有限公司淮南供电公司 配网带电作业机器人的遥操作方法和动作轨迹库构建方法
CN110599823A (zh) * 2019-09-05 2019-12-20 北京科技大学 一种基于示教视频和解说语音融合的服务机器人示教方法
CN110788836A (zh) * 2018-08-03 2020-02-14 发那科株式会社 协同动作辅助装置
CN110788860A (zh) * 2019-11-11 2020-02-14 路邦科技授权有限公司 一种基于语音控制的仿生机器人动作控制方法
CN111421521A (zh) * 2020-01-07 2020-07-17 成都卡诺普自动化控制技术有限公司 一种基于视觉的机器人示教方法
CN112370035A (zh) * 2020-10-15 2021-02-19 同济大学 一种基于数字孪生平台的人机协作疲劳检测系统
CN112426225A (zh) * 2020-11-06 2021-03-02 哈尔滨工业大学 一种基于运动捕捉的放疗手术系统
CN112454333A (zh) * 2020-11-26 2021-03-09 青岛理工大学 基于图像分割及表面肌电信号的机器人示教系统及方法
CN113618717A (zh) * 2021-09-07 2021-11-09 浙江理工大学 人体上肢技能动作感测学习装置及方法
CN113693604A (zh) * 2021-08-30 2021-11-26 北京中医药大学东直门医院 肌张力等级的评估方法和装置
CN114800442A (zh) * 2022-03-22 2022-07-29 华南理工大学 基于肌电信号和运动学冗余的机器人拖动示教系统与方法
CN116449967A (zh) * 2023-06-20 2023-07-18 浙江强脑科技有限公司 仿生手教具及其控制方法、主控设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007268072A (ja) * 2006-03-31 2007-10-18 Casio Comput Co Ltd 生体情報測定システム
US20080121231A1 (en) * 2004-02-18 2008-05-29 Christer Sinderby Method and Device Using Myoelectrical Activity for Optimizing a Patient's Ventilatory Assist
CN105058396A (zh) * 2015-07-31 2015-11-18 深圳先进技术研究院 机器人示教系统及其控制方法
CN106363637A (zh) * 2016-10-12 2017-02-01 华南理工大学 一种机器人快速示教方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080121231A1 (en) * 2004-02-18 2008-05-29 Christer Sinderby Method and Device Using Myoelectrical Activity for Optimizing a Patient's Ventilatory Assist
JP2007268072A (ja) * 2006-03-31 2007-10-18 Casio Comput Co Ltd 生体情報測定システム
CN105058396A (zh) * 2015-07-31 2015-11-18 深圳先进技术研究院 机器人示教系统及其控制方法
CN106363637A (zh) * 2016-10-12 2017-02-01 华南理工大学 一种机器人快速示教方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张毅 等: "一种克服sEMG人机交互中肌肉疲劳的SVM算法" *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109078334B (zh) * 2018-06-21 2020-04-14 广州市世平计算机科技有限公司 一种基于虚拟机器人的vr操作引导及陪练方法和系统
CN109078334A (zh) * 2018-06-21 2018-12-25 广州市世平计算机科技有限公司 一种基于虚拟机器人的vr操作引导及陪练方法和系统
CN110788836A (zh) * 2018-08-03 2020-02-14 发那科株式会社 协同动作辅助装置
CN109676615A (zh) * 2019-01-18 2019-04-26 合肥工业大学 一种利用手臂肌电信号与动作捕捉信号的喷涂机器人示教方法及装置
CN110142770A (zh) * 2019-05-07 2019-08-20 中国地质大学(武汉) 一种基于头戴显示装置的机器人示教系统及方法
CN110421559A (zh) * 2019-06-21 2019-11-08 国网安徽省电力有限公司淮南供电公司 配网带电作业机器人的遥操作方法和动作轨迹库构建方法
CN110253583A (zh) * 2019-07-02 2019-09-20 北京科技大学 基于穿戴示教服视频的人体姿态机器人示教方法及装置
CN110599823B (zh) * 2019-09-05 2021-08-13 北京科技大学 一种基于示教视频和解说语音融合的服务机器人示教方法
CN110599823A (zh) * 2019-09-05 2019-12-20 北京科技大学 一种基于示教视频和解说语音融合的服务机器人示教方法
CN110788860A (zh) * 2019-11-11 2020-02-14 路邦科技授权有限公司 一种基于语音控制的仿生机器人动作控制方法
CN111421521A (zh) * 2020-01-07 2020-07-17 成都卡诺普自动化控制技术有限公司 一种基于视觉的机器人示教方法
CN112370035A (zh) * 2020-10-15 2021-02-19 同济大学 一种基于数字孪生平台的人机协作疲劳检测系统
CN112426225A (zh) * 2020-11-06 2021-03-02 哈尔滨工业大学 一种基于运动捕捉的放疗手术系统
CN112454333A (zh) * 2020-11-26 2021-03-09 青岛理工大学 基于图像分割及表面肌电信号的机器人示教系统及方法
CN112454333B (zh) * 2020-11-26 2022-02-11 青岛理工大学 基于图像分割及表面肌电信号的机器人示教系统及方法
US20220161422A1 (en) * 2020-11-26 2022-05-26 Qingdao university of technology Robot Teaching System Based On Image Segmentation And Surface Electromyography And Robot Teaching Method Thereof
US11504846B2 (en) * 2020-11-26 2022-11-22 Qingdao university of technology Robot teaching system based on image segmentation and surface electromyography and robot teaching method thereof
CN113693604A (zh) * 2021-08-30 2021-11-26 北京中医药大学东直门医院 肌张力等级的评估方法和装置
CN113693604B (zh) * 2021-08-30 2022-04-08 北京中医药大学东直门医院 一种基于佩戴者疲劳状态对肌张力等级的评估方法和装置
CN113618717A (zh) * 2021-09-07 2021-11-09 浙江理工大学 人体上肢技能动作感测学习装置及方法
CN114800442A (zh) * 2022-03-22 2022-07-29 华南理工大学 基于肌电信号和运动学冗余的机器人拖动示教系统与方法
CN114800442B (zh) * 2022-03-22 2023-07-25 华南理工大学 基于肌电信号和运动学冗余的机器人拖动示教系统与方法
CN116449967A (zh) * 2023-06-20 2023-07-18 浙江强脑科技有限公司 仿生手教具及其控制方法、主控设备

Similar Documents

Publication Publication Date Title
CN108127669A (zh) 一种基于动作融合的机器人示教系统及实施方法
CN110711374B (zh) 多模态舞蹈动作评价方法
CN110083202A (zh) 与近眼显示器的多模交互
CN108983636B (zh) 人机智能共生平台系统
CN108564643B (zh) 基于ue引擎的表演捕捉系统
DE102018103572A1 (de) Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und aufzeichnungsmedium
CN103679203A (zh) 机器人的人脸检测与情感识别系统及方法
CN101947152A (zh) 仿人形义肢的脑电-语音控制系统及工作方法
CN106325511A (zh) 一种虚拟现实实现系统
CN106354264A (zh) 基于视线追踪的实时人机交互系统及其工作方法
CN110688910B (zh) 一种可穿戴人体基本姿态识别的实现方法
CN206105869U (zh) 一种机器人快速示教装置
CN107030692A (zh) 一种基于感知增强的机械手遥操作方法及系统
CN110837750A (zh) 一种人脸质量评价方法与装置
CN106327583A (zh) 一种实现全景摄像的虚拟现实设备及其实现方法
CN207888651U (zh) 一种基于动作融合的机器人示教系统
CN109803109A (zh) 一种可穿戴增强现实远程视频系统及视频通话方法
CN111966217A (zh) 基于手势和眼动的无人机控制方法和系统
CN106272446A (zh) 机器人动作模拟的方法和装置
CN109015706A (zh) 电缆隧道巡检机器人头盔式虚拟控制终端
Hafeez et al. Multi-fusion sensors for action recognition based on discriminative motion cues and random forest
CN106778576A (zh) 一种基于sehm特征图序列的动作识别方法
CN113663312A (zh) 一种基于微惯性的无器械健身动作质量评估方法
CN108062102A (zh) 一种手势控制具有辅助避障功能的移动机器人遥操作系统
CN107783639A (zh) 虚拟现实休闲学习系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20240322

AD01 Patent right deemed abandoned