CN110815188A - 基于肢体运动进行工业机器人示教的系统及方法 - Google Patents

基于肢体运动进行工业机器人示教的系统及方法 Download PDF

Info

Publication number
CN110815188A
CN110815188A CN201911134356.3A CN201911134356A CN110815188A CN 110815188 A CN110815188 A CN 110815188A CN 201911134356 A CN201911134356 A CN 201911134356A CN 110815188 A CN110815188 A CN 110815188A
Authority
CN
China
Prior art keywords
teaching
industrial robot
motion
limb
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911134356.3A
Other languages
English (en)
Inventor
吴海彬
许金山
卓建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201911134356.3A priority Critical patent/CN110815188A/zh
Publication of CN110815188A publication Critical patent/CN110815188A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed

Abstract

本发明涉及一种基于肢体运动进行工业机器人示教的系统及方法，其特征在于，包括工业机器人、人体动作捕捉器、路由器和计算机；所述人体动作捕捉器采集操作者肢体关节运动信息，通过所述路由器传输给计算机，经所述计算机处理后，把与肢体动作对应的机器人运动指令，通过所述路由器传输至工业机器人，控制工业机器人进行相应动作。本发明利用肢体静姿态指令和运动姿态指令，可以组合出较为丰富的示教指令，能满足工业机器人灵活、非结构化的应用场景。

Description

基于肢体运动进行工业机器人示教的系统及方法
技术领域
本发明属于机器人技术领域，具体涉及一种基于肢体运动进行工业机器人示教的系统及方法。
背景技术
传统的机器人制造系统，大多采用依赖于示教器的示教方式。操作人员通过操作示教器，在线调整机器人的状态，使机器人的各个关节或是末端到达期望位姿，同时机器人控制器记录下位姿信息，完成示教。采用该示教方式，操作人员需要掌握机器人技术、计算机编程技术等专业知识，操作门槛高、时间成本高，极大限制了机器人在制造系统中的应用。随着社会科学和相关技术的高速发展，社会生产和生活方式的不断变化，为机器人高端制造的生产应用带来了全新的挑战和机遇，同时也促使人们对人和机器人的交互方式进行全新的思考和定位，由此不断探索贴近人们自然思维方式的新型人机交互技术。
发明内容
有鉴于此，本发明的目的在于提供一种基于肢体运动进行工业机器人示教的系统及方法，利用肢体静姿态指令和运动姿态指令，可以组合出较为丰富的示教指令，能满足工业机器人灵活、非结构化的应用场景。
为实现上述目的，本发明采用如下技术方案：
一种基于肢体运动进行工业机器人示教的系统，包括工业机器人、人体动作捕捉器、路由器和计算机；所述人体动作捕捉器采集操作者肢体关节运动信息，通过所述路由器传输给计算机，经所述计算机处理后，把与肢体动作对应的机器人运动指令，通过所述路由器传输至工业机器人，控制工业机器人进行相应动作。
进一步的，所述工业机器人包含机器人本体和机器人控制器。
进一步的，所述机器人本体为关节型串联机器人。
进一步的，所述人体动作捕捉器包括弯曲传感器、惯性处理单元和Wi-Fi通讯模块；所述人体动作捕捉器通过绑带附着于操作者肢体关节。
一种基于肢体运动进行工业机器人示教的系统的示教方法，包括以下步骤：
步骤S1:示教前，计算机接收操作者演示的肢体运动数据并预处理，根据指定的肢体运动类型，建立对工业机器人进行示教的指令库；
步骤S2:示教时，计算机提取肢体运动特征，并与指令库指令进行对比和匹配，实现指令识别，进而控制工业机器人完成指令规定的动作；
步骤S3:记录工业机器人运动关键的点、位姿和轨迹数据，并存储于数据库。
进一步的，所述预处理采用滑动平均滤波与抖动去除滤波融合的滤波算法进行降噪：
其中：
Figure 100002_DEST_PATH_IMAGE004
为滑动均值，
Figure 100002_DEST_PATH_IMAGE006
为窗口长度，
Figure 100002_DEST_PATH_IMAGE008
为滤波器输出，
Figure 100002_DEST_PATH_IMAGE010
为设定的阈值，为权重。
进一步的，所述肢体运动类型包括静止姿态和运动姿态，所述静姿态指令由不同手指弯曲不同的角度组合而成；所述运动姿态指令为一段预设的肢体运动。
进一步的，所述运动姿态指令设定基于HMM模型
Figure 100002_DEST_PATH_IMAGE014
Figure 100002_DEST_PATH_IMAGE016
学习问题的求解算法，具体为：利用Baum-Welch算法，对各肢体运动模型进行训练，输出最优的HMM模型
Figure 706596DEST_PATH_IMAGE016
，并保存在指令库中。
进一步的，所述静姿态指令包括：关节示教模式指令、末端示教模式指令和示教点记录指令。
进一步的，所述运动姿态指令包括：机器人关节角度增减指令、机器人末端线性移动指令、机器人末端旋转指令。
本发明与现有技术相比具有以下有益效果：
本发明利用肢体静姿态指令和运动姿态指令，可以组合出较为丰富的示教指令，能满足工业机器人灵活、非结构化的应用场景；操作人员无需拥有专业的技术背景就可完成示教过程，贴近自然思维、简单易操作；区别于示教器的示教方法，操作人员的示教环境不受限制，既能保证操作人员的安全，又能扩展应用场景。
附图说明
图1是本发明系统结构示意图；
图2是本发明一实施例中人体动作捕捉器设置图；
图3是本发明一实施例中数据传输图；
图4是本发明一实施例中示教流程图；
图中：1-工业机器人本体，2-机器人控制器，3-路由器，4-计算机，5-穿戴人体动作捕捉器的操作者。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于肢体运动进行工业机器人示教的系统，包括工业机器人、人体动作捕捉器、路由器和计算机；所述人体动作捕捉器采集操作者肢体关节运动信息，通过所述路由器传输给计算机，经所述计算机处理后，把与肢体动作对应的机器人运动指令，通过所述路由器传输至工业机器人，控制工业机器人进行相应动作。
在本实施例中，所述工业机器人包含机器人本体和机器人控制器。所述机器人本体为关节型串联机器人。所述机器人控制器与机器人本体相配套；
在本实施例中，所述人体动作捕捉器包括弯曲传感器、惯性处理单元和Wi-Fi通讯模块；所述人体动作捕捉器通过绑带附着于操作者肢体关节。所述机器人控制器、计算机和人体动作捕捉器均具有网络通信接口，且均与所述路由器形成网络互联通路；
在本实施例中，还提供了一种基于肢体运动进行工业机器人示教的系统的示教方法，包括以下步骤：
步骤S1:示教前，计算机接收操作者演示的肢体运动数据并预处理，根据指定的肢体运动类型，建立对工业机器人进行示教的指令库；
步骤S2:示教时，计算机提取肢体运动特征，并与指令库指令进行对比和匹配，实现指令识别，进而控制工业机器人完成指令规定的动作；
步骤S3:记录工业机器人运动关键的点、位姿和轨迹数据，并存储于数据库。
在本实施例中，所述预处理采用滑动平均滤波与抖动去除滤波融合的滤波算法进行降噪：
Figure 800847DEST_PATH_IMAGE002
其中：
Figure 196057DEST_PATH_IMAGE004
为滑动均值，
Figure 72746DEST_PATH_IMAGE006
为窗口长度，
Figure 19842DEST_PATH_IMAGE008
为滤波器输出，
Figure 286875DEST_PATH_IMAGE010
为设定的阈值，
Figure 800290DEST_PATH_IMAGE012
为权重。
在本实施例中，所述肢体运动类型包括静止姿态和运动姿态，所述静姿态指令由不同手指弯曲不同的角度组合而成；所述运动姿态指令为一段预设的肢体运动。所述静姿态指令包括：关节示教模式指令、末端示教模式指令和示教点记录指令。所述运动姿态指令包括：机器人关节角度增减指令、机器人末端线性移动指令、机器人末端旋转指令。
在本实施例中，所述运动姿态指令设定基于HMM模型
Figure 531485DEST_PATH_IMAGE014
Figure 337898DEST_PATH_IMAGE016
学习问题的求解算法，具体为：利用Baum-Welch算法，对各肢体运动模型进行训练，输出最优的HMM模型
Figure 154545DEST_PATH_IMAGE014
Figure 203141DEST_PATH_IMAGE016
，并保存在指令库中。
本实施例中，如1图所示，当前示教者左部肢体动作为一基座关节示教模式指令，预先定义为左手静止的“C”型手势，右部肢体动作为一机器人关节角度增减指令，预先定义为右手水平顺逆时针画圆弧的特定肢体运动，两者配合可控制机器人基座关节角度的增减；
其中，机器人关节角度和运动范围由机器人控制器检测，超出限定值立即停止运动；
本实施例中，肢体静姿态指令识别时，手指的弯曲角度与指令库中肢体静姿态指令比较，差值小于设定的阈值即为操作人员所表达的肢体静姿态指令；
求取角度差值的方法为：
Figure DEST_PATH_IMAGE018
其中，
Figure DEST_PATH_IMAGE022
为角度差值，
Figure DEST_PATH_IMAGE024
Figure DEST_PATH_IMAGE026
为当前操作者各手指角度值，
Figure DEST_PATH_IMAGE028
Figure DEST_PATH_IMAGE030
为指令库肢体静姿态指令手指角度；
本实施例中，肢体运动姿态指令的识别依赖于HMM模型
Figure 299097DEST_PATH_IMAGE014
Figure 541991DEST_PATH_IMAGE016
概率预测问题的求解算法：利用Viterbi算法，对采集的肢体运动信息序列与训练好的HMM模型进行计算评估，选取概率最大
Figure DEST_PATH_IMAGE032
Figure DEST_PATH_IMAGE034
对应的肢体运动姿态指令；
本实施例中，机器人运动关键的点、位姿和轨迹数据由计算机保存，机器人控制器利用逆运动学反解出各关节的角度值，即可复现出示教轨迹，完成示教。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (10)

1.一种基于肢体运动进行工业机器人示教的系统，其特征在于，包括工业机器人、人体动作捕捉器、路由器和计算机；所述人体动作捕捉器采集操作者肢体关节运动信息，通过所述路由器传输给计算机，经所述计算机处理后，把与肢体动作对应的机器人运动指令，通过所述路由器传输至工业机器人，控制工业机器人进行相应动作。
2.根据权利要求1所述的基于肢体运动进行工业机器人示教的系统，其特征在于：所述工业机器人包含机器人本体和机器人控制器。
3.根据权利要求2所述的基于肢体运动进行工业机器人示教的系统，其特征在于：
所述机器人本体为关节型串联机器人。
4.根据权利要求1所述的基于肢体运动进行工业机器人示教的系统，其特征在于：所述人体动作捕捉器包括弯曲传感器、惯性处理单元和Wi-Fi通讯模块；所述人体动作捕捉器通过绑带附着于操作者肢体关节。
5.一种基于肢体运动进行工业机器人示教的系统的示教方法，其特征在于，包括以下步骤：
步骤S1:示教前，计算机接收操作者演示的肢体运动数据并预处理，根据指定的肢体运动类型，建立对工业机器人进行示教的指令库；
步骤S2:示教时，计算机提取肢体运动特征，并与指令库指令进行对比和匹配，实现指令识别，进而控制工业机器人完成指令规定的动作；
步骤S3:记录工业机器人运动关键的点、位姿和轨迹数据，并存储于数据库。
6.根据权利要求5所述的基于肢体运动进行工业机器人示教的系统的示教方法，其特征在于：所述预处理采用滑动平均滤波与抖动去除滤波融合的滤波算法进行降噪：
Figure DEST_PATH_IMAGE002
其中：
Figure DEST_PATH_IMAGE004
为滑动均值，
Figure DEST_PATH_IMAGE006
为窗口长度，
Figure DEST_PATH_IMAGE008
为滤波器输出，为设定的阈值，
Figure DEST_PATH_IMAGE012
为权重。
7.根据权利要求5所述的基于肢体运动进行工业机器人示教的系统的示教方法，其特征在于，所述肢体运动类型包括静止姿态和运动姿态，所述静姿态指令由不同手指弯曲不同的角度组合而成；所述运动姿态指令为一段预设的肢体运动。
8.根据权利要求7所述的基于肢体运动进行工业机器人示教的系统的示教方法，其特征在于：所述运动姿态指令设定基于HMM模型
Figure DEST_PATH_IMAGE014
学习问题的求解算法，具体为：利用Baum-Welch算法，对各肢体运动模型进行训练，输出最优的HMM模型
Figure 294552DEST_PATH_IMAGE014
，并保存在指令库中。
9.根据权利要求7所述的基于肢体运动进行工业机器人示教的系统的示教方法，其特征在于：所述静姿态指令包括：关节示教模式指令、末端示教模式指令和示教点记录指令。
10.根据权利要求7所述的基于肢体运动进行工业机器人示教的系统的示教方法，其特征在于：所述运动姿态指令包括：机器人关节角度增减指令、机器人末端线性移动指令、机器人末端旋转指令。
CN201911134356.3A 2019-11-19 2019-11-19 基于肢体运动进行工业机器人示教的系统及方法 Pending CN110815188A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911134356.3A CN110815188A (zh) 2019-11-19 2019-11-19 基于肢体运动进行工业机器人示教的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911134356.3A CN110815188A (zh) 2019-11-19 2019-11-19 基于肢体运动进行工业机器人示教的系统及方法

Publications (1)

Publication Number Publication Date
CN110815188A true CN110815188A (zh) 2020-02-21

Family

ID=69556697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911134356.3A Pending CN110815188A (zh) 2019-11-19 2019-11-19 基于肢体运动进行工业机器人示教的系统及方法

Country Status (1)

Country Link
CN (1) CN110815188A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111515940A (zh) * 2020-05-21 2020-08-11 阜阳职业技术学院 一种可重构模块化机器人系统
CN111823215A (zh) * 2020-06-08 2020-10-27 深圳市越疆科技有限公司 一种工业机器人的同步控制方法及装置
CN112464801A (zh) * 2020-11-26 2021-03-09 配天机器人技术有限公司 一种数据滤波方法和装置
CN114131591A (zh) * 2021-12-03 2022-03-04 山东大学 外肢体机器人作业策略半物理仿真方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011065034A1 (ja) * 2009-11-24 2011-06-03 株式会社豊田自動織機 ロボットの動作を制御する方法およびロボットシステム
CN105058396A (zh) * 2015-07-31 2015-11-18 深圳先进技术研究院 机器人示教系统及其控制方法
CN106896796A (zh) * 2017-02-13 2017-06-27 上海交通大学 基于数据手套的工业机器人主从式示教编程方法
CN107363813A (zh) * 2017-08-17 2017-11-21 北京航空航天大学 一种基于可穿戴设备的桌面工业机器人示教系统和方法
CN108803874A (zh) * 2018-05-30 2018-11-13 广东省智能制造研究所 一种基于机器视觉的人机行为交互方法
CN109676615A (zh) * 2019-01-18 2019-04-26 合肥工业大学 一种利用手臂肌电信号与动作捕捉信号的喷涂机器人示教方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011065034A1 (ja) * 2009-11-24 2011-06-03 株式会社豊田自動織機 ロボットの動作を制御する方法およびロボットシステム
CN105058396A (zh) * 2015-07-31 2015-11-18 深圳先进技术研究院 机器人示教系统及其控制方法
CN106896796A (zh) * 2017-02-13 2017-06-27 上海交通大学 基于数据手套的工业机器人主从式示教编程方法
CN107363813A (zh) * 2017-08-17 2017-11-21 北京航空航天大学 一种基于可穿戴设备的桌面工业机器人示教系统和方法
CN108803874A (zh) * 2018-05-30 2018-11-13 广东省智能制造研究所 一种基于机器视觉的人机行为交互方法
CN109676615A (zh) * 2019-01-18 2019-04-26 合肥工业大学 一种利用手臂肌电信号与动作捕捉信号的喷涂机器人示教方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
陈畅 等: ""基于自然手势交互的工业机器人示教系统设计与实现"", 《制造业自动化》 *
陶林: ""基于手势识别的装配机器人控制系统研发"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111515940A (zh) * 2020-05-21 2020-08-11 阜阳职业技术学院 一种可重构模块化机器人系统
CN111823215A (zh) * 2020-06-08 2020-10-27 深圳市越疆科技有限公司 一种工业机器人的同步控制方法及装置
CN112464801A (zh) * 2020-11-26 2021-03-09 配天机器人技术有限公司 一种数据滤波方法和装置
CN112464801B (zh) * 2020-11-26 2023-04-18 配天机器人技术有限公司 一种机器人数据处理方法和装置
CN114131591A (zh) * 2021-12-03 2022-03-04 山东大学 外肢体机器人作业策略半物理仿真方法及系统

Similar Documents

Publication Publication Date Title
CN110815188A (zh) 基于肢体运动进行工业机器人示教的系统及方法
Qureshi et al. Robot gains social intelligence through multimodal deep reinforcement learning
US10293483B2 (en) Apparatus and methods for training path navigation by robots
Amor et al. Interaction primitives for human-robot cooperation tasks
CN105867630A (zh) 机器人的手势识别方法及装置及机器人系统
CN103116279B (zh) 脑控机器人系统的模糊离散事件共享控制方法
Aggarwal et al. Design and implementation of a wireless gesture controlled robotic arm with vision
Lee et al. Incremental motion primitive learning by physical coaching using impedance control
CN105807926A (zh) 一种基于三维连续动态手势识别的无人机人机交互方法
CN106896796B (zh) 基于数据手套的工业机器人主从式示教编程方法
Rozo et al. Robot learning from demonstration of force-based tasks with multiple solution trajectories
Mead et al. A probabilistic framework for autonomous proxemic control in situated and mobile human-robot interaction
CN112207835B (zh) 一种基于示教学习实现双臂协同作业任务的方法
Mühlig et al. Automatic selection of task spaces for imitation learning
JP7117237B2 (ja) ロボット制御装置、ロボットシステム及びロボット制御方法
CN105042789A (zh) 一种智能空调的控制方法及系统
CN104858852A (zh) 类人机器人实时模仿人体上肢动作的优化与约束方法
CN110807391A (zh) 基于视觉的人-无人机交互用人体姿态指令识别方法
Kim et al. Using human gaze to improve robustness against irrelevant objects in robot manipulation tasks
Di Fava et al. Multi-contact motion retargeting from human to humanoid robot
Narita et al. Policy blending and recombination for multimodal contact-rich tasks
Tian et al. A cloud-based robust semaphore mirroring system for social robots
Rett et al. Gesture recognition using a marionette model and dynamic bayesian networks (dbns)
KR20230093191A (ko) 오차 종류별 관절 인식 방법, 서버
Qiu et al. Hand pose-based task learning from visual observations with semantic skill extraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200221

RJ01 Rejection of invention patent application after publication