CN106896796A - 基于数据手套的工业机器人主从式示教编程方法 - Google Patents

基于数据手套的工业机器人主从式示教编程方法 Download PDF

Info

Publication number
CN106896796A
CN106896796A CN201710076891.2A CN201710076891A CN106896796A CN 106896796 A CN106896796 A CN 106896796A CN 201710076891 A CN201710076891 A CN 201710076891A CN 106896796 A CN106896796 A CN 106896796A
Authority
CN
China
Prior art keywords
industrial robot
teaching
data glove
instruction
palm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710076891.2A
Other languages
English (en)
Other versions
CN106896796B (zh
Inventor
刘文海
胡洁
王伟明
戚进
方懿
邵全全
马进
潘震宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201710076891.2A priority Critical patent/CN106896796B/zh
Publication of CN106896796A publication Critical patent/CN106896796A/zh
Application granted granted Critical
Publication of CN106896796B publication Critical patent/CN106896796B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/423—Teaching successive positions by walk-through, i.e. the tool head or end effector being grasped and guided directly, with or without servo-assistance, to follow a path
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39548—Enter interactively parameter for gripper, then teach movement

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

本发明提供了一种基于数据手套的工业机器人主从式示教编程方法，包括：步骤1：预先定义不同手势代表的指令含义；步骤2：通过数据手套采集使用者的手势来判断使用者示教的指令，并通过数据手套检测手掌运动，所述手掌运动包括位置和姿态变化；步骤3：将手掌运动转化为工业机器人末端运动。本发明结合手势指令和手掌运动，可以仅靠数据手套控制工业机器人持续运动，并通过手势指令记录示教点和回放示教点，使工业机器人重现示教的运动轨迹，从而完成示教工作，本发明中的方法能够有效解决传统编程方法不便捷不直观的问题。

Description

基于数据手套的工业机器人主从式示教编程方法
技术领域
本发明涉及机器人及其控制领域，具体地，涉及基于数据手套的工业机器人主从式示教编程方法。
背景技术
目前工业机器人示教一般是通过示教器来实现工业机器人的示教再现，这种示教方式不够灵活直观。同时，肢体语言作为一种最为有效的交流方式，其作为新的人机交互方式越来越普遍。采用这种肢体直接交互的方式进行工业机器人示教更加直观和方便。
关于人体动作捕捉近年来有多种体感设备可供选择，包括基于图像的和基于惯性检测等，但针对工业应用现场，其需要体感设备具有较高的检测可靠性，同时避免设备太过复杂。其中，数据手套集成了三轴加速度计、三轴陀螺仪、三轴磁阻传感器和五根弯曲传感器，能够同时检测手势和手掌运动，使得可靠直接示教编程成为可能。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于数据手套的工业机器人主从式示教编程方法。
根据本发明提供的基于数据手套的工业机器人主从式示教编程方法，包括如下步骤：
步骤1：预先定义不同手势所代表的示教指令含义；
步骤2：通过数据手套采集使用者的手势来判断使用者示教的指令，并通过数据手套检测手掌运动，所述手掌运动包括：手掌位置和手掌姿态的变化；
步骤3：将数据手套检测到的手掌运动转化为工业机器人的末端运动，结合手势的示教指令，完成机器人示教编程。
优选地，所述步骤1中预先定义不同手势代表不同的示教指令，所述示教指令包括：中断控制指令、记录示教点指令、设定坐标系指令、动作跟随指令、开始结束指令、回放指令。
优选地，所述步骤2中的数据手套包括五根弯曲传感器，所述五根弯曲传感器分别检测人体的五根手指的弯曲状态，不同手指通过弯曲或者伸直组合成不同的手势。
优选地，所述步骤2中的数据手套包括加速度计、陀螺仪、磁力计，所述加速度计、陀螺仪、磁力计能够融合解算手掌运动。
优选地，还包括坐标系设定步骤，开始示教前，通过设定坐标系指令分别沿着两两垂直的三个方向直线移动手进行机器人世界坐标系的设定，所述机器人世界坐标系的设定满足右手法则。
优选地，所述步骤3中的数据手套采用主从增量式方法控制工业机器人末端移动，即：以摆出动作跟随指令时手的位置为起始点，手掌运动相对于起始点的差值作为控制量，转变为机器人世界坐标系，控制工业机器人末端相对于机器人世界坐标系进行移动。
优选地，所述步骤3还包括：当工业机器人运动到示教点时，通过手势指令记录对应的示教点；所有示教点记录完毕后，通过手势指令回放示教点，完成编程。
与现有技术相比，本发明具有如下的有益效果：
本发明提供的基于数据手套的工业机器人主从式示教编程方法，采用数据手套进行直接示教编程，结合手势检测和手掌运动检测，采用主从增量式控制方式实现直观示教编程，具体的说是通过数据手套检测使用者手势和手掌运动，结合手势指令和手掌增量式运动，转变为工业机器人末端移动，并通过手势指令记录和回放示教点；该方法直接方便，仅靠数据手套就可以快速完成示教编程。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明中设定的多种手势指令示意图；
图2为本发明中进行示教编程的原理演示图；
图3为基于数据手套的工业机器人主从式示教编程方法的流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的基于数据手套的工业机器人主从式示教编程方法，包括如下步骤：
步骤S1：预先定义不同手势所代表的指令含义，存放在手势数据库；
步骤S2：在直接示教模式下，通过数据手套实时采集使用者的手势，与手势数据库比较转变为相应的示教操作指令，同时实时检测手掌运动，所述手掌运动包括：手掌位置和手掌姿态的变化；
步骤S3：如果检测手势为动作跟随指令，则将数据手套检测到的手掌运动转化为工业机器人的末端运动，如果是其他手势指令，则执行相应操作。
步骤S4：重复2-3步骤，完成工业机器人示教点的设定和回放，完成编程。
所述步骤S1中预先定义不同手势代表不同的示教操作指令，所述示教操作指令包括：中断控制指令、记录示教点指令、设定坐标系指令、动作跟随指令、开始结束指令、回放指令。
具体地，数据手套的五根弯曲传感器检测五根手指的弯曲状态，不同手指弯曲组合成不同的手势。
所述步骤S2中的数据手套设置有：加速度计、陀螺仪、磁力计，所述加速度计、陀螺仪、磁力计能够融合解算手掌运动。
具体地，开始示教前，通过手势的设定坐标系指令，依次沿着三个垂直直线移动手进行机器人世界坐标系的设定。坐标系设定以控制方便性准则任意设定，但要符合右手法则。数据手套采用主从增量式方式控制工业机器人末端移动，即：以摆出动作跟随指令时手的位置为起始点，手掌运动相对于起始点的差值作为控制量，转变为机器人世界坐标系，控制工业机器人末端相对于其自身位置进行移动。控制量记为：[Δdx,Δdy,Δdz,Δθx,Δθy,Δθz]，Δdx表示手掌沿X轴运动的差值，Δdy表示手掌沿Y轴运动的差值，Δdz表示手掌沿Z轴运动的差值，Δθx-Δθy-Δθz表示手掌姿态变化差值，可用欧拉角表示，也可用旋转矢量表示。
结合手势的中断控制和动作跟随指令以及手掌的主从式运动控制，可以持续直观地控制工业机器人末端移动到指定位置。工业机器人末端到达指定示教点时，手势的记录示教点指令可以保存记录示教点。最后，手势的回放指令可以回放保存一系列示教点，完成示教编程工作。
下面结合具体实施例对本发明中的技术方案做更加详细的说明。
示教编程人员手带数据手套，站在工业机器人附近，如图2所示。作出如图1中的开始手势便开始示教。首先摆出设定坐标系的手势，并沿着机器人世界坐标系X轴移动手掌，设定此直线为X轴，摆出中断控制手势，移动手掌到初始位置。之后以此方法依次设定Y和Z轴。摆出中断控制手势，移动手掌到初始位置。摆出动作跟随手势，便可以控制工业机器人末端移动。例如手掌相对于手掌初始点沿着X轴方向移动5mm，则工业机器人末端沿着其X轴移动5mm(增量式)，其他轴的移动和旋转类似。摆出中断控制手势，便可以中断工业机器人的控制，手掌回到初始点，也可回到其他方便移动手掌的位置作为初始点(其间工业机器人不移动)，再次摆出动作跟随手势，以此交替进行，便可以持续控制工业机器人末端移动到指定位置。
工业机器人末端到达工作点时，摆出保存记录示教点的手势，记录当前工业机器人各关节角度值。记录一系列示教点后，摆出回放手势，则回放之前记录的示教点，完成编程工作。
以上详细描述了本发明的具体实例。应当指出，本领域的示教无需创造性发明就可以根据本发明的构思做出诸多修改和变化，比如设计更多手势实现更多功能，比如优化出更合理的手势指令等，比如改变手掌运动检测办法。因此，凡本技术领域中的技术人员依照本发明的构思，在现有技术的基础上通过更改手势、增加手势或者其他手段做出的改进而得到的技术方案，皆应在由权利要求书所确定的保护范围内。
本发明结合手势指令和手掌运动，可以仅靠数据手套控制工业机器人持续运动，并通过手势指令记录示教点和回放示教点，使工业机器人重现示教的运动轨迹，从而完成示教工作。本发明中的示教编程方法有效解决了传统编程方法不便捷不直观的缺点。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种基于数据手套的工业机器人主从式示教编程方法，其特征在于，包括如下步骤：
步骤1：预先定义不同手势所代表的示教指令含义；
步骤2：通过数据手套采集使用者的手势来判断使用者示教的指令，并通过数据手套检测手掌运动，所述手掌运动包括：手掌位置和手掌姿态的变化；
步骤3：将数据手套检测到的手掌运动转化为工业机器人的末端运动，结合手势的示教指令，完成机器人示教编程。
2.根据权利要求1所述的基于数据手套的工业机器人主从式示教编程方法，其特征在于，所述步骤1中预先定义不同手势代表不同的示教指令，所述示教指令包括：中断控制指令、记录示教点指令、设定坐标系指令、动作跟随指令、开始结束指令、回放指令。
3.根据权利要求1所述的基于数据手套的工业机器人主从式示教编程方法，其特征在于，所述步骤2中的数据手套包括五根弯曲传感器，所述五根弯曲传感器分别检测人体的五根手指的弯曲状态，不同手指通过弯曲或者伸直组合成不同的手势。
4.根据权利要求1所述的基于数据手套的工业机器人主从式示教编程方法，其特征在于，所述步骤2中的数据手套包括加速度计、陀螺仪、磁力计，所述加速度计、陀螺仪、磁力计能够融合解算手掌运动。
5.根据权利要求1至4中任一项所述的基于数据手套的工业机器人主从式示教编程方法，其特征在于，还包括坐标系设定步骤，开始示教前，通过设定坐标系指令分别沿着两两垂直的三个方向直线移动手进行机器人世界坐标系的设定，所述机器人世界坐标系的设定满足右手法则。
6.根据权利要求1所述的基于数据手套的工业机器人主从式示教编程方法，其特征在于，所述步骤3中的数据手套采用主从增量式方法控制工业机器人末端移动，即：以摆出动作跟随指令时手的位置为起始点，手掌运动相对于起始点的差值作为控制量，转变为机器人世界坐标系，控制工业机器人末端相对于机器人世界坐标系进行移动。
7.根据权利要求1所述的基于数据手套的工业机器人主从式示教编程方法，其特征在于，所述步骤3还包括：当工业机器人运动到示教点时，通过手势指令记录对应的示教点；所有示教点记录完毕后，通过手势指令回放示教点，完成编程。
CN201710076891.2A 2017-02-13 2017-02-13 基于数据手套的工业机器人主从式示教编程方法 Active CN106896796B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710076891.2A CN106896796B (zh) 2017-02-13 2017-02-13 基于数据手套的工业机器人主从式示教编程方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710076891.2A CN106896796B (zh) 2017-02-13 2017-02-13 基于数据手套的工业机器人主从式示教编程方法

Publications (2)

Publication Number Publication Date
CN106896796A true CN106896796A (zh) 2017-06-27
CN106896796B CN106896796B (zh) 2020-09-04

Family

ID=59199055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710076891.2A Active CN106896796B (zh) 2017-02-13 2017-02-13 基于数据手套的工业机器人主从式示教编程方法

Country Status (1)

Country Link
CN (1) CN106896796B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710443A (zh) * 2018-05-21 2018-10-26 云谷（固安）科技有限公司 位移数据的生成方法和控制系统
CN108958479A (zh) * 2018-06-14 2018-12-07 南京师范大学 基于数据手套的通用三维虚拟场景实时交互方法
CN109500815A (zh) * 2018-12-03 2019-03-22 深圳市越疆科技有限公司 用于前置姿态判断学习的机器人
WO2019083809A1 (en) * 2017-10-23 2019-05-02 Sony Interactive Entertainment Inc. VR BODY TRACKING WITHOUT EXTERNAL SENSORS
CN110340866A (zh) * 2018-04-03 2019-10-18 台达电子工业股份有限公司 机械手臂的作动教导方法及其适用的手势教导装置
CN110721465A (zh) * 2019-09-02 2020-01-24 重庆大学 一种实时动态追踪的游戏手套
CN110815188A (zh) * 2019-11-19 2020-02-21 福州大学 基于肢体运动进行工业机器人示教的系统及方法
CN112917470A (zh) * 2019-12-06 2021-06-08 鲁班嫡系机器人（深圳）有限公司 一种机械手的示教方法、装置、系统、存储介质及设备
CN113084848A (zh) * 2021-04-08 2021-07-09 河北省科学院应用数学研究所 主从式灵巧手跟随方法及终端设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006330136A (ja) * 2005-05-24 2006-12-07 Advanced Telecommunication Research Institute International 表情付け音声発生装置
CN105094373A (zh) * 2015-07-30 2015-11-25 深圳汇达高科科技有限公司 操作工业机器人的手势采集装置和相应手势采集方法
CN105328700A (zh) * 2015-11-12 2016-02-17 东北大学 一种机器人灵巧手示教编程的数据手套
CN106354262A (zh) * 2016-09-09 2017-01-25 哈尔滨理工大学 基于gl优化的神经网络手势识别人机交互方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006330136A (ja) * 2005-05-24 2006-12-07 Advanced Telecommunication Research Institute International 表情付け音声発生装置
CN105094373A (zh) * 2015-07-30 2015-11-25 深圳汇达高科科技有限公司 操作工业机器人的手势采集装置和相应手势采集方法
CN105328700A (zh) * 2015-11-12 2016-02-17 东北大学 一种机器人灵巧手示教编程的数据手套
CN106354262A (zh) * 2016-09-09 2017-01-25 哈尔滨理工大学 基于gl优化的神经网络手势识别人机交互方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019083809A1 (en) * 2017-10-23 2019-05-02 Sony Interactive Entertainment Inc. VR BODY TRACKING WITHOUT EXTERNAL SENSORS
US10777006B2 (en) 2017-10-23 2020-09-15 Sony Interactive Entertainment Inc. VR body tracking without external sensors
CN110340866A (zh) * 2018-04-03 2019-10-18 台达电子工业股份有限公司 机械手臂的作动教导方法及其适用的手势教导装置
CN108710443A (zh) * 2018-05-21 2018-10-26 云谷（固安）科技有限公司 位移数据的生成方法和控制系统
CN108958479B (zh) * 2018-06-14 2021-11-02 南京师范大学 基于数据手套的通用三维虚拟场景实时交互方法
CN108958479A (zh) * 2018-06-14 2018-12-07 南京师范大学 基于数据手套的通用三维虚拟场景实时交互方法
CN109500815A (zh) * 2018-12-03 2019-03-22 深圳市越疆科技有限公司 用于前置姿态判断学习的机器人
CN109500815B (zh) * 2018-12-03 2023-06-02 日照市越疆智能科技有限公司 用于前置姿态判断学习的机器人
CN110721465A (zh) * 2019-09-02 2020-01-24 重庆大学 一种实时动态追踪的游戏手套
CN110815188A (zh) * 2019-11-19 2020-02-21 福州大学 基于肢体运动进行工业机器人示教的系统及方法
CN112917470A (zh) * 2019-12-06 2021-06-08 鲁班嫡系机器人（深圳）有限公司 一种机械手的示教方法、装置、系统、存储介质及设备
CN113084848A (zh) * 2021-04-08 2021-07-09 河北省科学院应用数学研究所 主从式灵巧手跟随方法及终端设备
CN113084848B (zh) * 2021-04-08 2022-06-14 河北省科学院应用数学研究所 主从式灵巧手跟随方法及终端设备

Also Published As

Publication number Publication date
CN106896796B (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN106896796A (zh) 基于数据手套的工业机器人主从式示教编程方法
WO2022183775A1 (zh) 一种混合增强教学场景中多移动机制融合方法
Bruder et al. Arch-explore: A natural user interface for immersive architectural walkthroughs
CN108549322B (zh) 一种针对机器人圆弧轨迹运动的位姿同步方法和装置
KR101652535B1 (ko) 차량 인터페이스를 위한 제스처 기반 제어 시스템
JP6301159B2 (ja) 三次元指先トラッキング
Fang et al. A robotic hand-arm teleoperation system using human arm/hand with a novel data glove
KR101833253B1 (ko) 증강현실 환경에서의 가상객체 조작방법 및 이를 구현하는 증강현실 장치
CN108161882A (zh) 一种基于增强现实的机器人示教再现方法及装置
CN109079794B (zh) 一种基于人体姿态跟随的机器人控制与示教方法
CN102402290A (zh) 一种肢体姿势识别方法及系统
CN103777748A (zh) 一种体感输入方法及装置
CN108279773B (zh) 一种基于marg传感器和磁场定位技术的数据手套
Chunduru et al. Hand tracking in 3d space using mediapipe and pnp method for intuitive control of virtual globe
CN113221726A (zh) 一种基于视觉与惯性信息融合的手部姿态估计方法及系统
Zaldívar-Colado et al. A mixed reality for virtual assembly
CN109960404B (zh) 一种数据处理方法及装置
Boruah et al. Development of a learning-aid tool using hand gesture based human computer interaction system
Touretzky et al. The Tekkotsu" crew": Teaching robot programming at a higher level
Fleisch et al. Stroke-input methods for immersive styling environments
CN103984407B (zh) 使用运动传感器融合来进行运动识别的方法及装置
Luo et al. Building hand motion-based character animation: The case of puppetry
CN110039546A (zh) 用于控制机器人动作的方法及机器人
Hoffmann et al. Automatic calibration of a motion capture system based on inertial sensors for tele-manipulation
CN112181135B (zh) 一种基于增强现实的6-dof视触觉交互方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant