CN112454333A - 基于图像分割及表面肌电信号的机器人示教系统及方法 - Google Patents

基于图像分割及表面肌电信号的机器人示教系统及方法 Download PDF

Info

Publication number
CN112454333A
CN112454333A CN202011348771.1A CN202011348771A CN112454333A CN 112454333 A CN112454333 A CN 112454333A CN 202011348771 A CN202011348771 A CN 202011348771A CN 112454333 A CN112454333 A CN 112454333A
Authority
CN
China
Prior art keywords
robot
human body
joint
joint arm
teaching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011348771.1A
Other languages
English (en)
Other versions
CN112454333B (zh
Inventor
潘勇
陈成军
李东年
赵正旭
洪军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN202011348771.1A priority Critical patent/CN112454333B/zh
Priority to US17/153,202 priority patent/US11504846B2/en
Priority to JP2021007163A priority patent/JP7067816B1/ja
Publication of CN112454333A publication Critical patent/CN112454333A/zh
Application granted granted Critical
Publication of CN112454333B publication Critical patent/CN112454333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/423—Teaching successive positions by walk-through, i.e. the tool head or end effector being grasped and guided directly, with or without servo-assistance, to follow a path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/24—Use of tools
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39451—Augmented reality for robot programming
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Educational Technology (AREA)
  • Automation & Control Theory (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

本发明涉及基于图像分割及表面肌电信号的机器人示教系统及方法，包括RGB‑D相机、表面肌电信号传感器、机器人和计算机，RGB‑D相机采集机器人的示教场景视频信息并发送至所述计算机，表面肌电信号传感器采集人体表面肌电信号、惯性加速度信号并发送至计算机，计算机从视频信息中识别出机器人关节臂和人体关节并检测出二者的接触部位，计算机还计算出人体关节和机器人关节臂接触后人体接触部位的施力大小和施力方向，然后发出信号控制机器人被接触关节臂按照该施力大小和施力方向运动，实现拖动示教。本发明示教系统，整体结构简单、易部署且成本低，同时示教方法简单易操作，对力的检测响应速度快，能够准确控制机器人执行示教动作。

Description

基于图像分割及表面肌电信号的机器人示教系统及方法
技术领域
本发明涉及基于图像分割及表面肌电信号的机器人示教系统及方法，属于机器人、智能制造领域。
背景技术
在传统的工业机器人本体(以下简称：机器人)示教系统中采用示教器示教和拖动示教两种方式。其中，采用拖动示教的机器人通常在末端设置一个六维力传感器，因此，机器人不仅仅可以获取示教过程中的轨迹信息，还可以获取在演示过程中的交互力信息。此种方法虽然比较容易实现机器人示教，然而基于末端力检测方式的力控制响应慢，并且六维力传感器价格昂贵，实现成本较高。现有的另一种方案是：在机器人关节中，在减速器输出端配置力矩传感器和双编码器，组成柔性关节或线弹性驱动器。这种方法虽然有利于进行基于动力学的位置控制，实现力的控制，但是在关节处配置力矩传感器会增加关节结构的复杂度，且会降低关节传动链的刚度。
发明内容
为了解决上述技术问题，本发明提供一种基于图像分割及表面肌电信号的机器人示教系统，通过深度学习网络进行图像分割，分割并识别出机器人关节臂及人体各关节，然后判断人体关节与机器人关节臂之间的接触情况，利用表面肌电信号传感器识别人体力量大小及施力的方向，进而控制机器人各关节臂运动，实现拖动示教。
本发明技术方案一如下：
基于图像分割及表面肌电信号的机器人示教系统，包括RGB-D相机、表面肌电信号传感器、机器人和计算机，所述RGB-D相机、表面肌电信号传感器以及机器人均与所述计算机通信连接，所述RGB-D相机采集所述机器人的示教场景视频信息并发送至所述计算机，所述表面肌电信号传感器穿戴在示教人员的小臂上，所述表面肌电信号传感器采集人体表面肌电信号、惯性加速度信号并发送至计算机，所述计算机从所述视频信息中识别出机器人关节臂和人体关节并检测出人体关节与机器人关节臂的接触部位，所述计算机根据人体表面肌电信号和惯性加速度信号计算出人体关节和机器人关节臂接触后人体接触部位的施力大小和施力方向，然后计算机发出信号控制所述被接触的机器人关节臂按照该施力大小和施力方向运动，实现拖动示教。
更优地，所述计算机内运行有机器人关节臂分割模块、人体关节分割模块和距离检测模块；所述机器人关节臂分割模块通过已训练的深度学习图像分割网络将所述视频信息进行图像分割，识别出机器人的各关节臂及其类型，然后在视频图像中将不同的关节臂标注为不同颜色；所述人体关节分割模块识别所述视频信息中人体的骨骼节点，对骨骼节点进行分割标注，并计算出各骨骼节点的坐标信息；所述距离检测模块检测人体各关节与机器人关节臂的距离，判断人体关节是否机器人关节臂接触，如果接触，则进一步判断人体各关节与机器人的哪一关节臂接触，然后根据当前的运行模式，发出与该运行模式相对应的信号，所述运行模式包括示教模式和工作模式，在示教模式下，若是人体手部关节与机器人关节臂接触，则发出信号检测指令，若否，则发出预警信号；在工作模式下，人体关节与机器人关节臂有接触，则发出碰撞信号和预警信号。
更优地，所述计算机内还运行有表面肌电信号检测模块和机器人通信控制模块；所述表面肌电信号检测模块接收到信号检测指令后，根据接收到的表面肌电信号和惯性加速度信号判断人体关节与机器人关节臂接触后的施力大小和施力方向，然后将施力大小、施力方向以及人体所接触的机器人关节臂类型发送至所述机器人通信控制模块；所述机器人通信控制模块接收来自表面肌电信号检测模块发出的信息，根据所述机器人关节臂类型发出信号控制所接触的机器人关节臂与机器人基座之间的关节运动，根据所述施力方向控制所接触机器人关节臂的运动方向，根据所述施力大小控制所接触机器人关节臂的运动速度，同时，存储示教过程中机器人的运动参数；所述机器人通信控制模块接收到碰撞信号控制机器人立即停止运动，待碰撞信号取消后再继续控制机器人运行。
更优地，所述距离检测模块具体执行如下步骤：S31、将所述机器人关节臂分割模块分割出的机器人各关节臂的深度图像及所述人体关节分割模块分割出的人体各关节的深度图像转换为点云；S32、对机器人不同关节臂的点云进行部位标注，对人体各关节的三维点云进行部位标注，生成点云标签；S33、将机器人各关节臂及人体各关节之间的点云进行碰撞检测，当检测到各部位点云之间发生碰撞时进入步骤S34；S34、在示教模式下，查询与机器人关节臂发生碰撞的人体关节的点云标签，判断机器人关节臂与人体关节接触部位，如果是人体手部关节与机器人关节臂碰撞，则发送信号检测指令至表面肌电信号检测模块；否则，发出预警信号；在工作模式下，发出预警信号并发送碰撞信号至机器人通信控制模块，控制机器人暂停运行。
更优地，所述计算机内还运行增强现实验证模块，其包括虚拟机器人模型，增强现实显示模块，AR注册卡，具体步骤如下：S61、使用机器人参数建立虚拟机器人三维模型，根据各关节臂的运动关系添加虚拟机器人关节DOF节点并建立父子关系，构建虚拟机器人运动学模型；S62、控制机器人运动，将机器人的末端执行器依次放置在AR注册卡的四个角点上，当末端执行器到达AR注册卡的角点上时，通过机器人读取所述末端执行器的坐标值，获得所述AR注册卡角点在机器人坐标系下的坐标，由于所述AR注册卡四个角点在AR注册卡坐标系下的坐标已知，计算出AR注册卡坐标系到机器人坐标系之间的转换关系，在AR注册卡坐标系描述的虚拟机器人位置，通过所述转换关系转换到机器人坐标系下，将虚拟机器人模型与机器人重合；S63、在示教完成后，将虚拟机器人模型叠加到真实机器人的工作场景中，所述增强现实显示模块读取机器人通信控制模块示教时所记录的运动参数，虚拟机器人模型按照示教路径运动，在虚实融合的环境中对示教路径进行验证。
本发明还提供一种基于图像分割及表面肌电信号的机器人示教方法。
本发明技术方案二如下：
基于图像分割及表面肌电信号的机器人示教方法，该方法采用了RGB-D相机、表面肌电信号传感器、机器人和计算机，所述表面肌电信号传感器穿戴在示教人员的小臂上，该方法执行如下步骤：所述RGB-D相机采集所述机器人的示教场景视频信息并发送至所述计算机，所述表面肌电信号传感器采集人体表面肌电信号、惯性加速度信号并发送至计算机，所述计算机执行如下步骤：S1、从所述视频信息中识别出机器人关节臂；S2、从所述视频信息中识别出人体关节；S3、检测出人体关节与机器人关节臂的接触部位；S4、根据人体表面肌电信号和惯性加速度信号计算出人体关节和机器人关节臂接触后人体接触部位的施力大小和施力方向；S5、计算机发出信号控制所述被接触的机器人关节臂按照该施力大小和施力方向运动，实现拖动示教。
更优地，所述步骤S1至S3具体如下：S1、通过已训练的深度学习图像分割网络将所述视频信息进行图像分割，识别出机器人的各关节臂及其类型，然后在视频图像中将不同的关节臂标注为不同颜色；S2、识别所述视频信息中人体的骨骼节点，对骨骼节点进行分割标注，并计算出各骨骼节点的坐标信息；S3、检测人体各关节与机器人关节臂的距离，判断人体关节是否机器人关节臂接触，如果接触，则进一步判断人体各关节与机器人的哪一关节臂接触，然后根据当前的运行模式，发出与该运行模式相对应的信号，所述运行模式包括示教模式和工作模式，在示教模式下，若是人体手部关节与机器人关节臂接触，则发出信号检测指令，若否，则发出预警信号；在工作模式下，人体关节与机器人关节臂有接触，则发出碰撞信号和预警信号。
更优地：所述步骤S4和S5具体如下：S4、计算机接收到信号检测指令后，根据表面肌电信号和惯性加速度信号判断人体关节与机器人关节臂接触后的施力大小和施力方向，然后将施力大小、施力方向以及人体所接触的机器人关节臂类型发送至所述机器人通信控制模块；S5、所述机器人通信控制模块接收来自表面肌电信号检测模块发出的信息，根据所述机器人关节臂类型发出信号控制所接触的机器人关节臂与机器人基座之间的关节运动，根据所述施力方向控制所接触机器人关节臂的运动方向，根据所述施力大小控制所接触机器人关节臂的运动速度，同时，存储示教过程中机器人的运动参数；所述机器人通信控制模块接收到碰撞信号控制机器人立即停止运动，待碰撞信号取消后再继续控制机器人运行。
更优地，所述步骤S3具体执行如下步骤：S31、将所述机器人关节臂分割模块分割出的机器人各关节臂的深度图像及所述人体关节分割模块分割出的人体各关节的深度图像转换为点云；S32、对机器人不同关节臂的点云进行部位标注，对人体各关节的三维点云进行部位标注，生成点云标签；S33、将机器人各关节臂及人体各关节之间的点云进行碰撞检测，当检测到各部位点云之间发生碰撞时进入步骤S34；S34、在示教模式下，查询与机器人关节臂发生碰撞的人体关节的点云标签，判断机器人关节臂与人体关节接触部位，如果是人体手部关节与机器人关节臂碰撞，则发送信号检测指令至表面肌电信号检测模块；否则，发出预警信号；在工作模式下，发出预警信号并发送碰撞信号至机器人通信控制模块，控制机器人暂停运行。
更优地，所述计算机还执行增强现实显示步骤S6对示教路径进行验证，所述步骤S6具体如下：S61、使用机器人参数建立虚拟机器人三维模型，根据各关节臂的运动关系添加虚拟机器人关节DOF节点并建立父子关系，构建虚拟机器人运动学模型；S62、控制机器人运动，将机器人的末端执行器依次放置在AR注册卡的四个角点上，当末端执行器到达AR注册卡的角点上时，通过机器人读取所述末端执行器的坐标值，获得所述AR注册卡角点在机器人坐标系下的坐标，由于所述AR注册卡四个角点在AR注册卡坐标系下的坐标已知，计算出AR注册卡坐标系到机器人坐标系之间的转换关系，在AR注册卡坐标系描述的虚拟机器人位置，通过所述转换关系转换到机器人坐标系下，将虚拟机器人模型与机器人重合；S63、在示教完成后，将虚拟机器人模型叠加到真实机器人的工作场景中，所述增强现实显示模块读取机器人通信控制模块示教时所记录的运动参数，虚拟机器人模型按照示教路径运动，在虚实融合的环境中对示教路径进行验证。
本发明具有如下有益效果：
本发明基于图像分割及表面肌电信号的机器人示教系统通过深度学习网络进行图像分割，分割并识别机器人关节臂及人体各关节，并判断人体关节与机器人关节臂之间的接触情况，利用表面肌电信号传感器识别人体力量大小及施力的方向，进而控制机器人各关节臂运动，实现拖动示教。本发明示教系统，整体结构简单、易部署且成本低。同时示教方法简单易操作，对力的检测响应速度快，能够准确控制机器人执行示教动作。
附图说明
图1为本发明的示教系统结构示意图；
图2为本发明的示教流程图；
图3为本发明的碰撞检测模块流程图；
图4为本发明的表面肌电信号检测模块流程图。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
请参阅图1和图2，基于图像分割及表面肌电信号的机器人示教系统，包括RGB-D相机1、表面肌电信号传感器2、机器人3和计算机4，所述RGB-D相机1、表面肌电信号传感器2(如MYO臂环等装置)以及机器人3均与所述计算机4通信连接，所述RGB-D相机1采集所述机器人3的示教场景视频信息并发送至所述计算机4，计算机4从所述视频信息中可以获取到机器人3工作场景的彩色图像和深度图像。所述表面肌电信号传感器2穿戴在示教人员的小臂上，所述表面肌电信号传感器2采集人体表面肌电信号、惯性加速度信号并发送至计算机4，所述计算机4从所述视频信息中识别出机器人关节臂和人体关节并检测出人体关节与机器人关节臂的接触部位，所述计算机4根据人体表面肌电信号和惯性加速度信号计算出人体关节和机器人关节臂接触后人体接触部位的施力大小和施力方向，然后计算机4发出信号控制所述被接触的机器人关节臂按照该施力大小和施力方向运动，实现拖动示教。
需要说明的是，在本实施例中，所述机器人，即工业机器人本体，一般包括机器人基座、与机器人基座连接的机械臂以及与机械臂连接的末端执行器。所述机械臂是由多个关节臂连接而成。所述机器人末端执行器是指一个连接在机械臂上具有一定功能的工具，如焊枪、夹爪等，如图1所示，图中的机器人末端执行器就是个夹爪。
请参阅图2，所述计算机4内运行有机器人关节臂分割模块4-1、人体关节分割模块4-2、距离检测模块4-3、表面肌电信号检测模块4-4和机器人通信控制模块4-5。
所述机器人关节臂分割模块4-1通过已训练的深度学习图像分割网络如FCNN、U-Net、DeepLab、Mask R-CNN等图像分割网络，将所述视频信息(主要是深度图像)进行图像分割，实时分割出机器人各关节臂，并检测出机器人各关节臂的类型，所述机器人关节臂类型包括机器人关节臂为第几关节臂及机器人关节旋转坐标轴这两种属性。然后，在视频图像中将不同的关节臂标注为不同颜色。具体地，所述机器人关节臂分割模块4-1包括合成训练集、训练深度学习网络模型、深度学习网络实时分割三个步骤，具体执行如下：
首先，建立机器人模型训练集。所述训练集包括虚拟机器人模型训练集及真实机器人训练集。所述虚拟机器人模型训练集是指基于计算机4建模、图像渲染生成多个监测角度下、机器人3不同位置姿态下的机器人深度图像集和与深度图像相对应的图像标签集。所述计算机4建模为使用三维绘图软件如soildworks等三维绘图软件绘制虚拟机器人三维模型。所述图像标签集指用不同颜色渲染机器人的模型不同关节臂。所述监测角度指深度相机与被监测机器人3之间的角度，机器人模型在设定范围内进行运动，形成多个监测角度。所述真实机器人训练集指使用RGB-D相机1拍摄机器人3的深度图像，对深度图进行降噪处理后，使用标注软件，如labelme对降噪处理后的机器人深度图像的各关节使用不同颜色标签标注，得到真实机器人深度图像集和图像标注集。
其次，训练机器人关节臂分割模型：将所述虚拟训练集训和真实训练集送入图像分割深度学习网络模型，如FCNN、U-Net、DeepLab、Mask R-CNN等图像分割网络进行训练；图像分割深度学习模型会根据图像标签集中标注的机器人关节臂的像素信息去学习当前标注的关节臂的样子和轮廓，得到深度学习网络训练参数。
最后，实时检测：在机器人3工作现场，安装RGB-D相机1拍摄机器人3工作场景图像，并将图像送入训练好的图像分割模型进行机器人关节臂分割，识别出机器人3的不同关节臂后将采用不同颜色在工作场景图像中进行标注显示。
所述人体关节分割模块4-2可通过多种方式识别视频信息中人体的骨骼节点，例如利用Kinect相机或其他RGB-D相机1提供的深度图像，采用差分特征提取-随机森林分类算法、深度学习的方法识别人体关节及所属部位(如手部关节、头部关节)，然后对骨骼节点进行分割标注，并计算出各骨骼节点的坐标信息。
所述距离检测模块4-3通过视频信息中的深度图像检测人体各关节与机器人关节臂的距离，判断人体关节是否机器人关节臂接触，如果接触，则进一步判断人体各关节与机器人3的哪一关节臂接触，然后根据当前的运行模式，发出与该运行模式相对应的信号，所述运行模式包括示教模式和工作模式，在示教模式下，若是人体手部关节与机器人关节臂接触，则发出信号检测指令，若否，则发出预警信号；在工作模式下，人体关节与机器人关节臂有接触，则发出碰撞信号和预警信号。
请参阅图3，在本实施例中，所述距离检测模块4-3根据机器人关节臂分割模块4-1及人体关节分割模块4-2分割出来的各部位关节信息，将其转换为带有不同部位标签的点云数据进行碰撞检测，在发生碰撞时根据机器人3的工作模式发送不同的信息至表面肌电信号检测模块4-4或机器人通信控制模块4-5。所述距离检测模块4-3具体执行如下步骤：S31、将所述机器人关节臂分割模块4-1分割出的机器人各关节臂的深度图像及所述人体关节分割模块4-2分割出的人体各关节的深度图像转换为点云。S32、对机器人3不同关节臂的点云进行部位标注，对人体各关节的三维点云进行部位标注，生成点云标签。S33、将机器人各关节臂及人体各关节之间的点云进行碰撞检测，当检测到各部位点云之间发生碰撞时进入步骤S34。S34、在示教模式下，查询与机器人关节臂发生碰撞的人体关节的点云标签，判断机器人关节臂与人体关节接触部位，如果是人体手部关节与机器人关节臂碰撞，则发送信号检测指令至表面肌电信号检测模块4-4；否则，发出预警信号；在工作模式下，发出预警信号并发送碰撞信号至机器人通信控制模块4-5，控制机器人3暂停运行。
所述表面肌电信号检测模块4-4接收到信号检测指令后，根据接收到的表面肌电信号和惯性加速度信号判断人体关节与机器人关节臂接触后的施力大小和施力方向，然后将施力大小、施力方向以及人体所接触的机器人关节臂类型发送至所述机器人通信控制模块4-5。
请参阅图4，所述表面肌电信号检测模块4-4采集人体表面肌电信号、惯性加速度信号，并将其表面肌电信号、惯性加速度信号进行处理后提取特征值输入到神经学习网络进行训练学习，然后使用训练好的神经网络对表面肌电信号进行识别分析，识别出施力大小和施力方向。具体执行步骤如下：步骤41、采集人体表面肌电信号、惯性加速度并进行预处理，如进行傅里叶变换将原来采集的时域信号转换为频域信号，然后对信号进行数字滤波处理并提取特征值。步骤42、建立表面表面肌电信号、惯性加速度信号数据集。根据人体推动机器人关节臂的施力采集对应动作的表面肌电信号、惯性加速度信号，通过步骤41中进行信号预处理后，根据提取的特征值建立数据集并设置相对应的标签，在本发明中，以人体坐标系等角度设置人体施力方向数据标签。步骤43、将建立的数据集送入深度学习网络模型进行训练，如CNN、RNN、迁移学习等深度学习方案。步骤44、在线实时识别施力大小及方向。深度学习模型训练好以后使用步骤41处理后的数据在线实时识别人体表面肌电信号力的大小及方向，并将施力方向由人体坐标系转换到机器人坐标系下。步骤45、判断施力大小是否达到设定最小阈值，根据施力大小是否超过设定最小阈值判断人体与机器人关节臂是否接触，将施力大小、方向、机器人关节臂类型发送至机器人通信控制模块4-5。
所述机器人通信控制模块4-5接收来自表面肌电信号检测模块4-4发出的信息，根据所述机器人关节臂类型发出信号控制所接触的机器人关节臂与机器人基座之间的关节运动，根据所述施力方向控制所接触机器人关节臂的运动方向，根据所述施力大小控制所接触机器人关节臂的运动速度，同时，存储示教过程中机器人3的运动参数；所述机器人通信控制模块4-5接收到碰撞信号控制机器人3立即停止运动，待碰撞信号取消后再继续控制机器人3运行。
所述机器人通信控制模块4-5工作步骤如下：步骤51、设置机器人3运行模式，在本实施例种将机器人3运行模式分为示教模式及工作模式。步骤52、在示教模式下，接收表面肌电信号检测模块4-4发送的施力大小、方向、机器人关节臂类型信息，根据人体手部所接触的机器人关节臂类型，控制机器人关节臂的运动，施力方向控制所接触机器人关节臂的运动方向，施力大小控制所接触机器人关节臂的运动速度。步骤53、在工作模式下，机器人通信控制模块4-5接收到距离检测模块4-3的碰撞信号后将立即停止运动，待碰撞信号消失后再继续运行。步骤54、储存示教过程中机器人3运动参数。
在本实施例中，所述计算机4内还运行增强现实验证模块4-6，其包括虚拟机器人模型，增强现实显示模块，AR注册卡5，具体步骤如下：S61、使用机器人3参数建立虚拟机器人三维模型，为了增强现实验证模块4-6能够加载和识别虚拟机器人模型并控制其运动，根据各关节臂的运动关系添加虚拟机器人关节自由度(自由度即DOF)节点并建立父子关系，使用运动规划模块的运动参数构建虚拟机器人运动学模型；其中，自由度节点就是在虚拟机器人模型中根据真实机器人3的关节点添加的坐标系，使得增强现实验证模块4-6可以读取并控制虚拟机器人各关节点。父子关系便是父节点转动可以带动下面子节点一起转动，符合机器人3的运动模式。S62、通过计算机控制机器人运动，将末端执行器依次放置在AR注册卡5的四个角点上，当末端执行器到达AR注册卡5的角点上时，通过机器人读取所述末端执行器的坐标值即可获得所述AR注册卡5的角点在机器人坐标系下的坐标，所述AR注册卡5的四个角点在AR注册卡坐标系下的坐标已知，计算AR注册卡坐标系到机器人坐标系之间的转换关系，在AR注册卡坐标系描述的虚拟机器人位置，通过所述转换关系转换到机器人坐标系下，将虚拟机器人模型与机器人3重合。S63、在示教完成后，将虚拟机器人模型叠加到真实机器人3的工作场景中，所述增强现实显示模块读取机器人通信控制模块4-5示教时所记录的运动参数，虚拟机器人模型按照示教路径运动，在虚实融合的环境中对示教路径进行验证。
本发明基于图像分割及表面肌电信号的机器人示教系统，通过深度学习网络进行图像分割，分割并识别机器人关节臂及人体各关节，并判断人体关节与机器人关节臂之间的接触情况，利用表面肌电信号传感器2识别人体力量大小及施力的方向，进而控制机器人各关节臂运动，实现拖动示教。本发明示教系统，整体结构简单、易部署且成本低，同时示教方法简单易操作，对力的检测响应速度快，能够准确控制机器人3执行示教动作。
实施例二
请参阅图1和图2，基于图像分割及表面肌电信号的机器人3示教方法，该方法采用了RGB-D相机1、表面肌电信号传感器2、机器人3和计算机4，所述表面肌电信号传感器2(如MYO臂环等装置)穿戴在示教人员的小臂上。所述RGB-D相机1采集所述机器人3的示教场景视频信息并发送至所述计算机4，计算机4从所述视频信息中可以获取到机器人3工作场景的彩色图像和深度图像。所述表面肌电信号传感器2采集人体表面肌电信号、惯性加速度信号并发送至计算机4，所述计算机4执行如下步骤：S1、从所述视频信息中识别出机器人关节臂；S2、从所述视频信息中识别出人体关节；S3、检测出人体关节与机器人关节臂的接触部位；S4、根据人体表面肌电信号和惯性加速度信号计算出人体关节和机器人关节臂接触后人体接触部位的施力大小和施力方向；S5、计算机4发出信号控制所述被接触的机器人关节臂按照该施力大小和施力方向运动，实现拖动示教。
需要说明的是，在本实施例中，所述机器人，即工业机器人本体，一般包括机器人基座、与机器人基座连接的机械臂以及与机械臂连接的末端执行器。所述机械臂是由多个关节臂连接而成。所述机器人末端执行器是指一个连接在机械臂上具有一定功能的工具，如焊枪、夹爪等，如图1所示，图中的机器人末端执行器就是个夹爪。
请参阅图2，所述步骤S1至S3具体如下：S1、通过已训练的深度学习图像分割网络如FCNN、U-Net、DeepLab、Mask R-CNN等图像分割网络，将所述视频信息(主要是深度图像)进行图像分割，识别出机器人3的各关节臂及其类型，所述机器人关节臂类型包括机器人关节臂为第几关节臂及机器人关节旋转坐标轴这两种属性。然后在视频图像中将不同的关节臂标注为不同颜色。具体地，所述深度学习图像分割网络的训练过程如下：首先，建立机器人模型训练集。所述训练集包括虚拟机器人模型训练集及真实机器人训练集。所述虚拟机器人模型训练集是指基于计算机4建模、图像渲染生成多个监测角度下、机器人3不同位置姿态下的机器人深度图像集和与深度图像相对应的图像标签集。所述计算机4建模为使用三维绘图软件如soildworks等三维绘图软件绘制虚拟机器人三维模型。所述图像标签集指用不同颜色渲染机器人的模型不同关节臂。所述监测角度指深度相机与被监测机器人3之间的角度，机器人模型在设定范围内进行运动，形成多个监测角度。所述真实机器人训练集指使用RGB-D相机1拍摄机器人3的深度图像，对深度图进行降噪处理后，使用标注软件，如labelme对降噪处理后的机器人深度图像的各关节使用不同颜色标签标注，得到真实机器人深度图像集和图像标注集。然后，将所述虚拟训练集训和真实训练集送入图像分割深度学习网络模型，如FCNN、U-Net、DeepLab、Mask R-CNN等图像分割网络进行训练；图像分割深度学习模型会根据图像标签集中标注的机器人关节臂的像素信息去学习当前标注的关节臂的样子和轮廓，得到深度学习网络训练参数。最后，在机器人3工作现场，安装RGB-D相机1拍摄机器人3工作场景图像，并将图像送入训练好的图像分割模型进行机器人关节臂分割，识别出机器人3的不同关节臂后将采用不同颜色在工作场景图像中进行标注显示。S2、识别所述视频信息中人体的骨骼节点，对骨骼节点进行分割标注，并计算出各骨骼节点的坐标信息；具体地，可通过多种方式识别视频信息中人体的骨骼节点，例如利用Kinect相机或其他RGB-D相机1提供的深度图像，采用差分特征提取-随机森林分类算法、深度学习的方法识别人体关节及所属部位(如手部关节、头部关节)，然后对骨骼节点进行分割标注，并计算出各骨骼节点的坐标信息。S3、通过视频信息中的深度图像检测人体各关节与机器人关节臂的距离，判断人体关节是否机器人关节臂接触，如果接触，则进一步判断人体各关节与机器人3的哪一关节臂接触，然后根据当前的运行模式，发出与该运行模式相对应的信号，所述运行模式包括示教模式和工作模式，在示教模式下，若是人体手部关节与机器人关节臂接触，则发出信号检测指令，若否，则发出预警信号；在工作模式下，人体关节与机器人关节臂有接触，则发出碰撞信号和预警信号。
请参阅图3，所述步骤S3具体可采用实现方式是：根据分割出来的机器人关节臂和人体各部位关节的信息，将其转换为带有不同部位标签的点云数据进行碰撞检测，在发生碰撞时根据机器人3的工作模式发送不同的信息至表面肌电信号检测模块4-4或机器人通信控制模块4-5。具体步骤如下：S31、将分割出的机器人各关节臂的深度图像及分割出的人体各关节的深度图像转换为点云；S32、对机器人3不同关节臂的点云进行部位标注，对人体各关节的三维点云进行部位标注，生成点云标签；S33、将机器人各关节臂及人体各关节之间的点云进行碰撞检测，当检测到各部位点云之间发生碰撞时进入步骤S34；S34、在示教模式下，查询与机器人关节臂发生碰撞的人体关节的点云标签，判断机器人关节臂与人体关节接触部位，如果是人体手部关节与机器人关节臂碰撞，则发送信号检测指令至表面肌电信号检测模块4-4；否则，发出预警信号；在工作模式下，发出预警信号并发送碰撞信号至机器人通信控制模块4-5，控制机器人3暂停运行。
所述步骤S4和步骤S5具体如下：请参阅图4，S4、计算机4接收到信号检测指令后，根据表面肌电信号和惯性加速度信号判断人体关节与机器人关节臂接触后的施力大小和施力方向，然后将施力大小、施力方向以及人体所接触的机器人关节臂类型发送至所述机器人通信控制模块4-5。具体地，计算机4将表面肌电信号、惯性加速度信号进行处理后提取特征值输入到神经学习网络进行训练学习，然后使用训练好的神经网络对表面肌电信号进行识别分析，识别出施力大小和施力方向。执行步骤如下：步骤41、采集人体表面肌电信号、惯性加速度并进行预处理，如进行傅里叶变换将原来采集的时域信号转换为频域信号，然后对信号进行数字滤波处理并提取特征值。步骤42、建立表面表面肌电信号、惯性加速度信号数据集。根据人体推动机器人关节臂的施力采集对应动作的表面肌电信号、惯性加速度信号，通过步骤41中进行信号预处理后，根据提取的特征值建立数据集并设置相对应的标签，在本发明中，以人体坐标系等角度设置人体施力方向数据标签。步骤43、将建立的数据集送入深度学习网络模型进行训练，如CNN、RNN、迁移学习等深度学习方案。步骤44、在线实时识别施力大小及方向。深度学习模型训练好以后使用步骤41处理后的数据在线实时识别人体表电信号力的大小及方向，并将施力方向由人体坐标系转换到机器人坐标系下。步骤45、判断施力大小是否达到设定最小阈值，根据施力大小是否超过设定最小阈值判断人体与机器人关节臂是否接触，将施力大小、方向、机器人关节臂类型发送至机器人通信控制模块4-5。
所述步骤S5、所述机器人通信控制模块4-5接收来自表面肌电信号检测模块4-4发出的信息，根据所述机器人关节臂类型发出信号控制所接触的机器人关节臂与机器人基座之间的关节运动，根据所述施力方向控制所接触机器人关节臂的运动方向，根据所述施力大小控制所接触机器人关节臂的运动速度，同时，存储示教过程中机器人3的运动参数；所述机器人通信控制模块4-5接收到碰撞信号控制机器人3立即停止运动，待碰撞信号取消后再继续控制机器人3运行。具体地：步骤51、设置机器人3运行模式，在本实施例种将机器人3运行模式分为示教模式及工作模式。步骤52、在示教模式下，接收表面肌电信号检测模块4-4发送的施力大小、方向、机器人关节臂类型信息，根据人体手部所接触的机器人关节臂类型，控制机器人关节臂的运动，施力方向控制所接触机器人关节臂的运动方向，施力大小控制所接触机器人关节臂的运动速度。步骤53、在工作模式下，机器人通信控制模块4-5接收到距离检测模块4-3的碰撞信号后将立即停止运动，待碰撞信号消失后再继续运行。步骤54、储存示教过程中机器人3运动参数。
在本实施例中，还通过增强现实显示方式验证示教路径，执行步骤S6，具体如下：S61、使用机器人3参数建立虚拟机器人三维模型，为了计算机能够加载和识别虚拟机器人模型并控制其运动，根据各关节臂的运动关系添加虚拟机器人关节自由度(自由度即DOF)节点并建立父子关系，使用运动规划模块的运动参数构建虚拟机器人运动学模型；其中，自由度节点就是在虚拟机器人模型中根据真实机器人3的关节点添加的坐标系，使得计算机可以读取并控制虚拟机器人各关节点。父子关系便是父节点转动可以带动下面子节点一起转动，符合机器人3的运动模式。S62、通过计算机控制机器人运动，将末端执行器依次放置在AR注册卡5的四个角点上，当末端执行器到达AR注册卡5的角点上时，通过机器人读取所述末端执行器的坐标值即可获得所述AR注册卡5的角点在机器人坐标系下的坐标，所述AR注册卡5的四个角点在AR注册卡坐标系下的坐标已知，计算AR注册卡坐标系到机器人坐标系之间的转换关系，在AR注册卡坐标系描述的虚拟机器人位置，通过所述转换关系转换到机器人坐标系下，将虚拟机器人模型与机器人3重合。S63、在示教完成后，将虚拟机器人模型叠加到真实机器人3的工作场景中，所述增强现实显示模块读取机器人通信控制模块4-5示教时所记录的运动参数，虚拟机器人模型按照示教路径运动，在虚实融合的环境中对示教路径进行验证。
本发明基于图像分割及表面肌电信号的机器人示教方法，通过深度学习网络进行图像分割，分割并识别机器人关节臂及人体各关节，并判断人体关节与机器人关节臂之间的接触情况，利用表面肌电信号传感器2识别人体力量大小及施力的方向，进而控制机器人各关节臂运动，实现拖动示教。本发明示教系统，整体结构简单、易部署且成本低，同时示教方法简单易操作，对力的检测响应速度快，能够准确控制机器人3执行示教动作。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.基于图像分割及表面肌电信号的机器人示教系统，其特征在于：包括RGB-D相机、表面肌电信号传感器、机器人和计算机，所述RGB-D相机、表面肌电信号传感器以及机器人均与所述计算机通信连接，所述RGB-D相机采集所述机器人的示教场景视频信息并发送至所述计算机，所述表面肌电信号传感器穿戴在示教人员的小臂上，所述表面肌电信号传感器采集人体表面肌电信号、惯性加速度信号并发送至计算机，所述计算机从所述视频信息中识别出机器人关节臂和人体关节并检测出人体关节与机器人关节臂的接触部位，所述计算机根据人体表面肌电信号和惯性加速度信号计算出人体关节和机器人关节臂接触后人体接触部位的施力大小和施力方向，然后计算机发出信号控制所述被接触的机器人关节臂按照该施力大小和施力方向运动，实现拖动示教。
2.根据权利1所述的基于图像分割及表面肌电信号的机器人示教系统，其特征在于：所述计算机内运行有机器人关节臂分割模块、人体关节分割模块和距离检测模块；
所述机器人关节臂分割模块通过已训练的深度学习图像分割网络将所述视频信息进行图像分割，识别出机器人的各关节臂及其类型，然后在视频图像中将不同的关节臂标注为不同颜色；
所述人体关节分割模块识别所述视频信息中人体的骨骼节点，对骨骼节点进行分割标注，并计算出各骨骼节点的坐标信息；
所述距离检测模块检测人体各关节与机器人关节臂的距离，判断人体关节是否机器人关节臂接触，如果接触，则进一步判断人体各关节与机器人的哪一关节臂接触，然后根据当前的运行模式，发出与该运行模式相对应的信号，所述运行模式包括示教模式和工作模式，在示教模式下，若是人体手部关节与机器人关节臂接触，则发出信号检测指令，若否，则发出预警信号；在工作模式下，人体关节与机器人关节臂有接触，则发出碰撞信号和预警信号。
3.根据权利2所述的基于图像分割及表面肌电信号的机器人示教系统，其特征在于：所述计算机内还运行有表面肌电信号检测模块和机器人通信控制模块；
所述表面肌电信号检测模块接收到信号检测指令后，根据接收到的表面肌电信号和惯性加速度信号判断人体关节与机器人关节臂接触后的施力大小和施力方向，然后将施力大小、施力方向以及人体所接触的机器人关节臂类型发送至所述机器人通信控制模块；
所述机器人通信控制模块接收来自表面肌电信号检测模块发出的信息，根据所述机器人关节臂类型发出信号控制所接触的机器人关节臂与机器人基座之间的关节运动，根据所述施力方向控制所接触机器人关节臂的运动方向，根据所述施力大小控制所接触机器人关节臂的运动速度，同时，存储示教过程中机器人的运动参数；所述机器人通信控制模块接收到碰撞信号控制机器人立即停止运动，待碰撞信号取消后再继续控制机器人运行。
4.根据权利3所述的基于图像分割及表面肌电信号的机器人示教系统，其特征在于：所述距离检测模块具体执行如下步骤：
S31、将所述机器人关节臂分割模块分割出的机器人各关节臂的深度图像及所述人体关节分割模块分割出的人体各关节的深度图像转换为点云；
S32、对机器人不同关节臂的点云进行部位标注，对人体各关节的三维点云进行部位标注，生成点云标签；
S33、将机器人各关节臂及人体各关节之间的点云进行碰撞检测，当检测到各部位点云之间发生碰撞时进入步骤S4；
S34、在示教模式下，查询与机器人关节臂发生碰撞的人体关节的点云标签，判断机器人关节臂与人体关节接触部位，如果是人体手部关节与机器人关节臂碰撞，则发送信号检测指令至表面肌电信号检测模块；否则，发出预警信号；在工作模式下，发出预警信号并发送碰撞信号至机器人通信控制模块，控制机器人暂停运行。
5.根据权利3所述的基于图像分割及表面肌电信号的机器人示教系统，其特征在于：所述计算机内还运行增强现实验证模块，其包括虚拟机器人模型，增强现实显示模块，AR注册卡，具体步骤如下：
S61、使用机器人参数建立虚拟机器人三维模型，根据各关节臂的运动关系添加虚拟机器人关节DOF节点并建立父子关系，构建虚拟机器人运动学模型；
S62、控制机器人运动，将机器人上的末端执行器依次放置在AR注册卡的四个角点上，当末端执行器到达AR注册卡的角点上时，通过机器人读取所述末端执行器的坐标值，获得所述AR注册卡角点在机器人坐标系下的坐标，由于所述AR注册卡四个角点在AR注册卡坐标系下的坐标已知，计算出AR注册卡坐标系到机器人坐标系之间的转换关系，在AR注册卡坐标系描述的虚拟机器人位置，通过所述转换关系转换到机器人坐标系下，将虚拟机器人模型与机器人重合；
S63、在示教完成后，将虚拟机器人模型叠加到真实机器人的工作场景中，所述增强现实显示模块读取机器人通信控制模块示教时所记录的运动参数，虚拟机器人模型按照示教路径运动，在虚实融合的环境中对示教路径进行验证。
6.基于图像分割及表面肌电信号的机器人示教方法，其特征在于：该方法采用了RGB-D相机、表面肌电信号传感器、机器人和计算机，所述表面肌电信号传感器穿戴在示教人员的小臂上，该方法执行如下步骤：所述RGB-D相机采集所述机器人的示教场景视频信息并发送至所述计算机，所述表面肌电信号传感器采集人体表面肌电信号、惯性加速度信号并发送至计算机，所述计算机执行如下步骤：
S1、从所述视频信息中识别出机器人关节臂；
S2、从所述视频信息中识别出人体关节；
S3、检测出人体关节与机器人关节臂的接触部位；
S4、根据人体表面肌电信号和惯性加速度信号计算出人体关节和机器人关节臂接触后人体接触部位的施力大小和施力方向；
S5、计算机发出信号控制所述被接触的机器人关节臂按照该施力大小和施力方向运动，实现拖动示教。
7.根据权利6所述的基于图像分割及表面肌电信号的机器人示教方法，其特征在于：所述步骤S1至S3具体如下：
S1、通过已训练的深度学习图像分割网络将所述视频信息进行图像分割，识别出机器人的各关节臂及其类型，然后在视频图像中将不同的关节臂标注为不同颜色；
S2、识别所述视频信息中人体的骨骼节点，对骨骼节点进行分割标注，并计算出各骨骼节点的坐标信息；
S3、检测人体各关节与机器人关节臂的距离，判断人体关节是否机器人关节臂接触，如果接触，则进一步判断人体各关节与机器人的哪一关节臂接触，然后根据当前的运行模式，发出与该运行模式相对应的信号，所述运行模式包括示教模式和工作模式，在示教模式下，若是人体手部关节与机器人关节臂接触，则发出信号检测指令，若否，则发出预警信号；在工作模式下，人体关节与机器人关节臂有接触，则发出碰撞信号和预警信号。
8.根据权利7所述的基于图像分割及表面肌电信号的机器人示教方法，其特征在于：所述步骤S4和S5具体如下：
S4、计算机接收到信号检测指令后，根据表面肌电信号和惯性加速度信号判断人体关节与机器人关节臂接触后的施力大小和施力方向，然后将施力大小、施力方向以及人体所接触的机器人关节臂类型发送至所述机器人通信控制模块；
S5、所述机器人通信控制模块接收来自表面肌电信号检测模块发出的信息，根据所述机器人关节臂类型发出信号控制所接触的机器人关节臂与机器人基座之间的关节运动，根据所述施力方向控制所接触机器人关节臂的运动方向，根据所述施力大小控制所接触机器人关节臂的运动速度，同时，存储示教过程中机器人的运动参数；所述机器人通信控制模块接收到碰撞信号控制机器人立即停止运动，待碰撞信号取消后再继续控制机器人运行。
9.根据权利8所述的基于图像分割及表面肌电信号的机器人示教方法，其特征在于：所述步骤S3具体执行如下步骤：：
S31、将所述机器人关节臂分割模块分割出的机器人各关节臂的深度图像及所述人体关节分割模块分割出的人体各关节的深度图像转换为点云；
S32、对机器人不同关节臂的点云进行部位标注，对人体各关节的三维点云进行部位标注，生成点云标签；
S33、将机器人各关节臂及人体各关节之间的点云进行碰撞检测，当检测到各部位点云之间发生碰撞时进入步骤S34；
S34、在示教模式下，查询与机器人关节臂发生碰撞的人体关节的点云标签，判断机器人关节臂与人体关节接触部位，如果是人体手部关节与机器人关节臂碰撞，则发送信号检测指令至表面肌电信号检测模块；否则，发出预警信号；在工作模式下，发出预警信号并发送碰撞信号至机器人通信控制模块，控制机器人暂停运行。
10.根据权利8所述的基于图像分割及表面肌电信号的机器人示教方法，其特征在于：所述计算机还执行增强现实显示步骤S6对示教路径进行验证，所述步骤S6具体如下：
S61、使用机器人参数建立虚拟机器人三维模型，根据各关节臂的运动关系添加虚拟机器人关节DOF节点并建立父子关系，构建虚拟机器人运动学模型；
S62、控制机器人运动，将机器人的末端执行器依次放置在AR注册卡的四个角点上，当末端执行器到达AR注册卡的角点上时，通过机器人读取所述末端执行器的坐标值，获得所述AR注册卡角点在机器人坐标系下的坐标，由于所述AR注册卡四个角点在AR注册卡坐标系下的坐标已知，计算出AR注册卡坐标系到机器人坐标系之间的转换关系，在AR注册卡坐标系描述的虚拟机器人位置，通过所述转换关系转换到机器人坐标系下，将虚拟机器人模型与机器人重合；
S63、在示教完成后，将虚拟机器人模型叠加到真实机器人的工作场景中，所述增强现实显示模块读取机器人通信控制模块示教时所记录的运动参数，虚拟机器人模型按照示教路径运动，在虚实融合的环境中对示教路径进行验证。
CN202011348771.1A 2020-11-26 2020-11-26 基于图像分割及表面肌电信号的机器人示教系统及方法 Active CN112454333B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011348771.1A CN112454333B (zh) 2020-11-26 2020-11-26 基于图像分割及表面肌电信号的机器人示教系统及方法
US17/153,202 US11504846B2 (en) 2020-11-26 2021-01-20 Robot teaching system based on image segmentation and surface electromyography and robot teaching method thereof
JP2021007163A JP7067816B1 (ja) 2020-11-26 2021-01-20 画像分割及び表面筋電図に基づくロボットの教示システム及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011348771.1A CN112454333B (zh) 2020-11-26 2020-11-26 基于图像分割及表面肌电信号的机器人示教系统及方法

Publications (2)

Publication Number Publication Date
CN112454333A true CN112454333A (zh) 2021-03-09
CN112454333B CN112454333B (zh) 2022-02-11

Family

ID=74808643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011348771.1A Active CN112454333B (zh) 2020-11-26 2020-11-26 基于图像分割及表面肌电信号的机器人示教系统及方法

Country Status (3)

Country Link
US (1) US11504846B2 (zh)
JP (1) JP7067816B1 (zh)
CN (1) CN112454333B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114800442A (zh) * 2022-03-22 2022-07-29 华南理工大学 基于肌电信号和运动学冗余的机器人拖动示教系统与方法
CN115178944A (zh) * 2022-08-04 2022-10-14 广东工业大学 一种安全强化学习的狭窄空间机器人作业规划方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11676348B2 (en) * 2021-06-02 2023-06-13 Meta Platforms Technologies, Llc Dynamic mixed reality content in virtual reality
CN114782691B (zh) * 2022-04-20 2022-10-11 安徽工程大学 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013222920A (ja) * 2012-04-19 2013-10-28 Panasonic Corp 位置教示装置及び位置教示方法
US20160096275A1 (en) * 2014-10-01 2016-04-07 Denso Wave Incorporated Robot operation apparatus, robot system, and robot operation program
US20160274784A1 (en) * 2015-03-19 2016-09-22 Denso Wave Incorporated Apparatus for operating robots
CN107717983A (zh) * 2017-08-21 2018-02-23 北京精密机电控制设备研究所 一种仿人机械臂示教控制方法
CN108127669A (zh) * 2018-02-08 2018-06-08 华南理工大学 一种基于动作融合的机器人示教系统及实施方法
CN108340351A (zh) * 2018-01-31 2018-07-31 广东工业大学 一种机器人示教装置、方法及示教机器人
CN109397265A (zh) * 2018-11-13 2019-03-01 华中科技大学 一种基于动力学模型的关节型工业机器人拖拽示教方法
CN109676615A (zh) * 2019-01-18 2019-04-26 合肥工业大学 一种利用手臂肌电信号与动作捕捉信号的喷涂机器人示教方法及装置
CN110815190A (zh) * 2019-11-20 2020-02-21 福州大学 一种工业机器人拖动示教方法及系统
CN110992777A (zh) * 2019-11-20 2020-04-10 华中科技大学 多模态融合的示教方法、装置、计算设备及存储介质
CN111267073A (zh) * 2020-03-24 2020-06-12 青岛理工大学 一种基于增强现实技术的工业机器人示教系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5893666B2 (ja) * 2014-04-14 2016-03-23 ファナック株式会社 力に応じて動かすロボットのロボット制御装置およびロボットシステム
JP6723738B2 (ja) * 2015-04-03 2020-07-15 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
EP4241661A1 (en) * 2018-08-31 2023-09-13 Facebook Technologies, LLC Camera-guided interpretation of neuromuscular signals
US20210122045A1 (en) * 2019-10-24 2021-04-29 Nvidia Corporation In-hand object pose tracking

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013222920A (ja) * 2012-04-19 2013-10-28 Panasonic Corp 位置教示装置及び位置教示方法
US20160096275A1 (en) * 2014-10-01 2016-04-07 Denso Wave Incorporated Robot operation apparatus, robot system, and robot operation program
US20160274784A1 (en) * 2015-03-19 2016-09-22 Denso Wave Incorporated Apparatus for operating robots
CN107717983A (zh) * 2017-08-21 2018-02-23 北京精密机电控制设备研究所 一种仿人机械臂示教控制方法
CN108340351A (zh) * 2018-01-31 2018-07-31 广东工业大学 一种机器人示教装置、方法及示教机器人
CN108127669A (zh) * 2018-02-08 2018-06-08 华南理工大学 一种基于动作融合的机器人示教系统及实施方法
CN109397265A (zh) * 2018-11-13 2019-03-01 华中科技大学 一种基于动力学模型的关节型工业机器人拖拽示教方法
CN109676615A (zh) * 2019-01-18 2019-04-26 合肥工业大学 一种利用手臂肌电信号与动作捕捉信号的喷涂机器人示教方法及装置
CN110815190A (zh) * 2019-11-20 2020-02-21 福州大学 一种工业机器人拖动示教方法及系统
CN110992777A (zh) * 2019-11-20 2020-04-10 华中科技大学 多模态融合的示教方法、装置、计算设备及存储介质
CN111267073A (zh) * 2020-03-24 2020-06-12 青岛理工大学 一种基于增强现实技术的工业机器人示教系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHENGUANG YANG ETC.: "Teaching by demonstration on dual-arm robot using variable stiffness transferring", 《2015 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS (ROBIO)》 *
胡家垒 等: "基于肢体运动信息的机器人示教操作系统", 《机电一体化》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114800442A (zh) * 2022-03-22 2022-07-29 华南理工大学 基于肌电信号和运动学冗余的机器人拖动示教系统与方法
CN114800442B (zh) * 2022-03-22 2023-07-25 华南理工大学 基于肌电信号和运动学冗余的机器人拖动示教系统与方法
CN115178944A (zh) * 2022-08-04 2022-10-14 广东工业大学 一种安全强化学习的狭窄空间机器人作业规划方法
CN115178944B (zh) * 2022-08-04 2024-05-24 广东工业大学 一种安全强化学习的狭窄空间机器人作业规划方法

Also Published As

Publication number Publication date
CN112454333B (zh) 2022-02-11
JP2022084501A (ja) 2022-06-07
US11504846B2 (en) 2022-11-22
US20220161422A1 (en) 2022-05-26
JP7067816B1 (ja) 2022-05-16

Similar Documents

Publication Publication Date Title
CN112454333B (zh) 基于图像分割及表面肌电信号的机器人示教系统及方法
CN110253570B (zh) 基于视觉的工业机械臂人机安全系统
CN106826822B (zh) 一种基于ros系统的视觉定位及机械臂抓取实现方法
CN112171661A (zh) 一种基于视觉信息融合的机械臂抓取目标物体方法
CN112207835B (zh) 一种基于示教学习实现双臂协同作业任务的方法
JP2022542241A (ja) ロボット装置からの視覚的出力を補強するシステム及び方法
Melchiorre et al. Collison avoidance using point cloud data fusion from multiple depth sensors: a practical approach
CN115469576B (zh) 一种基于人-机械臂异构运动空间混合映射的遥操作系统
CN108655026B (zh) 一种机器人快速示教分拣系统和方法
CN113829343B (zh) 基于环境感知的实时多任务多人人机交互系统
CN113103230A (zh) 一种基于处置机器人遥操作的人机交互系统及方法
Skoglund et al. Programming by demonstration of pick-and-place tasks for industrial manipulators using task primitives
EP2366502B1 (en) Robot with hand-object movement correlations for online temporal segmentation of movement tasks
CN114299039B (zh) 一种机器人及其碰撞检测装置和方法
CN109079777B (zh) 一种机械臂手眼协调作业系统
Kang et al. A robot system that observes and replicates grasping tasks
Caporali et al. Combining vision and tactile data for cable grasping
CN111702787B (zh) 人机协作控制系统及控制方法
CN117893998A (zh) 基于机器视觉的人机位姿智能防碰方法
CN115194774A (zh) 一种基于多目视觉的双机械臂抓握系统控制方法
CN111360819B (zh) 机器人的控制方法及装置、计算机设备、存储介质
CN211890823U (zh) 基于RealSense相机的四自由度机械臂视觉伺服控制系统
Infantino et al. Visual control of a robotic hand
Nakashima et al. Self-organization of a sound source localization robot by perceptual cycle
Xu et al. Design of a human-robot interaction system for robot teleoperation based on digital twinning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant