CN107891425A - 智能双臂安全协作人机共融型机器人系统的控制方法 - Google Patents

智能双臂安全协作人机共融型机器人系统的控制方法 Download PDF

Info

Publication number
CN107891425A
CN107891425A CN201711165956.7A CN201711165956A CN107891425A CN 107891425 A CN107891425 A CN 107891425A CN 201711165956 A CN201711165956 A CN 201711165956A CN 107891425 A CN107891425 A CN 107891425A
Authority
CN
China
Prior art keywords
people
machine
master control
control processor
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711165956.7A
Other languages
English (en)
Other versions
CN107891425B (zh
Inventor
张春涛
马行
穆春阳
陈建宇
曹兴华
安海平
邓淞方
王文娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
North Minzu University
Original Assignee
North Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North Minzu University filed Critical North Minzu University
Priority to CN201711165956.7A priority Critical patent/CN107891425B/zh
Publication of CN107891425A publication Critical patent/CN107891425A/zh
Application granted granted Critical
Publication of CN107891425B publication Critical patent/CN107891425B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40005—Vision, analyse image at one station during manipulation at next station

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了智能双臂安全协作人机共融型机器人系统的控制方法，包括以下步骤；步骤一，搭建基于智能双臂安全协作工作人机共融型机器人系统平台；步骤二，初始化步骤一中各个模块；步骤三，当按照第一种情况各个模块初始化后，进入机器人自主模式；步骤四，当深度视觉传感器、激光测距传感器检测到工作区域有人出现的时候，尤其是腿部的激光扫描仪实时监测人或者其他物体移动的时候，系统进入人机接近模式；步骤五，当机器人接收到人的指令后，开启协作模式，人对机器人手臂进行引导牵引示教，机器人根据人的牵引示教，利用其快速、准确的特点来进行重复性的作业工作，而人主要负责对柔性，触觉，灵活性要求比较高的工序。

Description

智能双臂安全协作人机共融型机器人系统的控制方法
技术领域
本发明涉及人机交互技术领域，具体涉及智能双臂安全协作人机共融型机器人系统的控制方法。
背景技术
机器人作为新兴产业代表，被认为是实现中国制造2025的关键，是我国经济进入新常态后带动经济发展的新引擎。同时随着社会和经济的发展，人民物质文化需求也在日益增长，面对产品的生命周期越来越短，用户的个性化要求越来越强烈的情况，需要灵活的调整制造系统，生产线变更所需的时间需要大幅度缩短。而传统的机器人系统生产线部署成本高，周期较长，已无法满足中小型企业的需求和新兴的柔性生产的要求。再者根据阿西莫夫机器人三大定律，安全性是机器人的首要问题和强制性的约束。新科技、新技术的发展使得人们可以制造越来越精密、先进的机器人，但新机器人更多考虑其功能性，而对安全性考虑较少。机器人的可靠性≠安全性，IEC 61508中规定了系统安全的生命周期，在整个周期中安全问题始终是与系统功能分开独立考虑的，以避免功能可靠性最终会产生安全的假设，机器人的安全性必须要被考虑。综上对智能制造的核心机器人技术提出了更高的要求。
机器人是具备一定的感知能力、决策能力和安全监测的机器，但是能力和期望相去甚远。在很多应用领域，许多看似简单的劳动，传统的机器人还不能胜任。方兴未艾的再制造环节中，很多部分都是由人与机器人共同协作完成，人机协作成为上述有效的解决方案。人机协作即由人类负责对柔性，触觉，灵活性要求比较高的工序，机器人则利用其快速、准确的特点来负责重复性的工作。人机协作的核心为人机共融，是下一代机器人的本质特征。人机共融意味着人机共同处于同一自然空间，二者紧密协调，在确保人员安全和机器人安全的前提下，机器人能够自主提高技能，实现与人的自然交互。人机协作机器人在ISO10218-2中定义为指被设计成可以在协作区域内与人直接进行交互的机器人，2016年ISO专门针对协作机器人编写ISO-TS 15066-2016《Robot and Robotic Devices-CollaborativeRobots》安全规范。
但是如何围绕人机共融中的人机协作机器人多模态环境感知方法与自然交互进行设计，能够一定程度上解决人与机器人协作的环境认知以及人机安全等问题，同时也是实现真正意义的以人机共融为特征机器人成为急需解决的技术问题。
发明内容
本发明所要解决的技术问题是提供一种智能双臂安全协作人机共融型机器人系统的控制方法；详细解决的技术问题以及取得有益效果在后述内容以及结合具体实施方式中内容具体描述。
为解决上述问题，本发明所采取的技术方案是：
智能双臂安全协作工作人机共融型机器人系统包括机器人状态显示屏、机器人手腕深度视觉组件、腿部深度视觉组件以及处理部件、头部视觉组件以及处理部件、双臂组件以及遍布全身的防碰撞传感器、可移动底座以及控制部件等。
机器人集成一体化控制部件主要集成在机器人的胸部，设有电源模块、机器人总控制处理器、通信模块、主板和硬盘等；
机械手爪腕深度视觉组件包括2个分别集成在双手腕出的深度视觉传感器，深度视觉传感器的摄像机通过通信线路与主板连接，由集成一体化控制双臂进行精确手眼协作抓取等工作；
腿部深度视觉组件包括至少2个采集深度图像采集环境信息、提取人腿骨骼运动信息的摄像机，摄像机连接视觉板卡以及专用处理部件，此部分通过专用通信线与集成一体化控制部件连接；
机器人头部包括1台对人的手势进行跟踪识别的可沿水平进行360度旋转的视觉摄像机，摄像机与视觉板卡以及处理部件等连接，此部分通过专用通信线与集成一体化控制部件连接；
可移动底座以及控制部件为带控制系统的全向轮移动平台，主要是根据协作机器人的状态完成机器人的自主导航、避障和制动等的功能。
机器人的各个部分的检测与控制采用分布式计算，采用机器人操作系统ROS(Robot Operating System)进行分布式控制，完成各个硬件模块的信息通信、协调和功能实现。
本发明提供的一种智能双臂安全协作机器人，双臂协作作业速度快，手眼协同定位精准，人体步态识别安全、手势交互方式可靠、通过更加的拟人化设置，操作简单方便，可提高双臂动作的精准度及灵活性，人与协作机器人的安全性。
对于其中三种模式的介绍如下：
正常工作空间(自主运动模式)：应用和水平倾斜的深度视觉传感器感、激光测距传感器组成多模态环境感知系统，设定机器人工作区间，在此划定的范围内为机器人工作区域，区域内没有其他不明物体和人移动出现，机器人按照常规的工作流程和速度进行作业。机器人双臂上以及本体上都安装有红外传感器防止自碰撞和外部碰撞。
过渡工作区间(人机接近模式)：当深度视觉传感器、激光测距传感器检测到工作区域有人出现的时候，尤其是腿部的激光扫描仪实时监测人或者其他物体移动的情况进行识别，实时检测识别和跟踪人腿的运动，判断人是否靠近机器人，若是靠近，控制器控制机器人作业运动速度减缓，此时机器人头部深度视觉传感器等待检测和人进行交互，在嘈杂的工业环境中，利用简单的手势和机器人交互，机器人通过头部的深度视觉传感器识别。若在未检测到人的指令时，机器人实时检测与人之间的距离，当超过一定阈值，机器人在移动过程中主动避让人与物体，当来不及主动避让，机器人自动停止运动。若是监测到人的手势并能正常识别人的手势命令，那么机器人就进行协作模式，和人一起进行人机协作。
协作工作区间(人机协作模式)：当机器人接收到人的指令后，开启协作模式。人对机器人进行引导牵引示教，机器人根据人的牵引示教，利用其快速、准确的特点来进行重复性的作业工作，而人主要负责对柔性，触觉，灵活性要求比较高的工序。
智能双臂安全协作人机共融型机器人系统的控制方法如下：
1)机器人初始化各模块工作。手腕的深度视觉传感器协同头部摄像机配合机器人双臂手眼协同按照无人模式进行常速工作，腿部深度视觉传感器进行人腿的检测以及外部环境的深度检测，机器人可进行自主的避障和导航。
2)一旦腿部深度视觉传感器检测到人腿的出现，机器人减速工作，移动底座减速运动，腿部深度视觉传感器实时检测和跟踪人腿部骨骼的步态信息，判断人是否靠近机器人，同时头部的调集摄像机跟踪人，检测人是否有相应的手势动作。(在工业复杂和嘈吵的作业环境中，声音噪声太多，无法使用语言，若是利用按钮和遥控器也太过于繁杂，直接采用简单手势识别，利用机器人的头部摄像机识别是否进行人机协作模式)，若人没有发出具体的手势，腿部的深度视觉传感器检测依旧向机器人靠近，那么机器人总控制器控制机器人减速，一旦机器人防碰撞传感器检测到碰到人或者外部，机器人立即停止工作，保障了人与机器人的安全。
3)若机器人头部摄像机检测到人的手势，要求进行人与机器人的协作，那么机器人速度减慢，人进行机器人工作空间，进行人机协作。
本专利的有益效果在于：
(1)可以基于本系统，针对不同的工作条件与要求，对协作机器人工作环境进行编程设计，实现控制视觉伺服传感与运动，从而使得具有相应的协作机器人机械臂的自我避障与外物避障的功能；
(2)可以基于本系统，满足人进入协作机器人工作空间的识别与安全的需要，在分析人运动意图的基础上，实现协作机器人协作空间中的人腿步态识别与跟踪。
(3)根据人机协作机器人系统的双臂协作控制算法以及环境认知的方法，本人机协作机器人具有三种工作模式，实现了人与机器人的协作模式以及共融，实现了机器人的智能化。
本发明设计合理、成本低廉、结实耐用、安全可靠、操作简单、省时省力、节约资金、结构紧凑且使用方便。
本发明的控制方法，具有高度柔性与兼容性，适合工作场所广泛，操作简单，灵活性好，容错性强。
本发明的有益效果不限于此描述，为了更好的便于理解，在具体实施方式部分进行了更加详细的描述。
附图说明
图1是本发明的流程控制示意图。
图2是本发明的结构示意图。
其中：1、胸部支架；2、电源模块；3、主板；4、通信模块；5、交互式显示屏；6、总控制处理器；7、六轴腕部；8、腕部深度视觉传感器；9、机械手爪；10、六轴腿部；11、腿部深度视觉传感器；12、激光测距仪；13、两轴以上驱动的头部；14、360度旋转的视觉摄像机；15、全向轮移动平台；16、脚部深度视觉传感器；17、拍摄工作示意视角。
具体实施方式
以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1-2所示，本实施例的控制方法基于的系统平台为：智能双臂安全协作工作人机共融型机器人系统，即包括机器人的胸部支架1、安装在胸部支架1的主板3、集成在主板3上的通信模块4、硬盘、视觉板卡和总控制处理器6、与总控制处理器6电连接的交互式显示屏5、与总控制处理器6电连接的控制器、与胸部支架1连接的肢体、设置在肢体上且与通信模块4电连接的深度视觉传感器、下端与胸部支架1连接的两轴以上驱动的头部13、以及设置在两轴以上驱动的头部13且与通信模块4和/或视觉板卡电连接的360度旋转的视觉摄像机14；
通信模块4、硬盘、视觉板卡分别与总控制处理器6通信连接；
控制器与肢体的转动轴驱动电机电连接。
在胸部支架1上且与主板3电连接的电源模块2和/或两轴以上驱动的头部13包括左右旋转轴驱动电机以及上下摆动驱动电机。
在胸部支架1上两侧分别转动连接有两个六轴腕部7；在六轴腕部7的端部上设置有用于感知周围物体的腕部深度视觉传感器8，在六轴腕部7的端部连接有机械手爪9；
六轴腕部7的各个驱动电机以及机械手爪9的驱动电机与控制器电连接；腕部深度视觉传感器8与通信模块4电连接，机械手爪9在360度旋转的视觉摄像机14的拍摄工作示意视角17的摄像范围内。
在胸部支架1上两侧分别转动连接有两个六轴腿部10；在六轴腿部10的端部上设置有用于感知周围物体的腿部深度视觉传感器11和/或激光测距仪12；
六轴腿部10的各个驱动电机与控制器电连接；腿部深度视觉传感器11与视觉板卡电连接和/或激光测距仪12与通信模块4电连接。
六轴腿部10下端连接有全向轮移动平台15，在全向轮移动平台15设置有与视觉板卡电连接的脚部深度视觉传感器16。
总控制处理器6为具有与分布式控制的操作系统对接的英特尔处理器。
深度视觉传感器为DMK72AUC02工业相机IMAGING德国。
在主板3集成与总控制处理器6电连接的无线通信模块，无线通信模块无线连接有智能终端。
本机器人系统还包括搭载有ubuntu14.04以上的操作系统。
在肢体和胸部支架1上安装有与总控制处理器6电连接的防碰撞传感器。
具体地说，机器人的工作模式显示屏，1)自主模式下，显示相应的状态信息，信息表示为自主运行，2)人接近机器人模式，显示接近模式，当相应手势识别后，及时显示协作模式；3)协作模式下，用户调整头部的360度的摄像机，在显示屏上实时显示协作模式下机器人的工作区域，并可根据显示内容调整大小等。
头部的360度的摄像机组件，可水平或者垂直移动等多种动作，有三种功能。1)机器人自主运动模式下，该摄像机配合机器人双腕上的深度视觉传感器进行物品精确定位等，协助机器人快速精准的作业；2)人接近机器人的模式下，当腿部的深度视觉传感器检测到有人靠近的时候，该摄像头对准人，对手势进行识别，判断是否进入协作模式；3)协作模式，该摄像机旋转到机器人作业的正前方，用户可通过调节胸部的显示器，选择该摄像机的视野大小和清晰度等。该摄像机的视野区间，就是为协作区域下机器人的空间，在此空间内，利用机器人快速、准确的特点来进行重复性的作业工作。在此区域外为人的空间，机器人机械手爪臂出了机器人区域，到达人的区域的话，立即停止。在人的空间内，人进行柔性，触觉，灵活性要求比较高的工序。
机器人手腕部的深度视觉传感器以及部件，1)在自主工作模式下，双腕部的深度视觉传感器协同头部的360度的摄像机采集作业目标信息，进行双臂协作的手眼协同精准作业；2)人机接近模式下，双腕部的深度视觉传感器进行双臂协作的手眼协同精准作业，双臂速度减慢；3)人机协作模式下，双腕部的深度视觉传感器停止工作，双臂根据人的牵引示教，在机器人区域内进行快速的、重复性的工作。
双腿的腿部前后安装有深度视觉传感器以及组件，1)自主模式下，可对外界环境进行感知，实现协作机器人的自主移动，2)人机接近模式下，可以检测是否有人靠近，当在一定范围内，有人靠近的时候，深度视觉传感器提取人腿的骨骼信息，根据骨骼运动，进行人体的步态分析，实时判断人是否在靠近机器人，从而使机器人减速作业，头部摄像机识别的手势，是否进入协作模式；3)人机协作模式下，停止工作。
可移动底座以及组件，1)机器人自主运动模式下，根据腿部深度视觉信息进行自主避障和导航2)人接近机器人模式，减速避让人乃至停止移动，保障人和协作机器人的安全；3)人机协作模式下，移动底座制动，停止工作。
如图1所示，本实施例的智能双臂安全协作人机共融型机器人系统的控制方法，包括以下步骤；
步骤一，搭建智能双臂安全协作工作人机共融型机器人系统平台，其包括；上述的系统。
步骤二，分两种情况，
第一情况，初始化步骤一中系统中各个模块；
步骤三，当按照第一种情况各个模块初始化后，进入机器人自主模式；
首先，从硬盘中调取或直接输入预设工作程序；
其次，总控制处理器6根据预设工作程序通过控制器控制六轴腕部7、机械手爪9、六轴腿部10、全向轮移动平台15动作；同时，腕部深度视觉传感器8与360度旋转的视觉摄像机14将机械手爪9工作区域的立体影像信息传递给总控制处理器6，腿部深度视觉传感器11和/或激光测距仪12以及脚部深度视觉传感器16将人腿的检测信息和周围环境的空间检测信息反馈给总控制处理器6；
再次，总控制处理器6根据反馈的立体影像信息闭环纠正两个六轴腕部7与机械手爪9动作；总控制处理器6根据反馈的人腿的检测信息和周围环境的空间检测信息控制全向轮移动平台15行驶路线。
进一步，当在步骤三中，腿部深度视觉传感器11和/或激光测距仪12检测到人腿的出现预设范围内后；进入步骤四人与机器人接近模式
执行步骤四，即首先，总控制处理器6通过控制器控制相应的机器人作业的肢体控制电机同步减速动作；
然后，腿部深度视觉传感器11和/或激光测距仪12将该人腿移动的情况进行实时检测识别信息和跟踪人腿的运动信息，总控制处理器6根据该实时检测识别与运动信息判断该人是远离或靠近；
如果远离，其继续执行步骤三的内容；
如果靠近，执行步骤五；
步骤五，总控制处理器6通过控制器控制机器人作业肢体控制电机同步继续减速动作或待机暂停；
步骤六，360度旋转的视觉摄像机14等待检测并识别：
当在设定的时间内没有检测到人的指令时，则腿部深度视觉传感器11和/或激光测距仪12实时检测其与该人之间的距离，并传递给总控制处理器6，当该距离超过设定距离阈值，总控制处理器6通过控制器控制全向轮移动平台15避让该人，当该距离小于设定距离阈值，总控制处理器6通过控制器控制全向轮移动平台15自动待机暂停行走。
当在步骤六中，在设定的时间内检测到人的指令时，进入步骤七人机协作模式；
步骤七，按照预设指令，该人对通过360度旋转的视觉摄像机14进行引导牵引示教，总控制处理器6根据360度旋转的视觉摄像机14采集人的动作指示信息，通过控制器控制相应控制电机重复动作。
在步骤七中，该人协同进行柔性工序。
在步骤七之后，执行步骤八，
步骤八，自动或手动将步骤七控制电机重复动作指令备份到硬盘中，并记录步骤七控制电机动作终止状态指令，最后执行完毕。
在步骤二中，其第二种情况，为二次开机工作步骤，
首先，从硬盘中调取上一次步骤八备份的控制电机重复动作指令；
然后，总控制处理器6根据当前电机动作终止状态位置信息，继续进行控制电机重复动作指令；
最后，当执行完毕后，总控制处理器6记录本次控制电机动作终止状态指令。
针对基于视觉伺服的机器人机械(双)臂识别、跟踪与控制、深度视觉扫描的人腿步态识别与跟踪、多模态传感的人机协作系统的控制等技术问题，本发明的具体内容如下：
(1)协作机器人视觉伺服系统控制
以协作机器人为对象，针对协作机器人面对的非结构化的复杂环境下自我避障和外物避障问题，利用机器视觉，机器人路径规划、机器人运动控制技术等构建协作机器人视觉伺服系统，对作业环境进行多视点检测与识别以及机械臂实时运动轨迹的调整，提高协作机器人自身的灵活性和安全性。
(2)协作机器人协作空间目标识别与跟踪
针对人进入协作机器人工作空间的识别与安全问题，利用深度视觉、运动目标检测与识别、机器学习等技术构建协作机器人空间检测系统，对协作区域中的人腿的步态运动状态进行实时的跟踪和运动趋势分析，进而对人的意图与行为进行判断，根据判断结果实时控制协作机器人是否正常作业以及减速作业乃至停止，保证人身与协作机器人的安全。
(3)人机协作共融系统的设计
根据协作机器人的手眼伺服控制和协作空间的运动目标与跟踪的方法，搭建人机协作控制系统。本系统拟利用ROS(Robot Operating System)分布式控制的原理，硬件虚拟化为节点构建各功能模块搭建模块化的软件框架，完成整个系统的各功能设计要求。在此系统下满足协作机器人系统的设计性能要求，针对自主运行、人机靠近和人机协作三种工作模式的控制原理以及方法进行实践，对人与机器人的交互与协作模式进行设计与试验，实现了人机共融系统的机理过程。
本专利的有益效果在于：
(1)可以基于本系统，针对不同的工作条件与要求，对协作机器人工作环境进行编程设计，实现控制视觉伺服传感与运动，从而使得具有相应的协作机器人机械臂的自我避障与外物避障的功能；
(2)可以基于本系统，满足人进入协作机器人工作空间的识别与安全的需要，在分析人运动意图的基础上，实现协作机器人协作空间中的人腿步态识别与跟踪。
(3)根据人机协作机器人系统的双臂协作控制算法以及环境认知的方法，本人机协作机器人具有三种工作模式，实现了人与机器人的协作模式以及共融，实现了机器人的智能化。
本发明设计合理、成本低廉、结实耐用、安全可靠、操作简单、省时省力、节约资金、结构紧凑且使用方便。
本发明的控制方法，具有高度柔性与兼容性，适合工作场所广泛，操作简单，灵活性好，容错性强。
本发明设计合理、成本低廉、结实耐用、安全可靠、操作简单、省时省力、节约资金、结构紧凑且使用方便。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (7)

1.一种智能双臂安全协作人机共融型机器人系统的控制方法，其特征在于:包括以下步骤；
步骤一，搭建基于ubuntu14.04以上的操作系统的智能双臂安全协作人机共融型机器人系统平台；
步骤二，分两种情况，
第一种情况，初始化步骤一中智能双臂安全协作工作人机共融型机器人系统平台；
步骤三，当按照第一种情况各个模块初始化后，进入机器人自主模式；
首先，从硬盘中调取或直接输入预设工作程序；
其次，总控制处理器(6)根据预设工作程序通过控制器控制六轴腕部(7)、机械手爪(9)、六轴腿部(10)、全向轮移动平台(15)动作；同时，腕部深度视觉传感器(8)与360度旋转的视觉摄像机(14)将机械手爪(9)工作区域的立体影像信息传递给总控制处理器(6)，腿部深度视觉传感器(11)和/或激光测距仪(12)以及脚部深度视觉传感器(16)将人腿的检测信息和周围环境的空间检测信息反馈给总控制处理器(6)；
再次，总控制处理器(6)根据反馈的立体影像信息闭环纠正两个六轴腕部(7)与机械手爪(9)动作；总控制处理器(6)根据反馈的人腿的检测信息和周围环境的空间检测信息控制全向轮移动平台(15)行驶路线。
2.根据权利要求1所述的一种智能双臂安全协作人机共融型机器人系统的控制方法，其特征在于:当在步骤三中，腿部深度视觉传感器(11)和/或激光测距仪(12)检测到人腿出现在预设范围内后；进入步骤四人与机器人接近模式，
执行步骤四，即首先，总控制处理器(6)通过控制器控制相应的机器人作业的肢体控制电机同步减速动作；
然后，腿部深度视觉传感器(11)和/或激光测距仪(12)将该人腿移动的情况进行实时检测识别信息和跟踪人腿的运动信息，总控制处理器(6)根据该实时检测识别与运动信息判断该人是远离或靠近；
如果远离，其继续执行步骤三的内容；
如果靠近，执行步骤五；
步骤五，总控制处理器(6)通过控制器控制机器人作业肢体控制电机同步继续减速动作或待机暂停；
步骤六，360度旋转的视觉摄像机(14)等待检测并识别：
当在设定的时间内没有检测到人的指令时，则腿部深度视觉传感器(11)和/或激光测距仪(12)实时检测其与该人之间的距离，并传递给总控制处理器(6)，当该距离超过设定距离阈值，总控制处理器(6)通过控制器控制全向轮移动平台(15)避让该人，当该距离小于设定距离阈值，总控制处理器(6)通过控制器控制全向轮移动平台(15)自动待机暂停行走。
3.根据权利要求2所述的智能双臂安全协作人机共融型机器人系统的控制方法，其特征在于:当在步骤六中，在设定的时间内检测到人的指令时，进入步骤七人机协作模式；
步骤七，按照预设指令，该人对通过360度旋转的视觉摄像机(14)进行引导牵引示教，总控制处理器(6)根据360度旋转的视觉摄像机(14)采集人的动作指示信息，通过控制器控制相应控制电机重复动作。
4.根据权利要求3所述的智能双臂安全协作人机共融型机器人系统的控制方法，其特征在于:在步骤七中，该人与本系统协同工作。
5.根据权利要求3所述的智能双臂安全协作人机共融型机器人系统的控制方法，其特征在于:在步骤七之后，执行步骤八，
步骤八，自动或手动将步骤七控制电机重复动作指令备份到硬盘中，并记录步骤七控制电机动作终止状态指令，最后执行完毕。
6.根据权利要求5所述的智能双臂安全协作人机共融型机器人系统的控制方法，其特征在于:在步骤二中，其第二种情况，为二次开机工作步骤，
首先，从硬盘中调取上一次步骤八备份的控制电机重复动作指令；
然后，总控制处理器(6)根据当前电机动作终止状态位置信息，继续进行控制电机重复动作指令；
最后，当执行完毕后，总控制处理器(6)记录本次控制电机动作终止状态指令。
7.根据权利要求1所述的智能双臂安全协作人机共融型机器人系统的控制方法，其特征在于:在步骤一中，所述平台包括机器人的胸部支架(1)、安装在胸部支架(1)的主板(3)、集成在主板(3)上的通信模块(4)、硬盘、视觉板卡和总控制处理器(6)、与总控制处理器(6)电连接的交互式显示屏(5)、与总控制处理器(6)电连接的控制器、与胸部支架(1)连接的肢体、设置在肢体上且与通信模块(4)电连接的深度视觉传感器、下端与胸部支架(1)连接的两轴以上驱动的头部(13)、以及设置在两轴以上驱动的头部(13)且与通信模块(4)和/或视觉板卡电连接的360度旋转的视觉摄像机(14)；
通信模块(4)、硬盘、视觉板卡分别与总控制处理器(6)通信连接；
控制器与肢体的转动轴驱动电机电连接；
在胸部支架(1)上且与主板(3)电连接的电源模块(2)和/或两轴以上驱动的头部(13)包括左右旋转轴驱动电机以及上下摆动驱动电机；
在胸部支架(1)上两侧分别转动连接有两个六轴腕部(7)；在六轴腕部(7)的端部上设置有用于感知周围物体的腕部深度视觉传感器(8)，在六轴腕部(7)的端部连接有机械手爪(9)；
六轴腕部(7)的各个驱动电机以及机械手爪(9)的驱动电机与控制器电连接；腕部深度视觉传感器(8)与通信模块(4)电连接，机械手爪(9)在360度旋转的视觉摄像机(14)的拍摄工作示意视角(17)的摄像范围内；
在胸部支架(1)上两侧分别转动连接有两个六轴腿部(10)；在六轴腿部(10)的端部上设置有用于感知周围物体的腿部深度视觉传感器(11)和/或激光测距仪(12)；
六轴腿部(10)的各个驱动电机与控制器电连接；腿部深度视觉传感器(11)与视觉板卡电连接和/或激光测距仪(12)与通信模块(4)电连接；
六轴腿部(10)下端连接有全向轮移动平台(15)，在全向轮移动平台(15)设置有与视觉板卡电连接的脚部深度视觉传感器(16)；
在肢体和胸部支架(1)上安装有与总控制处理器(6)电连接的防碰撞传感器。
CN201711165956.7A 2017-11-21 2017-11-21 智能双臂安全协作人机共融型机器人系统的控制方法 Active CN107891425B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711165956.7A CN107891425B (zh) 2017-11-21 2017-11-21 智能双臂安全协作人机共融型机器人系统的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711165956.7A CN107891425B (zh) 2017-11-21 2017-11-21 智能双臂安全协作人机共融型机器人系统的控制方法

Publications (2)

Publication Number Publication Date
CN107891425A true CN107891425A (zh) 2018-04-10
CN107891425B CN107891425B (zh) 2020-05-12

Family

ID=61804495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711165956.7A Active CN107891425B (zh) 2017-11-21 2017-11-21 智能双臂安全协作人机共融型机器人系统的控制方法

Country Status (1)

Country Link
CN (1) CN107891425B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109176305A (zh) * 2018-09-29 2019-01-11 东莞市照亮智能装备科技有限公司 一种机器人三维纠偏定位设备及方法
CN109397244A (zh) * 2018-11-23 2019-03-01 华中科技大学 一种一体化双7自由度机械臂全向移动机器人系统与控制方法
CN109773783A (zh) * 2018-12-27 2019-05-21 北京宇琪云联科技发展有限公司 一种基于空间点云识别的巡防智能机器人及其警务系统
CN109822554A (zh) * 2019-03-20 2019-05-31 华中科技大学 面向水下的双臂协同抓取、抱取及避碰一体化方法及系统
CN109822579A (zh) * 2019-04-10 2019-05-31 江苏艾萨克机器人股份有限公司 基于视觉的协作机器人安全控制方法
CN110039541A (zh) * 2019-04-11 2019-07-23 泉州信息工程学院 一种机器人安全工作控制方法和装置以及设备
CN110253570A (zh) * 2019-05-27 2019-09-20 浙江工业大学 基于视觉的工业机械臂人机安全系统
CN110640742A (zh) * 2018-11-07 2020-01-03 宁波赛朗科技有限公司 一种多模态监控的工业机器人平台
CN111230854A (zh) * 2018-11-28 2020-06-05 沈阳东联智慧科技有限公司 一种智能协作机器人安全控制软件系统
CN111515932A (zh) * 2020-04-23 2020-08-11 东华大学 一种基于人工势场与强化学习的人机共融流水线实现方法
CN112936267A (zh) * 2021-01-29 2021-06-11 华中科技大学 一种人机协作智能制造方法及系统
CN113924172A (zh) * 2019-06-07 2022-01-11 百超激光有限公司 分选系统、移动机器人、用于操作分选系统的方法、计算机程序产品和计算机可读介质
CN114206558A (zh) * 2019-07-26 2022-03-18 谷歌有限责任公司 基于来自远程客户端设备的输入的高效机器人控制
CN114347100A (zh) * 2020-10-14 2022-04-15 达明机器人股份有限公司 机器人的自动模式安全系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202512439U (zh) * 2012-02-28 2012-10-31 陶重犇 一种网络摄像头与可穿戴式传感器的人机协作系统
CN104044145A (zh) * 2013-03-14 2014-09-17 株式会社安川电机 机器人系统及被加工物的制造方法
CN105127997A (zh) * 2015-08-10 2015-12-09 深圳百思拓威机器人技术有限公司 药剂师智能机器人系统及其控制方法
CN105128012A (zh) * 2015-08-10 2015-12-09 深圳百思拓威机器人技术有限公司 一种开放式智能服务机器人系统及其多种控制方法
US20160346926A1 (en) * 2014-02-13 2016-12-01 Abb Schweiz Ag Robot system and method for controlling a robot system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202512439U (zh) * 2012-02-28 2012-10-31 陶重犇 一种网络摄像头与可穿戴式传感器的人机协作系统
CN104044145A (zh) * 2013-03-14 2014-09-17 株式会社安川电机 机器人系统及被加工物的制造方法
US20160346926A1 (en) * 2014-02-13 2016-12-01 Abb Schweiz Ag Robot system and method for controlling a robot system
CN105127997A (zh) * 2015-08-10 2015-12-09 深圳百思拓威机器人技术有限公司 药剂师智能机器人系统及其控制方法
CN105128012A (zh) * 2015-08-10 2015-12-09 深圳百思拓威机器人技术有限公司 一种开放式智能服务机器人系统及其多种控制方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109176305A (zh) * 2018-09-29 2019-01-11 东莞市照亮智能装备科技有限公司 一种机器人三维纠偏定位设备及方法
CN109176305B (zh) * 2018-09-29 2024-04-16 照亮智能装备(江门)有限公司 一种机器人三维纠偏定位设备及方法
CN110640742A (zh) * 2018-11-07 2020-01-03 宁波赛朗科技有限公司 一种多模态监控的工业机器人平台
CN109397244A (zh) * 2018-11-23 2019-03-01 华中科技大学 一种一体化双7自由度机械臂全向移动机器人系统与控制方法
CN111230854A (zh) * 2018-11-28 2020-06-05 沈阳东联智慧科技有限公司 一种智能协作机器人安全控制软件系统
CN109773783B (zh) * 2018-12-27 2020-04-24 北京宇琪云联科技发展有限公司 一种基于空间点云识别的巡防智能机器人及其警务系统
CN109773783A (zh) * 2018-12-27 2019-05-21 北京宇琪云联科技发展有限公司 一种基于空间点云识别的巡防智能机器人及其警务系统
CN109822554A (zh) * 2019-03-20 2019-05-31 华中科技大学 面向水下的双臂协同抓取、抱取及避碰一体化方法及系统
CN109822579A (zh) * 2019-04-10 2019-05-31 江苏艾萨克机器人股份有限公司 基于视觉的协作机器人安全控制方法
CN110039541B (zh) * 2019-04-11 2022-06-14 泉州信息工程学院 一种机器人安全工作控制方法和装置以及设备
CN110039541A (zh) * 2019-04-11 2019-07-23 泉州信息工程学院 一种机器人安全工作控制方法和装置以及设备
CN110253570A (zh) * 2019-05-27 2019-09-20 浙江工业大学 基于视觉的工业机械臂人机安全系统
CN113924172A (zh) * 2019-06-07 2022-01-11 百超激光有限公司 分选系统、移动机器人、用于操作分选系统的方法、计算机程序产品和计算机可读介质
CN114206558A (zh) * 2019-07-26 2022-03-18 谷歌有限责任公司 基于来自远程客户端设备的输入的高效机器人控制
CN111515932A (zh) * 2020-04-23 2020-08-11 东华大学 一种基于人工势场与强化学习的人机共融流水线实现方法
CN114347100A (zh) * 2020-10-14 2022-04-15 达明机器人股份有限公司 机器人的自动模式安全系统及方法
CN114347100B (zh) * 2020-10-14 2024-04-16 达明机器人股份有限公司 机器人的自动模式安全系统及方法
CN112936267A (zh) * 2021-01-29 2021-06-11 华中科技大学 一种人机协作智能制造方法及系统
CN112936267B (zh) * 2021-01-29 2022-05-27 华中科技大学 一种人机协作智能制造方法及系统

Also Published As

Publication number Publication date
CN107891425B (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN107891425A (zh) 智能双臂安全协作人机共融型机器人系统的控制方法
CN107756417A (zh) 智能双臂安全协作人机共融机器人系统
Choi et al. An integrated mixed reality system for safety-aware human-robot collaboration using deep learning and digital twin generation
CA2950979C (en) Humanoid robot with collision avoidance and trajectory recovery capabilities
CN109571513B (zh) 一种沉浸式移动抓取服务机器人系统
Jevtić et al. Comparison of interaction modalities for mobile indoor robot guidance: Direct physical interaction, person following, and pointing control
CN113829343B (zh) 基于环境感知的实时多任务多人人机交互系统
Escobedo et al. Contact anticipation for physical human–robot interaction with robotic manipulators using onboard proximity sensors
CN111230854A (zh) 一种智能协作机器人安全控制软件系统
CN112706158A (zh) 基于视觉和惯导定位的工业人机交互系统及方法
CN106377228A (zh) 基于Kinect的无人机操作员状态监视与分层控制方法
CN207578422U (zh) 智能双臂安全协作人机共融机器人系统
Truong et al. Dynamic social zone for human safety in human-robot shared workspaces
Li et al. An egocentric computer vision based co-robot wheelchair
Gai et al. Mobile shopping cart application using kinect
Matsumoto et al. The essential components of human-friendly robot systems
CN111673745A (zh) 一种基于体感互动的机器人控制系统和方法
Broccia et al. Gestural Interaction for Robot Motion Control.
Jayasurya et al. Gesture controlled AI-robot using Kinect
KR20210115842A (ko) 인공지능 영상처리로 사용자를 인식하고 추종하는 이동체 장치 및 동작방법
Xu et al. Design of a human-robot interaction system for robot teleoperation based on digital twinning
Latif et al. Human robot Interaction–Object Detection and Distance Measurement Using Kinect V2
CN112046662B (zh) 一种代步跟随机器人及其代步跟随方法
You et al. Research and Implementation of Human-Computer Interaction System Based on Human Body Attitude Recognition Algorithm
Amat et al. Human robot interaction from visual perception

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200414

Address after: Tunxi road in Baohe District of Hefei city of Anhui Province, No. 193 230009

Applicant after: Hefei University of Technology

Applicant after: BEIFANG MINZU University

Address before: 750021 No. 204 Wenchang North Road, Xixia District, the Ningxia Hui Autonomous Region, Yinchuan

Applicant before: BEIFANG MINZU University

GR01 Patent grant
GR01 Patent grant