CN113681565A - 一种实现机器人与人之间物品传递的人机协作方法及装置 - Google Patents

一种实现机器人与人之间物品传递的人机协作方法及装置 Download PDF

Info

Publication number
CN113681565A
CN113681565A CN202111050786.4A CN202111050786A CN113681565A CN 113681565 A CN113681565 A CN 113681565A CN 202111050786 A CN202111050786 A CN 202111050786A CN 113681565 A CN113681565 A CN 113681565A
Authority
CN
China
Prior art keywords
mechanical arm
pose
module
tail end
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111050786.4A
Other languages
English (en)
Inventor
杨逸飞
林隆中
章一凡
熊蓉
周忠祥
王越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202111050786.4A priority Critical patent/CN113681565A/zh
Publication of CN113681565A publication Critical patent/CN113681565A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种实现机器人与人之间物品传递的人机协作方法及装置，包括操作人员手持指定容器进入视觉观测系统的观测范围，视觉观测系统根据视觉观测系统的观测范围内的视觉信息估计操作人员手持的指定容器的六自由度位姿，并将操作人员手持的指定容器的位姿发送给机械臂运动规划与控制系统等步骤，机械臂可以柔顺、灵敏地跟随操作人员手持的指定容器运动，且在跟随操作人员手持的指定容器运动的过程中，机械臂始终保持末端夹爪所持容器的杯口朝上，以避免盛装在其中的物品掉落，当操作人员手持的指定容器位置稳定且杯口朝上时，机械臂可以迅速、准确地在该位置进行物品交接。

Description

一种实现机器人与人之间物品传递的人机协作方法及装置
技术领域
本发明涉及人机协作技术，具体地说，涉及一种实现机器人与人之间物品传递的人机协作方法及装置。
背景技术
机器人技术发展迅速，在工业生产、科学研究、军事军备和社会生活等方面都有广泛的应用。在今天的现代化工厂中，已经有大量的自动化生产过程由工业机器人完成，比如上下料、搬运、焊接、喷涂、打磨等。传统的工业机器人虽然具有执行速度快、精度高的优点，但灵活适应性是其一大短板。相对的，人虽然有着很好的灵活适应性，但在速度和精度上很难达到机器人的水平。机器人和人是工业生产中的两大主要生产力，他们有着各自的优势，但出于安全性考虑，二者通常是分开独立工作的，无法实现优势互补，这不仅限制了生产效率也影响了生产线的灵活性。
而人机协作，即机器人与人在共同的工作空间下协作完成任务，很好地结合了机器人在速度、精度方面的优势和人类强大的灵活适应能力，能够满足任务多样性和环境复杂性的要求，可以用于执行与未知环境和人发生交互作用的操作任务，进一步提高生产效率和生产线的灵活性。在机器人与人协同工作的过程中很多时候都需要完成物品传递的任务，比如机器人向工人提供工具，所以人机之间的物品传递是人机协作的一项重要功能。综合应用并优化计算机视觉、操作机器人运动规划等技术，可以构建一个安全可靠的人机交接系统，实现机器人与人之间的物品传递。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种实现机器人与人之间物品传递的人机协作方法及装置，实现机器人与人之间安全可靠的物品交接。本发明是通过以下技术方案来实现的：
本发明公开了一种实现机器人与人之间物品传递的人机协作方法，包括以下步骤：
1)操作人员手持指定容器进入视觉观测系统的观测范围，视觉观测系统根据视觉观测系统的观测范围内的视觉信息估计操作人员手持的指定容器的六自由度位姿，并将操作人员手持的指定容器的位姿发送给机械臂运动规划与控制系统；
2)机械臂运动规划与控制系统根据接收到的操作人员手持的指定容器的位姿，结合机械臂末端的当前位姿以及交接策略，得到机械臂末端的目标位姿，然后根据机械臂末端的目标位姿和当前位姿生成机械臂关节速度控制指令，控制机械臂末端到达目标位姿。
作为进一步地改进，本发明所述的视觉观测系统的观测范围指相机视野，视觉信息包括RGB图像和深度图像；
视觉观测系统包括以下模块：图像采集模块、语义分割模块、语义分割优化模块、区域提取模块以及位姿估计模块；
图像采集模块用于采集相机视野中的RGB图像和深度图像，语义分割模块用于标注RGB图像中每个像素点所属的语义类别，语义类别有两类，一类是操作人员手持的指定容器，另一类是除操作人员手持的指定容器外的其他所有物体，语义分割优化模块用于优化语义分割模块产生的语义分割结果，区域提取模块用于根据语义分割优化模块优化之后的语义分割结果提取RGB图像中表示操作人员手持的指定容器的像素点和深度图像中表示操作人员手持的指定容器的点云，位姿估计模块用于估计操作人员手持的指定容器的位姿。
视觉观测系统中的图像采集模块用于采集相机视野中的RGB图像和深度图像，语义分割模块用于标注RGB图像中每个像素点所属的语义类别，语义类别有两类，一类是操作人员手持的指定容器，另一类是除操作人员手持的指定容器外的其他所有物体，语义分割优化模块用于优化语义分割模块产生的语义分割结果，区域提取模块用于根据语义分割优化模块优化之后的语义分割结果提取RGB图像中表示操作人员手持的指定容器的像素点和深度图像中表示操作人员手持的指定容器的点云，位姿估计模块用于估计操作人员手持的指定容器的位姿；
视觉观测系统中各模块之间的数据传递关系具体为，图像采集模块将RGB图像发送给语义分割模块，语义分割模块根据接收到的RGB图像进行语义分割，并将结果发送给语义分割优化模块，语义分割优化模块对接收到的语义分割结果进行优化，然后将优化之后的语义分割结果发送给区域提取模块，同时图像采集模块将RGB图像和深度图像发送给区域提取模块，区域提取模块根据接收到的优化后的语义分割结果、RGB图像以及深度图像提取表示操作人员手持的指定容器的像素和点云，并将表示操作人员手持的指定容器的像素和点云发送到位姿估计模块，位姿估计模块根据接收到的表示操作人员手持的指定容器的像素和点云得到操作人员手持的指定容器的位姿。
作为进一步地改进，本发明所述的机械臂运动规划与控制系统包括以下模块：目标位姿计算模块、人工势场建立模块以及导纳控制模块；
目标位姿计算模块用于根据操作人员手持的指定容器的位姿、机械臂末端的当前位姿以及交接策略得到机械臂末端的目标位姿，人工势场建立模块用于根据机械臂末端目标位姿建立虚拟引力势场并计算机械臂末端所受到的虚拟力和力矩，导纳控制模块用于根据机械臂末端受到的虚拟力和力矩计算机械臂关节速度指令。
机械臂运动规划与控制系统各模块之间的数据传递关系具体为，机械臂将机械臂末端的位姿发送给目标位姿计算模块，目标位姿计算模块根据接收到的机械臂末端的位姿、预先设计好的交接策略以及从视觉观测系统传输过来的操作人员手持的指定容器的位姿计算出机械臂末端的目标位姿，并将机械臂末端的目标位姿发送给人工势场建立模块，人工势场建立模块根据接收到的机械臂末端的目标位姿得到机械臂末端受到的虚拟力和力矩，并将机械臂末端受到的虚拟力和力矩发送给导纳控制模块，导纳控制模块根据接收到的机械臂末端受到的虚拟力和力矩计算机械臂关节速度指令，并将机械臂关节速度指令发送给机械臂执行。
作为进一步地改进，本发明所述的语义分割模块使用的算法包括但不限于Fast-SCNN；位姿估计模块使用的算法包括但不限于REDE。
作为进一步地改进，本发明所述的语义分割结果的初始值由视觉观测系统中语义分割模块得到，该结果会将RGB图像边缘的一些像素点误分类为操作人员手持的指定容器，视觉观测系统中语义分割优化模块通过分析该结果中被标记为操作人员手持的指定容器的连通区域，当有多个这样的连通区域时，去除在边缘且像素点数量较少的连通区域，从而优化语义分割结果。
作为进一步地改进，本发明所述的交接策略以及机械臂末端的目标位姿的确定方法具体为：若机械臂末端与操作人员手持的指定容器的位置偏差较小，且操作人员手持的指定容器的姿态是杯口朝上，则使机械臂末端跟随操作人员手持的指定容器，同时进行倾倒，即设定机械臂末端的目标位置为操作人员手持的指定容器的位置的偏高处，目标姿态为使机械臂末端夹爪所持容器杯口斜向下朝向操作人员手持的指定容器的杯口；否则，使机械臂末端跟随操作人员手持的指定容器，同时保持机械臂末端夹爪所持容器杯口朝上，即设定机械臂末端的目标位置为操作人员手持的指定容器的位置的偏高处，目标姿态为使机械臂末端夹爪所持容器杯口朝上。
作为进一步地改进，本发明所述的虚拟引力势场的建立具体为，根据下式建立以机械臂末端的目标位姿为中心的虚拟引力势场：
Figure BDA0003252863860000051
其中，x为待评估处的位姿，xt为机械臂末端的目标位姿，Ka为系数，da为距离阈值，Uatt(x)为x处的虚拟势能；
机械臂末端所受到的虚拟力和力矩的计算具体为，根据下式计算机械臂末端在虚拟引力势场中受到的虚拟力和力矩：
Figure BDA0003252863860000052
其中，xe为机械臂末端的当前位姿，xt为机械臂末端的目标位姿，Ka为系数，da为距离阈值，Fatt(xe)为机械臂末端受到的虚拟力和力矩；
机械臂末端的当前位置和目标位置的偏差的具体计算为，机械臂末端的当前位置(xe，ye，ze)T，机械臂末端的目标位置(xt，yt，zt)T，偏差根据下式进行计算：
ed＝(xe-xt，ye-yt，ze-zt)T#(3)
机械臂末端的当前姿态和目标姿态的偏差的具体计算为，机械臂末端的当前姿态对应的旋转矩阵Re＝[ne se ae]，机械臂末端的目标姿态对应的旋转矩阵Rt＝[nt st at]，偏差根据下式进行计算：
Figure BDA0003252863860000061
机械臂末端的当前位姿和目标位姿的偏差为：
Figure BDA0003252863860000062
作为进一步地改进，本发明所述的机械臂关节速度指令的计算具体为，首先根据下式计算机械臂末端在虚拟力和力矩作用下的期望速度：
Figure BDA0003252863860000063
Figure BDA0003252863860000064
其中，M为期望的惯性特性，D为期望的阻尼特性，Fatt为机械臂末端受到的虚拟力和力矩，
Figure BDA0003252863860000065
为k时刻机械臂末端的期望线加速度和角加速度，
Figure BDA0003252863860000066
为k时刻机械臂末端的期望线速度和角速度，
Figure BDA0003252863860000067
Figure BDA0003252863860000068
然后根据下式计算机械臂的关节速度：
Figure BDA0003252863860000069
其中，
Figure BDA0003252863860000071
为机械臂的期望关节速度，J(θ)为雅可比矩阵，v为机械臂末端的期望线速度，ω为机械臂末端的期望角速度。
本发明还公开了一种实现机器人与人之间物品传递的人机协作方法的装置，其特征在于，装置如下：视觉观测系统中使用的装置包括RGB-D相机以及第一计算模块，所述的RGB-D相机用于获取RGB图像和深度图像，所述的第一计算模块用于运行语义分割模块、语义分割优化模块、区域提取模块以及位姿估计模块中的算法；
机械臂运动规划与控制系统中使用的装置包括机械臂和第二计算模块，机械臂用于执行速度控制指令以及反馈机械臂末端位姿，第二计算模块根据视觉观测系统得到的操作人员手持的指定容器的位姿，结合机械臂反馈的末端位姿和设计好的交接策略，建立虚拟引力势场，计算机械臂末端受到的虚拟力和力矩、机械臂末端在虚拟力和力矩作用下的期望速度以及机械臂的期望关节速度；
硬件之间的数据传递关系具体为，RGB-D相机将RGB图像和深度图像发送给第一计算模块，第一计算模块根据接收到的RGB图像和深度图像估计操作人员手持的指定容器的位姿，并将操作人员手持的指定容器的位姿发送给第二计算模块，机械臂将机械臂末端位姿发送给第二计算模块，第二计算模块根据操作人员手持的指定容器的位姿、机械臂末端位姿以及设计好的交接策略得到机械臂关节速度指令，并将机械臂关节速度指令发送给机械臂，机械臂根据接收到的机械臂关节速度指令调整运动状态。
作为进一步地改进，本发明所述的视觉观测系统使用的RGB-D相机包括但不限于Intel RealSense L515，机械臂运动规划与控制系统使用的机械臂包括但不限于UR5，RGB-D相机用于获取RGB-D图像，机械臂用于执行速度控制指令和反馈机械臂末端位姿；相机与机械臂之间的位姿相对关系已经事先标定得知。
作为进一步地改进，本发明所述的装置还包括处理器、存储器以及存储在存储器中的程序，所述计算机程序被处理器执行时实现实现机器人与人之间物品传递的人机协作方法的步骤。
对比现有的技术，本发明的有益效果在于：
当操作人员手持指定容器进入视觉观测系统的观测范围，视觉观测系统可以快速、准确、鲁棒地获取操作人员手持的指定容器的六自由度位姿；在此基础上，机械臂可以柔顺、灵敏地跟随操作人员手持的指定容器运动，且在跟随操作人员手持的指定容器运动的过程中，机械臂始终保持末端夹爪所持容器的杯口朝上，以避免盛装在其中的物品掉落；当操作人员手持的指定容器位置稳定且杯口朝上时，机械臂可以迅速、准确地在该位置进行物品交接；并且如果当机械臂正在进行物品交接时，操作人员将手持的指定容器突然移开，机械臂可以迅速终止倾倒动作，在恢复末端夹爪所持容器杯口朝上的同时跟随操作人员手持的指定容器，从而大概率防止物品掉落。此项技术可以顺利完成机器人与人之间的物品传递任务，能够应用于需要进行人机物品传递的人机协作领域。
附图说明
图1为本发明一种实现机器人与人之间物品传递的人机协作方法中人机协作物品传递系统的流程示意图。
具体实施方式
本发明公开了一种实现机器人与人之间物品传递的人机协作方法及装置，由以下系统构成：视觉观测系统以及机械臂运动规划与控制系统，每个系统又包含了为实现特定功能而使用的软件算法和硬件装置。
本发明公开了一种实现机器人与人之间物品传递的人机协作方法及装置，包括以下步骤：
1)操作人员手持指定容器进入视觉观测系统的观测范围，视觉观测系统的观测范围指相机视野，视觉观测系统根据观测范围内的视觉信息估计操作人员手持的指定容器的六自由度位姿，视觉信息包括RGB图像和深度图像，并将操作人员手持的指定容器的位姿发送给机械臂运动规划与控制系统。
2)机械臂运动规划与控制系统根据接收到的操作人员手持的指定容器的位姿，结合机械臂末端的当前位姿以及交接策略，得到机械臂末端的目标位姿，然后根据机械臂末端的目标位姿和当前位姿生成机械臂关节速度控制指令，控制机械臂末端到达目标位姿。
视觉观测系统中包括了以下模块：图像采集模块、语义分割模块、语义分割优化模块、区域提取模块以及位姿估计模块，每个模块的详细介绍如下：
图像采集模块的功能是采集相机视野中的RGB图像和深度图像，并将其传递给后续的各个模块。
很多位姿估计算法，尤其是利用深度神经网络提取像素特征的位姿估计算法，一般需要先进行图像分割来缩小数据处理范围、减少杂乱背景的干扰。为了实现上述的功能，本发明设计了语义分割模块。该模块使用Fast-SCNN实现，能够标注RGB图像中每个像素点所属的语义类别，即判断RGB图像中的每个像素是否属于RGB图像中表示操作人员手持的指定容器的部分。
由于视觉传感器精度以及语义分割算法精度的限制，语义分割模块的结果会将RGB图像边缘的一些像素点误分类为操作人员手持的指定容器。语义分割优化模块对语义分割模块产生的语义分割结果进行优化，语义分割优化模块通过分析语义分割模块产生的语义分割结果中被标记为操作人员手持的指定容器的连通区域，当有多个这样的连通区域时，去除在边缘且像素点数量较少的连通区域，从而优化语义分割结果。
区域提取模块的功能是根据语义分割优化模块优化之后的语义分割结果提取RGB图像中表示操作人员手持的指定容器的像素点和深度图像中表示操作人员手持的指定容器的点云。
为了使机器人能够成功将物品从机械臂末端夹爪所持容器中移交到操作人员手持的指定容器中，需要操作人员手持的指定容器的位姿信息。为了实现上述功能，本发明设计了位姿估计模块，该模块使用REDE实现，能够根据RGB图像中表示操作人员手持的指定容器的像素点和深度图像中表示操作人员手持的指定容器的点云，对操作人员手持的指定容器进行位姿估计，从而得到其六自由度位姿。
视觉观测系统中的图像采集模块用于采集相机视野中的RGB图像和深度图像，语义分割模块用于标注RGB图像中每个像素点所属的语义类别，语义类别有两类，一类是操作人员手持的指定容器，另一类是除操作人员手持的指定容器外的其他所有物体，语义分割优化模块用于优化语义分割模块产生的语义分割结果，区域提取模块用于根据语义分割优化模块优化之后的语义分割结果提取RGB图像中表示操作人员手持的指定容器的像素点和深度图像中表示操作人员手持的指定容器的点云，位姿估计模块用于估计操作人员手持的指定容器的位姿；
视觉观测系统中各模块之间的数据传递关系具体为，图像采集模块将RGB图像发送给语义分割模块，语义分割模块根据接收到的RGB图像进行语义分割，并将结果发送给语义分割优化模块，语义分割优化模块对接收到的语义分割结果进行优化，然后将优化之后的语义分割结果发送给区域提取模块，同时图像采集模块将RGB图像和深度图像发送给区域提取模块，区域提取模块根据接收到的优化后的语义分割结果、RGB图像以及深度图像提取表示操作人员手持的指定容器的像素和点云，并将表示操作人员手持的指定容器的像素和点云发送到位姿估计模块，位姿估计模块根据接收到的表示操作人员手持的指定容器的像素和点云得到操作人员手持的指定容器的位姿。
机械臂运动规划与控制系统中包括了以下模块：目标位姿计算模块、人工势场建立模块以及导纳控制模块，每个模块的详细介绍如下：
由于物品传递任务的复杂性，操作人员手持的指定容器的位姿不能直接作为机械臂末端的目标位姿。为了得到可以使机器人成功完成物品交接的机械臂末端位姿，设计了目标位姿计算模块。该模块根据操作人员手持的指定容器的位姿、机械臂末端的当前位姿以及交接策略得到机械臂末端的目标位姿。具体为，若机械臂末端与操作人员手持的指定容器的位置偏差较小，且操作人员手持的指定容器的姿态是杯口朝上，则使机械臂末端跟随操作人员手持的指定容器，同时进行倾倒，即设定机械臂末端的目标位置为操作人员手持的指定容器的位置的偏高处，目标姿态为使机械臂末端夹爪所持容器杯口斜向下朝向操作人员手持的指定容器的杯口；否则，使机械臂末端跟随操作人员手持的指定容器，同时保持机械臂末端夹爪所持容器杯口朝上，即设定机械臂末端的目标位置为操作人员手持的指定容器的位置的偏高处，目标姿态为使机械臂末端夹爪所持容器杯口朝上。
人工势场建立模块的功能是根据机械臂末端目标位姿建立虚拟引力势场并计算机械臂末端所受到的虚拟力和力矩。
虚拟引力势场的建立具体为，根据下式建立以机械臂末端的目标位姿为中心的虚拟引力势场：
Figure BDA0003252863860000121
其中，x为待评估处的位姿，xt为机械臂末端的目标位姿，Ka为系数，da为距离阈值，Uatt(x)为x处的虚拟势能。
机械臂末端所受到的虚拟力和力矩的计算具体为，根据下式计算机械臂末端在虚拟引力势场中受到的虚拟力和力矩：
Figure BDA0003252863860000122
其中，xe为机械臂末端的当前位姿，xt为机械臂末端的目标位姿，Ka为系数，da为距离阈值，Fatt(xe)为机械臂末端受到的虚拟力和力矩。
机械臂末端的当前位姿xe与目标位姿xt之间偏差的计算具体为，对于位置，机械臂末端的当前位置(xe，ye，ze)T，机械臂末端的目标位置(xt，yt，zt)T，偏差根据下式进行计算：
ed＝(xe-xt，ye-yt，ze-zt)T#(3)
对于姿态，机械臂末端的当前姿态对应的旋转矩阵Re＝[ne se ae]，机械臂末端的目标姿态对应的旋转矩阵Rt＝[nt st at]，偏差根据下式进行计算：
Figure BDA0003252863860000131
所以，机械臂末端的当前位姿xe与目标位姿xt的偏差为：
Figure BDA0003252863860000132
导纳控制模块的功能是根据机械臂末端受到的虚拟力和力矩计算机械臂关节速度指令，从而实现对机械臂运动状态的控制，进而完成物品交接的任务。
机械臂关节速度指令的计算具体为，首先根据下式计算机械臂末端在虚拟力和力矩作用下的期望速度：
Figure BDA0003252863860000133
Figure BDA0003252863860000134
其中，M为期望的惯性特性，D为期望的阻尼特性，Fatt为机械臂末端受到的虚拟力和力矩，
Figure BDA0003252863860000135
为k时刻机械臂末端的期望线加速度和角加速度，
Figure BDA0003252863860000136
为k时刻机械臂末端的期望线速度和角速度，
Figure BDA0003252863860000137
Figure BDA0003252863860000138
然后根据下式计算机械臂关节速度：
Figure BDA0003252863860000139
其中，
Figure BDA00032528638600001310
为机械臂的期望关节速度，J(θ)为雅可比矩阵，v为机械臂末端的期望线速度，ω为机械臂末端的期望角速度。
实现机器人与人之间物品传递的人机协作方法通过以下装置执行：
视觉观测系统中使用的装置包括RGB-D相机以及第一计算模块，RGB-D相机用于获取RGB图像和深度图像，第一计算模块用于运行语义分割模块、语义分割优化模块、区域提取模块以及位姿估计模块中的算法。
机械臂运动规划与控制系统中使用的装置包括机械臂和第二计算模块，机械臂用于执行速度控制指令以及反馈机械臂末端位姿，第二计算模块根据视觉观测系统得到的操作人员手持的指定容器的位姿，结合机械臂反馈的末端位姿和设计好的交接策略，建立虚拟引力势场并计算机械臂末端受到的虚拟力和力矩、机械臂末端在虚拟力和力矩作用下的期望速度以及机械臂的期望关节速度。
实现机器人与人之间物品传递的人机协作装置中视觉观测系统使用的RGB-D相机包括但不限于Intel RealSense L515，机械臂运动规划与控制系统使用的机械臂包括但不限于UR5。
硬件之间的数据传递关系具体为，RGB-D相机将RGB图像和深度图像发送给第一计算模块，第一计算模块根据接收到的RGB图像和深度图像估计操作人员手持的指定容器的位姿，并将操作人员手持的指定容器的位姿发送给第二计算模块，机械臂将机械臂末端位姿发送给第二计算模块，第二计算模块根据操作人员手持的指定容器的位姿、机械臂末端位姿以及设计好的交接策略得到机械臂关节速度指令，并将机械臂关节速度指令发送给机械臂，机械臂根据接收到的机械臂关节速度指令调整运动状态。
相机与机械臂之间的位姿相对关系已经事先标定得知，装置还包括处理器、存储器以及存储在存储器中的程序，所述计算机程序被处理器执行时实现实现机器人与人之间物品传递的人机协作方法的步骤。
下面，结合附图以及具体实施方式，对本发明的技术方案作进一步地描述：
图1为本发明一种实现机器人与人之间物品传递的人机协作方法中人机协作物品传递系统的流程示意图。视觉观测系统根据RGB图像和深度图像估计操作人员手持的指定容器的位姿，并传递给机械臂运动规划与控制系统；机械臂运动规划与控制系统根据接收到的操作人员手持的指定容器的位姿，并结合机械臂末端的位姿以及交接策略，得到机械臂末端的目标位姿，然后以目标位姿为中心建立虚拟引力势场并计算机械臂末端受到的虚拟力和力矩，并由此计算机械臂的关节速度指令，进而控制机械臂的运动状态，完成机器人与人之间的物品传递。视觉观测系统包括图像采集模块、语义分割模块、语义分割优化模块、区域提取模块以及位姿估计模块。机械臂运动规划与控制系统包括目标位姿计算模块、人工势场建立模块以及导纳控制模块。
使用RGB-D相机，作为视觉观测系统的传感设备，采集RGB图像和深度图像。
语义分割模块使用了Fast-SCNN，在在线使用该模块之前，需要采集图像并进行标注，以制作训练数据集，然后用训练数据集对此模型进行训练。该模块在线运行时，使用训练好的模型进行语义分割，从而获得RGB图像中表示操作人员手持的指定容器的像素点。
语义分割优化模块通过分析语义分割模块产生的语义分割结果中被标记为操作人员手持的指定容器的连通区域，当有多个这样的连通区域时，去除位于边缘且像素点数量较少的连通区域，从而优化语义分割结果。
区域提取模块根据语义分割优化模块优化之后的语义分割结果，提取RGB图像中表示操作人员手持的指定容器的像素点和深度图像中表示操作人员手持的指定容器的点云。
位姿估计模块使用了REDE，在在线使用该模块之前，需要采集图像并进行标注，以制作训练数据集，然后用训练数据集对此模型进行训练。该模块在线运行时，使用训练好的模型进行位姿估计，从而获得操作人员手持的指定容器的位姿。
在得到操作人员手持的指定容器的位姿以后，目标位姿计算模块根据操作人员手持的指定容器的位姿、机械臂末端的位姿以及交接策略获得机械臂末端的目标位姿。
人工势场建立模块建立以机械臂末端位姿为中心的虚拟引力势场，并计算机械臂末端在虚拟引力势场中受到的虚拟力和力矩。
导纳控制模块根据机械臂末端受到的虚拟力和力矩，计算机械臂末端的期望速度，进而得到机械臂的期望关节速度，然后其将关节速度指令发送给机械臂执行，从而实现对机械臂运动状态的控制，完成机器人与人之间物品传递的任务。
本实施例中的方法与前述实施例中的装置是基于同一发明构思下的两个方面，本领域技术人员可根据前述描述清楚地了解本实施中的系统的结构及实施过程。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备执行本发明各个实施例或者实施例的某些部分所述的方法，计算机设备可以是个人计算机，服务器，或者网络设备等。
描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块或单元可以是或者也可以不是物理上分开的，作为模块或单元示意的部件可以是或者也可以不是物理模块，既可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、多处理器系统、基于微处理器的系统、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种实现机器人与人之间物品传递的人机协作方法，其特征在于，包括以下步骤：
1)操作人员手持指定容器进入视觉观测系统的观测范围，视觉观测系统根据视觉观测系统的观测范围内的视觉信息估计操作人员手持的指定容器的六自由度位姿，并将操作人员手持的指定容器的位姿发送给机械臂运动规划与控制系统；
2)机械臂运动规划与控制系统根据接收到的操作人员手持的指定容器的位姿，结合机械臂末端的当前位姿以及交接策略，得到机械臂末端的目标位姿，然后根据机械臂末端的目标位姿和当前位姿生成机械臂关节速度控制指令，控制机械臂末端到达目标位姿。
2.根据权利要求1所述的实现机器人与人之间物品传递的人机协作方法，其特征在于，所述的视觉观测系统的观测范围指相机视野，所述的视觉信息包括RGB图像和深度图像；
所述的视觉观测系统包括以下模块：图像采集模块、语义分割模块、语义分割优化模块、区域提取模块以及位姿估计模块；
所述的图像采集模块用于采集相机视野中的RGB图像和深度图像，语义分割模块用于标注RGB图像中每个像素点所属的语义类别，所述的语义类别包括两类，一类是操作人员手持的指定容器，另一类是除操作人员手持的指定容器外的其他所有物体，语义分割优化模块用于优化语义分割模块产生的语义分割结果，区域提取模块用于根据语义分割优化模块优化之后的语义分割结果提取RGB图像中表示操作人员手持的指定容器的像素点和深度图像中表示操作人员手持的指定容器的点云，位姿估计模块用于估计操作人员手持的指定容器的位姿。
3.根据权利要求1所述的实现机器人与人之间物品传递的人机协作方法，其特征在于，所述的机械臂运动规划与控制系统包括以下模块：目标位姿计算模块、人工势场建立模块以及导纳控制模块；
所述的目标位姿计算模块用于根据操作人员手持的指定容器的位姿、机械臂末端的当前位姿以及交接策略得到机械臂末端的目标位姿，人工势场建立模块用于根据机械臂末端目标位姿建立虚拟引力势场并计算机械臂末端所受到的虚拟力和力矩，导纳控制模块用于根据机械臂末端受到的虚拟力和力矩计算机械臂关节速度指令。
4.如权利要求2所述的实现机器人与人之间物品传递的人机协作方法，其特征在于，
所述的语义分割模块使用的算法包括但不限于Fast-SCNN；
所述的位姿估计模块使用的算法包括但不限于REDE。
5.如权利要求2所述的实现机器人与人之间物品传递的人机协作方法，其特征在于，
所述的语义分割结果的初始值由视觉观测系统中语义分割模块得到，该结果会将RGB图像边缘的一些像素点误分类为操作人员手持的指定容器，视觉观测系统中语义分割优化模块通过分析该结果中被标记为操作人员手持的指定容器的连通区域，当有多个这样的连通区域时，去除在边缘且像素点数量较少的连通区域，从而优化语义分割结果。
6.如权利要求1或2中所述的实现机器人与人之间物品传递的人机协作方法，其特征在于，所述的交接策略以及机械臂末端的目标位姿的确定方法具体为：若机械臂末端与操作人员手持的指定容器的位置偏差较小，且操作人员手持的指定容器的姿态是杯口朝上，则使机械臂末端跟随操作人员手持的指定容器，同时进行倾倒，否则，使机械臂末端跟随操作人员手持的指定容器，同时保持机械臂末端夹爪所持容器杯口朝上。
7.如权利要求3中所述的实现机器人与人之间物品传递的人机协作方法，其特征在于，
所述的虚拟引力势场的建立具体为，根据下式建立以机械臂末端的目标位姿为中心的虚拟引力势场：
Figure FDA0003252863850000031
其中，x为待评估处的位姿，xt为机械臂末端的目标位姿，Ka为系数，da为距离阈值，Uatt(x)为x处的虚拟势能；
机械臂末端所受到的虚拟力和力矩的计算具体为，根据下式计算机械臂末端在虚拟引力势场中受到的虚拟力和力矩：
Figure FDA0003252863850000032
其中，xe为机械臂末端的当前位姿，xt为机械臂末端的目标位姿，Ka为系数，da为距离阈值，Fatt(xe)为机械臂末端受到的虚拟力和力矩；
机械臂末端的当前位置和目标位置的偏差的具体计算为，机械臂末端的当前位置(xe，ye，ze)T，机械臂末端的目标位置(xt，yt，zt)T，偏差根据下式进行计算：
ed＝(xe-xt，ye-yt，ze-zt)T#(3)
机械臂末端的当前姿态和目标姿态的偏差的具体计算为，机械臂末端的当前姿态对应的旋转矩阵Re＝[ne se ae]，机械臂末端的目标姿态对应的旋转矩阵Rt＝[nt st at]，偏差根据下式进行计算：
Figure FDA0003252863850000041
机械臂末端的当前位姿和目标位姿的偏差为：
Figure FDA0003252863850000042
8.如权利要求3或7中所述的实现机器人与人之间物品传递的人机协作方法，其特征在于，
所述的机械臂关节速度指令的计算具体为，首先根据下式计算机械臂末端在虚拟力和力矩作用下的期望速度：
Figure FDA0003252863850000051
Figure FDA0003252863850000052
其中，M为期望的惯性特性，D为期望的阻尼特性，Fatt为机械臂末端受到的虚拟力和力矩，
Figure FDA0003252863850000053
为k时刻机械臂末端的期望线加速度和角加速度，
Figure FDA0003252863850000054
为k时刻机械臂末端的期望线速度和角速度，
Figure FDA0003252863850000055
然后根据下式计算机械臂的关节速度：
Figure FDA0003252863850000056
其中，
Figure FDA0003252863850000057
为机械臂的期望关节速度，J(θ)为雅可比矩阵，v为机械臂末端的期望线速度，ω为机械臂末端的期望角速度。
9.一种实现如权利要求1或2或3或4或5或7机器人与人之间物品传递的人机协作方法的装置，其特征在于，所述的装置如下：
视觉观测系统中使用的装置包括RGB-D相机以及第一计算模块，所述的RGB-D相机用于获取RGB图像和深度图像，所述的第一计算模块用于运行语义分割模块、语义分割优化模块、区域提取模块以及位姿估计模块中的算法；
机械臂运动规划与控制系统中使用的装置包括机械臂和第二计算模块，机械臂用于执行速度控制指令以及反馈机械臂末端位姿，第二计算模块根据视觉观测系统得到的操作人员手持的指定容器的位姿，结合机械臂反馈的末端位姿和设计好的交接策略，建立虚拟引力势场，计算机械臂末端受到的虚拟力和力矩、机械臂末端在虚拟力和力矩作用下的期望速度以及机械臂的期望关节速度。
10.根据权利要求9所述的实现机器人与人之间物品传递的人机协作方法的装置，其特征在于，所述的视觉观测系统使用的RGB-D相机包括但不限于Intel RealSense L515，机械臂运动规划与控制系统使用的机械臂包括但不限于UR5，所述的RGB-D相机用于获取RGB-D图像，所述的机械臂用于执行速度控制指令和反馈机械臂末端位姿；所述相机与机械臂之间的位姿相对关系已经事先标定得知。
CN202111050786.4A 2021-09-08 2021-09-08 一种实现机器人与人之间物品传递的人机协作方法及装置 Pending CN113681565A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111050786.4A CN113681565A (zh) 2021-09-08 2021-09-08 一种实现机器人与人之间物品传递的人机协作方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111050786.4A CN113681565A (zh) 2021-09-08 2021-09-08 一种实现机器人与人之间物品传递的人机协作方法及装置

Publications (1)

Publication Number Publication Date
CN113681565A true CN113681565A (zh) 2021-11-23

Family

ID=78585686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111050786.4A Pending CN113681565A (zh) 2021-09-08 2021-09-08 一种实现机器人与人之间物品传递的人机协作方法及装置

Country Status (1)

Country Link
CN (1) CN113681565A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115145303A (zh) * 2022-03-10 2022-10-04 重庆大学 基于视觉听觉增强反馈的重载液压臂辅助操控系统
CN115635482A (zh) * 2022-10-18 2023-01-24 深圳市人工智能与机器人研究院 基于视觉的机器人到人物体传递方法、装置、介质及终端

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0733196A (ja) * 1993-07-12 1995-02-03 Idemitsu Petrochem Co Ltd 液体の自動移送装置及び液体の自動移送方法
CN103170973A (zh) * 2013-03-28 2013-06-26 上海理工大学 基于Kinect摄像机的人机协作装置及方法
CN106799734A (zh) * 2017-02-10 2017-06-06 中国东方电气集团有限公司 一种基于移动机器人的多余危化溶液自动处理的方法
CN111985549A (zh) * 2020-08-12 2020-11-24 中国科学院光电技术研究所 针对给定刚体目标进行部件自动定位识别的深度学习方法
CN112651423A (zh) * 2020-11-30 2021-04-13 深圳先进技术研究院 一种智能视觉系统
CN113031437A (zh) * 2021-02-26 2021-06-25 同济大学 一种基于动态模型强化学习的倒水服务机器人控制方法
CN113119116A (zh) * 2021-03-22 2021-07-16 深圳市优必选科技股份有限公司 一种机械臂运动规划方法、装置、可读存储介质及机械臂
CN113334379A (zh) * 2021-05-30 2021-09-03 南京理工大学 一种基于虚拟力的主从跟随与避碰方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0733196A (ja) * 1993-07-12 1995-02-03 Idemitsu Petrochem Co Ltd 液体の自動移送装置及び液体の自動移送方法
CN103170973A (zh) * 2013-03-28 2013-06-26 上海理工大学 基于Kinect摄像机的人机协作装置及方法
CN106799734A (zh) * 2017-02-10 2017-06-06 中国东方电气集团有限公司 一种基于移动机器人的多余危化溶液自动处理的方法
CN111985549A (zh) * 2020-08-12 2020-11-24 中国科学院光电技术研究所 针对给定刚体目标进行部件自动定位识别的深度学习方法
CN112651423A (zh) * 2020-11-30 2021-04-13 深圳先进技术研究院 一种智能视觉系统
CN113031437A (zh) * 2021-02-26 2021-06-25 同济大学 一种基于动态模型强化学习的倒水服务机器人控制方法
CN113119116A (zh) * 2021-03-22 2021-07-16 深圳市优必选科技股份有限公司 一种机械臂运动规划方法、装置、可读存储介质及机械臂
CN113334379A (zh) * 2021-05-30 2021-09-03 南京理工大学 一种基于虚拟力的主从跟随与避碰方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115145303A (zh) * 2022-03-10 2022-10-04 重庆大学 基于视觉听觉增强反馈的重载液压臂辅助操控系统
CN115635482A (zh) * 2022-10-18 2023-01-24 深圳市人工智能与机器人研究院 基于视觉的机器人到人物体传递方法、装置、介质及终端
CN115635482B (zh) * 2022-10-18 2024-01-30 深圳市人工智能与机器人研究院 基于视觉的机器人到人物体传递方法、装置、介质及终端

Similar Documents

Publication Publication Date Title
US8244402B2 (en) Visual perception system and method for a humanoid robot
CN106965180A (zh) 流水线上瓶子的机械臂抓取装置与方法
CN111347411B (zh) 基于深度学习的双臂协作机器人三维视觉识别抓取方法
CN113681565A (zh) 一种实现机器人与人之间物品传递的人机协作方法及装置
CN108858193A (zh) 一种机械臂抓取方法及系统
CN111462154A (zh) 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人
CN112518748B (zh) 面向运动物品的视觉机械臂自动抓取方法与系统
CN110370268B (zh) 箱内拣选的方法、装置和系统
Jiang et al. Learning hardware agnostic grasps for a universal jamming gripper
CN115070781B (zh) 一种物体抓取方法及双机械臂协作系统
CN114029951B (zh) 基于深度相机的机器人自主识别智能抓取方法
CN109732610A (zh) 人机协作机器人抓取系统及其工作方法
Shahverdi et al. A simple and fast geometric kinematic solution for imitation of human arms by a NAO humanoid robot
CN114770461B (zh) 一种基于单目视觉的移动机器人及其自动抓取方法
Wang 3D object pose estimation using stereo vision for object manipulation system
CN115635482B (zh) 基于视觉的机器人到人物体传递方法、装置、介质及终端
Luo et al. Robotic conveyor tracking with dynamic object fetching for industrial automation
CN112805127A (zh) 用于创建机器人控制程序的方法和设备
Sileo et al. Vision based robot-to-robot object handover
CN116460846A (zh) 机械臂控制方法、装置、设备和存储介质
Zhou et al. Visual servo control system of 2-DOF parallel robot
Zhu et al. A robotic semantic grasping method for pick-and-place tasks
Gietler et al. Forestry crane automation using learning-based visual grasping point prediction
Shin et al. Conveyor visual tracking using robot vision
Sanches et al. Scalable. Intuitive Human to Robot Skill Transfer with Wearable Human Machine Interfaces: On Complex, Dexterous Tasks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination