CN110216674B - 一种冗余自由度机械臂视觉伺服避障系统 - Google Patents

一种冗余自由度机械臂视觉伺服避障系统 Download PDF

Info

Publication number
CN110216674B
CN110216674B CN201910535586.4A CN201910535586A CN110216674B CN 110216674 B CN110216674 B CN 110216674B CN 201910535586 A CN201910535586 A CN 201910535586A CN 110216674 B CN110216674 B CN 110216674B
Authority
CN
China
Prior art keywords
mechanical arm
information
module
redundant
target body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910535586.4A
Other languages
English (en)
Other versions
CN110216674A (zh
Inventor
解仑
眭东亮
周旭
王志良
王先梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN201910535586.4A priority Critical patent/CN110216674B/zh
Publication of CN110216674A publication Critical patent/CN110216674A/zh
Application granted granted Critical
Publication of CN110216674B publication Critical patent/CN110216674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种冗余自由度机械臂视觉伺服避障系统，包括视觉伺服模块、信息处理模块、机械臂控制模块、驱动模块和三维实时仿真模块；驱动模块实现机械臂控制模块与冗余机械臂间的通信；视觉伺服模块采集工作空间环境信息，识别出目标体和障碍物信息；信息处理模块根据目标体和障碍物信息，构建障碍物的三维实体模型，获取目标体的位姿信息；机械臂控制模块根据来自三维实时仿真模块的用户操作指令，结合障碍物的三维实体模型和目标体的位姿信息，将工作空间的目标转换为关节空间的控制指令，发送给驱动模块，控制机械臂末端向目标体移动。本发明集合了视觉伺服的优点和避障客观功能要求；既可离线验证，又可与实体机械臂连接，具有广泛应用前景。

Description

一种冗余自由度机械臂视觉伺服避障系统
技术领域
本发明涉及机械臂控制技术领域，特别是指一种冗余自由度机械臂视觉伺服避障系统。
背景技术
在三维空间内，一般机器臂只需要6个自由度就可以到达空间中的某一位置，并实现期望的状态。但这种6自由度的机械手往往存在关节限位，可达工作空间局限性高等缺点。冗余自由度机械臂这种独特的设备与其他非冗余自由度机械臂相比，具有高度的适应性与灵活性，具体表现可以利用多余的自由度避开障碍物，而又不影响末端执行器的操作。
技术的进步也推动了传感器技术的革新。各种高性能、高稳定、高智能的传感器如雨后春笋般出现。视觉传感器具有信息量大、非接触式测量、应用范围广阔等诸多方面的优点。将机械臂与视觉信息结合，催生了视觉伺服的提出。但已有的视觉伺服方案，主要还是用来解决目标的定位和识别方面。
在复杂工作环境下，障碍物的多样性和不确定性给安全和高效率生产带来了巨大的挑战。现有机械臂避障方法，存在结果不准确，需提前训练或者被动避障问题。将冗余机械臂优势和视觉传感器特长结合，能够准确区分和识别障碍物，规避障碍物，精准完成对目标体操作，具有重要的现实意义和研究价值。
发明内容
本发明要解决的技术问题是提供一种冗余自由度机械臂视觉伺服避障系统，利用冗余自由度机械臂到达空间上的一点具有多种解决方案的特性，结合视觉伺服，来解决现有情况下所存在的机械臂避障方法结果不准确，方法需要提前训练或者被动避障的问题。
为解决上述技术问题，本发明的实施例提供一种冗余自由度机械臂视觉伺服避障系统，包括：视觉伺服模块、信息处理模块、机械臂控制模块、驱动模块，以及三维实时仿真模块；
其中，所述驱动模块用于实现所述机械臂控制模块与待控制的冗余机械臂之间的通信，根据所述机械臂控制模块输出的控制指令驱动所述冗余机械臂运作，同时将所述冗余机械臂各关节的状态信息实时传输给所述信息处理模块；
所述视觉伺服模块用于采集冗余机械臂工作空间的环境信息，识别出其中的目标体和障碍物信息，并将目标体和障碍物信息传输给所述信息处理模块；
所述信息处理模块用于根据目标体和障碍物信息，构建障碍物的三维实体模型，同时获取目标体的位姿信息；并将障碍物的三维实体模型和冗余机械臂各关节的状态信息传输给所述三维实时仿真模块显示；同时将障碍物的三维实体模型和目标体的位姿信息传输给所述机械臂控制模块；
所述机械臂控制模块用于根据来自所述三维实时仿真模块的用户的操作指令，结合障碍物的三维实体模型和目标体的位姿信息，构建成本函数，将工作空间的目标转换为关节空间的控制指令，发送给所述驱动模块。
进一步地，所述冗余机械臂的各关节上分别设置有测量相应关节状态信息的传感器；其中，所述关节状态信息包括关节的位置、速度和加速度。
进一步地，所述传感器通过can总线和usb转can通信模块将检测到的相应关节的状态信息传送给驱动模块，由驱动模块传送给信息处理模块。
进一步地，所述视觉伺服模块包括单目相机和双目相机；其中，
所述单目相机的安装位置相对于所述冗余机械臂的基座位置固定；所述双目相机安装在所述冗余机械臂的末端，随着所述冗余机械臂运作，所述双目相机的位置相对于所述冗余机械臂的基座位置时刻变化；
所述单目相机用于对所述冗余机械臂的整个工作环境进行拍摄得到所述冗余机械臂的工作空间的全景信息；所述双目相机用于采集视野内的图像信息，获取目标体和障碍物的深度信息及RGB图像信息。
进一步地，所述视觉伺服模块还包括图像处理单元和图像显示单元；其中，
所述图像处理单元用于将所述单目相机拍摄到的工作空间的全景信息传输给所述图像显示单元显示；同时对所述双目相机采集到的深度信息和RGB图像信息进行降噪和去锯齿化操作，得到处理后的深度信息及RGB图像信息，并将处理后的深度信息及RGB图像信息传输给所述信息处理模块。
进一步地，所述信息处理模块包括深度信息处理单元、目标体位姿信息获取单元、坐标转换单元和三维模型构建单元；其中，
所述深度信息处理单元用于将所述图像处理单元输出的深度信息转换为点云，并将转换的点云传输给所述三维模型构建单元；
所述三维模型构建单元用于根据所述深度信息处理单元输出的点云，采用贪婪三角投影算法构建出障碍物的三维实体模型信息，并将障碍物的三维实体模型信息传输到所述三维实时仿真模块和所述机械臂控制模块；
所述目标体位姿信息获取单元用于根据所述深度信息处理单元输出的点云获取目标体以所述双目相机为基坐标的三维位置信息；根据所述图像处理单元输出的RGB图像信息，结合预设的目标体的正面图片，根据当前的目标体姿态推断出目标体以所述双目相机为基坐标的三维姿态；
所述坐标转换单元用于计算出障碍物的中心，将其作为障碍物原点，结合所述冗余机械臂的DH参数，根据目标体、双目相机、障碍物的位姿信息，完成相互以及相对于世界坐标系间的位姿转换关系，获取目标体和障碍物相对于世界坐标系的位姿信息，并将其输入到机械臂控制模块和三维实时仿真模块。
进一步地，所述机械臂控制模块包括避障成本计算单元、成本函数构造单元、规划与执行同步单元；其中，
所述避障成本计算单元用于采用人工势场的方法，基于所述信息处理模块构建的障碍物的三维实体模型信息，建立斥力场，得到所述冗余机械臂的成本函数中的避障成本函数因子；
所述成本函数构造单元用于对避障成本函数因子、约束成本函数因子、扭矩成本函数因子赋予预设的权重，得到所述冗余机械臂的成本函数；
所述规划与执行同步单元用于在收到目标体的期望位姿之后，基于所述成本函数构造单元构造的成本函数，进行逆运动学求解，规划出存在的、可达到的最优路径，并将规划空间转换到关节空间，将关节空间的位置、速度、加速度值做平滑处理，分步向目标体运动靠近。
进一步地，在所述规划与执行同步单元中，路径规划线程和路径执行线程同步运行。
进一步地，所述驱动模块包括数据转化单元；
所述数据转化单元用于接收来自所述机械臂控制模块的控制指令，将所述控制指令转化为相应的电压或电流驱动量，将所述电压或电流驱动量输送给所述冗余机械臂，控制所述冗余机械臂运作；
同时所述数据转化单元还用于接收所述冗余机械臂的各关节上的传感器发送的相应关节的状态信息，并将所述冗余机械臂的各关节的状态信息输送给所述信息处理模块。
进一步地，在未连接所述冗余机械臂时，所述三维实时仿真模块用于在离线情况下，连接所述视觉伺服模块，对所述冗余自由度机械臂视觉伺服避障系统整体的鲁棒性做检验；在连接上所述冗余机械臂后，所述三维实时仿真模块用于根据所述冗余机械臂的反馈信息，让仿真模型和冗余机械臂做同步运动。
本发明的上述技术方案的有益效果如下：
本发明的冗余自由度机械臂视觉伺服避障系统通过视觉伺服模块，获取工作空间的清晰图像和准确数据，获取目标体和障碍物信息，将信息传送给信息处理模块；由设置在机械臂各关节的传感器实时监测关节信息，通过驱动模块准确执行机械臂控制模块所发出的控制指令；由信息处理模块接受图像信息和深度信息，识别出目标体的位姿，构建障碍物的三维实体模型，并将其加入到仿真环境中，同时也将相关信息发到机械臂控制模块；由机械臂控制模块构建成本函数，规划出安全、最优的路径，将求解结果发给驱动模块；由驱动模块完成控制指令到执行指令的转化，反馈量的采集原始值到所需值的转化；通过三维实时仿真模块，对离线或者同步在线检测机械臂的规划情况和机械臂各个关节以及末端关节状态的实时显示。本发明集合了视觉伺服的优点和避障客观功能要求；既可离线验证，又可与实体机械臂连接，具有广泛应用前景。
附图说明
图1为本发明实施例提供的冗余自由度机械臂视觉伺服避障系统的原理示意图；
图2为本发明实施例提供的视觉伺服模块的工作原理示意图；
图3为本发明实施例提供的信息处理模块的工作原理示意图；
图4为本发明实施例提供的机械臂控制模块的工作原理示意图；
图5为本发明实施例提供的驱动模块的工作原理示意图；
图6为本发明实施例提供的冗余自由度机械臂视觉伺服避障系统的硬件结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
如图1所示，本发明的实施例提供一种冗余自由度机械臂视觉伺服避障系统，包括：视觉伺服模块、信息处理模块、机械臂控制模块、驱动模块，以及三维实时仿真模块；其中，
所述驱动模块用于实现所述机械臂控制模块与待控制的冗余机械臂之间的通信，根据所述机械臂控制模块输出的控制指令驱动所述冗余机械臂运作，同时将所述冗余机械臂各关节的状态信息实时传输给所述信息处理模块；
所述视觉伺服模块用于采集冗余机械臂工作空间的环境信息，识别出其中的目标体和障碍物信息，并将目标体和障碍物信息传输给所述信息处理模块；
所述信息处理模块用于根据目标体和障碍物信息，构建障碍物的三维实体模型，同时获取目标体的位姿信息；并将障碍物的三维实体模型和冗余机械臂各关节的状态信息传输给所述三维实时仿真模块显示；同时将障碍物的三维实体模型和目标体的位姿信息传输给所述机械臂控制模块；
所述机械臂控制模块用于根据来自所述三维实时仿真模块的用户的操作指令，结合障碍物的三维实体模型和目标体的位姿信息，构建成本函数，将工作空间的目标转换为关节空间的控制指令，发送给所述驱动模块。
上述冗余机械臂利用其末端到达空间中的一点有多组解的特性，为机械臂的运动规划提供多种解决方案，从而为机械臂避障提供物理实现基础，而且本实施例中的该冗余机械臂在满足Piper准则和七个自由度设计的基础上，还在其各关节上分别设置有测量相应关节状态信息的传感器，实时监测各关节的状态信息；其中，关节状态信息包括关节的位置、速度和加速度等信息。各传感器通过can总线和usb转can通信模块将检测到的相应关节的状态信息传送给驱动模块，由驱动模块传送给信息处理模块，使得机械臂的规划过程，能够综合考虑多种信息，从而找出最优路径。
在未连接所述冗余机械臂时，所述三维实时仿真模块可以在离线情况下，连接所述视觉伺服模块，对所述冗余自由度机械臂视觉伺服避障系统整体的鲁棒性做检验；在连接上所述冗余机械臂后，所述三维实时仿真模块可以根据所述冗余机械臂的反馈信息，让仿真模型和冗余机械臂做同步运动。
本实施例的冗余自由度机械臂视觉伺服避障系统运行在Linux Ubuntu14.04上，并在该系统上安装有ROS Indigo和ROS-I。电脑的CPU采用Intel(R)Core(TM)i5-7500，主频3.40GHz，处理器性能稳定，8G内存，显卡采用NVIDIA GeForce GTX 1050Ti。好的主机性能，运行速率快，稳定，能够保证本实施例的冗余自由度机械臂视觉伺服避障系统安全稳定运行。
进一步地，如图2所示，本实施例的视觉伺服模块包括单目相机、双目相机、图像处理单元，以及图像显示单元；其中，
所述单目相机为广角摄像机，其安装位置相对于所述冗余机械臂的基座位置固定；所述双目相机为Intel Realsense类型的摄像机，其安装在所述冗余机械臂的末端，随着所述冗余机械臂运作，所述双目相机的位置相对于所述冗余机械臂的基座位置时刻变化；
所述单目相机用于对所述冗余机械臂的整个工作环境进行拍摄得到所述冗余机械臂的工作空间的全景信息；能够较大范围的看到机械臂的整个工作空间，从视野中可以监控到整个机械臂的运动情况，可以有效监控意外情况地发生，方便及时采取急停措施。所述双目相机用于采集视野内的图像信息，获取目标体和障碍物的深度信息及RGB图像信息；且其所采集到的关于障碍物的深度信息单独分割提取出来。
所述图像处理单元用于对图像中可能存在的，因电流的不稳定或者环境中的灰尘颗粒造成的噪声，采用较为简单，用时较少的中值滤波方法，去除图像中的噪声；将单目相机拍摄到的工作空间的全景信息传输给所述图像显示单元显示；同时对所述双目相机采集到的深度信息和RGB图像信息进行降噪和去锯齿化操作，得到处理后的深度信息及RGB图像信息，并将处理后的深度信息及RGB图像信息传输给所述信息处理模块。
具体地，本实施例中的单目相机采用奥尼A6000系列1080P高清摄像头，通过USB跟电脑主机连接；双目相机采用realsense SR300系列的双目相机。图像处理模块为电脑中的一个软件算法平台。两个高质量相机相互配合使用，可有效采集到所需要环境信息。
进一步地，如图3所示，所述信息处理模块包括深度信息处理单元、目标体位姿信息获取单元、坐标转换单元和三维模型构建单元；其中，
所述深度信息处理单元用于将所述图像处理单元输出的深度信息转换为点云，并将转换的点云传输给所述三维模型构建单元；其中，深度图像也叫距离影像，是指将从图像采集器到场景中各点的距离(深度)值作为像素值的图像。点云是将当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。两者的转化需要根据世界坐标和图像的映射关系，参考针孔成像原理，根据内外参矩阵变换进行转化。
所述三维模型构建单元用于根据所述深度信息处理单元输出的点云，采用贪婪三角投影算法构建出障碍物的三维实体模型信息，由于在机械臂控制模块中构建的障碍物碰撞成本函数是采用人工势场的方法，因此需要将障碍物的三维实体模型信息传输到所述机械臂控制模块，同时为增加直观性，需将障碍物的三维实体模型信息发送到所述三维实时仿真模块，显示到仿真环境中；
所述目标体位姿信息获取单元用于根据所述深度信息处理单元输出的点云获取目标体以所述双目相机为基坐标的三维位置信息；根据所述图像处理单元输出的RGB图像信息，结合预设的目标体的正面标准图片，根据当前的目标体姿态，使用几何粒子滤波器推断出目标体以双目相机为基坐标的三维姿态；
由于目标体和障碍物此时的位姿坐标均是相对于双目相机的，因此需通过所述坐标转换单元根据Obstacles法计算出障碍物的中心，将其作为障碍物原点，结合所述冗余机械臂的DH参数，根据目标体、双目相机、障碍物的位姿信息，完成相互以及相对于机械臂底座即世界坐标系间的位姿转换关系，获取目标体和障碍物相对于世界坐标系的位姿信息，并将其输入到机械臂控制模块和三维实时仿真模块。
进一步地，如图4所示，所述机械臂控制模块包括避障成本计算单元、成本函数构造单元、规划与执行同步单元；其中，
所述避障成本计算单元用于采用人工势场的方法，基于所述信息处理模块构建的障碍物的三维实体模型信息，建立斥力场，得到所述冗余机械臂的成本函数中的避障成本函数因子；其随着机械臂与障碍物距离的增加而减弱。
所述成本函数构造单元用于对避障成本函数因子、约束成本函数因子、扭矩成本函数因子赋予预设的权重，得到所述冗余机械臂的成本函数；
所述避障成本函数，假设机械臂末端要经过的任意一点为Pi，所构建的障碍物的三维模型的点Oj(j＝1,2,…,n)，n为障碍物的三维模型的点，机械臂末端在位置i的人工势场Uart(p)可表示为目标势场UG(p)和障碍物势场UO(p)的和，进而得出机械臂的避障成本函数为：
Figure GDA0003207554100000081
势场函数的选择没有统一的规定。O.Khatib建立的目标势场和障碍物势场函数如下：
Figure GDA0003207554100000082
其中：k,η＞0为常数；ρ是机械臂到障碍物的最短距离，ρ0为一阈值。
成本函数构造单元，主要是将避障成本qo，约束成本qc和扭矩成本qt组成：
q(θ)＝∑qo(θt)+qc(θt)+qt(θt) (3)
其中θt为关节空间的值。
约束成本函数为
Figure GDA0003207554100000083
其中C表示所有的约束集合，vc用来计算约束被违背所带来的成本的大小。扭矩成本为：
Figure GDA0003207554100000084
时刻t的扭矩τt是各个关节状态和其导数的函数：
τt＝f(θt,θt,θt) (6)
所述规划与执行同步单元用于在收到目标体的期望位姿之后，基于所述成本函数构造单元构造的成本函数q(θ)，进行逆运动学求解，根据当前的关节状态和期望状态，求出逆解，选择逆解中最好的一组解，规划出存在的、可达到的最优路径，并将规划空间转换到关节空间。在三维实时仿真模块中，用户可以选择开始/停止执行两种操作指令，当用户选择了开始执行之后，机械臂控制模块会将关节驱动指令发送给驱动模块，机械臂会按照求解得到的路径向目标体靠近。因为要兼顾机械臂运动的流畅性和平滑性，因此在本单元中规划和执行采用并行运行的方法，在规划器的内部还使用DMP将关节空间的位置、速度、加速度值做平滑处理，增加运动的流畅性。当机械臂的末端与目标体的位姿的距离达到给定阈值之后，退出规划和执行同步单元。实体采用Linux系统pc主机，通过ROS-I系统中的MoveIt！控制器，控制机械臂运动。
进一步地，如图5所示，所述驱动模块包括数据转化单元；
驱动模块的数据接收端接收来自机械臂控制模块的控制指令，将关节运动的位置、速度、加速度输入到数据转化单元，转化为实际控制关节的电压/电流信号，输入到驱动模块中，控制机械臂的运行；同时，位于机械臂上的关节状态信息传感器会时刻采集机械臂的关节状态，将原始数据输入到数据转化单元中，数据完成转化之后，通过数据发送端交给信息处理模块。
进一步地，如图6所示，本实施例的冗余自由度机械臂视觉伺服避障系统采用的具体硬件包括：由双目相机Intel Realsense和广角单目相机组成的视觉图像采集部分；完成视觉交互的视觉显示部分；由键盘和鼠标组成的控制指令输入设备部分；完成数据转化的驱动模块；具有冗余自由度的机械臂。
本发明的冗余自由度机械臂视觉伺服避障系统通过视觉伺服模块，获取工作空间的清晰图像和准确数据，获取目标体和障碍物信息，将信息传送给信息处理模块；由设置在机械臂各关节的传感器实时监测关节信息，通过驱动模块准确执行机械臂控制模块所发出的控制指令；由信息处理模块接受图像信息和深度信息，识别出目标体的位姿，构建障碍物的三维实体模型，并将其加入到仿真环境中，同时也将相关信息发到机械臂控制模块；由机械臂控制模块构建成本函数，规划出安全、最优的路径，将求解结果发给驱动模块；由驱动模块完成控制指令到执行指令的转化，反馈量的采集原始值到所需值的转化；通过三维实时仿真单元，对离线或者同步在线检测机械臂的规划情况和机械臂各个关节以及末端关节状态的实时显示。本发明集合了视觉伺服的优点和避障客观功能要求；使得冗余机械臂在复杂环境下能够安全、灵活以及智能地完成作业。既可离线验证，又可与实体机械臂连接，具有广泛应用前景。
此外，需要说明的是，本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种冗余自由度机械臂视觉伺服避障系统，其特征在于，包括视觉伺服模块、信息处理模块、机械臂控制模块、驱动模块，以及三维实时仿真模块；
其中，所述驱动模块用于实现所述机械臂控制模块与待控制的冗余机械臂之间的通信，根据所述机械臂控制模块输出的控制指令驱动所述冗余机械臂运作，同时将所述冗余机械臂各关节的状态信息实时传输给所述信息处理模块；
所述视觉伺服模块用于采集冗余机械臂工作空间的环境信息，识别出其中的目标体和障碍物信息，并将目标体和障碍物信息传输给所述信息处理模块；
所述信息处理模块用于根据目标体和障碍物信息，构建障碍物的三维实体模型，同时获取目标体的位姿信息；并将障碍物的三维实体模型和冗余机械臂各关节的状态信息传输给所述三维实时仿真模块显示；同时将障碍物的三维实体模型和目标体的位姿信息传输给所述机械臂控制模块；
所述机械臂控制模块用于根据来自所述三维实时仿真模块的用户的操作指令，结合障碍物的三维实体模型和目标体的位姿信息，构建成本函数，将工作空间的目标转换为关节空间的控制指令，发送给所述驱动模块；
其中，所述机械臂控制模块包括避障成本计算单元、成本函数构造单元、规划与执行同步单元；所述避障成本计算单元用于采用人工势场的方法，基于所述信息处理模块构建的障碍物的三维实体模型信息，建立斥力场，得到所述冗余机械臂的成本函数中的避障成本函数因子；所述避障成本函数因子随着机械臂与障碍物距离的增加而减弱；
所述成本函数构造单元用于对避障成本函数因子、约束成本函数因子、扭矩成本函数因子赋予预设的权重，得到所述冗余机械臂的成本函数，包括：
假设机械臂末端要经过的任意一点为Pi，所构建的障碍物的三维模型的点Oj，j＝1,2,…n，n为障碍物的三维模型的点，机械臂末端在位置i的人工势场Uart(p)表示为目标势场UG(p)和障碍物势场UO(p)的和，得出所述冗余机械臂的避障成本函数为：
Figure FDA0003207554090000011
其中，目标势场UG(p)和障碍物势场函数UO(p)如下：
Figure FDA0003207554090000021
Figure FDA0003207554090000022
其中：k,η＞0为常数；ρ是机械臂到障碍物的最短距离，ρ0为一阈值；
将避障成本函数qo，约束成本函数qc和扭矩成本函数qt组成：
q(θ)＝∑qo(θt)+qc(θt)+qt(θt)
其中，θt为关节状态，所述关节状态包括关节的位置、关节的速度以及关节的加速度，约束成本函数为：
Figure FDA0003207554090000023
其中，C表示所有的约束集合，vc用来计算约束被违背所带来的成本的大小；扭矩成本为：
Figure FDA0003207554090000024
其中，τt为时刻t的扭矩；
所述规划与执行同步单元用于在收到目标体的期望位姿之后，基于所述成本函数构造单元构造的成本函数q(θ)，进行逆运动学求解，规划出存在的、可达到的最优路径，并将规划空间转换到关节空间，将关节空间的位置、速度、加速度值做平滑处理，分步向目标体运动靠近；
所述视觉伺服模块包括单目相机和双目相机；其中，
所述单目相机的安装位置相对于所述冗余机械臂的基座位置固定；所述双目相机安装在所述冗余机械臂的末端，随着所述冗余机械臂运作，所述双目相机的位置相对于所述冗余机械臂的基座位置时刻变化；
所述单目相机用于对所述冗余机械臂的整个工作环境进行拍摄得到所述冗余机械臂的工作空间的全景信息；所述双目相机用于采集视野内的图像信息，获取目标体和障碍物的深度信息及RGB图像信息；
所述视觉伺服模块还包括图像处理单元和图像显示单元；其中，
所述图像处理单元用于将所述单目相机拍摄到的工作空间的全景信息传输给所述图像显示单元显示；同时对所述双目相机采集到的深度信息和RGB图像信息进行降噪和去锯齿化操作，得到处理后的深度信息及RGB图像信息，并将处理后的深度信息及RGB图像信息传输给所述信息处理模块；
所述信息处理模块包括深度信息处理单元、目标体位姿信息获取单元、坐标转换单元和三维模型构建单元；其中，
所述深度信息处理单元用于将所述图像处理单元输出的深度信息转换为点云，并将转换的点云传输给所述三维模型构建单元；
所述三维模型构建单元用于根据所述深度信息处理单元输出的点云，采用贪婪三角投影算法构建出障碍物的三维实体模型信息，并将障碍物的三维实体模型信息传输到所述三维实时仿真模块和所述机械臂控制模块；
所述目标体位姿信息获取单元用于根据所述深度信息处理单元输出的点云，获取目标体以所述双目相机为基坐标的三维位置信息；根据所述图像处理单元输出的RGB图像信息，结合预设的目标体的正面图片，根据当前的目标体姿态推断出目标体以所述双目相机为基坐标的三维姿态；
所述坐标转换单元用于计算出障碍物的中心，将其作为障碍物原点，结合所述冗余机械臂的DH参数，根据目标体、双目相机、障碍物的位姿信息，完成相互以及相对于世界坐标系间的位姿转换关系，获取目标体和障碍物相对于世界坐标系的位姿信息，并将其输入到机械臂控制模块和三维实时仿真模块。
2.如权利要求1所述的冗余自由度机械臂视觉伺服避障系统，其特征在于，所述冗余机械臂的各关节上分别设置有测量相应关节状态信息的传感器；其中，所述关节状态信息包括关节的位置、速度和加速度。
3.如权利要求2所述的冗余自由度机械臂视觉伺服避障系统，其特征在于，所述传感器通过can总线和usb转can通信模块将检测到的相应关节的状态信息传送给所述驱动模块，由所述驱动模块传送给所述信息处理模块。
4.如权利要求1所述的冗余自由度机械臂视觉伺服避障系统，其特征在于，在所述规划与执行同步单元中，路径规划线程和路径执行线程同步运行。
5.如权利要求1所述的冗余自由度机械臂视觉伺服避障系统，其特征在于，所述驱动模块包括数据转化单元；
所述数据转化单元用于接收来自所述机械臂控制模块的控制指令，将所述控制指令转化为相应的电压或电流驱动量，将所述电压或电流驱动量输送给所述冗余机械臂，控制所述冗余机械臂运作；
同时所述数据转化单元还用于接收所述冗余机械臂的各关节上的传感器发送的相应关节的状态信息，并将所述冗余机械臂的各关节的状态信息输送给所述信息处理模块。
6.如权利要求1所述的冗余自由度机械臂视觉伺服避障系统，其特征在于，在未连接所述冗余机械臂时，所述三维实时仿真模块用于在离线情况下，连接所述视觉伺服模块，对所述冗余自由度机械臂视觉伺服避障系统整体的鲁棒性做检验；在连接上所述冗余机械臂后，所述三维实时仿真模块用于根据所述冗余机械臂的反馈信息，让仿真模型和所述冗余机械臂做同步运动。
CN201910535586.4A 2019-06-20 2019-06-20 一种冗余自由度机械臂视觉伺服避障系统 Active CN110216674B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910535586.4A CN110216674B (zh) 2019-06-20 2019-06-20 一种冗余自由度机械臂视觉伺服避障系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910535586.4A CN110216674B (zh) 2019-06-20 2019-06-20 一种冗余自由度机械臂视觉伺服避障系统

Publications (2)

Publication Number Publication Date
CN110216674A CN110216674A (zh) 2019-09-10
CN110216674B true CN110216674B (zh) 2021-10-01

Family

ID=67814196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910535586.4A Active CN110216674B (zh) 2019-06-20 2019-06-20 一种冗余自由度机械臂视觉伺服避障系统

Country Status (1)

Country Link
CN (1) CN110216674B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112706158B (zh) * 2019-10-25 2022-05-06 中国科学院沈阳自动化研究所 基于视觉和惯导定位的工业人机交互系统及方法
CN111267083B (zh) * 2020-03-12 2022-01-04 北京科技大学 一种基于单双目摄像头结合的机械臂自主搬运系统
CN111844007B (zh) * 2020-06-02 2023-04-28 江苏理工学院 授粉机器人机械臂避障路径规划方法、装置
CN112017237B (zh) * 2020-08-31 2024-02-06 北京轩宇智能科技有限公司 一种基于视场拼接和三维重建的操作辅助装置及方法
CN112944287B (zh) * 2021-02-08 2023-05-30 西湖大学 一种具有主动光源的空中修补系统
CN112959322A (zh) * 2021-03-02 2021-06-15 中国科学院深圳先进技术研究院 控制方法、控制装置及终端设备
CN113232025B (zh) * 2021-06-07 2022-04-22 上海大学 一种基于接近觉感知的机械臂避障方法
CN113662472A (zh) * 2021-09-06 2021-11-19 上海景吾智能科技有限公司 清洁机器人系统擦拭不规则曲面的方法及系统
CN113478492B (zh) * 2021-09-07 2022-05-17 成都博恩思医学机器人有限公司 一种避免机械臂碰撞的方法、系统、机器人及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107914272A (zh) * 2017-11-20 2018-04-17 北京科技大学 一种七自由度机械臂组件抓取目标物体的方法
CN108972549A (zh) * 2018-07-03 2018-12-11 华南理工大学 基于Kinect深度摄像头的工业机械臂实时避障规划抓取系统
CN109048926A (zh) * 2018-10-24 2018-12-21 河北工业大学 一种基于立体视觉的机器人智能避障系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101949277B1 (ko) * 2012-06-18 2019-04-25 엘지전자 주식회사 이동 로봇
CN108705532B (zh) * 2018-04-25 2020-10-30 中国地质大学（武汉） 一种机械臂避障路径规划方法、设备及存储设备
CN109029417B (zh) * 2018-05-21 2021-08-10 南京航空航天大学 基于混合视觉里程计和多尺度地图的无人机slam方法
CN109079777B (zh) * 2018-08-01 2021-09-10 北京科技大学 一种机械臂手眼协调作业系统
CN109300155A (zh) * 2018-12-27 2019-02-01 常州节卡智能装备有限公司 一种避障路径规划方法、装置、设备和介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107914272A (zh) * 2017-11-20 2018-04-17 北京科技大学 一种七自由度机械臂组件抓取目标物体的方法
CN108972549A (zh) * 2018-07-03 2018-12-11 华南理工大学 基于Kinect深度摄像头的工业机械臂实时避障规划抓取系统
CN109048926A (zh) * 2018-10-24 2018-12-21 河北工业大学 一种基于立体视觉的机器人智能避障系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Real-Time Obstacle Avoidance for Manipulators and Mobile Robots;Khatib O;《International Journal of Robotics Research》;19860131;第396-404页 *

Also Published As

Publication number Publication date
CN110216674A (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
CN110216674B (zh) 一种冗余自由度机械臂视觉伺服避障系统
CN110253570B (zh) 基于视觉的工业机械臂人机安全系统
JP6571274B2 (ja) レーザ深度マップサンプリングのためのシステム及び方法
CN106104203B (zh) 一种移动物体的距离检测方法、装置及飞行器
WO2018108098A1 (zh) 一种基于多传感器信息融合的带电作业机器人自主作业方法
CN112634318B (zh) 一种水下维修机器人的遥操作系统和方法
CN111360818A (zh) 一种通过视觉定位的机械臂控制系统
CN112518748B (zh) 面向运动物品的视觉机械臂自动抓取方法与系统
CN112706158B (zh) 基于视觉和惯导定位的工业人机交互系统及方法
CN113829343B (zh) 基于环境感知的实时多任务多人人机交互系统
CN105930775A (zh) 基于灵敏度参数的人脸朝向识别方法
CN113228103A (zh) 目标跟踪方法、装置、无人机、系统及可读存储介质
CN109108970B (zh) 一种基于骨骼节点信息的交互式机械臂控制方法
CN112109074A (zh) 一种机器人目标图像抓取方法
CN201355241Y (zh) 基于视觉的空间目标位姿测量装置
CN110720113A (zh) 一种参数处理方法、装置及摄像设备、飞行器
Han et al. Grasping control method of manipulator based on binocular vision combining target detection and trajectory planning
Atienza et al. Intuitive human-robot interaction through active 3d gaze tracking
Gao et al. Kinect-based motion recognition tracking robotic arm platform
CN103365294A (zh) 无人飞行载具控制系统及方法
CN113021329A (zh) 一种机器人运动控制方法、装置、可读存储介质及机器人
Zhou et al. Visual servo control system of 2-DOF parallel robot
Jayasurya et al. Gesture controlled AI-robot using Kinect
CN113168532A (zh) 目标检测方法、装置、无人机及计算机可读存储介质
CN110887489A (zh) 一种基于ar机器人的slam算法的实验方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant