CN115533895A - 一种基于视觉的二指机械手工件抓取方法及系统 - Google Patents

一种基于视觉的二指机械手工件抓取方法及系统 Download PDF

Info

Publication number
CN115533895A
CN115533895A CN202211142870.3A CN202211142870A CN115533895A CN 115533895 A CN115533895 A CN 115533895A CN 202211142870 A CN202211142870 A CN 202211142870A CN 115533895 A CN115533895 A CN 115533895A
Authority
CN
China
Prior art keywords
workpiece
grabbing
image
grabbed
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211142870.3A
Other languages
English (en)
Other versions
CN115533895B (zh
Inventor
赵凯
韩毅
王伟
魏胜利
周晏
王林林
胥亚涛
刘昱陇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anyang Institute of Technology
Original Assignee
Anyang Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anyang Institute of Technology filed Critical Anyang Institute of Technology
Priority to CN202211142870.3A priority Critical patent/CN115533895B/zh
Priority claimed from CN202211142870.3A external-priority patent/CN115533895B/zh
Publication of CN115533895A publication Critical patent/CN115533895A/zh
Application granted granted Critical
Publication of CN115533895B publication Critical patent/CN115533895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于视觉的二指机械手工件抓取方法，采用图像配准方法确定被抓取工件的粗略位置，并提取目标区域，控制二指机械手移动到被抓取工件上方；根据提取目标区域与预设的遮罩模板匹配，根据遮罩图像确定被抓取工件的精确位置和最优的抓取位姿；采用贝塞尔曲线确定二指机械手运动轨迹，将工件从工件抓取区放置在目标位置；重复上述步骤，直至检测不到待抓取工件。本发明使用图像配准的方法估计被抓取工件的粗略位置，有效的提高了定位的速度；进而在估计最优抓取位姿时，使用遮罩模板的方法再一次精确估计工件的定位；在二指机械手移动时采用时间最优的规划方法，能够有效提高抓取的效率。

Description

一种基于视觉的二指机械手工件抓取方法及系统
技术领域
本发明涉及机械手技术领域，尤其涉及一种基于视觉的二指机械手工件抓取方法及系统。
背景技术
随着深度传感器的引入，基于深度相机的RGB-D图像被广泛用于视频和图像处理方面，传统的模板匹配等方法引入深度信息后，极大提高了基于视觉的物体抓取的精度。特别是将深度学习网络应用于机械手物体抓取以后，抓取的精度进一步得到提高。
工业场景下的物体抓取背景较为简单，且被抓取物体单一。基于深度学习的物体定位和识别方法在应用时，需要训练模型，合理调整参数，且深度学习方法对平台的运算能力要求较高，且不能满足实时性要求。一般来说，工业场景下广泛应用的工控计算机和嵌入式设备，计算机能力并不能满足深度学习网络的部署要求。
发明内容
技术目的：针对现有技术中的缺陷，本发明公开了一种基于视觉的二指机械手工件抓取方法及系统，解决了工业场景下工控计算机和嵌入式设备的计算机能力不能满足深度学习网络的部署要求，从而无法实现工件抓取的问题。
技术方案：为实现上述技术目的，本发明采用以下技术方案。
一种基于视觉的二指机械手工件抓取方法，包括以下步骤：
采用图像配准方法确定被抓取工件的粗略位置，并提取目标区域，控制二指机械手移动到被抓取工件上方；
根据提取目标区域与预设的遮罩模板匹配，根据遮罩图像确定被抓取工件的精确位置和最优的抓取位姿；
采用贝塞尔曲线确定二指机械手运动轨迹，将工件从工件抓取区放置在目标位置；
重复上述步骤，直至检测不到待抓取工件。
优选地，所述图像配准方法包括深度相机拍摄工件抓取区后输出RGB-D图像后，结合给定工件的图像，提取ORB特征，并提取目标区域，进而实现图像配准；所述图像配准方法具体过程为：
深度相机拍摄工件抓取区后输出RGB-D图像；
对RGB-D图像进行ORB特征识别；在ORB算法中引入图像金字塔技术，对RGB-D图像进行ORB特征识别；
提取目标区域：确定待抓取工件的几何中心后提取目标区域；
根据工件在机械臂坐标系中的几何中心坐标，控制机械臂的末端执行器二指机械手移动至该工件上方。
优选地，所述根据提取目标区域与预设的遮罩模板匹配，根据遮罩图像确定被抓取工件的精确位置和最优的抓取位姿；包括：根据预设阈值生成被抓取工件的二值化图像，构建遮罩图像集合；根据二值化图像和遮罩图像集合确定被抓取工件的精确位置和最优的抓取位姿。
优选地，所述根据预设阈值生成被抓取工件的二值化图像，包括：设定深度相机距离工件的表面距离阈值为h，根据h及提取目标区域生成待抓取工件的二值化图像M，二值化图像M的每个像素值计算公式为：
Figure BDA0003851361240000021
其中，H(x，y)为图像坐标系(x，y)处的深度信息。
优选地，所述构建遮罩图像集合过程为：按照二指机械手剖面俯视图制作遮罩图像A0，将遮罩图像A0旋转π/N(i＝1，…，N)，产生遮罩图像集合Ai(i＝0，…N)。
优选地，所述根据二值化图像和遮罩图像集合确定被抓取工件的精确位置和最优的抓取位姿，包括：
根据遮罩图像集合Ai(i＝0，…N)以及待抓取工件区域二值化图像M，卷积运算公式为：
Gi＝(Ai·M)·g
其中，·代表卷积运算，g代表高斯卷积核，Gi为第i个遮罩图像与抓取目标形成的目标函数；
根据卷积运算公式构造目标函数
Figure BDA0003851361240000031
其中，[x*，y*]T即为最优抓取位置在图像坐标系下的坐标，i*为获取最优抓取坐标时对应的遮罩图像编号，G＝{G0，G1，…，GN}为集合形式的目标函数；
计算出来的最大值参数[x*，y*，i*]，由图像坐标系坐标[x*，y*]T和内参矩阵得到相机坐标系下的坐标
Figure BDA0003851361240000032
进而计算得到机械臂坐标系下的最优抓取坐标，根据α＝πi*/N得到机械臂末端二指机械手旋转的角度，即α＝πi*/N为最优的抓取位姿。
优选地，所述采用贝塞尔曲线确定二指机械手运动轨迹，将工件从工件抓取区放置在目标位置，包括：根据被抓取工件的精确位置和最优的抓取位姿，二指机械手抓取工件，根据贝塞尔曲线确定的二指机械手运动轨迹，将工件从工件抓取区放置在目标位置，即传送带上，采用能量最小的五次贝塞尔曲线，将抓取位置和目标位置之间的线段使用一次贝塞尔曲线描述，为g(u)，u∈[0，1]，计算该线段的中点Z0，设定能量最小的目标函数为：
Figure BDA0003851361240000033
其中，f(u)为待优化贝塞尔曲线，f(1)(u)为待优化贝塞尔曲线的一次导数，α1，α2，α3为权重因子，满足α1+α2+α3＝1；求解目标函数，得到最优能量的五阶贝塞尔曲线。
优选地，所述根据二值化图像和遮罩图像集合确定被抓取工件的精确位置和最优的抓取位姿，包括：
根据遮罩图像集合Ai(i＝0，…N)以及待抓取工件区域二值化图像M，按位与运算公式为：
Gi＝(Ai*M)·g
其中，*表示按位与运算，g代表高斯卷积核，Gi为第i个遮罩图像与抓取目标形成的目标函数；
根据按位与运算公式构造目标函数
Figure BDA0003851361240000041
其中，[x*，y*]T即为最优抓取位置在图像坐标系下的坐标，i*为获取最优抓取坐标时对应的遮罩图像编号，G＝{G0，G1，…，GN}为集合形式的目标函数；
计算出来的最大值参数[x*，y*，i*]，由图像坐标系坐标[x*，y*]T和内参矩阵得到相机坐标系下的坐标
Figure BDA0003851361240000042
进而计算得到机械臂坐标系下的最优抓取坐标，根据α＝πi*/N得到机械臂末端二指机械手旋转的角度，即α＝πi*/N为最优的抓取位姿。
优选地，所述采用贝塞尔曲线确定二指机械手运动轨迹，将工件从工件抓取区放置在目标位置，包括：根据被抓取工件的精确位置和最优的抓取位姿，二指机械手抓取工件，根据贝塞尔曲线确定的二指机械手运动轨迹，将工件从工件抓取区放置在目标位置，即传送带上，采用能量最小的五次贝塞尔曲线，将抓取位置和目标位置之间的线段使用一次贝塞尔曲线描述，为g(u)，u∈[0，1]，计算该线段的中点Z0，在参数域u∈[0，1]上均匀采样Ω次，设定能量最小的目标函数为：
Figure BDA0003851361240000043
其中，P1，P2，P3，P4为除去首末控点外的其余四个控点；f(u)为待优化贝塞尔曲线，f(1)(u)为待优化贝塞尔曲线的一次导数，α1，α2，α3为权重因子，满足α1+α2+α3＝1，f(uj)为第j个采样点在待优化贝塞尔曲线上对应的值，g(uj)为第j个采样点在一次贝塞尔曲线上的对应值，Δu为采样间隔，Ω为采样次数；求解目标函数，得到最优能量的五阶贝塞尔曲线。
一种基于视觉的二指机械手工件抓取系统，用于实现以上任一所述的一种基于视觉的二指机械手工件抓取方法，包括机械臂、二指机械手、控制箱、深度相机、传送带和工件抓取区；所述机械臂的末端设置二指机械手，二指机械手用于从工件抓取区抓取工件至传送带上，深度相机设置于工件抓取区上方，用于输出工件抓取区域的RGB-D图像，控制箱中内置图像配准和轨迹规划用计算机平台。
有益效果：本发明使用图像配准的方法估计被抓取工件的粗略位置，有效的提高了定位的速度；进而在估计最优抓取位姿时，使用遮罩模板的方法再一次精确估计工件的定位；在二指机械手移动时采用能量最优的五次贝塞尔曲线作为移动路径，能够有效提高抓取的效率。
附图说明
图1为本发明的方法流程图；
图2为本发明的抓取位姿遮罩模板设计示意图；
图3为本发明的遮罩图像示意图；
图4为本发明的系统结构示意图。
具体实施方式
以下结合附图和实施例对本发明的一种基于视觉的二指机械手工件抓取方法及系统做进一步的说明和解释。
如附图1所示，一种基于视觉的二指机械手工件抓取方法，包括以下步骤：
S1、采用图像配准方法确定被抓取工件的粗略位置，并提取目标区域，控制二指机械手移动到被抓取工件上方；图像配准方法包括深度相机拍摄工件抓取区后输出RGB-D图像后，结合给定工件的图像，提取ORB特征，并提取目标区域，进而实现图像配准；
在深度相机拍摄工件放置目标区域后输出RGB-D图像前，需要采用标定板对深度相机和二指机械手进行手眼标定，手眼标定的过程为：布置好抓取设备及场景后，使用标定板进行相机和二指机械手的手眼标定，获取内参矩阵和外参矩阵。其中，内参矩阵用于完成二维图像到相机坐标系的映射；外参矩阵用于完成相机坐标系到机械臂坐标系的映射。实际上，只要固定了机械臂底座，确定了工件放置目标和工件抓取区的位置，就确定了它们的坐标，下面只需要确定待抓取工件的位置即可。值得注意的是，手眼标定可在安装固定好机械臂等设备后进行一次即可，需要的时候可再标定。
抓取设备及场景的布置过程为：工件抓取区散乱存放多个工件。深度相机垂直放置在工件抓取区上方，用于获取和输出工件抓取区域中的RGB-D图像。工件放置目标区域位于传送设备或运输设备上，如传送带上，位置固定。机械臂的末端为二指机械手，用于抓取工件，且二指机械手的转动轴始终与工件抓取区域垂直，可进一步降低位姿估计的变量个数。
S1的具体步骤为：
S11、深度相机拍摄工件抓取区后输出RGB-D图像；
S12、对RGB-D图像进行ORB特征识别：在ORB算法中引入图像金字塔技术，对RGB-D图像进行ORB特征识别。考虑到每次抓取的目标个数为1个，因而，每次只要识别出1个目标即可。工件抓取区的工件摆放方向是任意的，在识别的时候，需要特别注意旋转不变性，另外，考虑到实施视觉抓取和机械臂控制的控制器主要是CPU，因此考虑提取ORB特征进行识别。ORB(Oriented FAST and Rotated BRIEF)算法是一种快速特征点提取和描述的算法，主要检测oFAST特征点，然后使用rBRIEF描述符进行描述，其中rBRIEF具有旋转不变性的特性。本发明中为了进一步加快识别速度，在ORB算法中还引入了图像金字塔技术。本发明中使用了高斯金字塔技术，制作四层金字塔，在配准时先使用低分辨率的层进行粗配准，然后再使用高分辨率的层。金字塔分层搜索逐步缩小配准范围，大大提高配准速度。
S13、提取目标区域：确定待抓取工件(以下简称工件)的几何中心后提取目标区域；ORB特征提取算法能够满足使用CPU场景下的快速识别。当识别出一个工件作为待抓取工件时，计算该工件的在图像坐标系下的几何中心Gj，并映射到机械臂坐标系中为Gw，作为待抓取工件的粗略位置。同时提取待抓取工件的图像，即提取目标区域，用于接下来的最优抓取角度估计；
其中，几何中心Gj的计算过程为：待抓取工件的识别出来后，在工件周围建立矩形框，根据矩形框四个顶点确定工件在图像坐标系下的几何中心。
S14、根据工件在机械臂坐标系中的几何中心坐标Gw，控制机械臂的末端执行器二指机械手移动至该工件上方。
本发明采用ORB算法，根据已有的参考文献，ORB特征提取和配准可以应用于大多数设备中，包括智能手机中，根据本发明的实验结果，在不使用GPU加速的情况下，在64位CPU和4G内存的机器上可控制在0.02s左右得到识别结果。
S2、根据提取目标区域与预设的遮罩模板匹配，根据遮罩图像确定被抓取工件的精确位置和最优的抓取位姿；包括：根据预设阈值生成被抓取工件的二值化图像，构建遮罩图像集合；根据二值化图像和遮罩图像集合确定被抓取工件的精确位置和最优的抓取位姿；
如附图2所示，在抓取时，深度相机除能够获得待抓取区域的图像外，还能够获得待抓取工件的深度信息。假设相机坐标系中的点为Pc＝[xc，yc，zc]T，都可根据外参矩阵映射到机械臂坐标系，即
Figure BDA0003851361240000071
因而只要找到最适合抓取的坐标点Pc即可，Pw为机械臂坐标系下的最优抓取坐标，
Figure BDA0003851361240000072
为外参矩阵中的旋转矩阵，wt为外参矩阵中的平移矩阵。
具体步骤为：
S21、根据预设阈值生成被抓取工件的二值化图像：设定深度相机距离工件的表面距离阈值为h，根据h以及提取目标区域生成待抓取工件的二值化图像M，二值化图像M的每个像素值由式(2)确定：
Figure BDA0003851361240000073
其中，H(x，y)为图像坐标系(x，y)处的深度信息。
S22、构建遮罩图像集合：按照二指机械手剖面俯视图制作遮罩图像A0，将遮罩图像A0旋转π/N(i＝1，…，N)，产生遮罩图像集合Ai(i＝0，…N)，N为预设自然数，在一些实施例中，取值为18。附图4所示遮罩图像为二值化图像，黑色部分代表像素值为0，白色部分代表像素值为1。
S23、根据二值化图像和遮罩图像集合确定被抓取工件的精确位置和最优的抓取位姿；
如附图3所示，根据遮罩图像集合Ai(i＝0，…N)以及待抓取工件区域二值化图像M，按照式(3)进行卷积运算，
Gi＝(Ai·M)·g (3)
其中，·代表卷积运算，g代表高斯卷积核，Gi为第i个遮罩图像与抓取目标形成的目标函数。
根据式(4)构造目标函数
Figure BDA0003851361240000081
其中，[x*，y*]T即为最优抓取位置在图像坐标系下的坐标，i*为获取最优抓取坐标时对应的遮罩图像编号，G＝{G0，G1，…，GN}为集合形式的目标函数；
当有多个最大值时，选择与几何中心Gj之间的欧式距离最小的值。
根据式(4)计算出来的最大值参数[x*，y*，i*]，由图像坐标系坐标[x*，y*]T和内参矩阵得到相机坐标系下的坐标
Figure BDA0003851361240000082
进而根据式(1)得到机械臂坐标系下的最优抓取坐标Pw，根据α＝πi*/N得到机械臂末端二指机械手旋转的角度，即α＝πi*/N为最优的抓取位姿。
S3、采用贝塞尔曲线确定二指机械手运动轨迹；根据被抓取工件的精确位置和最优的抓取位姿，二指机械手抓取工件，根据贝塞尔曲线确定的二指机械手运动轨迹，将工件从工件抓取区放置在目标位置，即传送带上。
针对抓取位置和目标位置之间的路径，本发明采用点到点的二指机械手轨迹规划，采用能量最小的五次贝塞尔曲线连接。在机械臂坐标系下，将抓取位置和目标位置之间的线段使用一次贝塞尔曲线描述，即一次贝塞尔曲线表示的线段设为g(u)，u∈[0，1]。计算该线段的中点Z0。设定能量最小的目标函数为：
Figure BDA0003851361240000083
其中，f(u)为待优化贝塞尔曲线，本发明中采用五次贝塞尔曲线，即f(u)为待优化五次的贝塞尔曲线，f(1)(u)为待优化贝塞尔曲线的一次导数，α1，α2，α3为权重因子，满足α1+α2+α3＝1。求解该无约束优化问题，可得到最优能量的五阶贝塞尔曲线。
本发明的二指机械手位姿估计中，主要涉及两个方面，待抓取工件的最优坐标，以及机械手旋转的最优角度。位姿估计通过式(3)确定，针对像素级别的计算复杂度为μ2·ν2·N，其中μ和ν分别是二值化图像的长和宽。本发明的方法在实验中，针对640×480的8位分辨率图像，抓取位姿估计约为0.22s。
考虑到遮罩图像和提取后的图像均作了二值化处理，在计算时为进一步加快速度，可将式(3)优化更改为式(6)：
Gi＝(Ai*M)·g (6)
其中，*表示按位与运算。
优化运算较为耗时，为了能够进一步提高优化的效率，可进一步改进能量最优的贝塞尔曲线优化方案，改积分目标函数为求和目标函数，具体做法为，在参数域u∈[0，1]上均匀采样Ω次，式(5)则优化为：
Figure BDA0003851361240000091
其中，P1，P2，P3，P4为除去首末控点外的其余四个控点，用于控制贝塞尔曲线轮廓，不在贝塞尔曲线上，首末控点因与抓取最优位置和放置目标位置重合而不需要优化，其中，抓取最优位置为首控点，放置目标位置为末控点；f(u)为待优化贝塞尔曲线，f(1)(u)为待优化贝塞尔曲线的一次导数，f(uj)为第j个采样点在待优化贝塞尔曲线上对应的值，该值为四个控点的函数，g(uj)为第j个采样点在一次贝塞尔曲线上的对应值，Δu为采样间隔。本发明的方法在实验中，取Ω＝50可以将计算时间降低至0.03s。
S4、重复步骤S1至S3，直至检测不到待抓取工件。
本发明考虑工业抓取场景，对工业场景中的多个单一工件进行抓取，背景较为简单，使用图像配准的方法估计被抓取工件的粗略位置，有效的提高了定位的速度；进而在估计最优抓取位姿时，使用遮罩模板的方法再一次精确估计工件的定位；在二指机械手移动时采用时间最优的规划方法，二指机械手移动时采用能量最优的五次贝塞尔曲线作为移动路径，能够有效提高抓取的效率。
本发明使用的算法简单容易实现，能够有效的减低计算复杂度，能够应用于计算和处理能力不足的工业场景，能够在并行计算能力较弱的工控计算机和嵌入式设备上执行，如支持CPU运算。本发明的方法在标准的CPU设备上运行后，可将从识别至工件放置在传送带上的总体时间控制在0.3秒以内，完全能够支持实时完成抓取任务。
一种基于视觉的二指机械手工件抓取系统，包括机械臂、二指机械手、控制箱、深度相机、传送带和工件抓取区；所述机械臂的末端设置二指机械手，二指机械手用于从工件抓取区抓取工件至传送带上，深度相机设置于工件抓取区上方，用于输出工件抓取区域的RGB-D图像。控制箱内可中内置图像配准和轨迹规划用计算机平台，该平台可根据情况配置为工控计算机或者嵌入式处理器。如附图4所示，工件抓取区散乱存放多个工件。深度相机垂直放置在工件抓取区上方，用于获取和输出工件抓取区域中的RGB-D图像。工件放置目标区域位于传送设备或运输设备上，如传送带上，位置固定。机械臂的末端为二指机械手，用于抓取工件，且二指机械手的转动轴始终与工件抓取区域垂直，可进一步降低位姿估计的变量个数。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于视觉的二指机械手工件抓取方法，其特征在于：包括以下步骤：
采用图像配准方法确定被抓取工件的粗略位置，并提取目标区域，控制二指机械手移动到被抓取工件上方；
根据提取目标区域与预设的遮罩模板匹配，根据遮罩图像确定被抓取工件的精确位置和最优的抓取位姿；
采用贝塞尔曲线确定二指机械手运动轨迹，将工件从工件抓取区放置在目标位置；
重复上述步骤，直至检测不到待抓取工件。
2.根据权利要求1所述的一种基于视觉的二指机械手工件抓取方法，其特征在于：所述图像配准方法包括深度相机拍摄工件抓取区后输出RGB-D图像后，结合给定工件的图像，提取ORB特征，并提取目标区域，进而实现图像配准；所述图像配准方法具体过程为：
深度相机拍摄工件抓取区后输出RGB-D图像；
对RGB-D图像进行ORB特征识别；在ORB算法中引入图像金字塔技术，对RGB-D图像进行ORB特征识别；
提取目标区域：确定待抓取工件的几何中心后提取目标区域；
根据工件在机械臂坐标系中的几何中心坐标，控制机械臂的末端执行器二指机械手移动至该工件上方。
3.根据权利要求1所述的一种基于视觉的二指机械手工件抓取方法，其特征在于：所述根据提取目标区域与预设的遮罩模板匹配，根据遮罩图像确定被抓取工件的精确位置和最优的抓取位姿；包括：根据预设阈值生成被抓取工件的二值化图像，构建遮罩图像集合；根据二值化图像和遮罩图像集合确定被抓取工件的精确位置和最优的抓取位姿。
4.根据权利要求3所述的一种基于视觉的二指机械手工件抓取方法，其特征在于：所述根据预设阈值生成被抓取工件的二值化图像，包括：设定深度相机距离工件的表面距离阈值为h，根据h及提取目标区域生成待抓取工件的二值化图像M，二值化图像M的每个像素值计算公式为：
Figure FDA0003851361230000011
其中，H(x，y)为图像坐标系(x，y)处的深度信息。
5.根据权利要求3所述的一种基于视觉的二指机械手工件抓取方法，其特征在于：所述构建遮罩图像集合过程为：按照二指机械手剖面俯视图制作遮罩图像A0，将遮罩图像A0旋转πi/N(i＝1，…，N)，产生遮罩图像集合Ai(i＝0，…N)。
6.根据权利要求3所述的一种基于视觉的二指机械手工件抓取方法，其特征在于：所述根据二值化图像和遮罩图像集合确定被抓取工件的精确位置和最优的抓取位姿，包括：
根据遮罩图像集合Ai(i＝0，…N)以及待抓取工件区域二值化图像M，卷积运算公式为：
Gi＝(Ai·M)·g
其中，·代表卷积运算，g代表高斯卷积核，Gi为第i个遮罩图像与抓取目标形成的目标函数；
根据卷积运算公式构造目标函数
Figure FDA0003851361230000021
其中，[x*，y*]T即为最优抓取位置在图像坐标系下的坐标，i*为获取最优抓取坐标时对应的遮罩图像编号，G＝{G0，G1，…，GN}为集合形式的目标函数；
计算出来的最大值参数[x*，y*，i*]，由图像坐标系坐标[x*，y*]T和内参矩阵得到相机坐标系下的坐标
Figure FDA0003851361230000022
进而计算得到机械臂坐标系下的最优抓取坐标，根据α＝πi*/N得到机械臂末端二指机械手旋转的角度，即α＝πi*/N为最优的抓取位姿。
7.根据权利要求6所述的一种基于视觉的二指机械手工件抓取方法，其特征在于：所述采用贝塞尔曲线确定二指机械手运动轨迹，将工件从工件抓取区放置在目标位置，包括：根据被抓取工件的精确位置和最优的抓取位姿，二指机械手抓取工件，根据贝塞尔曲线确定的二指机械手运动轨迹，将工件从工件抓取区放置在目标位置，即传送带上，采用能量最小的五次贝塞尔曲线，将抓取位置和目标位置之间的线段使用一次贝塞尔曲线描述，为g(u)，u∈[0，1]，计算该线段的中点Z0，设定能量最小的目标函数为：
Figure FDA0003851361230000031
其中，f(u)为待优化贝塞尔曲线，f(1)(u)为待优化贝塞尔曲线的一次导数，α1，α2，α3为权重因子，满足α1+α2+α3＝1；求解目标函数，得到最优能量的五阶贝塞尔曲线。
8.根据权利要求3所述的一种基于视觉的二指机械手工件抓取方法，其特征在于：所述根据二值化图像和遮罩图像集合确定被抓取工件的精确位置和最优的抓取位姿，包括：
根据遮罩图像集合Ai(i＝0，…N)以及待抓取工件区域二值化图像M，按位与运算公式为：
Gi＝(Ai*M)·g
其中，*表示按位与运算，g代表高斯卷积核，Gi为第i个遮罩图像与抓取目标形成的目标函数；
根据按位与运算公式构造目标函数
Figure FDA0003851361230000032
其中，[x*，y*]T即为最优抓取位置在图像坐标系下的坐标，i*为获取最优抓取坐标时对应的遮罩图像编号，G＝{G0，G1，…，GN}为集合形式的目标函数；
计算出来的最大值参数[x*，y*，i*]，由图像坐标系坐标[x*，y*]T和内参矩阵得到相机坐标系下的坐标
Figure FDA0003851361230000033
进而计算得到机械臂坐标系下的最优抓取坐标，根据α＝πi*/N得到机械臂末端二指机械手旋转的角度，即α＝πi*/N为最优的抓取位姿。
9.根据权利要求8所述的一种基于视觉的二指机械手工件抓取方法，其特征在于：所述采用贝塞尔曲线确定二指机械手运动轨迹，将工件从工件抓取区放置在目标位置，包括：根据被抓取工件的精确位置和最优的抓取位姿，二指机械手抓取工件，根据贝塞尔曲线确定的二指机械手运动轨迹，将工件从工件抓取区放置在目标位置，即传送带上，采用能量最小的五次贝塞尔曲线，将抓取位置和目标位置之间的线段使用一次贝塞尔曲线描述，为g(u)，u∈[0，1]，计算该线段的中点Z0，在参数域u∈[0，1]上均匀采样Ω次，设定能量最小的目标函数为：
Figure FDA0003851361230000041
其中，P1，P2，P3，P4为除去首末控点外的其余四个控点；f(u)为待优化贝塞尔曲线，f(1)(u)为待优化贝塞尔曲线的一次导数，α1，α2，α3为权重因子，满足α1+α2+α3＝1，f(uj)为第j个采样点在待优化贝塞尔曲线上对应的值，g(uj)为第j个采样点在一次贝塞尔曲线上的对应值，Δu为采样间隔，Ω为采样次数；求解目标函数，得到最优能量的五阶贝塞尔曲线。
10.一种基于视觉的二指机械手工件抓取系统，用于实现如权利要求1-9任一所述的一种基于视觉的二指机械手工件抓取方法，其特征在于：包括机械臂、二指机械手、控制箱、深度相机、传送带和工件抓取区；所述机械臂的末端设置二指机械手，二指机械手用于从工件抓取区抓取工件至传送带上，深度相机设置于工件抓取区上方，用于输出工件抓取区域的RGB-D图像，控制箱中内置图像配准和轨迹规划用计算机平台。
CN202211142870.3A 2022-09-19 一种基于视觉的二指机械手工件抓取方法及系统 Active CN115533895B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211142870.3A CN115533895B (zh) 2022-09-19 一种基于视觉的二指机械手工件抓取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211142870.3A CN115533895B (zh) 2022-09-19 一种基于视觉的二指机械手工件抓取方法及系统

Publications (2)

Publication Number Publication Date
CN115533895A true CN115533895A (zh) 2022-12-30
CN115533895B CN115533895B (zh) 2024-07-16

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117681211A (zh) * 2024-01-23 2024-03-12 哈尔滨工业大学 基于深度学习的二指欠驱动机械手爪抓取位姿检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4797939A (en) * 1985-10-04 1989-01-10 Dainippon Screen Mfg. Co., Ltd. Pattern masking method and an apparatus therefor
US4873644A (en) * 1987-09-16 1989-10-10 Kubota, Ltd. Guide system for a working machine having a product identifying system
CN104352333A (zh) * 2014-10-31 2015-02-18 安阳工学院 一种基于参数辨识修正的康复训练机器人系统
KR20170019855A (ko) * 2015-08-13 2017-02-22 한국기계연구원 베셀 빔 레이저 가공효율 증대를 위한 다중각도 액시콘 렌즈
CN113379849A (zh) * 2021-06-10 2021-09-10 南开大学 基于深度相机的机器人自主识别智能抓取方法及系统
CN113927601A (zh) * 2021-11-11 2022-01-14 盐城工学院 一种基于视觉识别实现机械臂精准挑拣的方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4797939A (en) * 1985-10-04 1989-01-10 Dainippon Screen Mfg. Co., Ltd. Pattern masking method and an apparatus therefor
US4873644A (en) * 1987-09-16 1989-10-10 Kubota, Ltd. Guide system for a working machine having a product identifying system
CN104352333A (zh) * 2014-10-31 2015-02-18 安阳工学院 一种基于参数辨识修正的康复训练机器人系统
KR20170019855A (ko) * 2015-08-13 2017-02-22 한국기계연구원 베셀 빔 레이저 가공효율 증대를 위한 다중각도 액시콘 렌즈
CN113379849A (zh) * 2021-06-10 2021-09-10 南开大学 基于深度相机的机器人自主识别智能抓取方法及系统
CN113927601A (zh) * 2021-11-11 2022-01-14 盐城工学院 一种基于视觉识别实现机械臂精准挑拣的方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AIME, C: "Fresnel diffraction of multiple disks on axis Application to coronagraphy", ASTRONOMY & ASTROPHYSICS, no. 537, 27 May 2020 (2020-05-27), pages 16 *
杨怡婷: "两轮自平衡可移动机器人能耗最优运动轨迹规划方法", 兰州文理学院学报(自然科学版), vol. 36, no. 1, 10 January 2022 (2022-01-10), pages 59 - 63 *
王文彬: "基于机器视觉的智能手机摄像头模组组装线设计", 中国优秀硕士学位论文 全文数据库, no. 1, 15 January 2021 (2021-01-15), pages 138 - 233 *
赵凯;韩毅;罗圣勇;: "基于属性特征提取与萤火虫优化的图像检索算法", 微电子学与计算机, no. 11, 5 November 2017 (2017-11-05), pages 31 - 36 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117681211A (zh) * 2024-01-23 2024-03-12 哈尔滨工业大学 基于深度学习的二指欠驱动机械手爪抓取位姿检测方法

Similar Documents

Publication Publication Date Title
CN110480637B (zh) 一种基于Kinect传感器的机械臂零件图像识别抓取方法
Song et al. CAD-based pose estimation design for random bin picking using a RGB-D camera
Eppner et al. Grasping unknown objects by exploiting shape adaptability and environmental constraints
Gong et al. Tracking and grasping of moving target based on accelerated geometric particle filter on colored image
CN113034600A (zh) 基于模板匹配的无纹理平面结构工业零件识别和6d位姿估计方法
US12017368B2 (en) Mix-size depalletizing
Sun et al. Robotic grasping using semantic segmentation and primitive geometric model based 3D pose estimation
CN114193440B (zh) 基于3d视觉的机器人自动抓取系统及方法
Shaw et al. Object identification and 3-D position calculation using eye-in-hand single camera for robot gripper
Wong et al. Generic development of bin pick-and-place system based on robot operating system
Lin et al. Vision based object grasping of industrial manipulator
CN115533895B (zh) 一种基于视觉的二指机械手工件抓取方法及系统
Ogas et al. A robotic grasping method using convnets
CN115533895A (zh) 一种基于视觉的二指机械手工件抓取方法及系统
US20230169675A1 (en) Algorithm for mix-size depalletizing
US11875528B2 (en) Object bin picking with rotation compensation
CN108550168A (zh) 智能化机械臂基于视觉的多目标快速高精度识别与定位方法
CN113822946A (zh) 一种基于计算机视觉的机械臂抓取方法
Farag et al. Three-dimensional localization of known objects for robot arm application based on a particle swarm optimized low end stereo vision system
Xin et al. Real-time dynamic system to path tracking and collision avoidance for redundant robotic arms
Lin et al. A vision-guided robotic grasping method for stacking scenes based on deep learning
Liao et al. Pole detection for autonomous gripping of biped climbing robots
CN115797332B (zh) 基于实例分割的目标物抓取方法和设备
Hofer et al. Depth-based visual servoing using low-accurate arm
Li et al. Research on the recognition and location method of stacked bagged agricultural materials based on monocular vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant