CN110480637B - 一种基于Kinect传感器的机械臂零件图像识别抓取方法 - Google Patents
一种基于Kinect传感器的机械臂零件图像识别抓取方法 Download PDFInfo
- Publication number
- CN110480637B CN110480637B CN201910746529.0A CN201910746529A CN110480637B CN 110480637 B CN110480637 B CN 110480637B CN 201910746529 A CN201910746529 A CN 201910746529A CN 110480637 B CN110480637 B CN 110480637B
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- convolution
- grabbing
- image
- kinect sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 239000011159 matrix material Substances 0.000 claims abstract description 33
- 230000009466 transformation Effects 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 6
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 24
- 238000003475 lamination Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 230000033001 locomotion Effects 0.000 claims description 6
- 239000003550 marker Substances 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 229910002056 binary alloy Inorganic materials 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 33
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000012636 effector Substances 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于Kinect传感器的机械臂零件图像识别抓取方法。采用张正友标定法对Kinect传感器的彩色相机和红外相机进行标定和配准；对机械臂和Kinect传感器进行手眼标定，采用Tsai两步法求解获得手眼变换矩阵；将Kinect传感器获得的待抓取零件的点云图预处理得到RGD图像，预先建立基于卷积神经网络方法的栅格化抓取位置检测模型，通过输入待抓取零件的RGD图像，得到待抓取零件在图像空间的抓取位置；根据手眼变换矩矩阵和机械臂逆解算法，将图像空间的抓取位置映射为机械臂抓取位姿和关节角，控制机械臂按照执行抓取任务。本发明方法从零件RGB‑D图像中检测到可行抓取位置，速度较快，结果可靠，检测模型泛化性能较好，稳定性高。
Description
技术领域
本发明属于工业机器人领域，涉及了一种基于卷积神经网络的零件抓取位置图像检测模型，开发了基于Kinect传感器的机械臂图像处理的抓取方法。
背景技术
随着机械制造数字化、智能化的发展，工业机器人已经成为工程机械、电子电器、汽车产业等行业自动化生产线的主流装备。作为工业机器人使用最广的装备形式，机械臂是由一系列连杆通过关节联结形成的机械结构，可以根据指令，依靠自身动力和控制能力实现各种功能。机械臂通常具有3个或以上的自由度，可分为臂、腕、末端执行器三部分，末端执行器根据面向的工作环境和任务类型选配，臂和腕负责满足末端执行器的定位、定向需求。随着制造业的转型升级，机械臂在装配、喷涂、焊接、分拣等方面应用越来越广泛，具有灵活、高速、精确、能在复杂工况下稳定工作的特点。
抓取是机械臂完成装配、分拣、码垛等任务中的关键操作步骤。传统的抓取作业多采用人工示教的方法进行，人根据自身先验知识对物体的可抓取位置进行判断，随后操作机械臂到达指定示教点，编写示教程序使机械臂可以自动执行任务。这种方式下，机械臂自身不具备感知能力，无法应对不确定因素，程序只能应用于单一物体，操作效率低，可重用性差。
当前视觉感知设备的制造水平不断提高，相关算法研究不断深入，视觉系统在机器人产业中的应用日益增多。机器人视觉系统融合机械、计算机、控制等多个领域，涉及伺服控制、图像处理、多传感器融合等多种软硬件技术，能够有效拓展机器人感知能力，大幅提高机器人自动化、智能化水平。而对于基于视觉的机械臂抓取任务，目前多采用人工设计、提取图像特征的方法，针对的目标物体和操作环境较为单一，实际场景下容易受到目标物摆放位置、姿态、物理性质，图像拍摄角度，外界光照变化等不确定性因素的影响，算法鲁棒性差且不易重复利用。
发明内容
为了解决背景技术中存在的问题，本发明提出一种基于Kinect传感器的机械臂零件图像识别抓取方法，能够有效检测工作区域内零件抓取位置，控制机械臂执行抓取任务，方案简单实用，检测速度较快，抓取成功率高。
本发明具有高效、准确、鲁棒性好的特点，对于提高机械臂工作效率、降低生产成本和风险具有重要意义。
为了实现上述目的，本发明采用的技术方案是包括以下步骤：
1)根据张正友标定法对Kinect传感器的彩色相机和深度相机进行标定，获得二者的内参和畸变参数，然后使用同一场景下的多张Kinect传感器采集到的彩色图像和深度图像处理获得彩色相机和深度相机之间的配准矩阵；
Kinect传感器采集获得RGB-D图像，RGB-D图像由彩色图像和深度图像构成。
2)机械臂位于工作台上方，将Kinect传感器固定于机械臂的侧方固定安装，Kinect传感器不与机械臂连接，调整工作台位置使工作台位于Kinect视场内，Kinect传感器朝向工作台拍摄，将二进制标记图案固定于机械臂末端，不断旋转和移动机械臂末端位置，记录多组机械臂位姿及位姿下Kinect传感器获得的图像，利用Tsai两步法求解得到手眼变换矩阵；
3)将二进制标记图案从机械臂末端取下，工作台上放置待抓取零件，通过Kinect传感器朝向待抓取零件进行采集获得点云图，将点云图预处理得到RGD图像，RGD图像为RGB-D图像中去除B通道数据剩余下的图像，建立基于卷积神经网络方法的栅格化抓取位置检测模型，输入标记有已知正确抓取位置矩形区域的零件的RGD图像进行训练，用训练后的栅格化抓取位置检测模型对输入的待抓取零件的RGD图像处理，得到待抓取零件在图像中的抓取位置矩形区域及方位角；
抓取位置矩形区域用于机械臂的移动定位，为匹配待抓取零件的抓取位置，机械臂移动到抓取位置矩形区域就能抓取零件。
4)根据标定得到的手眼变换矩阵利用机械臂逆解算法，将抓取位置矩形区域映射为机械臂的目标位姿和目标关节角，控制机械臂按照轨迹运动到目标位姿和目标关节角执行抓取任务，即对待抓取零件进行抓取。
所述步骤1)获得的彩色和深度相机标定参数包括彩色相机的内参矩阵Krgb、畸变参数Drgb以及深度相机的内参矩阵Kd、畸变参数Dd；
所述步骤1)获得的彩色图像和深度图像配准矩阵包括旋转矩阵R和平移向量T。
所述的二进制标记图案为四周黑色边界和内部二进制矩阵组成，主要为纯黑色方形背景和位于背景中心的特殊图像，特殊图案具体包括一个U形块、一个方块和两个条形块，条形块的尺寸为方块的两倍，实际由两个方块连接构成，方块位于U形块的开口端中间，方块和U形块之间角连接，条形块位于方块的两角处，条形块和方块之间角连接。
所述步骤2)中，将二进制标记图案固定于机械臂末端之后，具体为：
2.1)调整末端位姿使二进制标记图案位于Kinect视场内居中位置，然后分别进行机械臂各种旋转和平移的三维运动，记录获得机械臂在不同三维运动位置下的多组位姿和图像；
2.2)采用以下过程处理获得二进制标记图案的图像位置；
2.2.1)将Kinect传感器获得的图像转换为灰度图像，采用局部自适应阈值法对灰度图像进行图像分割；
2.2.2)分割后的图像使用Suzuki算法进行轮廓提取，使用道格拉斯-普克(Douglas–Peucker)算法将提取得到的轮廓近似为四边形，若出现一个轮廓将另一个轮廓包围的情况，则忽略舍去被包围的轮廓；
2.2.3)通过对上一步得到的图像计算单应性矩阵，获得去除投影变换影响的修正图像，使用Ostu算法对修正图像进行阈值分割得到二值化图像，通过对二进制标记图案的黑色边界的检测剔除二值化图像中错误的轮廓，保留正确轮廓；
2.2)对于手眼标定方程采用Tsai两步法利用上面步骤获得的二进制标记图案的图像位置求解获得手眼变换矩阵。
具体实施中，手眼标定方程为AX＝XB，其中A是与任意两次运动中末端与基坐标转换关系相关的矩阵，B是与任意两次运动中相机与二进制标记图案的转换关系相关的矩阵，X表示手眼变换矩阵，采用Tsai两步法求解。
所述步骤3)中，所述的栅格化零件抓取位置检测模型的结构采用多尺寸输出的残差结构，多尺寸输出的残差结构包括特征提取和输出生成的两部分；输出生成部分生成形式为{x，y，h，w，θ}的抓取位置矩形区域，其中(x，y)为抓取位置矩形区域的中心点，(h，w)表示抓取位置矩形区域的高和宽，θ为方位角；
特征提取部分共有52个卷积层，具体包括有依次连接的五个残差单元构成，相邻五个残差单元之间均通过一个中间卷积层连接，五个残差单元依次连接后的最前面再连接有两个初始卷积层；第一个残差单元由一个卷积残差块构成，第二个残差单元由两个相同的卷积残差块依次连接构成，第三个残差单元由八个相同的卷积残差块依次连接构成，第四个残差单元由八个相同的卷积残差块依次连接构成，第五个残差单元由四个相同的卷积残差块依次连接构成；
两个初始卷积层的卷积核大小均为3*3，卷积核数量递增；每个卷积残差块是由两个卷积层和一个残差连接层依次连接构成；每个卷积残差块中的两个卷积层的卷积核大小分别为1*1和3*3，且卷积核数量递增；每个残差单元中卷积残差块的后一卷积层的卷积核数量和后一残差单元中卷积残差块的前一卷积层的卷积核数量相同，每个残差单元中卷积残差块的前一卷积层的卷积核数量和前一残差单元中卷积残差块的后一卷积层的卷积核数量相同；前两个初始卷积层的卷积核数量分别和第一个残差单元中卷积残差块的两个卷积层的卷积核数量相同，中间卷积层的卷积核数量和后面所连接的卷积残差块中后一卷积层的卷积核数量相同，卷积核大小均为3*3；
特征提取部分建立的损失函数包括Jaccard损失函数、方位角损失函数和定位损失函数的三部分，其中方位角损失函数和定位损失函数只针对用于预测的抓取位置矩形区域进行计算。
Jaccard损失函数LossJ如下式：
其中，pred表示预测框，即为预测输出的抓取位置矩形区域；truth表示真值框，即为训练输入所标注的抓取位置矩形区域；J(pred，truth)表示预测框pred和真值框truth之间的Jaccard指数，thresh表示Jaccard指数阈值；
Jaccard损失函数计算所有生成的预测框与真值框的Jaccard指数，当结果小于设定阈值时，认为预测框与真值差距较大，不适合作为正样本，这种情况下，Jaccard指数越小越好。Jaccard损失函数起到抑制模型产生错误预测的抓取位置矩形区域的作用。
由于零件在图像的角度布置对称性，360度的方位角范围缩减为180度表示。将抓取位置矩形区域在图像中的方位角从0-180度分为18份，即将方位角分为18类，对每个方位角类别都单独使用进行二分类预测(sigmoid函数)，类别间结果互不干扰，建立方位角损失函数LossC如下式：
其中，
为第i类方位角的预测概率，
为第i类方位角的真实值，
Ci表示第i类的方位角，LossC表示方位角的总损失函数，
表示第i类的方位角的损失函数；
对于抓取处理，在抓取位置矩形区域位置和大小基本相同的情况下，可能出现多个方位角均可以成功抓起的情况。具体到算法中则表现为预测框可以同时属于多个类别。方位角损失起到度量预测出的抓取位置矩形区域方位角的偏差作用。
建立定位损失函数LossL如下式：
其中，j表示抓取位置矩形区域的序数，xj、yj、wj、hj为第j个抓取框真实值，
为第j个抓取框的预测值。
对于抓取位置矩形区域尺寸的预测，同样大小的尺寸误差对于小抓取位置矩形区域的影响远大于对大抓取位置矩形区域的影响，采用上述公式处理能平衡这种影响。定位损失函数起到度量预测出的抓取位置矩形区域尺寸和位置的偏差作用。
最后建立总体损失函数，是各部分损失的加总，公式表示为：
Loss＝LossJ+λ1LossC+λ2LossL
其中，λ1、λ2为第一、第二加权系数，用于平衡各部分损失的比重，可根据训练中损失的变化情况进行调整取值。
所述的输出生成部分包括三个尺度的特征图，最小尺度特征图由第五个残差单元的最后一层卷积特征图，经过3*3和1*1卷积得到，中间尺度特征图由最小尺度特征图上采样并和第四个残差单元的最后一层卷积合并后经过3*3和1*1卷积得到，最大尺度特征图由中间尺度特征图上采样并和第四个残差单元的最后一层卷积合并后经过3*3和1*1卷积得到。三个特征图每个位置均生成形式为{x，y，h，w，θ}的抓取位置矩形区域。
所述步骤4)中的机械臂逆解算法是使用解耦法求解并使用加权行程法进行筛选处理。
本发明具有的有益效果是：
1.本发明方法基于卷积神经网络提出了栅格化抓取位置检测方法，将对抓取位置方位角的确定转化为分类问题，基于多尺度的残差网络，训练得到了泛化性能良好的零件抓取位置检测模型。
2.本发明开发了基于Kinect传感相机的机械臂零件图像识别的抓取方法，包含手眼标定、抓取位置检测、抓取位姿映射。
本发明方法从零件RGB-D图像中检测到可行抓取位置，速度较快，结果可靠，检测模型泛化性能较好，稳定性高。
附图说明
图1为本发明方法的机械臂与Kinect配置示意图。
图2为机械臂与Kinect传感器标定时使用的二进制标记图案示意图。
表1为抓取位置检测模型的特征提取部分的网络结构。
具体实施方式
为了更好的理解本发明，下面结合附图和实施例对本发明的技术方案作详细的描述。
本发明的具体实施例及其实施过程如下：
图1为机械臂与Kinect传感器的配置示意图。利用张正友标定法(A Flexible NewTechnique for Camera Calibration.Zhengyou Zhang,December,2,1998.)标定Kinect传感器的彩色、深度相机后，两个相机的坐标转换关系为
Rd2rgb＝Rrgb·Rd -1
Td2rgb＝Trgb-Rd2rgb·Td
使用同一场景下的多张Kinect传感器采集到的彩色图像和深度图像可以得到坐标转换关系中的多组Rrgb、Rd、Trgb、Td，采用最小二乘法求解得到Kinect传感器的彩色相机和深度相机之间的配准矩阵。
对机械臂和Kinect传感器进行手眼标定时将二进制标记图案固定于机械臂末端，不断旋转和移动机械臂末端位置，记录多组机械臂位姿及对应位姿下Kinect传感器获得的图像，利用Tsai两步法求解得到手眼变换矩阵；因为过程中保持机械臂末端与标定板的位置关系固定不变，所以对于标定过程中任意两个机械臂位姿都有如下的关系式成立
式中，
分别表示机械臂末端坐标系到机械臂基坐标系、机械臂基坐标系到相机坐标系、相机坐标系到二进制标记坐标系的坐标变换关系。采用Tsai两步法(Anew technique for fully autonomous and efficient 3D robotics hand/eyecalibration,Tsai R Y,Lenz R K.)求解，先求解手眼变换矩阵中的旋转矩阵，再求解手眼变换矩阵中的平移向量。
图2为机械臂与Kinect传感器手眼标定使用的二进制标记图案。将二进制标记图案固定于机械臂末端，不断旋转和移动机械臂末端位置，记录多组机械臂位姿及位姿下Kinect传感器获得的图像，利用Tsai两步法求解得到手眼变换矩阵。
标定过程中需要检测Kinect传感器获得的图像中的二进制标记图案，具体步骤为
1.将Kinect传感器获得的图像转换为灰度图像，采用局部自适应阈值法对灰度图像进行图像分割；
2.分割后的图像使用Suzuki算法进行轮廓提取，使用道格拉斯-普克(Douglas–Peucker)算法提取得到的轮廓近似为四边形，如果出现一个轮廓将另一个轮廓包围的情况，则忽略被包围的轮廓；
3.通过对上一步得到的图像计算单应性矩阵获取去除投影变换影响的修正图像，使用Ostu算法对修正图像进行阈值分割得到二值化图像，通过对二进制标记图案的黑色边界的检测剔除二值化图像中错误的轮廓，保留正确轮廓。
将二进制标记图案从机械臂末端取下，工作台上放置待抓取零件，通过Kinect传感器朝向待抓取零件进行采集获得点云图，将点云图预处理得到RGD图像，RGD图像为RGB-D图像中去除B通道数据剩余下的图像，建立基于卷积神经网络方法的栅格化抓取位置检测模型，输入标记有已知正确抓取位置矩形区域的零件的RGD图像进行训练，用训练后的栅格化抓取位置检测模型对输入的待抓取零件的RGD图像处理，得到待抓取零件在图像中的抓取位置矩形区域及方位角；
抓取位置矩形区域用于机械臂的移动定位，为匹配待抓取零件的抓取位置，机械臂移动到抓取位置矩形区域就能抓取零件。
表1为特征提取部分的网络结构图。特征提取部分共有52个卷积层，具体包括有依次连接的五个残差单元构成，相邻五个残差单元之间均通过一个中间卷积层连接，五个残差单元依次连接后的最前面再连接有两个初始卷积层；第一个残差单元由一个卷积残差块构成，第二个残差单元由两个相同的卷积残差块依次连接构成，第三个残差单元由八个相同的卷积残差块依次连接构成，第四个残差单元由八个相同的卷积残差块依次连接构成，第五个残差单元由四个相同的卷积残差块依次连接构成。
表1
两个初始卷积层的卷积核大小均为3*3，卷积核数量递增；每个卷积残差块是由两个卷积层和一个残差连接层依次连接构成；每个卷积残差块中的两个卷积层的卷积核大小分别为1*1和3*3，且卷积核数量递增；每个残差单元中卷积残差块的后一卷积层的卷积核数量和后一残差单元中卷积残差块的前一卷积层的卷积核数量相同，每个残差单元中卷积残差块的前一卷积层的卷积核数量和前一残差单元中卷积残差块的后一卷积层的卷积核数量相同；前两个初始卷积层的卷积核数量分别和第一个残差单元中卷积残差块的两个卷积层的卷积核数量相同，中间卷积层的卷积核数量和后面所连接的卷积残差块中后一卷积层的卷积核数量相同，卷积核大小均为3*3。
模型的损失函数包括Jaccard损失函数、方位角损失函数和定位损失函数的三部分，其中方位角损失函数和定位损失函数只针对用于预测的抓取位置矩形区域进行计算。
Jaccard损失函数LossJ如下式：
其中，pred表示预测框，即为预测输出的抓取位置矩形区域；truth表示真值框，即为训练输入所标注的抓取位置矩形区域；J(pred，truth)表示预测框pred和真值框truth之间的Jaccard指数，thresh表示Jaccard指数阈值；
Jaccard损失函数计算所有生成的预测框与真值框的Jaccard指数，当结果小于设定阈值时，认为预测框与真值差距较大，不适合作为正样本，这种情况下，Jaccard指数越小越好。Jaccard损失函数起到抑制模型产生错误预测的抓取位置矩形区域的作用。
由于零件在图像的角度布置对称性，360度的方位角范围缩减为180度表示。将抓取位置矩形区域在图像中的方位角从0-180度分为18份，即将方位角分为18类，对每个方位角类别都单独使用进行二分类预测(sigmoid函数)，类别间结果互不干扰，建立方位角损失函数LossC如下式：
其中，
为第i类方位角的预测概率，
为第i类方位角的真实值，
Ci表示第i类的方位角，LossC表示方位角的总损失函数，
表示第i类的方位角的损失函数；
对于抓取处理，在抓取位置矩形区域位置和大小基本相同的情况下，可能出现多个方位角均可以成功抓起的情况。具体到算法中则表现为预测框可以同时属于多个类别。方位角损失起到度量预测出的抓取位置矩形区域方位角的偏差作用。
建立定位损失函数LossL如下式：
其中，j表示抓取位置矩形区域的序数，xj、yj、wj、hj为第j个抓取框真实值，
为第j个抓取框的预测值。
对于抓取位置矩形区域尺寸的预测，同样大小的尺寸误差对于小抓取位置矩形区域的影响远大于对大抓取位置矩形区域的影响，采用上述公式处理能平衡这种影响。定位损失函数起到度量预测出的抓取位置矩形区域尺寸和位置的偏差作用。
最后建立总体损失函数，是各部分损失的加总，公式表示为：
Loss＝LossJ+λ1LossC+λ2LossL
其中，λ1、λ2为第一、第二加权系数，用于平衡各部分损失的比重，可根据训练中损失的变化情况进行调整取值。
根据标定得到的手眼变换矩阵利用机械臂逆解算法，将抓取位置矩形区域映射为机械臂的目标位姿和目标关节角，控制机械臂按照轨迹运动到目标位姿和目标关节角执行抓取任务，即对待抓取零件进行抓取。
Claims (8)
1.一种基于Kinect传感器的机械臂零件图像识别抓取方法，其特征在于包含以下步骤：
1)根据张正友标定法对Kinect传感器的彩色相机和深度相机进行标定，获得二者的内参和畸变参数，然后使用同一场景下的多张Kinect传感器采集到的彩色图像和深度图像处理获得彩色相机和深度相机之间的配准矩阵；
2)机械臂位于工作台上方，将Kinect传感器固定于机械臂的侧方固定安装，调整工作台位置使工作台位于Kinect视场内，将二进制标记图案固定于机械臂末端，不断旋转和移动机械臂末端位置，记录多组机械臂位姿及位姿下Kinect传感器获得的图像，利用Tsai两步法求解得到手眼变换矩阵；
3)将二进制标记图案从机械臂末端取下，工作台上放置待抓取零件，通过Kinect传感器朝向待抓取零件进行采集获得点云图，将点云图预处理得到RGD图像，建立基于卷积神经网络方法的栅格化抓取位置检测模型，输入标记有已知正确抓取位置矩形区域的零件的RGD图像进行训练，用训练后的栅格化抓取位置检测模型对输入的待抓取零件的RGD图像处理，得到待抓取零件在图像中的抓取位置矩形区域及方位角；
4)根据标定得到的手眼变换矩阵利用机械臂逆解算法，将抓取位置矩形区域映射为机械臂的目标位姿和目标关节角，控制机械臂按照轨迹运动到目标位姿和目标关节角执行抓取任务。
2.根据权利要求1所述的一种基于Kinect传感器的机械臂零件图像识别抓取方法，其特征在于：所述步骤1)获得的彩色和深度相机标定参数包括彩色相机的内参矩阵Krgb、畸变参数Drgb以及深度相机的内参矩阵Kd、畸变参数Dd。
3.根据权利要求1所述的一种基于Kinect传感器的机械臂零件图像识别抓取方法，其特征在于：所述步骤1)获得的彩色图像和深度图像配准矩阵包括旋转矩阵R和平移向量T。
4.根据权利要求1所述的一种基于Kinect传感器的机械臂零件图像识别抓取方法，其特征在于：所述的二进制标记图案由四周黑色边界和内部二进制矩阵组成，主要为纯黑色方形背景和位于背景中心的特殊图像，特殊图案具体包括一个U形块、一个方块和两个条形块，条形块的尺寸为方块的两倍，方块位于U形块的开口端中间，方块和U形块之间角连接，条形块位于方块的两角处，条形块和方块之间角连接。
5.根据权利要求1所述的一种基于Kinect传感器的机械臂零件图像识别抓取方法，其特征在于：所述步骤2)中，将二进制标记图案固定于机械臂末端之后，具体为：
2.1)调整末端位姿使二进制标记图案位于Kinect视场内居中位置，然后分别进行机械臂各种旋转和平移的三维运动，记录获得机械臂在不同三维运动位置下的多组位姿和图像；
2.2)采用以下过程处理获得二进制标记图案的图像位置；
2.2.1)将Kinect传感器获得的图像转换为灰度图像，采用局部自适应阈值法对灰度图像进行图像分割；
2.2.2)分割后的图像使用Suzuki算法进行轮廓提取，使用道格拉斯-普克(Douglas–Peucker)算法将提取得到的轮廓近似为四边形，若出现一个轮廓将另一个轮廓包围的情况，则忽略舍去被包围的轮廓；
2.2.3)通过对上一步得到的图像计算单应性矩阵，获得去除投影变换影响的修正图像，使用Ostu算法对修正图像进行阈值分割得到二值化图像，通过对二进制标记图案的黑色边界的检测剔除二值化图像中错误的轮廓，保留正确轮廓；
2.2)对于手眼标定方程采用Tsai两步法利用上面步骤获得的二进制标记图案的图像位置求解获得手眼变换矩阵。
6.根据权利要求1所述的一种基于Kinect传感器的机械臂零件图像识别抓取方法，其特征在于：所述步骤3)中，所述的栅格化抓取位置检测模型的结构采用多尺寸输出的残差结构，多尺寸输出的残差结构包括特征提取和输出生成的两部分；输出生成部分生成形式为{x,y,h,w,θ}的抓取位置矩形区域，其中(x,y)为抓取位置矩形区域的中心点，(h,w)表示抓取位置矩形区域的高和宽，θ为方位角；
特征提取部分共有52个卷积层，具体包括有依次连接的五个残差单元构成，相邻五个残差单元之间均通过一个中间卷积层连接，五个残差单元依次连接后的最前面再连接有两个初始卷积层；第一个残差单元由一个卷积残差块构成，第二个残差单元由两个相同的卷积残差块依次连接构成，第三个残差单元由八个相同的卷积残差块依次连接构成，第四个残差单元由八个相同的卷积残差块依次连接构成，第五个残差单元由四个相同的卷积残差块依次连接构成；
两个初始卷积层的卷积核大小均为3*3，卷积核数量递增；每个卷积残差块是由两个卷积层和一个残差连接层依次连接构成；每个卷积残差块中的两个卷积层的卷积核大小分别为1*1和3*3，且卷积核数量递增；每个残差单元中卷积残差块的后一卷积层的卷积核数量和后一残差单元中卷积残差块的前一卷积层的卷积核数量相同，每个残差单元中卷积残差块的前一卷积层的卷积核数量和前一残差单元中卷积残差块的后一卷积层的卷积核数量相同；前两个初始卷积层的卷积核数量分别和第一个残差单元中卷积残差块的两个卷积层的卷积核数量相同，中间卷积层的卷积核数量和后面所连接的卷积残差块中后一卷积层的卷积核数量相同，卷积核大小均为3*3；
特征提取部分建立的损失函数包括Jaccard损失函数、方位角损失函数和定位损失函数的三部分；
Jaccard损失函数LossJ如下式：
其中，pred表示预测框，即为预测输出的抓取位置矩形区域；truth表示真值框，即为训练输入所标注的抓取位置矩形区域；J(pred,truth)表示预测框pred和真值框truth之间的Jaccard指数，thresh表示Jaccard指数阈值；
将抓取位置矩形区域在图像中的方位角从0-180度分为18份，即将方位角分为18类，对每个方位角类别都单独使用进行二分类预测，类别间结果互不干扰，建立方位角损失函数LossC如下式：
其中，
为第i类方位角的预测概率，
为第i类方位角的真实值，
Ci表示第i类的方位角，LossC表示方位角的总损失函数，
表示第i类的方位角的损失函数；
建立定位损失函数LossL如下式：
其中，j表示抓取位置矩形区域的序数，xj、yj、wj、hj为第j个抓取框真实值，
为第j个抓取框的预测值；
最后建立总体损失函数，公式表示为：
Loss＝LossJ+λ1LossC+λ2LossL
其中，λ1、λ2为第一、第二加权系数。
7.据权利要求6所述的一种基于Kinect传感器的机械臂零件图像识别抓取方法，其特征在于：所述的输出生成部分包括三个尺度的特征图，最小尺度特征图由第五个残差单元的最后一层卷积特征图，经过3*3和1*1卷积得到，中间尺度特征图由最小尺度特征图上采样并和第四个残差单元的最后一层卷积合并后经过3*3和1*1卷积得到，最大尺度特征图由中间尺度特征图上采样并和第四个残差单元的最后一层卷积合并后经过3*3和1*1卷积得到。
8.据权利要求1所述的一种基于Kinect传感器的机械臂零件图像识别抓取方法，其特征在于：所述步骤4)中的机械臂逆解算法是使用解耦法求解并使用加权行程法进行筛选处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910746529.0A CN110480637B (zh) | 2019-08-12 | 2019-08-12 | 一种基于Kinect传感器的机械臂零件图像识别抓取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910746529.0A CN110480637B (zh) | 2019-08-12 | 2019-08-12 | 一种基于Kinect传感器的机械臂零件图像识别抓取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110480637A CN110480637A (zh) | 2019-11-22 |
| CN110480637B true CN110480637B (zh) | 2020-10-20 |
Family
ID=68550860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910746529.0A Active CN110480637B (zh) | 2019-08-12 | 2019-08-12 | 一种基于Kinect传感器的机械臂零件图像识别抓取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110480637B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11845191B1 (en) * | 2019-06-26 | 2023-12-19 | Amazon Technologies, Inc. | Robotic picking of cuboidal items from a pallet |
| CN111515945A (zh) * | 2020-04-10 | 2020-08-11 | 广州大学 | 机械臂视觉定位分拣抓取的控制方法、系统及装置 |
| CN111695562B (zh) * | 2020-05-26 | 2022-04-19 | 浙江工业大学 | 一种基于卷积神经网络的机器人自主抓取方法 |
| CN111482967B (zh) * | 2020-06-08 | 2023-05-16 | 河北工业大学 | 一种基于ros平台的智能检测与抓取方法 |
| CN112734862A (zh) * | 2021-02-10 | 2021-04-30 | 北京华捷艾米科技有限公司 | 深度图像的处理方法、装置、计算机可读介质以及设备 |
| CN113379849B (zh) * | 2021-06-10 | 2023-04-18 | 南开大学 | 基于深度相机的机器人自主识别智能抓取方法及系统 |
| CN114029952A (zh) * | 2021-11-12 | 2022-02-11 | 珠海格力电器股份有限公司 | 机器人操作控制方法、装置和系统 |
| CN116160458B (zh) * | 2023-04-26 | 2023-07-04 | 广州里工实业有限公司 | 一种移动机器人多传感器融合快速定位方法、设备及系统 |
| CN117067219B (zh) * | 2023-10-13 | 2023-12-15 | 广州朗晴电动车有限公司 | 一种电车车身成型的钣金机械臂控制方法及系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101754699B1 (ko) * | 2016-06-20 | 2017-07-07 | 충남대학교산학협력단 | 지능형 교통 안전 시설물과 교통 안전 시설물의 제어시스템 |
| CN106671084B (zh) * | 2016-12-20 | 2019-11-15 | 华南理工大学 | 一种基于脑机接口的机械臂自主辅助方法 |
| CN110097045A (zh) * | 2018-01-31 | 2019-08-06 | 株式会社理光 | 一种定位方法、定位装置及可读存储介质 |
| CN108453742B (zh) * | 2018-04-24 | 2021-06-08 | 南京理工大学 | 基于Kinect的机器人人机交互系统及方法 |
| CN109591011B (zh) * | 2018-11-29 | 2020-08-25 | 天津工业大学 | 复合材料三维结构件单边缝合激光视觉路径自动跟踪方法 |
| CN109986560B (zh) * | 2019-03-19 | 2023-02-14 | 埃夫特智能装备股份有限公司 | 一种面向多目标种类的机械臂自适应抓取方法 |
| CN110076769A (zh) * | 2019-03-20 | 2019-08-02 | 广东工业大学 | 一种基于磁悬浮球体运动的声控巡逻导航机器人系统及其控制方法 |
| CN110026987B (zh) * | 2019-05-28 | 2022-04-19 | 广东工业大学 | 一种机械臂抓取轨迹的生成方法、装置、设备及存储介质 |
-
2019
- 2019-08-12 CN CN201910746529.0A patent/CN110480637B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110480637A (zh) | 2019-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110480637B (zh) | 一种基于Kinect传感器的机械臂零件图像识别抓取方法 | |
| CN108399639B (zh) | 基于深度学习的快速自动抓取与摆放方法 | |
| CN111695562B (zh) | 一种基于卷积神经网络的机器人自主抓取方法 | |
| Yu et al. | A vision-based robotic grasping system using deep learning for 3D object recognition and pose estimation | |
| WO2019114339A1 (zh) | 机械臂运动的校正方法和装置 | |
| CN110580725A (zh) | 一种基于rgb-d相机的箱体分拣方法及系统 | |
| CN107767423A (zh) | 一种基于双目视觉的机械臂目标定位抓取方法 | |
| CN110298886B (zh) | 一种基于四级卷积神经网络的灵巧手抓取规划方法 | |
| CN111462154B (zh) | 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人 | |
| CN113580149B (zh) | 基于关键点预测网络的无序混叠工件抓取方法和系统 | |
| CN111360821A (zh) | 一种采摘控制方法、装置、设备及计算机刻度存储介质 | |
| CN111251295A (zh) | 一种应用于参数化零件的视觉机械臂抓取方法及装置 | |
| CN110796700A (zh) | 基于卷积神经网络的多物体抓取区域定位方法 | |
| CN113103235B (zh) | 一种基于rgb-d图像对柜体表面设备进行垂直操作的方法 | |
| CN113284179A (zh) | 一种基于深度学习的机器人多物体分拣方法 | |
| CN114714365B (zh) | 一种基于云平台的无序工件抓取方法及其系统 | |
| WO2023017413A1 (en) | Systems and methods for object detection | |
| JP7051751B2 (ja) | 学習装置、学習方法、学習モデル、検出装置及び把持システム | |
| Jia et al. | Real-time color-based sorting robotic arm system | |
| CN114494426A (zh) | 用于控制机器人来在不同的方位拿起对象的装置和方法 | |
| Song et al. | Ug-net for robotic grasping using only depth image | |
| CN114187312A (zh) | 目标物的抓取方法、装置、系统、存储介质及设备 | |
| CN117021099A (zh) | 一种面向任意物体基于深度学习和图像处理的人机交互方法 | |
| Fan et al. | An automatic robot unstacking system based on binocular stereo vision | |
| CN114998573B (zh) | 一种基于rgb-d特征深度融合的抓取位姿检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |