CN110580725A - 一种基于rgb-d相机的箱体分拣方法及系统 - Google Patents

一种基于rgb-d相机的箱体分拣方法及系统 Download PDF

Info

Publication number
CN110580725A
CN110580725A CN201910865622.3A CN201910865622A CN110580725A CN 110580725 A CN110580725 A CN 110580725A CN 201910865622 A CN201910865622 A CN 201910865622A CN 110580725 A CN110580725 A CN 110580725A
Authority
CN
China
Prior art keywords
camera
rgb
color
module
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910865622.3A
Other languages
English (en)
Inventor
彭林鹏
屈帅龙
赵永生
翁芳
陈福隆
杨康建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Binhai Industrial Technology Research Institute of Zhejiang University
Original Assignee
Binhai Industrial Technology Research Institute of Zhejiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Binhai Industrial Technology Research Institute of Zhejiang University filed Critical Binhai Industrial Technology Research Institute of Zhejiang University
Priority to CN201910865622.3A priority Critical patent/CN110580725A/zh
Publication of CN110580725A publication Critical patent/CN110580725A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于RGB‑D相机的箱体分拣系统，包括运输纸箱的传送带、RGB‑D相机、机械臂、用于物体到位检测的光电传感器和工控机，所述工控机信号连接机械臂的控制柜和RGB‑D相机，机械臂的控制柜信号连接光电传感器；所述工控机包括如下模块：两相机转换关系获取模块、手眼标定模块、图像采集模块、目标物位姿估计模块、机械臂抓取位姿模块和位置视觉伺服模块。本发明使用RGB‑D相机采集传送带上的目标箱体彩色图像和深度图像，获取目标三维点云，结合彩色图像和三维点云图像的目标箱体位姿估计，能综合二者的优点。最后利用基于位置视觉伺服原理，提高了系统整体的精度，排除了一些常见的外在因素的干扰。

Description

一种基于RGB-D相机的箱体分拣方法及系统
技术领域
本发明属于机器人三维视觉感知领域，尤其是涉及一种基于RGB-D相机的箱体分拣方法及系统。
背景技术
在工业4.0的大时代和互联网大时代下，近年来物流行业的迅猛发展，产量及人工成本的不断提高，常见例如快递生产行业也进行了转型升级，逐渐开始打造无人仓库。通过人工智能和视觉相结合，最终实现即使仓库里没有工人，也能实现仓库的快速分拣和装运。
类似箱子形状的物体，原有的人工分拣方式逐渐转变成自动分拣。自动分拣采用大致都是基于视觉的机器人抓取方案，一个典型的场景就是将传送带上的物体分拣至指定区域。在物体抓取过程中，机器人的视觉系统对目标物体的正确识别和精确位姿感知是抓取成功的先决条件，而常见的技术中物体位姿估计多采用RGB相机获取二维图像，通过图像处理算法提取特征点，然后利用相机标定和手眼标定建立起物体与机器人的坐标关系。可是这些方法有一些技术上的不足之处。专利CN 108480227 A就是采用这种方法进行苹果的分拣。通过对所述图像进行图像识别处理，得到苹果的尺寸信息和位姿信息，机械手根据所述位姿信息抓取苹果，并对苹果的位姿进行校正，根据苹果的分级结果对苹果进行分拣。这种利用二维图像进行物体位姿估计的方法，获取得到的深度信息会出现比较大的偏差，特别是当物体有倾斜时，算法得到的位姿可能出现错误。
而深度视觉中，基于结构光原理的RGB-D相机在室内抓取的环境下可以获得较高的精度，因此机器人抓取中采用RGB-D相机是该领域的研究热点。最近有一些基于RGB-D相机的方法来使用RGB图像和深度图像，通过图像处理算法得到物体的6D位姿(3D位置和3D方向)。专利CN 107945192 A利用RGB-D相机获取到垛内所有箱子的深度图像和RGB图像，通过检测算法对托盘纸箱垛型进行实时检测。这种方法采用的是Canny边缘检测方法，通过设置灰度阈值的方法进行轮廓提取，但是这种方法在边缘处容易检出多个轮廓，而且容易形成轮廓粘连，导致最终的位姿估计结果出现错误。
另外，这种方法需要建立彩色空间坐标的映射集，把深度图像的每个点在RGB空间里面的对应位置信息都存在的彩色空间坐标映射集中，将最终的RGB图像的抓取点检测结果注册到深度图像上，这种方法当遇到高分辨率的RGB-D相机时，检测实时性会大大降低。
为了将感知处理后的数据应用于工业机器人作业任务，需要对三维传感器与机器人的坐标变换关系进行标定，将传感器的坐标系与工业机器人的坐标系统一起来，这种标定会有一定的误差。
目前一些基于RGB-D相机的方法得到的结果没有考虑到各种外在因素造成干扰，例如说上述标定结果不准确，执行机构(夹爪)的执行偏差等等，造成最后的位姿估计精度较差。
因此，本领域的技术人员致力于开发基于物体识别的机器人抓取位姿估计方法及系统，是通过利用RGB-D相机检测要被机器人抓取的目标物体，并进行目标物体的位姿估计的方法及系统。
发明内容
有鉴于此，本发明旨在提出一种基于RGB-D相机的箱体分拣方法及系统，结合彩色图像和深度图像的目标箱体位姿估计，综合二者的优点，提高位姿估计精度。
为达到上述目的，本发明的技术方案是这样实现的：
本发明一方面提供一种基于RGB-D相机的箱体分拣方法，包含如下步骤：
1)在分别对RGB-D相机的彩色相机和深度相机进行标定后，根据确定的彩色相机和深度相机的参数，计算得到彩色相机和深度相机之间的坐标转换关系；
2)在将标定板固定在机械臂末端，同时将RGB-D相机固定在传送带上方区域后，使用Tsai算法进行手眼标定，得到RGB-D相机中彩色相机和机械臂基座的坐标转换关系
3)传动带物体到位检测，采集通过彩色相机采集的彩色图像，通过深度相机采集的深度图像；
4)对彩色图像进行箱体的边缘检测，得到抓取的目标物体的质心；对深度图像得到的三维点云进行箱体的6D位姿中的旋转变换矩阵的计算；
建立彩色相机和深度相机的相机模型，将得到的质心利用相机模型投影到深度相机坐标系中，再结合步骤1得到的彩色相机和深度相机之间的坐标转换关系，得到目标物体抓取点的空间位置坐标结合旋转变换矩阵确定目标物体位姿
5)结合步骤2中的手眼标定结果及当前机械臂末端的位姿通过运动学公式求得机械臂基座标系下的抓取点位姿
6)基于位置视觉伺服进行抓取箱体。
进一步的，步骤1中分别对RGB-D相机的彩色相机和深度相机利用张正友标定板法进行标定；确定彩色相机和深度相机的内部参数和外部参数，用所述内部参数和外部参数计算得到深度图像映射到彩色图像的旋转矩阵和平移矩阵，确定彩色相机和深度相机之间的坐标转换关系。
进一步的，步骤4中对彩色图像进行箱体的边缘检测，得到抓取的目标物体的质心的方法包含如下步骤：
将彩色相机所采集的彩色图像由RGB通道转换到HSV通道，通过设置阈值进行背景的滤除，得到所有箱体；
再使用基于梯度的卷积核为5*5的Sobel算子进行箱子的边缘提取，使用轮廓中心矩得到轮廓的质心，使用基于像素坐标排序的方法得到抓取目标物体的质心。
进一步的，在步骤4中对三维点云进行箱体的6D位姿中的旋转矩阵的估计包括如下步骤；
使用PCL中的PassThrough滤波和Statistical Outlier Removal滤波算法，滤除背景点云；
使用区域增长算法得到所有箱子的点云平面区域，使用基于空间坐标排序的方法得到抓取目标物体的点云平面；
使用有向包围盒算法得到该平面相对于深度相机的旋转变换矩阵
进一步的，在步骤6中基于位置视觉伺服进行抓取箱体包括如下步骤：设置单个箱体的模板，利用以上步骤得到的抓取点位姿传送带上面的待分拣箱体都以该模板位姿为参考，利用伺服原理得到当前抓取点的位姿利用机械臂进行抓取。
相对于现有技术，本发明所述的方法具有以下优势：
(1)本发明使用多视角的RGB-D相机采集传送带上的目标箱体彩色图像和深度图像，获取目标三维点云，彩色图像能体现目标箱体表面颜色、纹理特征等细节特征，有利于提高目标箱体的抓取位置的精度；深度图像能直接反映目标箱体的立体几何特征，使目标箱体的位姿估计具有更高的精度；结合彩色图像和三维点云图像的的目标箱体位姿估计，能综合二者的优点，比单一使用深度相机获得的点云进行位姿估计精度要高，同时也比单一使用RGB相机进行位姿估计在深度方向上精度要高，同时适用性也更广。
(2)本发明将通过对彩色图像的处理得到的质心，利用相机模型投影到深度相机空间中，在结合彩色相机和深度相机之间的坐标转换关系，得到目标物体抓取点的空间位置坐标，进而确定抓取位姿，不需要建立彩色空间坐标的映射集，实时性好。
(3)本发明首先进行相机标定，再将标定固定在机械臂末端，进行手眼标定，使得到的数据无偏差，更精确。
(4)本发明利用基于位置视觉伺服原理，提高了系统整体的精度，排除了一些常见的外在因素的干扰。
本发明的另一方面提出一种基于RGB-D相机的箱体分拣系统，包括：
包括运输纸箱的传送带、RGB-D相机、机械臂、用于物体到位检测的光电传感器和工控机，所述工控机信号连接机械臂的控制柜和RGB-D相机，机械臂的控制柜信号连接光电传感器；所述工控机包括如下模块：
两相机转换关系获取模块，在对RGB-D相机的彩色相机和深度相机进行标定后，根据确认的彩色相机和深度相机的参数，计算得到彩色相机和深度相机之间的坐标转换关系；
手眼标定模块，在将绘制有棋盘格的标定固定在机械臂末端，将RGB-D相机固定在传送带上方区域后，用于使用Tsai算法进行手眼标定，得到RGB-D相机中彩色相机和机械臂基座的坐标转换关系
图像采集模块，当光电传感器检测到传动带物体到位后，采集彩色相机的彩色图像以及深度相机的深度图像；
目标物位姿估计模块，包括质心获取模块、位姿旋转变换矩阵计算模块和目标位姿确定模块：其中，质心获取模块，用于通过对彩色图像进行箱体的边缘检测，得到抓取的目标物体的质心；位姿旋转变换矩阵计算模块，用于对三维点云进行箱体的6D位姿中的旋转变换矩阵的计算；目标位姿确定模块，用于建立彩色相机和深度相机的相机模型，将质心获取模块得到的质心利用相机模型投影到深度相机空间中，在结合相机转换关系获取模块得到的彩色相机和深度相机之间的坐标转换关系，得到目标物体抓取点的空间位置坐标结合位姿旋转变换矩阵计算模块得到的确定抓取位姿
机械臂抓取位姿模块，用于结合手眼标定结果获取模块得到的手眼标定结果及当前机械臂末端的位姿通过运动学公式求得机械臂基座标系下的抓取点位姿
位置视觉伺服模块，用于基于位置视觉伺服进行抓取箱体。
进一步的，两相机转换关系获取模块，分别对RGB-D相机的彩色相机和深度相机利用张正友标定板法进行标定；确定彩色相机和深度相机的内部参数和外部参数，用所述内部参数和外部参数计算得到深度图像映射到彩色图像的旋转矩阵和平移矩阵，确定彩色相机和深度相机之间的坐标转换关系。
进一步的，质心获取模块包括：
第一滤波模块，用于将彩色相机所采集的彩色图像由RGB通道转换到HSV通道，通过设置阈值进行背景的滤除，得到所有箱体；
边缘提取模块，用于使用基于梯度的卷积核为5*5的Sobel算子进行箱子的边缘提取，使用轮廓中心矩得到轮廓的质心，使用基于像素坐标排序的方法得到抓取目标物体的质心。
进一步的，位姿旋转变换矩阵计算模块包括；
第二滤波模块，用于使用PCL中的PassThrough滤波和Statistical OutlierRemoval滤波算法，滤除背景点云；
点云平面获取模块，用于使用区域增长算法得到所有箱子的点云平面区域，使用基于空间坐标排序的方法得到抓取目标物体的点云平面；
矩阵获取模块，用于使用有向包围盒算法得到该平面相对于深度相机的旋转变换矩阵
进一步的，位置视觉伺服模块用于设置单个箱体的模板，利用以上步骤得到的抓取点位姿传送带上面的待分拣箱体都以该模板位姿为参考，利用伺服原理得到当前抓取点的位姿利用机械臂进行抓取。
所述系统与上述方法相对于现有技术所具有的优势相同，在此不再赘述。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例目标物体位姿估计流程框图；
图2为本发明实施例张正友相机标定法原理图；
图3为本发明实施例Tsai手眼标定方法原理图；
图4为本发明实施例RGB相机与深度(IR)相机之间的相机模型投影示意图；
图5为本发明实施例通过正运动学估计位姿原理图；
图6为本发明实施例物体抓取系统流程框图；
图7为本发明实施例不同尺寸箱子RGB图像边缘检测效果图；
图8为本发明实施例不同尺寸箱子点云平面分割效果图；
图9为本发明实施例系统整体示意图；
图10为本发明实施例RGB图像检测结果图；
图11为本发明实施例三维点云位姿估计旋转矩阵计算示意图。
附图标记说明：
1-传动带，2-机械臂，3-光电传感器，4-RGB-D相机，5-箱体。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面将参考附图并结合实施例来详细说明本发明。
本发明实施例的基于RGB-D相机的箱体分拣方法，如图1所示，包含如下步骤：
步骤1，在分别对RGB-D相机4的彩色相机和深度相机进行标定后，根据确定的彩色相机和深度相机的参数，计算得到彩色相机和深度相机之间的坐标转换关系；
步骤2，在将标定板固定在机械臂2末端，同时将RGB-D相机4固定在传送带1上方区域后，使用Tsai算法进行手眼标定，得到RGB-D相机4中彩色相机和机械臂基座的坐标转换关系
步骤3，传动带物体到位检测，采集通过彩色相机采集的彩色图像，通过深度相机采集的深度图像；
步骤4，对彩色图像进行箱体的边缘检测，得到抓取的目标物体的质心；对深度图像得到的三维点云进行箱体的6D位姿中的旋转变换矩阵的计算；
建立彩色相机和深度相机的相机模型，将得到的质心利用相机模型投影到深度相机坐标系中，再结合步骤1得到的彩色相机和深度相机之间的坐标转换关系，得到目标物体抓取点的空间位置坐标结合旋转变换矩阵确定目标物体位姿
步骤5，结合步骤2中的手眼标定结果及当前机械臂末端的位姿通过运动学公式求得机械臂基座标系下的抓取点位姿
步骤6，基于位置视觉伺服进行抓取箱体。
本发明实施例在步骤1中分别对RGB-D相机4的彩色相机和深度相机利用张正友标定板法进行标定；确定彩色相机和深度相机的内部参数和外部参数，用所述内部参数和外部参数计算得到深度图像映射到彩色图像的旋转矩阵和平移矩阵，确定彩色相机和深度相机之间的坐标转换关系。
其中，彩色相机内部参数Krgb,畸变系数Distrgb；深度相机内参Kir,畸变系数Distir；RGB相机和深度相机之间转换关系Tir2rgb：张正友相机标定法获得。
具体如下推导：
参见图2，
相机内部参数K:
其中u,v为像素坐标系下的坐标，Q＝(X,Y,Z)为相机坐标系下的坐标，q＝(x,y,f)为图像坐标系下的坐标。f为摄像机(相机)的焦距，单位是mm；dx,dy为像元尺寸；u0，v0为图像中心。fx＝f/dx,fy＝f/dy，分别称为x轴和y轴上的归一化焦距。
畸变系数：
Xcorrected＝X(1+k1r2+k2r4+k3r6)
Ycorrected＝Y(1+k1r2+k2r4+k3r6)
这里(x,y)是畸变点在成像仪上的原始位置，r为该点距离成像仪中心的距离，(xcorrected，ycorrected)是校正后的新位置。
彩色相机和深度相机之间转换关系Tir2rgb：
零空间点在世界坐标系下的坐标为X＝(x,y,z,1)T，相机坐标系XC＝(xc,yc,zc,1)T，两者关系为XC＝TX，即为外参数齐次矩阵，其中R为旋转矩阵，t为平移矩阵。分别求得RGB相机和深度相机的外部参数齐次矩阵Trgb、Tir，则Tir2rgb＝Tir(Trgb)-1。
本发明实施例在步骤2中，使用Tsai算法进行手眼标定，得到RGB-D相机4中彩色相机和机械臂基座的坐标转换关系具体方法如下：
参见图3，
其中：表示摄像机(camera)坐标系相对于机械臂基坐标系(也是世界坐标，world)的齐次变换矩阵。这是Eye-to-hand问题的求解目标。
和表示棋盘图(grid)相对于摄像机坐标系的齐次变换矩阵，分别对应第i次和第j次样本。
和表示机器人末端(end)TCP坐标系相对于机器人基座坐标系的齐次变换矩阵，分别对应第i次和第j次样本。
表示棋盘图(grid)相对于机器人末端TCP的齐次变换矩阵，由于在整个标定过程中，棋盘图固定连接在机器人末端，因此是一个常量矩阵求解方程：
改写以上公式：
消除常量
上式两边同时左乘得，
上式两边同时右乘得，
令可得
AX＝XB
以上方程是Eye-to-Hand标定的最终求解方程，具体求解方式可以参考Tasi算法，得到X。以下用表述，其中上角标表示机器人基座坐标系。
在步骤4中对彩色图像进行箱体的边缘检测，得到抓取的目标物体的质心的方法包含如下步骤：
步骤41，将彩色相机所采集的彩色图像由RGB通道转换到HSV(Hue-Saturation-Value，色调-饱和度-明度)通道，通过设置阈值进行背景的滤除，得到所有箱体5；
步骤42，再使用基于梯度的卷积核为5*5的Sobel算子进行箱子的边缘提取，如图7所示为不同尺寸箱子RGB图像边缘检测效果图，使用轮廓中心矩得到轮廓的质心，使用基于像素坐标排序的方法得到抓取目标物体的质心。
在步骤4中对三维点云进行箱体的6D位姿中的旋转矩阵的估计包括如下步骤；
步骤43，使用PCL中的PassThrough滤波和Statistical Outlier Removal滤波算法，滤除背景点云；
步骤44，使用区域增长算法得到所有箱子的点云平面区域，如图8所示为不同尺寸箱子点云平面分割效果图，使用基于空间坐标排序的方法得到抓取目标物体的点云平面；
步骤45，如图11所示，使用有向包围盒算法得到该平面相对于深度相机的旋转变换矩阵
具体的，相机模型投影获取箱体抓取点得空间位置坐标具体方法如下：
建立直线模型OP和O’P’：
OP:A1x+B1y+C1z+D1＝0 (1)
O’P’：A2x+B2y+C2z+D2＝0 (2)
参见图4，由小孔成像相机模型得到：
其中u,v为箱体像素坐标系下的质(中)心，由轮廓一阶中心矩得到，具体计算计算公式为
得到质心坐标为
其中u0，v0为相机标定得到，X，Y，Z为相机坐标系下的P点坐标，将已知量代入(3)，得到如下等式
则直线OP一定过点又因为直线过相机坐标系的原点O，将O、P两点坐标带入等式(1)，得OP直线方程。又因为RGB相机和深度(IR)相机之间的转换关系Tir2rgb在相机标定时已求得，所以O’、P’两点坐标可以由O，P坐标结合Tir2rgb求得。同理将O’、P’两点坐标带入等式(2)，得O’P’直线方程。联立(1)(2)，得两直线交点C，即为抓取点得空间位置坐标
在步骤5中，箱子的抓取点相对于机械臂基坐标系的位姿正运动学公式推导，参见图5，具体如下所示：
其中为手眼标定的结果，为目标箱体的位姿估计结果。
在步骤6中基于位置视觉伺服进行抓取箱体包括如下步骤：设置单个箱体的模板，利用以上步骤得到的抓取点位姿传送带上面的待分拣箱体都以该模板位姿为参考，利用伺服原理得到当前抓取点的位姿利用机械臂进行抓取。
具体的，基于位置视觉伺服得到当前抓取箱体的位姿具体如下所示：
根据RGB-D相机4和机械臂基座之间关系相对固定，也即为固定值。则
解算出其中即为伺服的位姿，为模板点的机械臂抓取位姿，为模板点目标箱体相对于RGB-D相机4的位姿。
本发明实施例的基于RGB-D相机的箱体分拣系统，如图9所示，包括运输纸箱的传送带1、RGB-D相机4、机械臂2和光电传感器3，本系统采用上述分拣方法完成分拣工作。其中分拣所使用到的机械臂2的型号为ABB IRB1200，RGB-D相机4的型号为Kinect v2。
所述分拣系统的工作过程，如图6所示，具体步骤如下：
传送带1上光电传感器3接收到目标箱体5到位的信号，将该信号发给机械臂2的控制柜，控制柜通过工控机读取到该信号，工控机开启RGB-D相机采图程序，获取RGB图像和深度图像，接着按照上述方法步骤，进行目标箱体5的抓取，待传送带1上面箱体5全部抓取完成后，结束分拣工作。箱体5分拣时，检测算法发现传送带1上面无箱体5，则为分拣结束。
本分拣系统采用上述分拣方法，得到的标定结果如下：
Kinect v2相机标定结果为:RGB相机内参
RGB相机畸变系数
深度(IR)相机内参
深度(IR)相机畸变系数
RGB相机和深度(IR)相机之间的转换关系
手眼标定结果，其中旋转矩阵用四元数表示：
(2)位姿估计运算及结果
以下旋转矩阵均为四元数表示，例如14.7639 575.878 293.589 0.0087541 -0.694765 0.719143 0.00765978，前面三个数为平移变换(平移向量)，后面四个数为旋转变换(用的四元数表示)
模板图RGB图像边缘检测结果：
像素坐标系下质心(u,v)＝(1053.75,523.241)，见图10中上面两张图，其中左图为原图，右图为圆圈中的圆心即为箱子的像素坐标系的质心记录模板图的机械臂抓取位姿14.7639 575.878 293.589 0.0087541 -0.694765 0.719143 0.00765978
当前图RGB图像边缘检测结果：
像素坐标系下质心(u’,v’)＝(1107.01.75,559.83)，见图8中下面两张图，其中左图为原图，右图为圆圈中的圆心即为排序之后待抓取箱子的像素坐标系的质心。
结合相机模型投影以及公式求得目标待抓取箱体的位姿：114.697 194.085 1181.95 0.719175 0.0189242 0.0472341 0.692963。
根据公式得到当前图的机械臂伺服之后的箱子抓取位姿31.0779 1075.93 308.444-0.0538895 0.686911 0.724386-0.0226915。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于RGB-D相机的箱体分拣方法，其特征在于包含如下步骤：
1)在分别对RGB-D相机的彩色相机和深度相机进行标定后，根据确定的彩色相机和深度相机的参数，计算得到彩色相机和深度相机之间的坐标转换关系；
2)在将标定板固定在机械臂末端，同时将RGB-D相机固定在传送带上方区域后，使用Tsai算法进行手眼标定，得到RGB-D相机中彩色相机和机械臂基座的坐标转换关系
3)传动带物体到位检测，采集彩色相机的彩色图像，采集深度相机的深度图像；
4)对彩色图像进行箱体的边缘检测，得到抓取的目标物体的质心；对深度图像得到的三维点云进行箱体的6D位姿中的旋转变换矩阵的计算；
建立彩色相机和深度相机的相机模型，将得到的质心利用相机模型投影到深度相机坐标系中，再结合步骤1)得到的彩色相机和深度相机之间的坐标转换关系，得到目标物体抓取点的空间位置坐标结合旋转变换矩阵确定目标物体位姿
5)结合步骤2中的手眼标定结果及当前机械臂末端的位姿通过运动学公式求得机械臂基座标系下的抓取点位姿
6)基于位置视觉伺服进行箱体抓取。
2.根据权利要求1所述的方法，其特征在于：步骤1中分别对RGB-D相机的彩色相机和深度相机利用张正友标定板法进行标定；确定彩色相机和深度相机的内部参数和外部参数，用所述内部参数和外部参数计算得到深度图像映射到彩色图像的旋转矩阵和平移矩阵，确定彩色相机和深度相机之间的坐标转换关系。
3.根据权利要求1所述的方法，其特征在于：步骤4中对彩色图像进行箱体的边缘检测，得到抓取的目标物体的质心的方法包含如下步骤：
将彩色相机所采集的彩色图像由RGB通道转换到HSV通道，通过设置阈值进行背景的滤除，得到所有箱体；
再使用基于梯度的卷积核为5*5的Sobel算子进行箱子的边缘提取，使用轮廓中心矩得到轮廓的质心，使用基于像素坐标排序的方法得到抓取目标物体的质心。
4.根据权利要求1所述的方法，其特征在于：在步骤4中对三维点云进行箱体的6D位姿中的旋转矩阵的估计包括如下步骤：
使用PCL中的PassThrough滤波和Statistical Outlier Removal滤波算法，滤除背景点云；
使用区域增长算法得到所有箱子的点云平面区域，使用基于空间坐标排序的方法得到抓取目标物体的点云平面；
使用有向包围盒算法得到该平面相对于深度相机的旋转变换矩阵
5.根据权利要求1所述的方法，其特征在于：在步骤6中基于位置视觉伺服进行抓取箱体包括如下步骤：
设置单个箱体的模板，利用以上步骤得到参考抓取点位姿
传送带上面的待分拣箱体都以该模板位姿为参考，利用伺服原理得到当前抓取点的位姿利用机械臂进行抓取。
6.一种基于RGB-D相机的箱体分拣系统，其特征在于：包括运输纸箱的传送带、RGB-D相机、机械臂、用于物体到位检测的光电传感器和工控机，所述工控机信号连接机械臂的控制柜和RGB-D相机，机械臂的控制柜信号连接光电传感器；
所述工控机包括如下模块：
两相机转换关系获取模块，在对RGB-D相机的彩色相机和深度相机进行标定后，根据确认的彩色相机和深度相机的参数，计算得到彩色相机和深度相机之间的坐标转换关系；
手眼标定模块，在将绘制有棋盘格的标定固定在机械臂末端，将RGB-D相机固定在传送带上方区域后，用于使用Tsai算法进行手眼标定，得到RGB-D相机中彩色相机和机械臂基座的坐标转换关系
图像采集模块，当光电传感器检测到传动带物体到位后，采集彩色相机的彩色图像以及深度相机的深度图像；
目标物位姿估计模块，包括质心获取模块、位姿旋转变换矩阵计算模块和目标位姿确定模块：
其中，质心获取模块，用于通过对彩色图像进行箱体的边缘检测，得到抓取的目标物体的质心；
位姿旋转变换矩阵计算模块，用于对三维点云进行箱体的6D位姿中的旋转变换矩阵的计算；
目标位姿确定模块，用于建立彩色相机和深度相机的相机模型，将质心获取模块得到的质心利用相机模型投影到深度相机坐标系中，再结合相机转换关系获取模块得到的彩色相机和深度相机之间的坐标转换关系，得到目标物体抓取点的空间位置坐标结合位姿旋转变换矩阵计算模块得到的确定抓取位姿
机械臂抓取位姿模块，用于结合手眼标定结果获取模块得到的手眼标定结果及当前机械臂末端的位姿通过运动学公式求得机械臂基座标系下的抓取点位姿
位置视觉伺服模块，用于基于位置视觉伺服进行抓取箱体。
7.根据权利要求6所述的系统，其特征在于：两相机转换关系获取模块，分别对RGB-D相机的彩色相机和深度相机利用张正友标定板法进行标定；确定彩色相机和深度相机的内部参数和外部参数，用所述内部参数和外部参数计算得到深度图像映射到彩色图像的旋转矩阵和平移矩阵，确定彩色相机和深度相机之间的坐标转换关系。
8.根据权利要求6所述的系统，其特征在于：质心获取模块包括：
第一滤波模块，用于将彩色相机所采集的彩色图像由RGB通道转换到HSV通道，通过设置阈值进行背景的滤除，得到所有箱体；
边缘提取模块，用于使用基于梯度的卷积核为5*5的Sobel算子进行箱子的边缘提取，使用轮廓中心矩得到轮廓的质心，使用基于像素坐标排序的方法得到抓取目标物体的质心。
9.根据权利要求6所述的系统，其特征在于：位姿旋转变换矩阵计算模块包括；
第二滤波模块，用于使用PCL中的PassThrough滤波和Statistical Outlier Removal滤波算法，滤除背景点云；
点云平面获取模块，用于使用区域增长算法得到所有箱子的点云平面区域，使用基于空间坐标排序的方法得到抓取目标物体的点云平面；
矩阵获取模块，用于使用有向包围盒算法得到该平面相对于深度相机的旋转变换矩阵
10.根据权利要求6所述的系统，其特征在于：位置视觉伺服模块用于设置单个箱体的模板，利用得到的参考抓取点位姿传送带上面的待分拣箱体都以该模板位姿为参考，利用伺服原理得到当前抓取点的位姿利用机械臂进行抓取。
CN201910865622.3A 2019-09-12 2019-09-12 一种基于rgb-d相机的箱体分拣方法及系统 Pending CN110580725A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910865622.3A CN110580725A (zh) 2019-09-12 2019-09-12 一种基于rgb-d相机的箱体分拣方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910865622.3A CN110580725A (zh) 2019-09-12 2019-09-12 一种基于rgb-d相机的箱体分拣方法及系统

Publications (1)

Publication Number Publication Date
CN110580725A true CN110580725A (zh) 2019-12-17

Family

ID=68812902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910865622.3A Pending CN110580725A (zh) 2019-09-12 2019-09-12 一种基于rgb-d相机的箱体分拣方法及系统

Country Status (1)

Country Link
CN (1) CN110580725A (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144480A (zh) * 2019-12-25 2020-05-12 深圳蓝胖子机器人有限公司 一种可回收垃圾视觉分类方法、系统、设备
CN111515945A (zh) * 2020-04-10 2020-08-11 广州大学 机械臂视觉定位分拣抓取的控制方法、系统及装置
CN111702760A (zh) * 2020-06-11 2020-09-25 湖北美和易思教育科技有限公司 一种物联网机械手臂协同作业系统及方法
CN111882600A (zh) * 2020-06-23 2020-11-03 无锡北斗星通信息科技有限公司 利用云端分析的煤块定向处理平台
CN112171661A (zh) * 2020-08-25 2021-01-05 广西大学 一种基于视觉信息融合的机械臂抓取目标物体方法
CN112509063A (zh) * 2020-12-21 2021-03-16 中国矿业大学 一种基于边缘特征匹配的机械臂抓取系统及方法
CN112565616A (zh) * 2021-03-01 2021-03-26 民航成都物流技术有限公司 一种目标抓取方法、系统、装置以及可读存储介质
CN112634435A (zh) * 2020-12-17 2021-04-09 中国地质大学（武汉） 一种基于“Eye in Hand”模型的陶瓷制品三维点云重建方法
CN112643207A (zh) * 2020-12-12 2021-04-13 南京理工大学 基于计算机视觉的激光自动除锈系统及方法
CN113284179A (zh) * 2021-05-26 2021-08-20 吉林大学 一种基于深度学习的机器人多物体分拣方法
CN113379849A (zh) * 2021-06-10 2021-09-10 南开大学 基于深度相机的机器人自主识别智能抓取方法及系统
CN113393522A (zh) * 2021-05-27 2021-09-14 湖南大学 一种基于单目rgb相机回归深度信息的6d位姿估计方法
CN113479442A (zh) * 2021-07-16 2021-10-08 上海交通大学烟台信息技术研究院 一种实现流水线上非结构化物体智能贴标签的装置和方法
CN113487672A (zh) * 2021-06-17 2021-10-08 北京控制工程研究所 一种复杂场景下行为关联的对象特征提取方法
CN113500017A (zh) * 2021-07-16 2021-10-15 上海交通大学烟台信息技术研究院 一种面向非结构化场景下物料分拣的智能系统和方法
CN113524216A (zh) * 2021-07-20 2021-10-22 成都朴为科技有限公司 一种基于多帧融合的果蔬采摘机器人及其控制方法
CN113688704A (zh) * 2021-08-13 2021-11-23 北京京东乾石科技有限公司 物品拣选方法、装置、电子设备和计算机可读介质
WO2022011560A1 (zh) * 2020-07-14 2022-01-20 Oppo广东移动通信有限公司 图像裁剪方法与装置、电子设备及存储介质
CN114078220A (zh) * 2022-01-19 2022-02-22 浙江光珀智能科技有限公司 一种基于深度相机的托盘识别方法
CN114119767A (zh) * 2021-11-12 2022-03-01 上海库灵科技有限公司 基于相机标定的工件抓取方法、装置和控制系统
CN114310919A (zh) * 2022-03-14 2022-04-12 中北大学南通智能光机电研究院 一种基于协作机器人与模组的智能抓取控制系统及方法
CN114570674A (zh) * 2022-01-19 2022-06-03 福建南方路面机械股份有限公司 一种基于高度传感器的自动分拣方法、装置及可读介质
CN114627192A (zh) * 2022-03-17 2022-06-14 武昌工学院 收发快递机器人的机器视觉与Arduino控制系统
CN114770502A (zh) * 2022-04-25 2022-07-22 深圳市超准视觉科技有限公司 机械臂工具末端位姿快速校准方法
US11403764B2 (en) * 2020-02-14 2022-08-02 Mujin, Inc. Method and computing system for processing candidate edges
CN114916318A (zh) * 2022-05-30 2022-08-19 华南农业大学 一种搭载在无人机上的水果自动采收装置及其控制方法
CN115082559A (zh) * 2022-07-20 2022-09-20 广东工业大学 一种柔性件的多目标智能分拣方法、系统及存储介质
CN115139325A (zh) * 2022-09-02 2022-10-04 星猿哲科技(深圳)有限公司 物体抓取系统
WO2023273271A1 (zh) * 2021-06-30 2023-01-05 达闼科技（北京）有限公司 目标位姿估计方法、装置、计算设备、存储介质及计算机程序
CN117557700A (zh) * 2024-01-12 2024-02-13 杭州优链时代科技有限公司 一种用于人物建模的方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108555908A (zh) * 2018-04-12 2018-09-21 同济大学 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN108858193A (zh) * 2018-07-06 2018-11-23 清华大学深圳研究生院 一种机械臂抓取方法及系统
CN108994832A (zh) * 2018-07-20 2018-12-14 上海节卡机器人科技有限公司 一种基于rgb-d相机的机器人手眼系统及其自标定方法
CN109255813A (zh) * 2018-09-06 2019-01-22 大连理工大学 一种面向人机协作的手持物体位姿实时检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108555908A (zh) * 2018-04-12 2018-09-21 同济大学 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN108858193A (zh) * 2018-07-06 2018-11-23 清华大学深圳研究生院 一种机械臂抓取方法及系统
CN108994832A (zh) * 2018-07-20 2018-12-14 上海节卡机器人科技有限公司 一种基于rgb-d相机的机器人手眼系统及其自标定方法
CN109255813A (zh) * 2018-09-06 2019-01-22 大连理工大学 一种面向人机协作的手持物体位姿实时检测方法

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144480A (zh) * 2019-12-25 2020-05-12 深圳蓝胖子机器人有限公司 一种可回收垃圾视觉分类方法、系统、设备
US11403764B2 (en) * 2020-02-14 2022-08-02 Mujin, Inc. Method and computing system for processing candidate edges
US20220351389A1 (en) * 2020-02-14 2022-11-03 Mujin, Inc. Method and computing system for processing candidate edges
CN111515945A (zh) * 2020-04-10 2020-08-11 广州大学 机械臂视觉定位分拣抓取的控制方法、系统及装置
CN111702760A (zh) * 2020-06-11 2020-09-25 湖北美和易思教育科技有限公司 一种物联网机械手臂协同作业系统及方法
CN111882600A (zh) * 2020-06-23 2020-11-03 无锡北斗星通信息科技有限公司 利用云端分析的煤块定向处理平台
CN111882600B (zh) * 2020-06-23 2021-04-13 蔡芳 利用云端分析的煤块定向处理平台
WO2022011560A1 (zh) * 2020-07-14 2022-01-20 Oppo广东移动通信有限公司 图像裁剪方法与装置、电子设备及存储介质
CN112171661A (zh) * 2020-08-25 2021-01-05 广西大学 一种基于视觉信息融合的机械臂抓取目标物体方法
CN112643207A (zh) * 2020-12-12 2021-04-13 南京理工大学 基于计算机视觉的激光自动除锈系统及方法
CN112643207B (zh) * 2020-12-12 2022-09-30 南京理工大学 基于计算机视觉的激光自动除锈系统及方法
CN112634435A (zh) * 2020-12-17 2021-04-09 中国地质大学（武汉） 一种基于“Eye in Hand”模型的陶瓷制品三维点云重建方法
CN112509063A (zh) * 2020-12-21 2021-03-16 中国矿业大学 一种基于边缘特征匹配的机械臂抓取系统及方法
CN112565616A (zh) * 2021-03-01 2021-03-26 民航成都物流技术有限公司 一种目标抓取方法、系统、装置以及可读存储介质
CN113284179B (zh) * 2021-05-26 2022-09-13 吉林大学 一种基于深度学习的机器人多物体分拣方法
CN113284179A (zh) * 2021-05-26 2021-08-20 吉林大学 一种基于深度学习的机器人多物体分拣方法
CN113393522A (zh) * 2021-05-27 2021-09-14 湖南大学 一种基于单目rgb相机回归深度信息的6d位姿估计方法
CN113379849A (zh) * 2021-06-10 2021-09-10 南开大学 基于深度相机的机器人自主识别智能抓取方法及系统
CN113487672B (zh) * 2021-06-17 2024-02-20 北京控制工程研究所 一种复杂场景下行为关联的对象特征提取方法
CN113487672A (zh) * 2021-06-17 2021-10-08 北京控制工程研究所 一种复杂场景下行为关联的对象特征提取方法
WO2023273271A1 (zh) * 2021-06-30 2023-01-05 达闼科技（北京）有限公司 目标位姿估计方法、装置、计算设备、存储介质及计算机程序
CN113479442A (zh) * 2021-07-16 2021-10-08 上海交通大学烟台信息技术研究院 一种实现流水线上非结构化物体智能贴标签的装置和方法
CN113500017B (zh) * 2021-07-16 2023-08-25 上海交通大学烟台信息技术研究院 一种面向非结构化场景下物料分拣的智能系统和方法
CN113500017A (zh) * 2021-07-16 2021-10-15 上海交通大学烟台信息技术研究院 一种面向非结构化场景下物料分拣的智能系统和方法
CN113524216A (zh) * 2021-07-20 2021-10-22 成都朴为科技有限公司 一种基于多帧融合的果蔬采摘机器人及其控制方法
CN113524216B (zh) * 2021-07-20 2022-06-28 成都朴为科技有限公司 一种基于多帧融合的果蔬采摘机器人及其控制方法
CN113688704A (zh) * 2021-08-13 2021-11-23 北京京东乾石科技有限公司 物品拣选方法、装置、电子设备和计算机可读介质
CN114119767A (zh) * 2021-11-12 2022-03-01 上海库灵科技有限公司 基于相机标定的工件抓取方法、装置和控制系统
CN114078220A (zh) * 2022-01-19 2022-02-22 浙江光珀智能科技有限公司 一种基于深度相机的托盘识别方法
CN114570674A (zh) * 2022-01-19 2022-06-03 福建南方路面机械股份有限公司 一种基于高度传感器的自动分拣方法、装置及可读介质
CN114078220B (zh) * 2022-01-19 2022-05-27 浙江光珀智能科技有限公司 一种基于深度相机的托盘识别方法
CN114570674B (zh) * 2022-01-19 2024-08-09 福建南方路面机械股份有限公司 一种基于高度传感器的自动分拣方法、装置及可读介质
CN114310919A (zh) * 2022-03-14 2022-04-12 中北大学南通智能光机电研究院 一种基于协作机器人与模组的智能抓取控制系统及方法
CN114627192A (zh) * 2022-03-17 2022-06-14 武昌工学院 收发快递机器人的机器视觉与Arduino控制系统
CN114627192B (zh) * 2022-03-17 2024-04-02 武昌工学院 收发快递机器人的机器视觉与Arduino控制系统
CN114770502A (zh) * 2022-04-25 2022-07-22 深圳市超准视觉科技有限公司 机械臂工具末端位姿快速校准方法
CN114916318A (zh) * 2022-05-30 2022-08-19 华南农业大学 一种搭载在无人机上的水果自动采收装置及其控制方法
CN115082559A (zh) * 2022-07-20 2022-09-20 广东工业大学 一种柔性件的多目标智能分拣方法、系统及存储介质
CN115139325A (zh) * 2022-09-02 2022-10-04 星猿哲科技(深圳)有限公司 物体抓取系统
CN117557700A (zh) * 2024-01-12 2024-02-13 杭州优链时代科技有限公司 一种用于人物建模的方法及设备
CN117557700B (zh) * 2024-01-12 2024-03-22 杭州优链时代科技有限公司 一种用于人物建模的方法及设备

Similar Documents

Publication Publication Date Title
CN110580725A (zh) 一种基于rgb-d相机的箱体分拣方法及系统
CN108555908B (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN110497187B (zh) 基于视觉引导的太阳花模组装配系统
CN109230580B (zh) 一种基于混放物料信息采集的拆垛机器人系统及方法
CN105729468B (zh) 一种基于多深度摄像机增强的机器人工作台
CN111791239A (zh) 一种结合三维视觉识别可实现精确抓取的方法
US20200147804A1 (en) Operating system, control device, and computer program product
CN112518748B (zh) 面向运动物品的视觉机械臂自动抓取方法与系统
CN114758236B (zh) 一种非特定形状物体识别、定位与机械手抓取系统及方法
CN114952809A (zh) 工件识别和位姿检测方法、系统及机械臂的抓取控制方法
Hsu et al. Development of a faster classification system for metal parts using machine vision under different lighting environments
CN112109072B (zh) 一种大型稀疏特征托盘精确6d位姿测量和抓取方法
CN111311691A (zh) 拆垛机器人拆垛方法及系统
CN114714365B (zh) 一种基于云平台的无序工件抓取方法及其系统
CN116228854B (zh) 一种基于深度学习的包裹自动分拣方法
CN110980276A (zh) 一种三维视觉配合机器人实施铸件自动下料的方法
CN113822946B (zh) 一种基于计算机视觉的机械臂抓取方法
CN114193440A (zh) 基于3d视觉的机器人自动抓取系统及方法
CN113715012A (zh) 一种遥控器零件自动装配方法和系统
CN117428777A (zh) 一种拆袋机器人的手眼标定方法
CN114187312A (zh) 目标物的抓取方法、装置、系统、存储介质及设备
CN116175542B (zh) 确定夹具抓取顺序的方法、装置、电子设备和存储介质
CN114147704B (zh) 基于深度视觉与增量闭环的机械臂精准定位及抓取方法
Kheng et al. Stereo vision with 3D coordinates for robot arm application guide
CN112233176A (zh) 一种基于标定物的目标位姿测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191217

RJ01 Rejection of invention patent application after publication