CN110322457B - 一种2d与3d视觉结合的拆垛方法 - Google Patents

Abstract

本申请公开了一种2D与3D视觉结合的拆垛方法，适用于视觉系统引导机械手将堆垛中的物体进行拆垛，视觉系统包括立体视觉装置和中间相机，拆垛方法包括：步骤1，利用立体视觉装置，获取堆垛的3D点云数据，并根据3D点云数据，确定堆垛的高度分布图；步骤2，利用中间相机，获取堆垛上表面的2D图像，利用边缘检测算法，确定物体在2D图像中的边缘线；步骤3，根据边缘线在2D图像中的位置关系，确定物体的中心坐标，并根据中心坐标、中心坐标在高度分布图中的纵向高度以及3D点云数据，生成机械手抓取物体的抓取信息。通过本申请中的技术方案，克服了立体视觉装置无法识别紧密排列的多个等高度物体的缺点，提高了机械手拆垛的可靠性和工作效率。

Description

一种2D与3D视觉结合的拆垛方法

技术领域

本申请涉及机器视觉的技术领域，具体而言，涉及一种2D与3D视觉结合的拆垛方法。

背景技术

拆垛是仓储物流和电商领域常见的操作过程，其目的将整齐堆放的纸箱、储物篮等物体逐个搬运，放置到传送带或其它装置上。机械手代替人工进行拆垛，不仅能够提高工作效率，还能够减少出错概率。立体视觉装置逐渐被用于引导机械手进行拆垛作业，以进一步提高拆垛的工作效率，立体视觉装置获取堆垛的图像信息，确定各像素点在XYZ坐标系下的位置坐标，即3D(三维)点云数据，再由机械手控制器根据相应坐标进行拆垛作业。

而现有技术中，立体视觉装置通常采用激光三角原理或者双目立体视觉原理获取堆垛的3D点云数据，一方面，在激光三角原理中，堆垛尺寸的大小，影响激光三角原理的精度，且受到扫描速度的限制，生成堆垛的3D点云需要较长时间，影响工作效率。

另一方面，虽然双目立体视觉原理只需1次拍摄即可生成堆垛的3D点云，但是其在高度方向的测量精度与工作距离的平方成反比。考虑到堆垛的尺寸和立体视觉装置的视野范围，其在高度方向的测量精度约位于1～10mm的量级。这样会导致当堆垛由外形整齐且密集摆放的物体(如电子产品包装盒)组成时，堆垛表面物体之间缝隙的凹陷深度或高度差可能小于立体视觉装置高度方向的测量精度，导致反映物体高度的Z坐标分布图上不易识别这些缝隙，存在密集摆放的多个物体被识别为一个整体的可能，此时进行拆垛，则会对这个整体进行抓取，引起重心不均衡，甚至物体脱落。

发明内容

本申请的目的在于：在立体视觉系统中增加1台中间相机，根据2D图像的像素灰度差异，分隔出单个物体，在结合3D点云数据中物体顶面中心位置的3D坐标，进行坐标变换，以供机械手进行拆垛作业，克服了立体视觉装置无法识别紧密排列的多个等高度物体的缺点，提高了机械手拆垛的可靠性和工作效率。

本申请第一方面的技术方案是：提供了一种2D与3D视觉结合的拆垛方法，适用于视觉系统引导机械手将堆垛中的物体进行拆垛，其特征在于，视觉系统包括立体视觉装置和中间相机，拆垛方法包括：步骤1，利用立体视觉装置，获取堆垛的3D点云数据，并根据3D点云数据，确定堆垛的高度分布图；步骤2，利用中间相机，获取堆垛上表面的2D图像，利用边缘检测算法，确定物体在2D图像中的边缘线；步骤3，根据边缘线在2D图像中的位置关系，确定物体的中心坐标，并根据中心坐标、中心坐标在高度分布图中的纵向高度以及3D点云数据，生成机械手抓取物体的抓取信息。

上述任一项技术方案中，进一步地，步骤2中，利用边缘检测算法，确定物体在2D图像中的边缘线，具体包括：步骤21，计算高度分布图中每个独立区域的平均高度，选取平均高度最大的区域记作顶面区域，并计算顶面区域的最小外接矩形，根据最小外接矩形，确定2D图像中的扫描区域、以及扫描区域的左边线、上边线、右边线以及下边线，并将左边线记作物体的左边缘线，将上边线记作物体的上边缘线；步骤22，将左边线和上边线的交点记作基准点，并沿扫描区域的宽度方向和高度方向构建横向搜索框和纵向搜索框；步骤23，根据基准点和预设高度，确定第一起始点，并根据横向搜索框，搜索2D图像中横向像素点灰度值的第一个跳变点，记作待定纵向边缘点；步骤24，根据基准点和预设宽度，确定第二起始点，并根据纵向搜索框，搜索2D图像中纵向像素点灰度值的第一个跳变点，记作待定横向边缘点；步骤25，根据待定纵向边缘点和待定横向边缘点，采用最小二乘法，拟合生成纵向边缘直线和横向边缘直线，并将纵向边缘直线记作物体的右边缘线，将横向边缘直线记作物体的下边缘线。

上述任一项技术方案中，进一步地，步骤3中，根据边缘线在2D图像中的位置关系，确定物体的中心坐标，具体包括：步骤31，当判定拟合生成下边缘线和右边缘线时，根据右边缘线与下边缘线，确定物体的右下顶点；步骤32，将基准点记作物体的左上顶点，并结合右下顶点，确定物体的对角线，选取对角线的中心，记作中心坐标。

上述任一项技术方案中，进一步地，步骤3中，根据边缘线在2D图像中的位置关系，确定物体的中心坐标，具体还包括：步骤33，当判定拟合生成下边缘线、但未拟合生成右边缘线时，将左边线与下边缘线的交点记作基准点，重新执行步骤22；步骤34，当判定未拟合生成下边缘线、但拟合生成右边缘线时，将右边缘线与上边线的交点记作基准点，重新执行步骤22；步骤35，当判定未拟合生成下边缘线和右边缘线时，重新执行步骤1。

上述任一项技术方案中，进一步地，步骤3中，根据中心坐标、中心坐标在高度分布图中的纵向高度以及3D点云数据，生成机械手抓取物体的抓取信息，具体包括：步骤36，根据中心坐标，读取中心坐标在高度分布图中的高度数据，记作纵向高度；步骤37，将扫描区域与高度分布图相关联，计算扫描区域对应的高度均值，并将扫描区域中、对应于高度分布图位置处的计数数据置为1，并将其余位置处的计数数据置为0，并根据计数数据，生成临时图像数据；步骤38，判断纵向高度与高度均值的差值是否小于或等于预设阈值，若是，执行步骤39，若否，执行步骤311；步骤39，根据临时图像数据，判断中心坐标在扫描区域中相应位置处的计数数据是否为1，若是，执行步骤310，若否，执行步骤311；步骤310，确定中心坐标在3D点云数据中的位置坐标，根据位置坐标进行手眼标定，生成抓取信息；步骤311，判断下边缘线与下边线之间的距离是否小于或等于第一预设距离，若是，执行步骤312，若否，将左边线与下边缘线的交点记作基准点，重新执行步骤22；步骤312，判断右边缘线与右边线之间的距离是否小于第二预设距离，若是，重新执行步骤1，若否，将右边缘线与上边线的交点记作基准点，重新执行步骤22。

上述任一项技术方案中，进一步地，步骤3还包括：生成抓取信息后，根据左上顶点和右下顶点，确定扫描区域中置零区域，根据置零区域，更新临时图像数据。

本申请第二方面的技术方案是：提供了一种拆垛装置，拆垛装置设置有控制单元、抓取单元和图像获取单元，拆垛装置用于根据如第一方面技术方案中任一项2D与3D视觉结合的拆垛方法，对堆垛进行拆垛作业。

本申请的有益效果是：

在多个相等高度的物体密集摆放、且物体之间缝隙的凹陷深度或高度差小于立体视觉装置高度方向测量精度情况下，利用物体缝隙和边缘部位的图像亮度特性，在中间相机拍摄的2D图像上搜索单个物体的边缘，分割出单个物体，并读取其中心位置的3D坐标，以引导机械手抓取物体，无需事先测量物体尺寸、建立3D模型和匹配运算，适用于尺寸未知的物体拆垛工作，提高了拆垛作业的可靠性和工作效率。

在本申请中，搜索物体边缘时，设置搜索框、并采用加权最小二乘法，将搜索得到的灰度跳变点拟合为边缘所在的直线，有助于减少图像噪声和物体表面图案的干扰。使用3D点云生成的物体高度分布图检查物体之间空缺的位置，避免对空缺位置抓取，提高拆垛工作效率。

附图说明

本申请的上述和/或附加方面的优点在结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本申请的一个实施例的拆垛装置的示意图；

图2是根据本申请的一个实施例的2D与3D视觉结合的拆垛方法的示意流程图；

图3是根据本申请的一个实施例的物体搜索顺序的示意图；

图4是根据本申请的一个实施例的首次搜索物体右边缘的示意图；

图5是根据本申请的一个实施例的首次搜索物体下边缘的示意图；

图6是根据本申请的一个实施例的成功抓取物体之后继续搜索物体右边缘的示意图。

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。

在下面的描述中，阐述了很多具体细节以便于充分理解本申请，但是，本申请还可以采用其他不同于在此描述的其他方式来实施，因此，本申请的保护范围并不受下面公开的具体实施例的限制。

实施例一：

如图1所示，本发明所述的视觉系统由立体视觉装置和中间相机6共同组成，视觉系统1通过支架8安装在拆垛区域的正上方，垂直向下拍摄，由机械手2抓取堆垛3中的物体。视觉系统1的立体视觉装置由左相机4、散斑激光器5、右相机7组成，其中，左相机4、散斑激光器5、右相机7的光心位于同一水平线上；中间相机6安装在散斑激光器5附近。视觉系统1的坐标系原点位于中间相机6的光心，其中，X_V轴沿水平方向指向右相机7的光心，Z_V轴沿垂直方向指向下方，Y_V轴垂直于X_V轴和Z_V轴、指向于X_V轴正方向的右侧。支架8上安装照明光源9，对堆垛2提供来自侧上方的照明，增强图像亮度以及缝隙部位的对比度。

视觉系统1安装在支架8之前，采用现有的视觉标定方法，以获得其内部所有相机的内部参数、以及各个相机之间的相对姿态参数，此过程不再赘述，并以中间相机6的坐标系作为视觉系统1的坐标系(即视觉系统坐标系)。根据立体视觉装置所属的相机与中间相机6的相对姿态参数，可以将立体视觉装置生成的3D点云数据变换至中间相机6的视角，便于在同一坐标系内处理2D图像与3D点云数据。

视觉系统1安装后，采用现有手眼标定方法，使用若干标志点进行视觉系统1与机械手2的手眼标定，并进行坐标系变换运算，此过程不再赘述，获得视觉系统坐标系与机械手坐标系的坐标变换关系。

拆垛之前，立体视觉装置拍摄没有堆垛的基准面(地面或传送带表面)，获得基准面的3D点云，根据左右相机与中间相机6的相对姿态参数，变换为中间相机6坐标系下的3D点云数据，并保存其Z坐标分布图Z_base，作为计算堆垛高度的基准。

如图2所示，本实施例提供了一种2D与3D视觉结合的拆垛方法，该方法适用于上述的视觉系统1引导机械手2将堆垛3中的物体进行拆垛，该拆垛方法包括：

步骤1，利用立体视觉装置，获取堆垛的3D点云数据，并根据3D点云数据，确定堆垛的高度分布图；

具体地，开启散斑激光器5，立体视觉系统的左相机4和右相机7同时拍摄1次，获取第一2D图像和第二2D图像，根据左右相机的相对姿态参数，使用通用的双目立体视觉算法，计算出第一2D图像和第二2D图像中所有像素点的X、Y、Z坐标，组成原始3D点云。原始3D点云根据左右相机与中间相机6的相对姿态参数，变换为中间相机6坐标系下的3D点云数据，其中，每个像素点(m,n)都包含X、Y、Z坐标值。基准面的Z坐标分布图Z_base与堆垛5的Z坐标分布图Z_obj相减，得到堆垛高度分布图H_obj＝Z_base-Z_obj。

优选地，在得到堆垛高度分布图H_obj后，该步骤1之后还包括：

步骤11，根据预设堆垛最大高度，对高度分布图进行切割。

具体地，由于作业现场中各种支架、电线、传感器之类的装置均可能出现在立体视觉装置的视野内，因此，需要的将高度分布图中，高度大于或等于预设堆垛最大高度H_max的部分进行切割，仅保留高度值H_obj∈[0,H_max]的部分图像，作为有效高度分布图。

步骤12，利用开运算，对切割后保留的高度分布图(有效高度分布图)，进行噪声处理，并利用连通域算法和预设最小图像面积S_min，对噪声处理后的高度分布图进行筛选，保留图像面积大于或等于预设最小图像面积S_min的图像区域，记作降噪高度分布图，即滤除有效高度分布图中，面积较小的噪声区域。

步骤13，依次计算经过切割、降噪筛选后的高度分布图中每个独立区域的平均高度，选取平均高度最大值H_top对应的区域作为顶面区域，并将顶面区域的最小外接矩形记作中间相机的扫描区域，以便中间相机获取堆垛上表面的2D图像。

具体地，由于堆垛上表面的高度存在不统一的情况，如有一摞高的堆垛与一摞低的堆垛挨在一起，此时，得到一个较高的顶面和一个较低的顶面，需要选取较高的顶面作为顶面区域。

在计算出顶面区域的最小外接矩形后，保存其对应的图像高度H₀、图像宽度W₀、4个顶点的图像坐标，以及4条边缘所在的直线方程。4条边缘所在直线，按照位置关系，依次被定义为顶面区域的上、下、左、右边缘线。

步骤2，利用中间相机，获取堆垛上表面的2D图像，利用边缘检测算法，确定物体在2D图像中的边缘线；

具体地，步骤2的目的是搜索单个物体的边缘线，包括左、右边缘线和上、下边缘线，考虑到本实施例中的拆垛方法是以堆垛中每一层为一个拆垛单元，逐层进行拆垛，如图3所示，堆垛表层物体的列号记为i，行号记为j，在2D图像上开始搜索时，以扫描区域的左上顶点作为第1列第1行物体的左上顶点A_1,1，即i＝1，j＝1，无论该处是否真实存在物体。搜索顺序是先从上到下搜索第1列物体，再从左到右搜索其它列的物体。

因此，需要搜索出物体的边缘线，将堆垛5的表面进行物体分割，并获得单个物体的中心位置，再读取对应的3D坐标，变换至机械手坐标系的3D坐标后，供机械手抓取。立体视觉系统拍摄之后，随即关闭散斑激光器5、开启照明光源9，延迟一个较小的时间间隔待照明光源9稳定之后，面阵相机(中间相机6)拍摄2D图像。

进一步地，在步骤2中，利用边缘检测算法，确定物体在2D图像中的边缘线，具体包括：

步骤21，计算高度分布图中每个独立区域的平均高度，选取平均高度最大的区域记作顶面区域，并计算顶面区域的最小外接矩形，根据最小外接矩形，确定2D图像中的扫描区域、以及扫描区域的左边线、上边线、右边线以及下边线，并将左边线记作物体的左边缘线，将上边线记作物体的上边缘线；

具体地，实际情况下，堆垛的顶面不会非常平坦，所以高度值有一些波动，因此，需要计算堆垛高度的均值。同时考虑到顶面区域可能不太规则，难以确定顶点和边线，而矩形则很容易得到其顶点和边线，因此，把顶面区域的最小外接矩形作为2D图像中的扫描区域。

对高度分布图进行切割、降噪筛选处理后，选取顶面区域的最小外接矩形作为扫描区域，确定2D图像(中间相机)中的扫描区域后，保存其图像高度H₀、图像宽度W₀、4个顶点的图像坐标，以及4条边线所在的直线方程，并将4条边线所在直线定义为扫描区域的上、下、左、右边线。

在第一次拆垛之前，可以将扫描区域的左边线记作物体的左边缘线，将上边线记作物体的上边缘线，因此，在本实施例中，只需要确定物体的右边缘线和下边缘线，再通过对边缘线的相关判断，用右边缘线替换左边缘线，用下边缘线替换上边缘线。

步骤22，将左边线和上边线的交点记作基准点，并沿扫描区域的宽度方向和高度方向构建横向搜索框和纵向搜索框；

具体地，在每次搜索过程中，均以其左上顶点A_i,j(i＝1,2,…，j＝1,2,…)为搜索基准点，如图4和图5所示，在第一次搜索时，以点A₁₁为基准点，在横向与纵向各设置一组n个矩形搜索框(n≥20)，设定2D图像的高度为H₀、图像宽度为W₀，则横向搜索框的长度M1＝W₀，宽度N1＝H₀/n，且从上到下紧密排列，从左向右搜索，纵向搜索框的长度M2＝H₀，宽度N2＝W₀/n，从左到右紧密排列，从上到下搜索。

步骤23，根据基准点和预设高度，确定第一起始点，并根据横向搜索框，搜索2D图像中横向像素点灰度值的第一个跳变点，记作待定纵向边缘点；

步骤24，根据基准点和预设宽度，确定第二起始点，并根据纵向搜索框，搜索2D图像中纵向像素点灰度值的第一个跳变点，记作待定横向边缘点；

具体地，在进行搜索时，为了避免横向(纵向)搜索框和扫描区域的上边线(左边线)重合，设置一个较小的偏移量，再结合基准点，确定第一(第二)起始点，在起始点位置处进行像素点搜索，利用边缘检测算法对搜索框中的像素值进行搜索。当横向(纵向)搜索框搜索到第一个像素值跳变点时，记录该跳变点的坐标，并将该跳变点按照搜索框的顺序进行编号，依次为1,2,…。

步骤25，根据待定纵向边缘点和待定横向边缘点，采用最小二乘法，拟合生成纵向边缘直线和横向边缘直线，并将纵向边缘直线记作物体的右边缘线，将横向边缘直线记作物体的下边缘线。

具体地，该步骤25中，还包括：步骤251，判断待定纵向边缘点的数量是否大于或等于预设点数，若是，拟合生成纵向边缘直线，若否，重新执行步骤1；步骤252，判断待定横向边缘点的数量是否大于或等于预设点数，若是，拟合生成横向边缘直线，若否，重新执行步骤1。

步骤3，根据边缘线在2D图像中的位置关系，确定物体的中心坐标，并根据中心坐标、中心坐标在高度分布图中的纵向高度以及3D点云数据，生成机械手抓取物体的抓取信息。

具体地，在确定物体的右边缘线和下边缘线后，如图6所示，将其连线的交点设为物体的右下顶点B_i,j，其与左上顶点A_i,j连线的中点为C_i,j，由于2D图像和3D点云数据的坐标系相同，因此，可以得出中点C_i,j在点云数据中的坐标值，确定对应的纵向高度，再根据手眼标定得到的坐标变换关系，转换为机械手坐标系的3D坐标，生成抓取信息，发送给机械手控制器进行抓取。

结合上述过程，本实施例给出一种确定中心坐标和生成抓取信息的方法，步骤3中，根据边缘线在2D图像中的位置关系，确定物体的中心坐标，具体包括：

步骤31，当判定拟合生成下边缘线和右边缘线时，根据右边缘线与下边缘线，确定物体的右下顶点B_i,j；

步骤32，将基准点记作物体的左上顶点，并结合右下顶点，确定物体的对角线，选取对角线的中心C_i,j，记作中心坐标。

进一步地，根据中心坐标、中心坐标在高度分布图中的纵向高度以及3D点云数据，生成机械手抓取物体的抓取信息，具体包括：

步骤36，根据中心坐标，读取中心坐标在高度分布图中的高度数据，记作纵向高度；

步骤37，将扫描区域与高度分布图相关联，计算扫描区域对应的高度均值，并将扫描区域中、对应于高度分布图位置处的计数数据置为1，并将其余位置处的计数数据置为0，并根据计数数据，生成临时图像数据T；

具体地，以3D点云数据中的顶面区域，在2D图像上划分待处理范围，确定扫描区域，将扫描区域范围之外的搜索结果舍弃。设置1个临时图像数据T，其范围大小与2D图像相同，将扫描区域内的计数数据的值设为非零值(如设为1)，其余区域计数数据的值设为0，用于检查扫描区域某位置的物体是否已被抓取或者始终不存在。

步骤38，判断纵向高度与高度均值的差值是否小于或等于预设阈值，若是，执行步骤39，若否，执行步骤311；其中，预设阈值的大小右视觉系统1的精度决定。

步骤39，根据临时图像数据T，判断中心坐标在扫描区域中相应位置处的计数数据是否为1，若是，则表明该处存在物体，可以进行拆垛，执行步骤310，若否，则表明该处不存在物体，执行步骤311；

步骤310，确定中心坐标在3D点云数据中的位置坐标，根据位置坐标进行手眼标定，生成抓取信息；

具体地，首次成功抓取物体之后，根据物体左上与右下顶点坐标计算物体近似长度

为首次成功抓取物体右下顶点B_i,j的列坐标，

为物体左上顶点A_i.j的行坐标；以及物体近似高度

为首次成功抓取物体右下顶点B_i,j的行坐标，

为物体左上顶点A_i.j的列坐标；如图6所示，后续搜索时减小搜索范围，横向搜索框的长度均设为M＝max(W₁,H₁)，宽度均设为N＝M/n。纵向搜索框的长度与宽度与横向搜索框相同，只是方向不同。

步骤311，判断下边缘线与下边线之间的距离是否小于或等于第一预设距离，即物体的下边缘线是否接近堆垛扫描区域的下边线，若是，执行步骤312，若否，将左边线与下边缘线的交点记作下次搜索的基准点A_i,j+1，重新执行步骤22，以新确定的基准点对扫描区域再次搜索2D图像中横向像素点灰度值的第一个跳变点；

步骤312，判断右边缘线与右边线之间的距离是否小于第二预设距离，即物体的右边缘线是否接近堆垛扫描区域的右边线，若是，重新执行步骤1，表明该层物体均已被抓取完毕，进入下一个工作循环。若否，将右边缘线与上边线的交点记作下次搜索的基准点A_i+1,1，重新执行步骤22。

需要注意的是，若第一次搜索未找到实际物体，即物体中心点的高度值与H_top差别较大、或者物体中心点的临时数据值为0，后续搜索时，搜索范围根据步骤311和步骤312中新的左上顶点，重新确定基准点A_i,j+1或A_i+1,1，横向搜索框的长度M不变；宽度

为新的左上顶点A_i,j的行坐标，

为区域原左上顶点A_1,1的行坐标。

优选地，步骤3还包括：生成抓取信息后，根据左上顶点和右下顶点，确定扫描区域中置零区域，根据置零区域，更新临时图像数据。

在拟合生成下边缘线和右边缘线时，还包括如下情况，即步骤3中，根据边缘线在2D图像中的位置关系，确定物体的中心坐标，具体还包括：

步骤33，当判定拟合生成下边缘线、但未拟合生成右边缘线时，即扫描区域中的该位置处于最后一列中的空缺位置，将左边线与下边缘线的交点记作基准点A_i,j+1，重新执行步骤22；

步骤34，当判定未拟合生成下边缘线、但拟合生成右边缘线时，即扫描区域中的该位置处于最后一行且非最后一列的空缺位置，将右边缘线与上边线的交点记作基准点A_i+1,1，重新执行步骤22；

步骤35，当判定未拟合生成下边缘线和右边缘线时，即扫描区域中的该位置处于扫描区域右下角的空缺位置，重新执行步骤1，进入下一个工作循环。

实施例二：

如图1所示，本实施例提供了一种拆垛装置，设置有控制单元、抓取单元和图像获取单元，拆垛装置用于根据如上述实施例一中的2D与3D视觉结合的拆垛方法，对堆垛进行拆垛作业。

以上结合附图详细说明了本申请的技术方案，本申请提出了一种2D与3D视觉结合的拆垛方法，适用于视觉系统引导机械手将堆垛中的物体进行拆垛，视觉系统包括立体视觉装置和中间相机，拆垛方法包括：步骤1，利用立体视觉装置，获取堆垛的3D点云数据，并根据3D点云数据，确定堆垛的高度分布图；步骤2，利用中间相机，获取堆垛上表面的2D图像，利用边缘检测算法，确定物体在2D图像中的边缘线；步骤3，根据边缘线在2D图像中的位置关系，确定物体的中心坐标，并根据中心坐标、中心坐标在高度分布图中的纵向高度以及3D点云数据，生成机械手抓取物体的抓取信息。通过本申请中的技术方案，克服了立体视觉装置无法识别紧密排列的多个等高度物体的缺点，提高了机械手拆垛的可靠性和工作效率。

本申请中的步骤可根据实际需求进行顺序调整、合并和删减。

本申请装置中的单元可根据实际需求进行合并、划分和删减。

尽管参考附图详地公开了本申请，但应理解的是，这些描述仅仅是示例性的，并非用来限制本申请的应用。本申请的保护范围由附加权利要求限定，并可包括在不脱离本申请保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

Claims (7)

1.一种2D与3D视觉结合的拆垛方法，适用于视觉系统引导机械手将堆垛中的物体进行拆垛，其特征在于，所述视觉系统包括立体视觉装置和中间相机，所述拆垛方法包括：

步骤1，利用所述立体视觉装置，获取所述堆垛的3D点云数据，并根据所述3D点云数据，确定所述堆垛的高度分布图；

步骤2，利用所述中间相机，获取所述堆垛上表面的2D图像，利用边缘检测算法，确定所述物体在所述2D图像中的边缘线；

步骤3，根据所述边缘线在所述2D图像中的位置关系，确定所述物体的中心坐标，并根据所述中心坐标、所述中心坐标在所述高度分布图中的纵向高度以及所述3D点云数据，生成所述机械手抓取所述物体的抓取信息，

其中，生成所述机械手抓取所述物体的抓取信息，具体包括：

步骤36，根据所述中心坐标，读取所述中心坐标在所述高度分布图中的高度数据，记作所述纵向高度；

步骤37，将所述2D图像中的扫描区域与所述高度分布图相关联，计算所述扫描区域对应的高度均值，并将所述扫描区域中、对应于所述高度分布图位置处的计数数据置为1，并将其余位置处的计数数据置为0，并根据所述计数数据，生成临时图像数据；

步骤38，判断所述纵向高度与所述高度均值的差值是否小于或等于预设阈值，若是，执行步骤39；

步骤39，根据所述临时图像数据，判断所述中心坐标在所述扫描区域中相应位置处的计数数据是否为1，若是，执行步骤310；

步骤310，确定所述中心坐标在所述3D点云数据中的位置坐标，根据所述位置坐标进行手眼标定，生成所述抓取信息。

2.如权利要求1所述的2D与3D视觉结合的拆垛方法，其特征在于，所述步骤2中，利用边缘检测算法，确定所述物体在所述2D图像中的边缘线，具体包括：

步骤21，计算所述高度分布图中每个独立区域的平均高度，选取所述平均高度最大的区域记作顶面区域，并计算所述顶面区域的最小外接矩形，根据所述最小外接矩形，确定所述2D图像中的扫描区域、以及所述扫描区域的左边线、上边线、右边线以及下边线，并将所述左边线记作所述物体的左边缘线，将所述上边线记作所述物体的上边缘线；

步骤22，将所述左边线和所述上边线的交点记作基准点，并沿所述扫描区域的宽度方向和高度方向构建横向搜索框和纵向搜索框；

步骤23，根据所述基准点和预设高度，确定第一起始点，并根据所述横向搜索框，搜索所述2D图像中横向像素点灰度值的第一个跳变点，记作待定纵向边缘点；

步骤24，根据所述基准点和预设宽度，确定第二起始点，并根据所述纵向搜索框，搜索所述2D图像中纵向像素点灰度值的第一个跳变点，记作待定横向边缘点；

步骤25，根据所述待定纵向边缘点和所述待定横向边缘点，采用最小二乘法，拟合生成纵向边缘直线和横向边缘直线，并将所述纵向边缘直线记作所述物体的右边缘线，将所述横向边缘直线记作所述物体的下边缘线。

3.如权利要求2所述的2D与3D视觉结合的拆垛方法，其特征在于，所述步骤3中，根据所述边缘线在所述2D图像中的位置关系，确定所述物体的中心坐标，具体包括：

步骤31，当判定拟合生成所述下边缘线和所述右边缘线时，根据所述右边缘线与所述下边缘线，确定所述物体的右下顶点；

步骤32，将所述基准点记作所述物体的左上顶点，并结合所述右下顶点，确定所述物体的对角线，选取所述对角线的中心，记作所述中心坐标。

4.如权利要求3所述的2D与3D视觉结合的拆垛方法，其特征在于，所述步骤3中，根据所述边缘线在所述2D图像中的位置关系，确定所述物体的中心坐标，具体还包括：

步骤33，当判定拟合生成所述下边缘线、但未拟合生成所述右边缘线时，将所述左边线与所述下边缘线的交点记作所述基准点，重新执行所述步骤22；

步骤34，当判定未拟合生成所述下边缘线、但拟合生成所述右边缘线时，将所述右边缘线与所述上边线的交点记作所述基准点，重新执行所述步骤22；

步骤35，当判定未拟合生成所述下边缘线和所述右边缘线时，重新执行所述步骤1。

5.如权利要求3所述的2D与3D视觉结合的拆垛方法，其特征在于，

所述步骤38中，所述判断所述纵向高度与所述高度均值的差值是否小于或等于预设阈值，还包括：若否，执行步骤311；

步骤311，判断所述下边缘线与所述下边线之间的距离是否小于或等于第一预设距离，若是，执行步骤312，若否，将所述左边线与所述下边缘线的交点记作所述基准点，重新执行所述步骤22；

步骤312，判断所述右边缘线与所述右边线之间的距离是否小于第二预设距离，若是，重新执行所述步骤1，若否，将所述右边缘线与所述上边线的交点记作所述基准点，重新执行所述步骤22；

所述步骤39中，所述判断所述中心坐标在所述扫描区域中相应位置处的计数数据是否为1，还包括：若否，执行所述步骤311。

6.如权利要求5所述的2D与3D视觉结合的拆垛方法，其特征在于，所述步骤3还包括：

生成所述抓取信息后，根据所述左上顶点和所述右下顶点，确定所述扫描区域中置零区域，根据所述置零区域，更新所述临时图像数据。

7.一种拆垛装置，所述拆垛装置设置有控制单元、抓取单元和图像获取单元，所述拆垛装置用于根据如权利要求1至6中任一项所述2D与3D视觉结合的拆垛方法，对堆垛进行拆垛作业。

Images