CN209342062U

CN209342062U - 3d视觉引导拆垛测量系统

Info

Publication number: CN209342062U
Application number: CN201821886565.4U
Authority: CN
Inventors: 高书征; 王宁宁; 陈春朋; 林森
Original assignee: Qingdao Xusheng Vision Co Ltd
Current assignee: Qingdao Xusheng Vision Co Ltd
Priority date: 2018-11-15
Filing date: 2018-11-15
Publication date: 2019-09-03
Anticipated expiration: 2028-11-15

Abstract

本实用新型公开了一种3D视觉引导拆垛测量系统。3D视觉引导拆垛测量系统，包括：图像采集模块，用于采集待拆垛的图像信息以获取待拆垛中工件的长宽信息和抓取坐标；机器人，用于根据抓取坐标来分拆待拆垛上的工件；高度测量模块，用于对所述机器人抓取的工件进行高度测量以获得工件的高度信息。实现3D视觉引导拆垛测量系统能够自动测量工件的高度，以提高拆垛信息的准确性和时效性，满足不同高度尺寸工件的拆垛要求，以扩宽使用范围。

Description

3D视觉引导拆垛测量系统

技术领域

本实用新型涉及制冷设备，尤其涉及一种3D视觉引导拆垛测量系统。

背景技术

3D视觉引导拆垛系统是由传统的激光三角法原理组成的相机完成与被测物的相对运动获取物体的三维数据或者利用结构光原理静止拍摄物体通过解编码方式获取物体的三维数据，经过相机标定获得相机的内外参，将数据从图像坐标系转换到相机坐标系下，并通过手眼标定关系将工件的三维信息由相机坐标系转换到机器人坐标系下，对机器人坐标系下的三维数据选取模板，然后与模板进行匹配的算法处理获得工件的抓取坐标，通信方式传送给机器人，从而达到引导机器人进行拆垛的目的。该系统在工件上下料、物流仓储等领域有非常广泛的应用。目前，现有技术中的3D视觉引导拆垛测量系统，只能将工件从垛形上抓起，然后将工件放置到另一个工位(输送带或码垛工位处)，但是，在实际使用过程中，由于工件的高度尺寸存在差异性，无法获取工件的高度信息，针对高度尺寸不同的工件进行拆垛时，也无法完整给出被拆工件的外形尺寸，导致拆垛信息的准确性和时效性较差，在现实应用中有很大的局限性，使用范围受限制。如何设计一种能够自动测量工件的高度尺寸，以提高拆垛的信息的准确性和时效性并扩大使用范围的拆垛测量系统是本实用新型所要解决的技术问题。

实用新型内容

本实用新型提供了一种3D视觉引导拆垛测量系统，实现3D视觉引导拆垛测量系统能够自动测量工件的高度，以提高拆垛信息的准确性和时效性，满足不同高度尺寸工件的拆垛要求，以扩宽使用范围。

为达到上述技术目的，本实用新型采用以下技术方案实现：

一种3D视觉引导拆垛测量系统，包括：

图像采集模块，用于采集待拆垛的图像信息以获取待拆垛中工件的长宽信息和抓取坐标；

机器人，用于根据抓取坐标来分拆待拆垛上的工件；

高度测量模块，用于对所述机器人抓取的工件进行高度测量以获得工件的高度信息。

进一步的，所述高度测量模块为点激光测距仪或声纳测距仪，所述高度测量模块设置在所述机器人的一侧并从抓取的工件的下方进行高度测量。

进一步的，所述高度测量模块为线激光传感器或结构光传感器，所述高度测量模块设置在所述机器人的一侧并从抓取的工件的侧方进行高度测量。

进一步的，所述图像采集模块安装在所述机器人的机器人臂上。

进一步的，所述3D视觉引导拆垛测量系统还包括支撑架，所述支撑架的顶部安装所述图像采集模块。

进一步的，所述支撑架的顶部还设置有电动滑台，所述图像采集模块安装在所述电动滑台上。

进一步的，所述图像采集模块为线激光相机、结构光相机或多目相机。

与现有技术相比，本实用新型的优点和积极效果是：通过增加高度测量模块，使得机器人在抓取工件移动过程中，通过高度测量模块可以对工件的高度位置进行检测，根据检测的高度值进行计算便可以获得对应工件自身的高度信息，这样，所抓取工件的长宽高信息便可以准确的获取，能够针对不同高度的工件由机器人调整释放工件的高度位置，以满足不同规格尺寸垛型的拆垛要求，实现3D视觉引导拆垛测量系统能够自动测量工件的高度，以提高拆垛信息的准确性和时效性，满足不同高度尺寸工件的拆垛要求，以扩宽使用范围。

附图说明

为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本实用新型3D视觉引导拆垛测量系统实施例的结构原理图。

具体实施方式

为使本实用新型实施例的目的、技术方案和优点更加清楚，下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

如图1所示，本实施例3D视觉引导拆垛测量系统，包括：

图像采集模块1，用于采集待拆垛的图像信息以获取待拆垛中工件的长宽信息和抓取坐标；

机器人2，用于根据抓取坐标来分拆待拆垛上的工件100；

高度测量模块3，用于对所述机器人2抓取的工件100进行高度测量以获得工件的高度信息。

具体而言，本实施例3D视觉引导拆垛测量系统通过图像采集模块1对码垛成型的工件进行垛型图像的采集处理后，便可以计算得出位于最上层的各个工件的抓取坐标，其中，抓取坐标的获取方式可以采用现有技术中3D视觉图像处理技术(例如：中国专利申请号201610676653.0和201710662010.5中公开的有关图像处理的技术)，在此不做限制。其中，机器人通过机器人臂抓取工件100在移动过程中，机器人臂将工件100移动到高度测量模块3处，通过高度测量模块3对工件100所在的高度进行测量，便可以计算出工件100的高度尺寸，这样，便可以获取该工件100对应的长宽高信息。其中，高度测量模块3的表现实体有多种方式，相对应的，针对不同的表现实体，测量高度的方式也不同，例如：高度测量模块3为点激光测距仪或声纳测距仪，所述高度测量模块3设置在所述机器人2的一侧并从抓取的工件的下方进行高度测量；或者，高度测量模块3为线激光传感器或结构光传感器，所述高度测量模块3设置在所述机器人2的一侧并从抓取的工件的侧方进行高度测量。

进一步的，为了更好的采集垛型的图形信息，图像采集模块1安装方式有多种形式，例如：图像采集模块1安装在所述机器人2的机器人臂上，在实际使用过程中，机器人2在进行拆垛过程中，机器人臂带动图形采集模块1在垛型上方移动进行扫描以获取最上层工件的图像信息，即利用机器人2实现图像采集模块1动态拍摄图像。或者，本实施例3D视觉引导拆垛测量系统还包括支撑架11，所述支撑架11的顶部安装所述图像采集模块1，图像采集模块1将位于垛型的顶部位置，实现图像采集模块1静态拍摄图像；而支撑架11的顶部还设置有电动滑台，所述图像采集模块1安装在所述电动滑台上，即利用电动滑台实现图像采集模块1动态拍摄图像。其中，针对图像采集模块1具体表现实体，可以采用线激光相机、结构光相机或多目相机等图像采集设备。

本实用新型还提供一种上述3D视觉引导拆垛测量系统的控制方法，包括：

步骤1、通过图像采集模块采集待拆垛的图像信息，并根据采集到的图像信息计算获取抓取坐标。具体的，在进行拆垛过程中，图像采集模块基于结构光与双目视觉的三维重构原理，获取整体垛型的三维点云信息，并根据三维点云信息进行数据处理最终计算获得工件的抓取坐标。以抓取的工件为箱子为例进行说明。

步骤1具体包括：

步骤11、根据采集到的图像信息，获取X方向的分量图像imageX、Y方向的分量图像imageY、Z方向的分量图像imageZ。具体的，根据图像采集模块获取的三维点云信息有m行*n列像素点，每个像素点用一个结构体保存，结构体包括像素的灰度(Byte)及该点的x值，y值，z值，分别创建三幅m*n大小的图像imageX，imageY，imageZ，取每点的x，y，z三个值赋值，完成3幅图像的分量投影。

步骤12、计算离图像采集模块最近的工件的高度值，以此高度值为基准筛选最上层的工件，并根据工件的外形信息进行匹配识别完成形状分割，以获取工件的轮廓形态信息。具体的，针对最高一层的箱子，对Z分量图像做处理：已知相机安装高度，根据此高度对应数值设置一个范围，根据箱子面积范围筛选掉噪声区域；计算离图像采集模块最近的高度值，以此高度值为基准筛选最上层的工件，并根据工件的外形信息进行匹配识别完成形状分割，对分割好的区域做角点提取以获得角点信息，根据形状和角点信息提取出工件的轮廓形态信息。

步骤13、根据所提取的轮廓形态信息获取各个工件中心的X方向坐标Px、Y方向坐标Py、Z方向坐标Pz。具体的，根据步骤12所提取的箱子的轮廓形态信息，判断轮廓形态信息是否是凸多边形，如果是则提取其在图像采集模块的坐标系下纸箱的中心X方向坐标Px，Y方向坐标Py，Z方向坐标Pz；如果不是凸多边形，则选出当前区域，分别取该区域所有像素点的x、y、z值，组成三维点云图像，使用PCL超体聚类点云分割，分割出所有箱子，获取分割完成后所有箱子在图像采集模块的坐标系下的中心X方向坐标Px，Y方向坐标Py，Z方向坐标Pz。进一步的，所述步骤13具体为：根据步骤12获得的工件的角点信息，获取该工件所在区域的中心像素点的X方向坐标Cx、Y方向坐标Cy、Z方向坐标Cz；分别取Cx、Cy处imageX的值为工件的中心X方向坐标Px；分别取Cx，Cy处imageY的值为工件的中心Y方向坐标Py；分别取Cx，Cy处imageZ的值为工件的中心Z方向坐标Pz。

步骤14、根据公式获得机器人的抓取工件的抓取坐标Qx、Qy、Qz。具体的，拆垛前，采用经典标定方法对图像采集模块进行标定，即在图像采集模块下摆放4个高度不一的圆形物体，拍照获得四个圆形物体的三维点云信息，利用步骤11-13获取图像采集模块坐标系下圆形物体中心X方向坐标Px，中心Y方向坐标Py，中心Z方向坐标Pz，机器人指向四个圆形物体的中心，获得机器人坐标系下中心X方向坐标Qx，Y方向坐标Qy，Z方向坐标Qz；分别根据四个圆形物体中心点的机器人坐标值和图像采集模块坐标值，利用下旋转矩阵公式计算出圆形物体绕X轴的旋转角度R₀₀，绕Y轴的旋转角度R₀₁，绕Z轴的旋转角度R₀₂得到X方向的旋转，Y方向绕X轴的旋转角度R₁₀，向绕Y轴的旋转角度R₁₁，绕Z轴的旋转角度R₁₂得到Y方向的旋转，Z方向绕X轴的旋转角度R₂₀，绕Y轴的旋转角度R₂₁，绕Z轴的旋转角度R₂₂得到Z方向的旋转，X方向的平移量Tx，Y方向的平移量Ty，Z方向的平移量Tz。

步骤2、根据抓取坐标，机器人的机器人臂抓取待拆垛中的对应工件；

步骤3、机器人抓取工件移动过程中，先移动到高度测量模块处对工件进行测量以获取工件的高度信息后，再将工件移动投放到设定位置。具体的，机器人抓取一个箱子移动到高度测量模块位置，得到当前高度数据，由于机器人的机械手臂与高度测量模块的高度是基准高度值，则减去基准高度值，便可以计算得到箱子的高度信息，每个箱子的高度信息连同长度和宽度信息便可以准确的得到，并将长宽高信息发送给控制器进行存储和使用。

步骤4、重复步骤3直至当前层的工件全部抓取完毕后，再执行步骤1。

最后应说明的是：以上实施例仅用以说明本实用新型的技术方案，而非对其限制；尽管参照前述实施例对本实用新型进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本实用新型个实施例技术方案的精神和范围。

Claims

1.一种3D视觉引导拆垛测量系统，其特征在于，包括：

机器人，用于根据抓取坐标来分拆待拆垛上的工件；

高度测量模块，用于对所述机器人抓取的工件进行高度测量以获得工件的高度信息；

所述高度测量模块设置在所述机器人的一侧，所述机器人臂将工件移动到所述高度测量模块处，通过所述高度测量模块对工件所在的高度进行测量以计算出工件的高度尺寸。

2.根据权利要求1所述的3D视觉引导拆垛测量系统，其特征在于，所述高度测量模块为点激光测距仪或声纳测距仪，所述高度测量模块从抓取的工件的下方进行高度测量。

3.根据权利要求1所述的3D视觉引导拆垛测量系统，其特征在于，所述高度测量模块为线激光传感器或结构光传感器，所述高度测量模块从抓取的工件的侧方进行高度测量。

4.根据权利要求1所述的3D视觉引导拆垛测量系统，其特征在于，所述图像采集模块安装在所述机器人的机器人臂上。

5.根据权利要求1所述的3D视觉引导拆垛测量系统，其特征在于，所述3D视觉引导拆垛测量系统还包括支撑架，所述支撑架的顶部安装所述图像采集模块。

6.根据权利要求5所述的3D视觉引导拆垛测量系统，其特征在于，所述支撑架的顶部还设置有电动滑台，所述图像采集模块安装在所述电动滑台上。

7.根据权利要求5所述的3D视觉引导拆垛测量系统，其特征在于，所述图像采集模块为线激光相机、结构光相机或多目相机。