CN115582840A - 无边框钢板工件分拣抓取位姿计算方法、分拣方法及系统 - Google Patents

Abstract

本发明公开了一种无边框钢板工件分拣抓取位姿计算方法、分拣方法及系统，包括：获取去除钢板边框后的待分拣的工件的整体图像；获取钢板切割套料图；获取各工件在整体图像所在坐标系上的粗定位信息；获取去除钢板边框后的待分拣的工件的局部图像，计算得到整体图像所在坐标系到局部图像所在坐标系的第一转换矩阵；计算得到各工件在局部图像所在坐标系上的精定位信息；基于所述精定位信息及局部图像所在坐标系到机械臂所在坐标系的第二转换矩阵，计算得到机械臂对应各工件的抓取位姿。本发明填补了视觉引导的无边框钢板工件分拣的空白，能够实现无边框钢板工件自动化分拣，分拣效果好。

Description

无边框钢板工件分拣抓取位姿计算方法、分拣方法及系统

技术领域

本发明涉及自动分拣技术领域，特别涉及一种无边框钢板工件分拣抓取位姿计算方法、分拣方法及系统。

背景技术

传统的重工制造业，其生产模式属于典型的多品种小批量离散型制造，过程工艺复杂，智能化程度低。其中钢板切割下料分拣是重工生产线中重要一环，有着承上启下的关键作用，其生产效率影响下料后的实际加工生产，也能反馈影响上游的原材料加工及上料。当前智能制造的发展中，钢板分拣模块在保证设备的先进性和稳定性，工艺布局和工艺流程系统的合理性，工作效率的高效性，整体物流系统流畅性等方面一直是重点推动方向。

在现有相关技术中，大部分钢板分拣场景采用人工分拣或手动操作机械设备进行钢板分拣，部分采用自动化分拣设备的钢板分拣场景使用预先配置机器人轨迹进行分拣，无法准确区分工件和废料，分拣效率低，稳定性低，不够智能。

在少部分自动化产线分拣场景中，虽然已经可以实现对钢板工件进行智能化识别和抓取，但是由于受到目前切割机切割工艺的影响，工件与废料经常发生粘连，导致分拣过程中很容易出现工件分拣带框和拖散整个钢板的危险情况，需要人工及时干预和处理，无法实现真正无人化、自动化分拣。

为了保证产线的效率和实现真正的自动化分拣，行业典型厂家在钢板到达分拣区域前对钢板进行了去边框的处理工作，但去边框后的钢板工件散乱，且与废料混杂，相比于完整钢板分拣，视觉识别更为困难。

目前，尚无针对无边框钢板工件的工件分拣抓取位姿计算方法、视觉引导分拣方法及系统。

发明内容

本发明的目的在于，针对现有技术中无针对无边框钢板工件的工件分拣抓取位姿计算方法、视觉引导分拣方法及系统的不足，提供一种无边框钢板工件分拣抓取位姿计算方法、分拣方法及系统，填补了视觉引导的无边框钢板工件分拣的空白。

为解决上述技术问题，本发明所采用的技术方案是：

一种无边框钢板工件分拣抓取位姿计算方法，其特点是包括以下步骤：

步骤1，获取去除钢板边框后的待分拣的工件的整体图像；

步骤2，获取钢板切割套料图；

步骤3，基于所述整体图像和套料图，获取各工件在整体图像所在坐标系上的粗定位信息；

步骤4，获取去除钢板边框后的待分拣的工件的局部图像，计算得到整体图像所在坐标系到局部图像所在坐标系的第一转换矩阵；

步骤5，基于各工件在整体图像上的粗定位信息和所述第一转换矩阵，计算得到各工件在局部图像所在坐标系上的精定位信息；

步骤6，基于所述精定位信息及局部图像所在坐标系到机械臂所在坐标系的第二转换矩阵，计算得到机械臂对应各工件的抓取位姿。

作为一种优选方式，所述步骤3包括：

步骤301，沿套料图的长度和宽度方向计算套料图上各点的梯度幅值，筛选出梯度幅值大于设定阈值的点作为候选点；

步骤302，从候选点中采样获取m个特征点；

步骤303，针对各特征点，拓展获得多个子特征点，各特征点与对应的子特征点构成一模板特征点组；

步骤304，将各模版特征点组中的点与步骤1的整体图像进行滑窗匹配并计算图像相似度，计算每个滑窗位置处各模版特征点组中图像相似度计算结果最大的点；针对各滑窗位置，获得m个最大图像相似度计算结果，对该m个最大图像相似度计算结果取均值并将该均值作为对应滑窗位置的最终相似度；获得M个滑窗位置对应的M个最终相似度；

步骤305，找出M个最终相似度中的最大值，将该最大值对应的滑窗位置作为工件在整体图像所在坐标系上的粗定位位置。

作为一种优选方式，所述步骤301之前还包括：对套料图进行高斯模糊操作。

作为一种优选方式，所述步骤303中，所述针对各特征点，拓展获得多个子特征点包括：对每一个特征点，沿着梯度正负两个方向分别进行拓展，拓展获得多个子特征点。

作为一种优选方式，所述步骤1中，所述整体图像为预处理后的线扫深度图；所述预处理过程包括：对深度图进行多次中值滤波，获得平滑处理后的深度图；获取平滑处理后深度图的最大值和最小值，对平滑处理后的深度图进行0-255的像素数值归一化处理，获得归一化的灰度图像。

作为一种优选方式，所述步骤1中，所述整体图像中还包括与工件处于同一水平面上的标定板图像；

所述步骤4中，所述局部图像中还包括与工件处于同一水平面上的标定板图像；通过比较计算标定板上特征点在整体图像及局部图像间的关系，得到整体图像所在坐标系到局部图像所在坐标系的第一转换矩阵。

基于同一个发明构思，本发明还提供了一种无边框钢板工件分拣方法，其特点是包括：

利用所述的无边框钢板工件分拣抓取位姿计算方法计算获得机械臂对应各工件的抓取位姿；

基于所述抓取位姿对各工件执行分拣动作。

基于同一个发明构思，本发明还提供了一种无边框钢板工件分拣抓取位姿计算系统，其特点是包括：

第一图像采集模块：用于获取去除钢板边框后的待分拣的工件的整体图像；

获取模块：用于获取钢板切割套料图；

粗定位信息计算模块：用于基于所述整体图像和套料图，获取各工件在整体图像所在坐标系上的粗定位信息；

第二图像采集模块：用于获取去除钢板边框后的待分拣的工件的局部图像；

第一转换矩阵计算模块：用于基于整体图像和局部图像间的关系，计算得到整体图像所在坐标系到局部图像所在坐标系的第一转换矩阵；

精定位信息计算模块：用于基于各工件在整体图像上的粗定位信息和所述第一转换矩阵，计算得到各工件在局部图像所在坐标系上的精定位信息；

抓取位姿计算模块：用于基于所述精定位信息及局部图像所在坐标系到机械臂所在坐标系的第二转换矩阵，计算得到机械臂对应各工件的抓取位姿。

作为一种优选方式，第一图像采集模块包括至少一个3D线扫相机，第二图像采集模块包括2D面阵相机。

基于同一个发明构思，本发明还提供了一种无边框钢板工件分拣系统，其特点是包括机械臂和所述的无边框钢板工件分拣抓取位姿计算系统，所述机械臂基于所述抓取位姿对各工件执行分拣动作。

与现有技术相比，本发明具有以下有益效果：

（1）提供一种无边框钢板工件分拣抓取位姿计算方法、视觉引导的自动分拣方法及系统，填补了视觉引导的无边框钢板工件分拣的空白。

（2）采用了3D线扫相机粗定位与2D面阵相机精定位相结合的方式，灵活性好，精准度高，成本低廉，布设难度低，在行业内也是首次使用该布局进行无边框钢板工件自动化分拣，取得了较好的效果。

（3）本发明提出的改进的全局可形变模板匹配解决了钢板区域定位问题，为工件的准确定位抓取提供了保障。

（4）能够有效应对去完边框后工件位置散乱、托盘到位误差大、工件分拣智能化程度低等问题，为重工行业生产线的智能化改造提供了技术支撑。

附图说明

图1为本发明无边框钢板工件分拣抓取位姿计算方法一实施方式流程图。

图2为本发明2D面阵相机、机械臂、标定板设置位置图。

图3为本发明无边框钢板工件分拣系统一实施例结构示意图。

图4为图3中3D线扫相机的布局图。

图5为3D线扫相机预处理后的图像示例。

图6为套料图模版图像示例。

其中，1为3D线扫相机，2为2D面阵相机，3为机械臂，4为标定板。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明主要针对重工行业中钢板切割完去边框后的自动下料分拣技术问题，该场景可以表述如下：给定一个块钢板，经过切割机自动切割之后会生成得到各种不同的工件，所有工件在去边框之前都保持在钢板中。经过边框去除步骤后，工件位置会发生变化，相对位置关系也随之改变。那么，在已知钢板切割的套料图的条件下，需要利用视觉算法在分拣区对去边框后钢板上的所有工件进行定位与识别，然后引导机器人/机械臂进行准确抓取。

本发明要解决的技术问题就是如何利用视觉算法完成对钢板去边框后工件的精准定位与识别。在获取每个工件的精准定位的情况下，本发明可以实现对整个钢板自动下料分拣的功能，从而以机器替换人完成对该流水线的智能化改造。

如图1所示，本发明实施例的第一方面提供了一种无边框钢板工件分拣抓取位姿计算方法，包括以下步骤：

步骤1，获取去除钢板边框后的待分拣的工件的整体图像；其中，整体图像可选但不仅限于为采用3D线扫相机采集的图像数据。

步骤2，获取钢板切割套料图。

钢板切割套料图可选但不限于来自于钢板CAD图解析。

钢板切割套料图是钢板切割规划的依据，目前重工行业广泛应用的套料数据格式是CAD软件中的DWG或者DXF文件，工程人员能够将各种套料在钢板上的零件设计在DWG或者DXF文件中。

本发明的一些实施例中，通过获取与原始DWG文件中钢板套料数据对应的1:1比例大小的图片，并将各种钢板上的不同工件编码绘制成不同颜色，以作为钢板切割套料图，以供后续计算用。

步骤3，基于整体图像和套料图，获取各工件在整体图像所在坐标系上的粗定位信息。

步骤4，获取去除钢板边框后的待分拣的工件的局部图像，计算得到整体图像所在坐标系到局部图像所在坐标系的第一转换矩阵；其中，局部图像采用2D面阵相机采集数据。

步骤5，基于各工件在整体图像上的粗定位信息和所述第一转换矩阵，计算得到各工件在局部图像所在坐标系上的精定位信息。

步骤5具体实现方法为：利用第一转换矩阵将各个工件在整体图像上的粗定位信息转换到局部图像所在坐标系中，从而将各个工件转换到2D面阵相机视野下。然后，对转换到2D面阵相机视野下的各个工件逐一与套料图进行模板匹配，计算得到各个工件在2D面阵相机采集的局部图像所在坐标系上的精定位信息。

步骤6，基于所述精定位信息及局部图像所在坐标系到机械臂所在坐标系的第二转换矩阵，计算得到机械臂对应各工件的抓取位姿。

虽然步骤5已采用采用模板匹配等方式计算出了各个工件在2D面阵相机对应图像坐标系上的精定位信息，即获取了各工件在2D图像中对应的抓取点。但此时各工件的抓取点位置是在图像像素上，因此需要进一步将图像像素位置转换到机器人/机械臂所在坐标系下，以便实现机械臂的准确抓取。步骤6的一种具体实施方式在后文结合图2给出。

在一些实施例中，所述步骤3包括：

步骤301，沿套料图的长度和宽度方向计算套料图上各点的梯度幅值，筛选出梯度幅值大于设定阈值的点作为候选点。

步骤302，从候选点中采样获取m个特征点。

步骤303，针对各特征点，拓展获得多个子特征点，各特征点与对应的子特征点构成一模板特征点组。

步骤304，将各模版特征点组中的点与步骤1的整体图像进行滑窗匹配并计算图像相似度，计算每个滑窗位置处各模版特征点组中图像相似度计算结果最大的点；针对各滑窗位置，获得m个最大图像相似度计算结果，对该m个最大图像相似度计算结果取均值并将该均值作为对应滑窗位置的最终相似度；获得M个滑窗位置对应的M个最终相似度。

步骤305，找出M个最终相似度中的最大值，将该最大值对应的滑窗位置作为工件在整体图像所在坐标系上的粗定位位置信息。

在一些实施例中，所述步骤301之前还包括：对套料图进行高斯模糊操作。

在一些实施例中，所述步骤303中，所述针对各特征点，拓展获得多个子特征点包括：对每一个特征点，沿着梯度正负两个方向分别进行拓展，拓展获得多个子特征点。

在一些实施例中，所述步骤1中，所述整体图像为线扫深度图；所述预处理过程包括：对深度图进行多次中值滤波，获得平滑处理后的深度图；获取平滑处理后深度图的最大值和最小值，对平滑处理后的深度图进行0-255的像素数值归一化处理，获得归一化的灰度图像。

在一些实施例中，所述步骤1中，所述整体图像中还包括与工件处于同一水平面上的标定板图像；

所述步骤4中，所述局部图像中还包括与工件处于同一水平面上的标定板图像；通过比较计算标定板上特征点在整体图像及局部图像间的关系，得到整体图像所在坐标系到局部图像所在坐标系的第一转换矩阵。

当采用标定板来获取第一转换矩阵时，步骤6中，机械臂对应各工件的抓取位姿获取过程包括：

首先，将2D面阵相机2与机械臂3所在坐标系进行标定：找一个标定机位，2D面阵相机2可选地固定在机械臂3的支架上，将机械臂3连同2D面阵相机2移动到标定机位（标定机位处机械臂3所处的坐标记为

），如图2所示。

然后，利用机械臂3物理走点，获取2D面阵相机2视野下的标定板4上所有特征点在机械臂3所在坐标系下的位置

。同时，通过视觉算法计算当前2D面阵相机2获取的图像中标定板4上所有特征点在2D面阵相机2所在坐标系下的位置

。

最后，通过

和

的对应关系，计算得到标定机位处2D面阵相机2转换到机械臂3所在坐标系的XY平面的转换矩阵第二转换矩阵

。其中，

即为标定完后得到的标定矩阵，其作用于步骤5已获取的抓取点对应的图像像素位置，可将抓取点转换到机械臂3所在坐标系下，获得机械臂3对应各工件的抓取位姿。

图2中，A1表示各工件所在区域，A2表示标定机位处2D面阵相机2的视野范围。

基于同一个发明构思，本发明实施例的第二方面提供了一种无边框钢板工件分拣方法，其包括：

利用所述的无边框钢板工件分拣抓取位姿计算方法计算获得机械臂对应各工件的抓取位姿；

基于所述抓取位姿对各工件执行分拣动作。

基于同一个发明构思，本发明实施例的第三方面提供了一种无边框钢板工件分拣抓取位姿计算系统，其包括：

第一图像采集模块：用于获取去除钢板边框后的待分拣的工件的整体图像；

获取模块：用于获取钢板切割套料图；

粗定位信息计算模块：用于基于整体图像和套料图，获取各工件在整体图像所在坐标系上的粗定位信息；

第二图像采集模块：用于获取去除钢板边框后的待分拣的工件的局部图像；

第一转换矩阵计算模块：用于基于整体图像和局部图像间的关系，计算得到整体图像所在坐标系到局部图像所在坐标系的第一转换矩阵；

精定位信息计算模块：用于基于各工件在整体图像上的粗定位信息和所述第一转换矩阵，计算得到各工件在局部图像所在坐标系上的精定位信息；

抓取位姿计算模块：用于基于所述精定位信息及局部图像所在坐标系到机械臂所在坐标系的第二转换矩阵，计算得到机械臂对应各工件的抓取位姿。

在一些实施例中，第一图像采集模块包括至少一个3D线扫相机，第二图像采集模块包括2D面阵相机。

在一些实施例中，无边框钢板工件分拣抓取位姿计算系统还包括用于对整体图像进行预处理的预处理模块，其中，第一图像采集模块获取的整体图像为经过预处理模块预处理后的线扫深度图。

基于同一个发明构思，本发明实施例的第四方面提供了一种无边框钢板工件分拣系统，其包括机械臂和所述的无边框钢板工件分拣抓取位姿计算系统，所述机械臂基于所述抓取位姿对各工件执行分拣动作。

实际钢板切割完去边框后，一般采用托盘或者格栅运送工件到分拣区域，工件背景比较嘈杂，对识别影响比较大。另外，钢板长度变化范围从6米到12米之间，宽度变化范围从2米到2.5m之间，普通相机无法直接覆盖这么大视野区域。因此，本发明整体上采用3D线扫相机做钢板工件粗定位，2D面阵相机做工件的局部精定位以及抓取位姿计算。

3D线扫相机通过PLC和编码器控制触发，可以采集非常大范围的钢板数据，很适合该场景需求，但由于托盘到位精度存在较大偏差，直接通过线扫数据计算工件位姿难以保证精度，因此，又加入2D面阵相机局部精定位模块，用来弥补线扫数据存在的精度问题。在3D线扫相机方面，采用拼接两台LMI的3D线扫相机（单个LMI相机的视野宽度不到1.8米）方式进行钢板数据采集，拼接两台3D线扫相机可在宽度上让视野达到3米，满足所有钢板的扫描需求。在2D面阵相机方面，选择可覆盖宽度视野2.5米的镜头即可。

包括两台3D线扫相机1和一台2D面阵相机2的无边框钢板工件分拣系统的一实施例结构如图3所示。

无边框钢板工件分拣系统工作过程如下：

1、3D线扫相机数据采集及数据预处理

3D线扫相机采集数据要求相机与被测物体相对移动，并且严格通过移动距离触发线扫频率获取准确数据。为保证数据准确度，在托盘进入分拣区域前，安装3D线扫工位和感应托盘的激光触发器，一旦感应到托盘，则立即触发3D线扫相机进行数据采集。托盘的运动通过高精度的编码器记录速度和移动距离，控制3D线扫相机的扫描帧率。整个3D线扫相机数据采集布局图如图4所示。本实施例中，两台3D线扫相机1固定不动，工件沿钢板长度方向均速移动。激光触发器用于托盘到位触发3D线扫工作，其在附图中未示出，但并不影响本领域的技术人员对本发明的理解和实现。

3D线扫数据采集完后，能够获取到结构化的三维点云，可解析成表示点云坐标的x、y、z三个通道的图像数据，图像上每个像素的值分别表示该像素对应点的某一维度坐标值。本发明主要应用z通道数据，即线扫深度图进行后续步骤处理。深度图存在大量噪声点干扰，为了保证后续图像的匹配定位处理，对数据预处理的步骤如下：

（1）深度图受线扫噪声影响，存在大量跳跃的深度值，首先对深度图进行多次中值滤波，去除变化比较大的值，得到平滑后的深度图。

（2）获取深度图的最大和最小值，然后进行0-255的像素数值归一化处理，得到归一化的灰度图像，如图5所示。

2、基于套料图的全局可形变模板匹配

在计算得到归一化的灰度图像后，可以看到，图像中工件与背景的区别也较为明显。

套料图模版图像示例如图6所示。对比发现归一化的灰度图像的特点如下：

去边框后的钢板整体形状上与套料图大体类似，特别是大尺寸工件，位置变动较小，而局部区域小尺寸零件变化相对较大。这表明，可通过整体套料图模板匹配的方式对钢板位置进行粗略定位。而传统的模板匹配会硬性约束特征点在模板中的位置，而去边框后的钢板工件位置存在一些变化，简单运用传统的模板匹配算法会导致匹配效果较差。

因此，本发明提出改进的可形变模板匹配方式，具体方式为：

（1）对模板图进行高斯模糊操作，达到去噪和平滑的效果，然后沿图像x和y方向（套料图的长度和宽度方向）计算套料图上各点的梯度幅值，筛选出梯度幅值大于设定阈值的点作为候选点。

（2）在候选点中按照设定的距离进行等距离采样，采样获取m个特征点。

（3）对每一个特征点，沿着梯度正负两个方向分别进行拓展，延展出更多子特征点，该特征点与其拓展的子特征点为一组，构成一模板特征点组，匹配时候选择组内最大匹配相似度的特征点来计算。

（4）将各模版特征点组中的点与步骤1的整体图像进行滑窗匹配并计算图像相似度，计算每个滑窗位置处各模版特征点组中图像相似度计算结果最大的点；针对各滑窗位置，获得m个最大图像相似度计算结果，对该m个最大图像相似度计算结果取均值并将该均值作为对应滑窗位置的最终相似度；获得M个滑窗位置对应的M个最终相似度

（5）找出M个最终相似度中的最大值，将该最大值对应的滑窗位置作为工件在整体图像所在坐标系上的粗定位位置信息，得到匹配的最佳位置和角度。

本发明通过基于套料图的全局可形变模板匹配，能够计算得到去边框钢板工件在线扫图像中的大致位置，为后续工件精定位提供计算依据。

需要说明的是，本发明中，可以采用现有常规方式获取工件在整体图像所在坐标系上的粗定位信息。同时，还可以采取本发明的可形变模板匹配方式获得工件在整体图像所在坐标系上的定位信息（粗定位信息）。

3、线扫图像与2D面阵相机标定

3D线扫图像覆盖范围较广，能够提供钢板的所有信息，但实际中受托盘到分拣区位置误差的影响，直接通过线扫图像与机械臂的标定转换难以保证抓取的精度。

去完边框的钢板工件可认为在一个分拣平面上，因此，在分拣区域，本发明在分拣区域采用了一台2D相机对钢板到位位置进行精细调整，同时对2D图像视野内的工件进行局部精定位。

为保证后续步骤进行，首先需要对线扫图像与2D面阵相机进行标定，以此来获取2D面阵相机对应线扫图像中的区域关系。

具体标定方式如下：（1）将一块marker板（标定板）放在托盘上，经过3D线扫相机获取得到线扫的纹理图；（2）等托盘停靠在分拣区域后，用2D面阵相机对托盘上的marker板进行拍照采集图像；（3）分别计算线扫纹理图与2D面阵相机图像中marker板上的特征点所在像素，然后通过Pnp算法计算两个图像像素之间的对应关系，得到线扫纹理图到2D面阵相机图像的像素坐标的第一转换矩阵。

4、2D图像中工件局部精定位

经过上述步骤，已经获取到钢板工件在线扫图像中的大致位置，且将线扫图像与2D面阵相机图像进行关联。因此，能够获取到当前2D面阵相机视野下工件的大致情况以及对应区域的套料图模板信息。利用对应区域的套料图信息对2D面阵相机视野下可能出现的工件逐一进行模板匹配，计算得到工件在2D面阵相机图像中的精细位置。

5、工件抓取位姿计算

将2D面阵相机与机械臂进行标定，得到2D图像像素与机械臂抓取坐标平面的转换关系，根据工件在2D面阵相机图像中的精定位像素位置进行坐标转换，最终得到机械臂的精准抓取位姿。

6、基于所述抓取位姿对各工件执行分拣动作

本发明提出的视觉引导的无边框钢板分拣方法灵活性好，精准度高，成本低廉，布设难度低。相比于以往的自动化产线，成本可降低50%，抓取成功率提高两倍以上，将对重工钢板环节产生革命性影响，大大推动钢板自动下料分拣产线的智能化无人化改造升级。

上述第一图像采集模块、预处理模块、获取模块、粗定位信息计算模块、第二图像采集模块、第一转换矩阵计算模块、精定位信息计算模块、抓取位姿计算模块用于实现上述无边框钢板工件分拣抓取位姿计算方法。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的方法和系统，可以通过其它的方式实现。例如，以上所描述的方法和系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种无边框钢板工件分拣抓取位姿计算方法，其特征在于，包括以下步骤：

步骤1，获取去除钢板边框后的待分拣的工件的整体图像；

步骤2，获取钢板切割套料图；

步骤3，基于所述整体图像和套料图，获取各工件在整体图像所在坐标系上的粗定位信息；

步骤4，获取去除钢板边框后的待分拣的工件的局部图像，计算得到整体图像所在坐标系到局部图像所在坐标系的第一转换矩阵；

步骤5，基于各工件在整体图像上的粗定位信息和所述第一转换矩阵，计算得到各工件在局部图像所在坐标系上的精定位信息；

步骤6，基于所述精定位信息及局部图像所在坐标系到机械臂所在坐标系的第二转换矩阵，计算得到机械臂对应各工件的抓取位姿。

2.根据权利要求1所述的无边框钢板工件分拣抓取位姿计算方法，其特征在于，所述步骤3包括：

步骤301，沿套料图的长度和宽度方向计算套料图上各点的梯度幅值，筛选出梯度幅值大于设定阈值的点作为候选点；

步骤302，从候选点中采样获取m个特征点；

步骤303，针对各特征点，拓展获得多个子特征点，各特征点与对应的子特征点构成一模板特征点组；

步骤304，将各模版特征点组中的点与步骤1的整体图像进行滑窗匹配并计算图像相似度，计算每个滑窗位置处各模版特征点组中图像相似度计算结果最大的点；针对各滑窗位置，获得m个最大图像相似度计算结果，对该m个最大图像相似度计算结果取均值并将该均值作为对应滑窗位置的最终相似度；获得M个滑窗位置对应的M个最终相似度；

步骤305，找出M个最终相似度中的最大值，将该最大值对应的滑窗位置作为工件在整体图像所在坐标系上的粗定位位置。

3.根据权利要求2所述的无边框钢板工件分拣抓取位姿计算方法，其特征在于，所述步骤301之前还包括：对套料图进行高斯模糊操作。

4.根据权利要求2所述的无边框钢板工件分拣抓取位姿计算方法，其特征在于，所述步骤303中，所述针对各特征点，拓展获得多个子特征点包括：对每一个特征点，沿着梯度正负两个方向分别进行拓展，拓展获得多个子特征点。

5.根据权利要求1至4任一项所述的无边框钢板工件分拣抓取位姿计算方法，其特征在于，所述步骤1中，所述整体图像为预处理后的线扫深度图；所述预处理过程包括：对深度图进行多次中值滤波，获得平滑处理后的深度图；获取平滑处理后深度图的最大值和最小值，对平滑处理后的深度图进行0-255的像素数值归一化处理，获得归一化的灰度图像。

6.根据权利要求1至4任一项所述的无边框钢板工件分拣抓取位姿计算方法，其特征在于，所述步骤1中，所述整体图像中还包括与工件处于同一水平面上的标定板图像；

所述步骤4中，所述局部图像中还包括与工件处于同一水平面上的标定板图像；通过比较计算标定板上特征点在整体图像及局部图像间的关系，得到整体图像所在坐标系到局部图像所在坐标系的第一转换矩阵。

7.一种无边框钢板工件分拣方法，其特征在于，包括：

利用如权利要求1至6任一项所述的无边框钢板工件分拣抓取位姿计算方法计算获得机械臂对应各工件的抓取位姿；

基于所述抓取位姿对各工件执行分拣动作。

8.一种无边框钢板工件分拣抓取位姿计算系统，其特征在于，包括：

第一图像采集模块：用于获取去除钢板边框后的待分拣的工件的整体图像；

获取模块：用于获取钢板切割套料图；

粗定位信息计算模块：用于基于所述整体图像和套料图，获取各工件在整体图像所在坐标系上的粗定位信息；

第二图像采集模块：用于获取去除钢板边框后的待分拣的工件的局部图像；

第一转换矩阵计算模块：用于基于整体图像和局部图像间的关系，计算得到整体图像所在坐标系到局部图像所在坐标系的第一转换矩阵；

精定位信息计算模块：用于基于各工件在整体图像上的粗定位信息和所述第一转换矩阵，计算得到各工件在局部图像所在坐标系上的精定位信息；

抓取位姿计算模块：用于基于所述精定位信息及局部图像所在坐标系到机械臂所在坐标系的第二转换矩阵，计算得到机械臂对应各工件的抓取位姿。

9.根据权利要求8所述的无边框钢板工件分拣抓取位姿计算系统，其特征在于，第一图像采集模块包括至少一个3D线扫相机，第二图像采集模块包括2D面阵相机。

10.一种无边框钢板工件分拣系统，其特征在于，包括机械臂和如权利要求8或9所述的无边框钢板工件分拣抓取位姿计算系统；所述机械臂基于所述抓取位姿对各工件执行分拣动作。

Images