CN116433761A - 垛式工件坐标定位方法、装置及介质 - Google Patents

Abstract

本发明属于工件图像处理及识别技术领域，具体地涉及一种垛式工件坐标定位方法、装置及介质，所述垛式工件坐标定位方法包括：获取工件垛的原始图像并确定工件垛上的工件数量是否为单块；当工件数量为单块时，将原始图像转换为灰度图，并通过梯度检测算法检测出单块工件的工件角点坐标；当工件数量为非单块时，将原始图像输入至训练好的工件特征提取模型中，以获得图像中顶层工件的角点角线集，并通过坐标变换计算出工件角点坐标；本申请所提供的工件坐标定位方法可以对垛式工件进行识别，节约成本和工艺步骤，便于工人根据顶层工件的角点坐标调整夹具吸附工件的位置，进而保证每块工件搬运至加工位上的位置相同。

Description

垛式工件坐标定位方法、装置及介质

技术领域

本发明涉及工件图像处理及识别技术领域，具体地涉及一种垛式工件坐标定位方法、装置及介质。

背景技术

以往的工件定位，往往将工件单块置放在流水线上，工件随着流水线移动，同时在流水线顶部设置图像采集设备获取工件图像进行定位后抓取或者吸附进行下一步加工。但是工件的供应商为方便运输，往往是采用多层堆叠式（即垛式）的供应，加工厂商需要采用人工将堆叠的工件依次置放在流水线上，在此过程中费时费力且容易造成工件待加工前受损。

由于工件垛上摆放的每块工件位置会有一定误差，无法确保其边缘完全对齐，由此在定位时下层的工件会产生背景干扰。

发明内容

为了解决以上问题，本发明提供一种垛式工件坐标定位方法、装置及介质。

本发明为解决上述技术问题，提供一种垛式工件坐标定位方法，所述垛式工件坐标定位方法包括：获取工件垛的原始图像并确定工件垛上的工件数量是否为单块；当工件数量为单块时，将原始图像转换为灰度图，并通过梯度检测算法检测出单块工件的工件角点坐标；当工件数量为非单块时，将原始图像输入至训练好的工件特征提取模型中，以获得图像中顶层工件的角点角线集，并通过坐标变换计算出工件角点坐标。

在本发明的实施例中，在通过梯度检测算法检测出单层工件的工件角点的步骤中，进一步包括：通过梯度算子计算出灰度图中一阶梯度最大处，以检测出位于图像内有边缘特征的位置；通过拉普拉斯算子计算出有边缘特征位置的二阶梯度为零处，以检测出边缘特征区域的拐点，并确定该拐点为工件角点。

在本发明的实施例中，在将原始图像输入至训练好的工件特征提取模型中，以获得图像中顶层工件的角点角线集，并通过坐标变换计算出工件角点坐标的步骤中，进一步包括：通过连通域分割算法提取出原始图像中的精细连通域掩码图；通过凸包算法在精细连通域掩码图中求解出连通域轮廓线；通过蒙特卡洛方法估算精细连通域掩码图和连通域轮廓线的重叠面积，以获得紧贴连通域的轮廓线集；对紧贴连通域的轮廓线集进行简并处理，并对处理后的轮廓线进行取对计算出轮廓线的角点角线集；通过蒙特卡洛方法估算精细连通域掩码图和角点角线集的重叠面积，以获得顶层工件的角点角线集；通过坐标变换将顶层工件角点角线集中的角点坐标转换为工件的角点坐标。

在本发明的实施例中，在通过连通域分割算法提取出原始图像中的精细连通域掩码图的步骤中，进一步包括：通过连通域分割算法提取出原始图像中的连通域掩码图，并将连通域掩码图中的多个连通域分解为对应数量的单连通域掩码图；对单连通域掩码图进行图像腐蚀处理以获得精细连通域掩码图。

在本发明的实施例中，在对紧贴连通域的轮廓线集进行简并处理，并对处理后的轮廓线进行取对计算出轮廓线的角点角线集的步骤中进一步包括：对紧贴连通域轮廓线集中的平行线段进行两两组合，并基于预设距离值对各组合中两条线段间的距离进行对比，筛选出各组合中两线段间的距离小于预设距离值中的较长线形成第一较长线集；对紧贴连通域轮廓线集中的交叉线段进行两两组合，并基于预设角度值对各组合中两条线段间的夹角进行对比，筛选出各组合中两线段间的夹角小于预设角度值中的较长线形成第二较长线集；基于预设夹角至对第一较长线集和第二较长线集中的线段进行取对组合，并筛选出符合预设夹角要求的所有线段的交点集；根据预设角点距离值和形成交点集的交线长度计算出轮廓线的角点角线集。

在本发明的实施例中，在根据预设角点距离值和形成交点集的交线长度计算出轮廓线的角点角线集的步骤中，进一步包括：基于预设交点距离值对交点集中的交点进行聚类，并设定小于预设交点距离值的交点为同交点类；在同交点类中计算出交线长度和最大者的交点为工件轮廓角点并获得轮廓线的角点集，形成工件轮廓角点的交线为工件轮廓角线并获得轮廓线的角线集。

在本发明的实施例中，所述垛式工件坐标定位方法还包括：在预设响应时间内未确定工件垛上的工件数量时，将原始图像输入至训练好的工件特征提取模型中，以获得图像中顶层工件的角点角线集；通过屏蔽工件角线外侧的图像，并结合采集的工件垛图像输出单块工件图像；将单块工件图像转换为灰度图，并通过梯度检测算法检测出单块工件的工件角点。

本发明为解决上述技术问题，还提一种工件角点识别装置，所述工件角点识别装置包括：图像采集模块，用于从工件垛顶部采集包含工件的原始图像；上位机，所述上位机被配置成：获取工件垛的原始图像并确定工件垛上的工件数量是否为单块；当工件数量为单块时，将原始图像转换为灰度图，并通过梯度检测算法检测出单块工件的工件角点；当工件数量为非单块时，将原始图像输入至训练好的工件特征提取模型中，以获得图像中顶层工件的角点角线集，并通过坐标变换计算出工件角点坐标。

在本发明的实施例中，所述工件角点识别装置还包括工件吊具以及用于驱动工件吊具搬运工件的动力系统，所述上位机与所述动力系统电连接以使所述动力系统根据工件角点信息驱动工件吊具搬运工件至加工位。

本发明为解决上述技术问题，还提一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，一个或多个所述程序可被一个或者多个处理器执行，以实现上述的垛式工件坐标定位方法。

相比现有技术，本发明的有益效果在于：

在工件垛上的工件数量为单块时，通过对原始图像进行灰度图转换，并通过梯度检测算法识别出单块工件的工件角点，以便于工人根据单块工件的角点坐标调整夹具吸附工件的位置，进而保证工件搬运至加工位上与上一块工件的位置相同，方便加工设备对工件进行加工，提高工件原料的利用率；当工件数量为非单块时，通过提取原始图像中的连通域获得多块工件的轮廓线，并结合工件的实际轮廓线特征从而获得顶层工件的角点角线集，最后通过坐标变换获得顶层工件的角点坐标；本申请所提供的工件坐标定位方法可以对垛式工件进行识别，节约成本和工艺步骤，便于工人根据顶层工件的角点坐标调整夹具吸附工件的位置，进而保证每块工件搬运至加工位上的位置相同，方便加工设备对工件进行加工，提高工件原料的利用率。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制，在附图中：

图1是本发明一实施例提供的垛式工件坐标定位方法的步骤流程图；

图2是本发明一实施例提供的垛式工件坐标定位方法中步骤S1获取的工件垛现场图片；

图3是本发明一实施例提供的垛式工件坐标定位方法步骤S2的进一步流程图；

图4是本发明一实施例提供的垛式工件坐标定位方法步骤S3的进一步流程图；

图5是本发明一实施例提供的垛式工件坐标定位方法中根据步骤S32求解连通域轮廓线的过程图；

图6是本发明一实施例提供的垛式工件坐标定位方法从图2中提取出的连通域掩码图；

图7是对图6上方连通域掩码图经过优化处理后的精细连通域掩码图；

图8是对图6下方连通域掩码图经过优化处理后的精细连通域掩码图；

图9是本发明一实施例提供的垛式工件坐标定位方法步骤S31的进一步流程图；

图10是本发明一实施例提供的垛式工件坐标定位方法步骤S34的进一步流程图；

图11是本发明一实施例提供的垛式工件坐标定位方法步骤S344的进一步流程图；

图12是本发明一实施例提供的垛式工件坐标定位方法中对单垛多层工件的识别示意图；

图13是本发明一实施例提供的垛式工件坐标定位方法步骤S3之后的流程图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

本发明的实施例提供一种垛式工件坐标定位方法，能够准确识别出工件垛上的工件及工件具体位置，进而在工人操作夹具吸附工件时可根据工件具体位置调整吸附工件的位置，以保证每块工件在被抓取或者吸附时位置相同，方便统一对工件进行加工，提高工件原料的利用率。

如图1-图2所示，在本发明的实施例中，垛式工件坐标定位方法包括以下步骤：

S1：获取工件垛的原始图像并确定工件垛上的工件数量是否为单块；

S2：当工件数量为单块时，将原始图像转换为灰度图，并通过梯度检测算法检测出单块工件的工件角点坐标；

S3：当工件数量为非单块时，将原始图像输入至训练好的工件特征提取模型中，以获得图像中顶层工件的角点角线集，并通过坐标变换计算出工件角点坐标。

在使用本发明的垛式工件坐标定位方法进行工件识别时，由安装在工件垛上方的监控摄像头实时获取工件垛的监控视频，并从监控视频中截取工件垛的原始图像，然后，通过工件识别模型对原始图像进行工件识别以判断当前工件垛上的工件数量是否为单块工件。

其中，工件识别模型基于卷积神经网络并由大量的工件垛现场图片训练而成，工件垛现场图片包括单垛单块工件的图片、单垛堆叠多块工件的图片、多垛单块工件的图片以及多垛多块工件的图片，上述的工件垛现场图片仅单垛单块工件的图片表示工件数量为单块，其余情况下的工件数量均为非单块，如图2所示的多垛多块工件的图片，工件识别模型通过识别图2所示的工件垛现场图片即可确定出工件数量为非单块。

在其他示例中，工件垛的原始图像也可以通过在工件垛上方安装相机来获取，工件垛上工件数量是否为单块的手段也可以由人工通过计算机的交互功能来输入确定。

在一个示例中，若确定出工件数量为单块，则对原始图像进行灰度图转换，得到原始图像的灰度图，然后，通过梯度检测算法在灰度图中检测灰度梯度变化急剧的特征点来识别出单块工件的工件角点，并将工件角点在灰度图中的像素坐标转换位单块工件的角点坐标，以便于工人根据单块工件的角点坐标调整夹具吸附工件的位置，进而保证工件搬运至加工位上与上一块工件的位置相同，方便加工设备对工件进行加工，提高工件原料的利用率。

在一个示例中，若确定出工件数量为非单块时，则将原始图像输入至训练好的工件特征提取模型中，通过提取图片中的连通域获得多块工件的轮廓线，通过对获得的轮廓线进行优化并结合工件的实际轮廓线特征（工件的实际轮廓线特征即为实际工件的四条轮廓边线及四个顶点）从而获得顶层工件的角点角线集，最后通过双线性插值法对角点角线集中的角点进行坐标变换，获得工件垛中顶层工件的角点坐标，以便于工人根据顶层工件的角点坐标调整夹具吸附工件的位置，进而保证每块工件搬运至加工位上的位置相同，方便加工设备对工件进行加工，提高工件原料的利用率。

如图3所示，在本发明的实施例中，步骤S2进一步包括以下步骤：

S21：通过梯度算子计算出灰度图中一阶梯度最大处，以检测出位于图像内有边缘特征的位置；

S21：通过拉普拉斯算子计算出有边缘特征位置的二阶梯度为零处，以检测出边缘特征区域的拐点，并确定该拐点为工件角点。

通过梯度算子计算灰度图的一阶梯度时，将灰度图想看成二元函数f（x,y），（x，y）是像素点的位置，f(x,y)是该像素点的灰度值，从而将灰度图像转换位数学曲面，通过计算出曲面上变化最剧烈的位置得出图像中所有边缘特征的位置，随后通过拉普拉斯算子利用二阶微分特性和峰值间的过零点来检测边缘特征中的拐点，并确定该拐点即为工件角点，根据工件角点的像素点位置获得工件角点的坐标。

如图4-图5所示，在本发明的实施例中，步骤S3进一步包括以下步骤：

S31：通过连通域分割算法提取出原始图像中的精细连通域掩码图；

S32：通过凸包算法在精细连通域掩码图中求解出连通域轮廓线；

S33：通过蒙特卡洛方法估算精细连通域掩码图和连通域轮廓线的重叠面积，以获得紧贴连通域的轮廓线集；

S34：对紧贴连通域的轮廓线集进行简并处理，并对处理后的轮廓线进行取对计算出轮廓线的角点角线集；

S35：通过蒙特卡洛方法估算精细连通域掩码图和角点角线集的重叠面积，以获得顶层工件的角点角线集；

S36：通过坐标变换将顶层工件角点角线集中的角点坐标转换为工件的角点坐标。

图5是根据步骤S32求解连通域轮廓线的过程图，图中靠近工件轮廓边缘的线条为凸包算法估算的工件连通域轮廓线，靠近工件边角的方框为连通域轮廓线的交点，在使用连通域分割算法时，以原始图像任意一个像素点为起始点并以起始点的像素颜色特征在原始图像中进行图像遍历以提取出原始图像中所包含的连通区域掩码图，并对连通域掩码图进行优化得出精细连通域掩码图，如图6-图8所示，图6为在图2的工件垛图像中提取出的连通域掩码图，图7是对图6上方连通域掩码图经过优化处理后的精细连通域掩码图，图8是对图6下方连通域掩码图经过优化处理后的精细连通域掩码图。

为了避免同时对两个连通域求解凸包时会产生不需要的飞线的问题，因此需要将将优化的精细连通域掩码图进行连通域分解形成两个单连通域，随后，通过凸包算法分别在两张单连通域的精细连通域掩码图中求解出各自的连通域轮廓线，使用凸包算法进行求解时，通过拟合连通域的边缘并结合图像腐蚀使连通域的线条更细，减小拟合误差。

为了滤除凸包算法求解出的不合理拟合，保留最合理的拟合结果，也即保留紧贴连通域的轮廓线集，通过蒙特卡洛方法在连通域轮廓线上绘制标记点，计算标记点落在精细连通域掩码图上的比例，以及标记点落在精细连通域掩码图外的比例，来估算轮廓线紧贴连通域的程度，即精细连通域掩码图和连通域轮廓线的面积重叠程度，通过判断精细连通域掩码图和连通域轮廓线的重叠面积是否大于给定阈值来确定凸包算法所估计的轮廓线是否紧贴连通域，从而获得紧贴连通域的轮廓线集。

由于每块工件的每条边均应与紧贴连通域的轮廓线集中的其中一条轮廓线对应，因此需要在紧贴连通域的轮廓线集中对轮廓线进行简并处理，也即对于符合工件轮廓特征的多条轮廓线只保留其中较长的轮廓线，进而在保留的轮廓线中将夹角大于预设夹角的轮廓线提取出来作为轮廓线的角线，两条角线的角点作为轮廓线的角点，并将所有的角点和角线聚类为角点角线集。

再次使用蒙特卡洛方法估算精细连通域掩码图和角点角线集的重叠面积，通过蒙特卡洛方法在角点角线集上绘制标记点，计算标记点落在精细连通域掩码上的比例，以及标记点落在精细连通域掩码外的比例，来确定顶层工件的角点角线集，即精细连通域掩码图和角点角线集的面积重叠程度，通过判断精细连通域掩码图和角点角线集的重叠面积是否大于给定阈值来获得顶层工件的角点角线集。

在一个示例中，顶层工件表面无其他工件遮挡，因此顶层工件的精细连通域掩码图为封闭式，当计算得出落在精细连通域掩码上的标记点与精细连通域掩码图的重叠程度为99.5%，且给定的阈值为95%时，则判定对应的角点角线集为顶层工件的角点角线集。同理，非顶层的工件由于表面堆叠有其他工件，进而导致非顶层工件的精细连通域掩码图为开放式，当计算得出落在精细连通域掩码上的标记点与精细连通域掩码图的重叠程度为90%，且给定的阈值为95%时，则判定对应的角点角线集为非顶层工件的角点角线集。

由于确定出的角点角线集是在掩码图像坐标系内的，掩码图像分辨率为640X352，而原始图像的分辨率是3840X2160，需要将角点角线集在掩码图像坐标系中转换到原始图像坐标系中，通过双线性插值方式对图像进行放大，从而得到真实的工件角点坐标和角线坐标，以便于工人根据工件的角点坐标调整夹具吸附工件的位置，使工件搬运至加工位上的位置准确无误，方便加工设备对工件进行加工，提高工件原料的利用率。

如图9所示，在本发明的实施例中，步骤S31进一步包括以下步骤：

S311：通过连通域分割算法提取出原始图像中的连通域掩码图，并将连通域掩码图中的多个连通域分解为对应数量的单连通域掩码图；

S312：对单连通域掩码图进行图像腐蚀处理以获得精细连通域掩码图。

通过提取原始图像中的连通域掩码图并将其分解为多个单连通域掩码图，以便于提高凸包算法的求解结果，对单连通域掩码图进行图像腐蚀处理，以使单连通域掩码图中的线条更精细，减小凸包算法拟合连通域轮廓线的误差。

如图10所示，在本发明的实施例中，步骤S34进一步包括以下步骤：

S341：对紧贴连通域轮廓线集中的平行线段进行两两组合，并基于预设距离值对各组合中两条线段间的距离进行对比，筛选出各组合中两线段间的距离小于预设距离值中的较长线形成第一较长线集；

S342：对紧贴连通域轮廓线集中的交叉线段进行两两组合，并基于预设角度值对各组合中两条线段间的夹角进行对比，筛选出各组合中两线段间的夹角小于预设角度值中的较长线形成第二较长线集；

S343：基于预设夹角至对第一较长线集和第二较长线集中的线段进行取对组合，并筛选出符合预设夹角要求的所有线段的交点集；

S344：根据预设角点距离值和形成交点集的交线长度计算出轮廓线的角点角线集。

在进行简并处理时，通过预设距离值从平行线段组合中的两条线段间的距离进行对比，在任意组合中，当两条线段间的距离小于预设距离值时，对两条线段中的较长线进行保留，并将保留下来的较长线聚类为第一较长线，例如，当预设距离值为5mm时，将平行距离小于5mm的两条线段中较长的一条线段保留下来，滤除其中较短的一条线段，在对比完紧贴连通域的轮廓线集中的所有线段后，将保留下来的线段归类为第一较长线集，从而达到对紧贴连通域的轮廓线集进行简并处理的效果。

同理，通过预设角度值从交叉线段组合中的两条线段的夹角进行对比，在任意组合中，当两条线段的夹角小于预设角度值时，对两条线段中的较长线进行保留，并将保留下来的较长线聚类为第二较长线，例如，当预设角度值为5°时，将角度值小于5°的两条线段中较长的一条线段保留下来，滤除其中较短的一条线段，在对比完紧贴连通域的轮廓线集中的所有线段后，将保留下来的线段归类为第二较长线集，从而达到对紧贴连通域的轮廓线集进行简并处理的效果。

可以理解，在进行预设距离值和预设角度值对比时保留较长线的原因是较长线的拟合结果是想保留的，更具有鲁棒性，并且较长线是掩码中的主要成分。

随后，通过预设夹角至对第一较长线集和第二较长线集中的线段进行取对组合，并筛选出符合预设夹角要求的所有线段的交点集，例如，普通工件四条轮廓线的夹角均在90°左右，因此可将预设夹角设定为60°，进而在第一较长线集与第二较长线集的取对组合中将夹角大于60°的两条线段保留下来，并将两条线段的交点归类为交点集，从而将夹角小于60°的线段滤除掉，减少后续识别工件角点的计算量，增加识别工件角点的准确率。在筛选出第一较长线集和第二较长线集中符合预设夹角要求的交点集后，根据预设角点距离值和形成交点集的交线进行筛选，并将筛选出的交点集和交线确定为工件轮廓线的角点角线集。

如图11所示，在步骤S344的筛选交点集和交线步骤中，具体包括以下步骤：

S3441：基于预设交点距离值对交点集中的交点进行聚类，并设定小于预设交点距离值的交点为同交点类；

S3442：在同交点类中计算出交线长度和最大者的交点为工件轮廓角点并获得轮廓线的角点集，形成工件轮廓角点的交线为工件轮廓角线并获得轮廓线的角线集。

为了进一步提高对工件角点和工件角线的识别准确，在获得交点集和交线集之后，需要对交点集内的交点做进一步滤除，滤除交点时，根据预设的交点距离值对交点集内的交点进行聚类，并设定距离小于预设交点距离值的多个交点为同交点类，以便于在同交点类中将误识别的交线所形成的交点滤除出去，提高后续工件角点识别的准确率，还能将非顶层工件的交线所形成的交点滤除出去，提高后续对顶层工件角点识别的准确率。

如图12所示，在一个单垛多层的工件角点识别示例中，预设的交点距离值为50mm，图中从顶层到底层分别为第一层工件、第二层工件、第三层工件，且三层工件位置对应的四个角点距离均在50mm以内，进而将图中左下、左上、右下、右上四个区域的交点分别聚类为四个区域的同交点类，其中误识别交线所形成的交点也在对应区域的同交点类中，此时，通过在同一区域内的同交点类中计算形成交点的两个交线的长度即可获得工件轮廓线的角点角线集，也即，形成交点的两条交线长度和最大者的交点为工件轮廓的角点。以图12中左下角区域内的同交点类为例，由于误识别的交线长度和最小，因此可确定该交点为非工件轮廓的角点，进而可将该交点以及形成该交点的两条交线滤除掉；由于第三层工件的部分被第二层工件覆盖，从而导致第三层工件对应交点的交线长度和较小，进而可确定该交点为非顶层工件轮廓的角点，进而可将该交点以及形成该交点的两条交线滤除掉；由于每块工件的长宽尺寸相同，且第一层工件和第二层工件的轮廓线未被覆盖，从而可计算出第二层工件交点的交线长度和以及第一层工件交点的交线长度和相等，进而可确定这两个交点均为工件轮廓的角点并获得轮廓线的角点集，形成工件轮廓角点的交线为工件轮廓角线并获得轮廓线的角线集。同理，图12中左上、右下、右上区域内的同交点类亦可通过上述方式获得工件轮廓线的角点角线集。

如图13所示，在本发明的实施例中，步骤S3之后进一步包括以下步骤：

S4：在预设响应时间内未确定工件垛上的工件数量时，将原始图像输入至训练好的工件特征提取模型中，以获得图像中顶层工件的角点角线集；

S5：通过屏蔽工件角线外侧的图像，并结合采集的工件垛图像输出单块工件图像；

S6：将单块工件图像转换为灰度图，并通过梯度检测算法检测出单块工件的工件角点。

为了提高垛式工件坐标定位方法的智能性，减少人为对检测方法的干预以及系统程序的复杂程度，步骤S1中的工件识别模型和人机交互功能可省略，通过预设响应时间确定步骤S1后续的检测流程，例如，预设响应时间为3s，在获取到工件垛的原始图像的3秒之后，直接将原始输入至训练好的工件特征提取模型中，通过上述步骤S31-S35的方法获得图像中顶层工件的角点角线集，然后，根据顶层工件的角点角线集将工件外侧的图像屏蔽掉，并输出以屏蔽除顶层工件之外的单块工件的图像，最后通过上述步骤S2的方法将单块工件图像转换为灰度图，并通过梯度检测算法检测出单块工件的工件角点。

本发明的实施例提供一种工件角点识别装置，该装置包括：

图像采集模块，用于从工件垛顶部采集包含工件的原始图像；

上位机，上位机被配置成：

获取工件垛的原始图像并确定工件垛上的工件数量是否为单块；

当工件数量为单块时，将原始图像转换为灰度图，并通过梯度检测算法检测出单块工件的工件角点；

当工件数量为非单块时，将原始图像输入至训练好的工件特征提取模型中，以获得图像中顶层工件的角点角线集，并通过坐标变换计算出工件角点坐标。

在使用本发明的工件角点识别装置进行工件识别时，由安装在工件垛上方的图像采集模块获取工件垛的监控视频，并从监控视频中截取工件垛的原始图像，然后将原始图像传送至上位机，由工件识别模型对原始图像进行工件识别以判断当前工件垛上的工件数量是否为单块工件，其中，图像采集模块可以为监控摄像头或相机。

当确定出工件数量为单块，则对原始图像进行灰度图转换，得到原始图像的灰度图，然后，通过梯度检测算法在灰度图中检测灰度梯度变化急剧的特征点来识别出单块工件的工件角点，并将工件角点在灰度图中的像素坐标转换位单块工件的角点坐标，以便于工人根据单块工件的角点坐标调整夹具吸附工件的位置，进而保证工件搬运至加工位上与上一块工件的位置相同，方便加工设备对工件进行加工，提高工件原料的利用率。

当确定出工件数量为非单块时，则将原始图像输入至训练好的工件特征提取模型中，通过提取图片中的连通域获得多块工件的轮廓线，通过对获得的轮廓线进行优化并结合工件的实际轮廓线特征从而获得顶层工件的角点角线集，最后通过双线性插值法对角点角线集中的角点进行坐标变换，获得工件垛中顶层工件的角点坐标，以便于工人根据顶层工件的角点坐标调整夹具吸附工件的位置，进而保证每块工件搬运至加工位上的位置相同，方便加工设备对工件进行加工，提高工件原料的利用率。

在本发明的实施例中，工件角点识别装置还包括工件吊具以及用于驱动工件吊具搬运工件的动力系统，上位机与动力系统电连接以使动力系统根据工件角点信息驱动工件吊具搬运工件至加工位，从而形成顶层工件识别及搬运的流水线作业，防止在工件搬运作业时出现偏差从而导致工件搬运至加工位上的位置发生偏差，以便于加工设备对工件进行准确的加工，其中工件吊具可以为设置在传统的行车上的磁力吊具，动力系统可以为驱动磁力吊具移动的伺服电机，通过伺服电机驱动磁力吊具根据顶层工件角点坐标进行移动并吸取工件垛上的顶层工件，从而达到将顶层工件精准地搬运至加工位上的作业效果，以便于后续的工件加工作业。

本发明的实施例提供一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个程序，一个或多个程序可被一个或者多个处理器执行，以实现上述的垛式工件坐标定位方法，以便于工人根据识别出的工件及工件具体位置操作夹具吸附工件，保证每块工件搬运至加工位上的位置相同，方便加工设备对工件进行加工，提高工件原料的利用率。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于此。在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，包括各个具体技术特征以任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。但这些简单变型和组合同样应当视为本发明所公开的内容，均属于本发明的保护范围。

尽管上面已经示出和描述了本发明的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (10)

1.一种垛式工件坐标定位方法，其特征在于，所述垛式工件坐标定位方法包括：

获取工件垛的原始图像并确定工件垛上的工件数量是否为单块；

当工件数量为单块时，将原始图像转换为灰度图，并通过梯度检测算法检测出单块工件的工件角点坐标；

当工件数量为非单块时，将原始图像输入至训练好的工件特征提取模型中，以获得图像中顶层工件的角点角线集，并通过坐标变换计算出工件角点坐标。

2.根据权利要求1所述的垛式工件坐标定位方法，其特征在于：在通过梯度检测算法检测出单层工件的工件角点的步骤中，进一步包括：

通过梯度算子计算出灰度图中一阶梯度最大处，以检测出位于图像内有边缘特征的位置；

通过拉普拉斯算子计算出有边缘特征位置的二阶梯度为零处，以检测出边缘特征区域的拐点，并确定该拐点为工件角点。

3.根据权利要求1所述的垛式工件坐标定位方法，其特征在于：在将原始图像输入至训练好的工件特征提取模型中，以获得图像中顶层工件的角点角线集，并通过坐标变换计算出工件角点坐标的步骤中，进一步包括：

通过连通域分割算法提取出原始图像中的精细连通域掩码图；

通过凸包算法在精细连通域掩码图中求解出连通域轮廓线；

通过蒙特卡洛方法估算精细连通域掩码图和连通域轮廓线的重叠面积，以获得紧贴连通域的轮廓线集；

对紧贴连通域的轮廓线集进行简并处理，并对处理后的轮廓线进行取对计算出轮廓线的角点角线集；

通过蒙特卡洛方法估算精细连通域掩码图和角点角线集的重叠面积，以获得顶层工件的角点角线集；

通过坐标变换将顶层工件角点角线集中的角点坐标转换为工件的角点坐标。

4.根据权利要求3所述的垛式工件坐标定位方法，其特征在于：在通过连通域分割算法提取出原始图像中的精细连通域掩码图的步骤中，进一步包括：

通过连通域分割算法提取出原始图像中的连通域掩码图，并将连通域掩码图中的多个连通域分解为对应数量的单连通域掩码图；

对单连通域掩码图进行图像腐蚀处理以获得精细连通域掩码图。

5.根据权利要求3所述的垛式工件坐标定位方法，其特征在于：在对紧贴连通域的轮廓线集进行简并处理，并对处理后的轮廓线进行取对计算出轮廓线的角点角线集的步骤中进一步包括：

对紧贴连通域轮廓线集中的平行线段进行两两组合，并基于预设距离值对各组合中两条线段间的距离进行对比，筛选出各组合中两线段间的距离小于预设距离值中的较长线形成第一较长线集；

对紧贴连通域轮廓线集中的交叉线段进行两两组合，并基于预设角度值对各组合中两条线段间的夹角进行对比，筛选出各组合中两线段间的夹角小于预设角度值中的较长线形成第二较长线集；

基于预设夹角至对第一较长线集和第二较长线集中的线段进行取对组合，并筛选出符合预设夹角要求的所有线段的交点集；

根据预设角点距离值和形成交点集的交线长度计算出轮廓线的角点角线集。

6.根据权利要求5所述的垛式工件坐标定位方法，其特征在于：在根据预设角点距离值和形成交点集的交线长度计算出轮廓线的角点角线集的步骤中，进一步包括：

基于预设交点距离值对交点集中的交点进行聚类，并设定小于预设交点距离值的交点为同交点类；

在同交点类中计算出交线长度和最大者的交点为工件轮廓角点并获得轮廓线的角点集，形成工件轮廓角点的交线为工件轮廓角线并获得轮廓线的角线集。

7.根据权利要求1所述的垛式工件坐标定位方法，其特征在于：所述垛式工件坐标定位方法还包括：

在预设响应时间内未确定工件垛上的工件数量时，将原始图像输入至训练好的工件特征提取模型中，以获得图像中顶层工件的角点角线集；

通过屏蔽工件角线外侧的图像，并结合采集的工件垛图像输出单块工件图像；

将单块工件图像转换为灰度图，并通过梯度检测算法检测出单块工件的工件角点。

8.一种工件角点识别装置，其特征在于，所述工件角点识别装置包括：

图像采集模块，用于从工件垛顶部采集包含工件的原始图像；

上位机，所述上位机被配置成：

获取工件垛的原始图像并确定工件垛上的工件数量是否为单块；

当工件数量为单块时，将原始图像转换为灰度图，并通过梯度检测算法检测出单块工件的工件角点；

当工件数量为非单块时，将原始图像输入至训练好的工件特征提取模型中，以获得图像中顶层工件的角点角线集，并通过坐标变换计算出工件角点坐标。

9.根据权利要求8所述的工件角点识别装置，其特征在于：所述工件角点识别装置还包括工件吊具以及用于驱动工件吊具搬运工件的动力系统，所述上位机与所述动力系统电连接以使所述动力系统根据工件角点信息驱动工件吊具搬运工件至加工位。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，一个或多个所述程序可被一个或者多个处理器执行，以实现如权利要求1-7任一项的垛式工件坐标定位方法。

Images