CN112224590B - 一种基于三维点云的钢坯贴标方法及系统 - Google Patents

Abstract

本申请公开一种基于三维点云的钢坯贴标方法及系统，当接收到就位信号，控制三维视觉设备拍摄钢坯图像，就位信号是分坯装置检测到钢坯从冷床运输到预设位置时发送的；根据从钢坯图像中获取的三维点云数据，识别钢坯图像中包含的钢坯形态；从钢坯形态中筛选出目标坯，计算目标坯的点云曲面中的质心坐标；目标坯包括单独的正常坯和并坯中的正常坯，正常坯是指非短坯并且非斜坯的钢坯；根据目标坯的质心坐标生成贴标路径；控制机器人按照贴标路径，将贴标机构吸附的标签贴设于目标坯的端面。本申请基于钢坯形态识别，筛选出能够准确有效贴标的目标坯，避免斜坯和并坯情况下存在的漏贴和贴标效果差的问题，提高了钢坯贴标效率、准确性和标签粘贴效果。

Description

一种基于三维点云的钢坯贴标方法及系统

技术领域

本申请涉及视觉检测技术领域，尤其涉及一种基于三维点云的钢坯贴标方法及系统。

背景技术

在一些应用场景中，需要对连铸下线的钢坯进行标识，传统方式是在钢坯上进行人工喷码或打钢印，但这类方式人工劳动强度大，并且钢坯贴标的效率和准确性低。

为适应钢坯生产制造的智能化要求，出现了一种利用机器人对连铸钢坯的端面进行贴标的方案，打印机打印标签后，控制机器人抓取标签，通过激光位移传感器定位钢坯端面的中心位置与机器人的距离，从而调整机器人的运动路径，将标签贴设到钢坯端面。

上述技术方案虽实现了自动化钢坯贴标，但连铸钢坯在实际冷床运输的过程中，经常会出现如短坯、斜坯和并坯等复杂工况，导致激光位移传感器根本无法准确判断每个钢坯的位置，并且又要求钢坯的标签只能贴在其端面，从而出现漏贴标、贴标效果和准确性差的问题。

发明内容

为解决上述背景技术中论述的问题，本申请提供一种基于三维点云的钢坯贴标方法及系统，可根据钢坯在冷床上的运输状态，识别出能够在其端面准确执行贴标的钢坯，并完成自动化贴标，提高了钢坯贴标的准确性和效率。

第一方面，本申请提供一种基于三维点云的钢坯贴标方法，包括：

当接收到就位信号，控制三维视觉设备拍摄钢坯图像；其中，所述就位信号是分坯装置检测到钢坯从冷床运输到预设位置时发送的；

根据从所述钢坯图像中获取的三维点云数据，识别所述钢坯图像中包含的钢坯形态，所述钢坯形态包括短坯、斜坯、正常坯和并坯；

从钢坯形态中筛选出目标坯，并根据三维点云数据，计算目标坯的点云曲面中的质心坐标；所述目标坯包括单独的正常坯和并坯中的正常坯，正常坯是指非短坯并且非斜坯的钢坯；

根据目标坯的质心坐标生成贴标路径；

控制机器人按照所述贴标路径，将贴标机构吸附的标签贴设于所述目标坯的端面。

在一些实施例中，按照如下方式识别所述钢坯形态：

从所述三维点云数据中筛选出若干竖直棱线，计算每条竖直棱线中点云的Z坐标均值；

从所述若干竖直棱线中筛选出最小Z坐标均值；

如果所述最小Z坐标均值大于第一阈值，并且当前钢坯不存在并坯，则识别钢坯形态为短坯。

在一些实施例中，按照如下方式识别所述钢坯形态：

从所述三维点云数据中筛选出若干竖直棱线，计算每条竖直棱线中点云的Z坐标均值；

过滤掉Z坐标均值大于第二阈值的竖直棱线，利用保留的竖直棱线构建钢坯端面；

如果所述钢坯端面的法向量与X轴正向的夹角不在预设角度区间内，并且当前钢坯不存在并坯，则识别钢坯形态为斜坯；其中，所述预设角度区间为[90°-θ，90°+θ]，θ为允许的偏差角。

在一些实施例中，所述方法还包括：

当检测到所述钢坯图像中包含多个叠加并行的钢坯，则识别钢坯形态为并坯；其中，所述并坯包括错位型和对齐型，所述错位型为相邻两个钢坯端面的Z坐标不相等，所述对齐型为相邻两个钢坯端面的Z坐标相等；

如果确定所述并坯属于错位型，则分别计算各个钢坯端面的质心和法向量，并对所述并坯中的正常坯进行贴标。

在一些实施例中，所述方法还包括：

如果确定所述并坯属于对齐型，则以钢坯端面的标准规格所对应的基准点云集合为单位，在并坯的点云曲面中沿X轴方向构建目标竖直棱线；所述目标竖直棱线表示为{z=z0，x=xi}，z0为对齐型并坯的点云曲面的Z坐标，xi是以所述基准点云集合沿X轴的长度为间隔，沿X轴方向对所述点云曲面进行划分而得到的分割线X坐标分布，1≤i≤N；

对划分出的N+1个钢坯端面分别计算质心和法向量，并对所述并坯中的正常坯进行贴标；其中，N表示目标竖直棱线被构建的数量。

在一些实施例中，所述方法还包括：

如果确定所述并坯属于对齐型，则计算标准规格下每个钢坯端面的标准面积，以及，计算并坯的点云曲面的总面积；

根据所述标准面积和所述并坯的点云曲面的总面积，计算并坯的点云曲面中钢坯端面的数量，以及对并坯中每个钢坯端面进行分割；

对分割出的若干钢坯端面分别计算质心和法向量，并对所述并坯中的正常坯进行贴标。

在一些实施例中，在将标签贴设于所述目标坯的端面之前，所述方法还包括：

控制除磷机构对所述目标坯的端面进行浮动除磷处理，以消除所述目标坯的端面上生成的氧化铁皮。

在一些实施例中，在将标签贴设于所述目标坯的端面之后，所述方法还包括：

获取所述贴标机构表面设置的压力传感器检测的压力值；

如果所述压力值大于或等于第三阈值，则控制语音装置播报贴标成功信息，并在所有目标坯都贴标完成后，控制所述机器人返回至初始位置；

如果所述压力值小于第三阈值，控制语音装置播报贴标失败信息。

在一些实施例中，在识别所述钢坯图像中包含的钢坯形态之后，所述方法还包括按照如下步骤对钢坯进行计数：

如果所述钢坯形态为短坯、斜坯或单独的正常坯，则将计数量累计加1；

如果所述钢坯形态为并坯中的错位型，则将计数量累计加M，M表示错位型并坯中识别出的钢坯端面的数量；

如果所述钢坯形态为并坯中的对齐型，则计算标准规格下每个钢坯端面的标准周长L_b，以及，计算并坯的点云曲面的周长L；如果满足2.1×L_b＞L≥2×L_b，将计数量累计加2；如果满足（K+0.1）×L_b≥L≥（K-0.9）×L_b，K≥3，将计数量累计加K。

第二方面，本申请提供一种基于三维点云的钢坯贴标系统，包括：

机器人，所述机器人上连接有贴标机构；

三维视觉设备，用于拍摄钢坯图像；

控制系统，分别与机器人和三维视觉设备连接，被配置为执行：

当接收到就位信号，控制三维视觉设备拍摄钢坯图像；其中，所述就位信号是分坯装置检测到钢坯从冷床运输到预设位置时发送的；

根据从所述钢坯图像中获取的三维点云数据，识别所述钢坯图像中包含的钢坯形态，所述钢坯形态包括短坯、斜坯、正常坯和并坯；

从钢坯形态中筛选出目标坯，并根据三维点云数据，计算目标坯的点云曲面中的质心坐标；所述目标坯包括单独的正常坯和并坯中的正常坯，正常坯是指非短坯并且非斜坯的钢坯；

根据目标坯的质心坐标生成贴标路径；

控制机器人按照所述贴标路径，将贴标机构吸附的标签贴设于所述目标坯的端面。

在本申请实施例中，当接收到就位信号时，说明钢坯已经从冷床运输到分坯装置，并且钢坯会在分坯装置中的预设位置处短暂停留，以便进行图像采集和贴标，本申请的关键在于利用钢坯图像获得的三维点云数据，来识别图像中包含的钢坯形态，钢坯形态包括短坯、斜坯、正常坯和并坯。短坯即端面距离机器人较远的钢坯，超出机器人能够有效贴标的范围；斜坯即端面存在倾斜的钢坯，由于钢坯端面朝向不正，导致无法准确贴标，贴标效果差；正常坯是指非短坯并且非斜坯的钢坯，这类钢坯可以执行贴标；并坯是指至少存在两个钢坯并排放置，即存在多个钢坯叠加的情况，并坯中各钢坯可能存在短坯或斜坯，因此需要对并坯中的正常坯贴标，因此本申请中筛选出单独的正常坯和并坯中的正常坯作为目标坯，并根据三维点云数据，计算出目标坯的点云曲面中的质心坐标，即得到了目标坯的端面质心，根据目标坯的端面质心，生成贴标路径，机器人按照贴标路径行进，即可使贴标机构上吸附的标签被贴到目标坯的端面，从而完成贴标过程。本申请能够基于钢坯形态识别，筛选出能够准确有效贴标的目标坯，避免斜坯和并坯情况下存在的漏贴和贴标效果差的问题，实现自动化、智能化贴标，提高了钢坯贴标效率、准确性和标签粘贴效果，降低人工劳动强度和减少安全隐患。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了基于三维点云的钢坯贴标系统的应用场景俯视图；

图2示例性示出了基于三维点云的钢坯贴标系统的应用场景侧视图；

图3示例性示出了机器人操作系统的结构示意图；

图4示例性示出了除磷贴标装置的结构示意图；

图5示例性示出了三维视觉传感器的结构示意图；

图6示例性示出了基于三维点云的钢坯贴标系统的电控连接示意图；

图7示例性示出了基于三维点云的钢坯贴标方法的流程图；

图8示例性示出了仅有一个钢坯的点云图像；

图9示例性示出了包含两个钢坯的点云图像；

图10示例性示出了识别斜坯形态的原理示意图；

图11示例性示出了并坯识别的原理示意图；

图12示例性示出了对齐型并坯的分割原理示意图。

图例说明：1-冷床；2-分坯装置；3-机器人操作系统，31-标签输送装置，32-打印机，33-工作台，34-除磷贴标装置，341-贴标机构，342-保护罩，343-安装框架，344-除磷机构，345-法兰，346-压力传感器；35-机器人；4-钢坯；5-三维视觉设备，51-支架，52-三维视觉传感器，521-光机，522-相机组件，523-底板；6-控制系统，61-PLC控制器，62-计算机；7-语音装置。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1和图2所示，提供了钢坯贴标的应用场景，基于三维点云的钢坯贴标系统整体上包括机器人操作系统3、三维视觉设备5和控制系统。连铸下线的钢坯4通过冷床1运输到分坯装置2，分坯装置2中具有一个预设位置，当钢坯4运动到预设位置处时，分坯装置2会向控制系统发送就位信号，同时钢坯4会在预设位置处短暂停留，以便三维视觉设备5采集钢坯图像，以及机器人操作系统3进行贴标。钢坯贴标系统位于分坯装置2的一侧，并且与所述预设位置保持对应，便于拍摄钢坯4的端面图像以及准确标贴，钢坯4一般为条形的长方体结构，端面是指长方体任意一端的底面，用于标识钢坯4的标签必须贴设于钢坯端面。当钢坯4被贴标完成后，再由分坯装置2将钢坯4运送到其他工序即可。

在一些实施例中，如图3所示，机器人操作系统3包括标签输送装置31、打印机32、工作台33、除磷贴标装置34和机器人35，除磷贴标装置34安装在机器人的手臂上。工作台33用于固定放置标签输送装置31和打印机32，打印机32用于打印标签，打印机32的出口处一般设置有旋转切刀，可以自动切断打印好的标签，并将其送到出口处，由标签输送装置31将标签传送到取标位置，机器人35驱动除磷贴标装置34运动到取标位置处吸附标签，然后驱动除磷贴标装置34运动至钢坯4的端面去粘贴标签。应合理设置工作台33与机器人35之间的位置关系，以确保机器人35能够有效抓取标签，并将标签运输到分坯装置2处停留的钢坯4的端面处执行贴标操作。

在一些实施例中，如图4所示，除磷贴标装置34包括安装框架343、以及固定设置在安装框架343上的贴标机构341、保护罩342、除磷机构344和法兰345。其中，法兰345的一端固定在安装框架343的外壁上，另一端与机器人35连接，从而将除磷贴标装置34与机器人35连接起来；保护罩342内可以设置在线槽，用于固定贴标机构341和除磷机构344等装置中的线缆，从而起到防护作用。安装框架343可以采用中空结构，贴标机构341和除磷机构344分别设置在安装框架343两端，贴标机构341用于吸附标签，以及将标签与钢坯端面对准贴合，从而实现取标和贴标；除磷机构344上设有刷头，刷头对钢坯端面进行浮动除磷处理，从而去除掉钢坯端面上的氧化铁皮，确保标签粘贴的牢固性，如果不进行浮动除磷，标签会因氧化铁皮的遮挡而贴不住，从而导致无效的贴标。

在一些实施例中，贴标机构341的表面设置有压力传感器346，贴标机构341吸附的标签会附着在压力传感器346表面，在未进行贴标时，压力传感器346检测的压力值很小并且近乎没有波动，当贴标机构341带动标签贴合钢坯端面时，由于标签与钢坯端面瞬时接触，产生了接触压力，从而使得压力传感器346检测的压力值发生突变，当这个突变的压力值大于或等于预设的阈值时，则认为标签与钢坯端面充分接触，即贴标成功，否则接触压力不足则可能存在未贴标或贴标不牢的情况，即出现贴标失败。因此，可以利用压力传感器346反馈的压力检测值来进行贴标的复检，检查是否标签是否贴上，这种复检方式适用范围广，复检准确可靠。

在一些实施例中，机器人35上还设置有语音装置7，语音装置7用于根据复检结果去播报标签是否粘贴成功，从而利于现场作业人员获知每个钢坯的贴标状态。

在一些实施例中，三维视觉设备5包括支架51和三维视觉传感器52。支架51用于支撑和固定三维视觉传感器52，支架51固定在分坯装置2预设位置处一侧的地面上，并使得三维视觉传感器52正对朝向停留在预设位置处的钢坯4的端面，从而准确拍摄钢坯图像，便于后续识别钢坯形态和获取钢坯端面。

在一些实施例中，如图5所示，三维视觉传感器52包括光机521、相机组件522和底板523，底板523的底面固定在支架51上，光机521和相机组件522固定在底板523的顶面，光机521提供光源，相机组件522包括两个相机，两个相机可以对称安装在光机521两侧。两个相机可以呈一定夹角安装在底板523上，两个相机组成的夹角一般为12度~20度，可以提高获取三维点云数据的精度。

在一些实施例中，如图6所示，控制系统6可以细化为包括PLC控制器61和计算机62，PLC控制器61和计算机62之间可以进行通信。具体地，打印机32和三维视觉传感器52分别与计算机62电连接；分坯装置2、标签输送装置31、除磷贴标装置34、压力传感器346、机器人35、语音装置7分别与PLC控制器61电连接。

在具体的控制流程上，每一炉钢坯在贴标前，PLC控制器61需要从现场获取钢坯的标准规格，并将标准规格发送给计算机62，以便后续计算机62根据标准规格进行并坯形态的相关计算和处理，该内容将在后文具体说明。钢坯4从冷床运输到分坯装置2的预设位置处时，分坯装置2向PLC控制器61发送就位信号。

计算机62接收到PLC控制器61转发的就位信号后，控制三维视觉设备5拍摄钢坯图像，并根据从钢坯图像中获取的三维点云数据，识别钢坯形态，所述钢坯形态包括短坯、斜坯、正常坯和并坯，并筛选出能有效贴标的目标坯，目标坯包括单独的正常坯和并坯中的正常坯，正常坯是指非短坯并且非斜坯的钢坯，因此目标坯的数量S必然小于或等于钢坯总数A，这是由于过滤掉了不可贴标签的短坯和斜坯。计算机62将目标坯的数量S发送给打印机32，并控制打印机32打印S个标签，以及，将S个目标坯的贴标路径发送给PLC控制器61。其中，A≥S≥1。当打印机32打印好标签后，向计算机62发送打印成功信号，计算机62将打印成功信号转发给PLC控制器61。

PLC控制器61接收到打印成功信号后，控制标签输送装置31将S个标签依次传送到取标位置，当标签到达取标位置时，标签输送装置31向PLC控制器61反馈取标信号，则PLC控制器61控制机器人35移动到取标位置，使贴标机构341获取标签，然后控制机器人35按照贴标路径向其中一个目标坯的端面移动，驱动除磷机构344的刷头对目标坯的端面进行浮动除磷，之后将标签贴设于除磷后目标坯的端面；根据压力传感器346返回的压力值进行复检，确定是否贴标成功，并控制语音装置7播报是否贴标成功的信息，以此类推，直至将S个目标坯都贴标完成后，控制机器人35返回到初始位置，等待下一炉钢坯的传送到来。

前述内容是从系统角度描述了钢坯贴标的控制流程，下面将基于三维点云技术的角度，具体说明如何识别钢坯形态，以及如何筛选可以有效贴标的目标坯等详细内容。

在一些实施例中，如图7所示，提供一种基于三维点云的钢坯贴标方法，所述方法的执行主体是控制系统6，包括如下程序步骤：

步骤S10，当接收到就位信号，控制三维视觉设备拍摄钢坯图像；其中，所述就位信号是分坯装置检测到钢坯从冷床运输到预设位置时发送的。

步骤S20，根据从所述钢坯图像中获取的三维点云数据，识别所述钢坯图像中包含的钢坯形态，所述钢坯形态包括短坯、斜坯、正常坯和并坯。

对于步骤S20，本申请是基于三维点云技术来实现，首先对三维点云技术给出相关介绍。三维视觉传感器52采集物体的三维点云数据，在三维坐标系XYZ下，三维点云数据即是点云在X、Y和Z方向上的数值，量纲为mm，例如型号Kinect2相机的点云之间的间距为1mm。控制系统中可以配置专门的点云处理系统，对获取的三维点云数据进行去除背景点云和干扰点云，以及点云数据预处理等计算过程。

在一些实施例中，在去除背景点云时，可以采用直通滤波方法去除部分背景点数据，比如使用直通滤波时设置参数可以滤除y>220mm或y<50mm范围内的点云数据；进一步在去除背景点云时，当三维视觉设备5非水平正对着钢坯拍摄时，还可能用到带法线的平面模板匹配法去除背景点数据，如平面方程为ax+by+cz+d=0，平面模板法线设置为（0，1，0）来表示垂直地面向上，因此通过标定时预设法线角度阈值，可以滤除三维视觉设备非水平时钢坯下端冷床造成的影响；进一步滤除点云数据中的孤点、离群点等干扰点云，可以采用的算法如半径滤波等；进一步地，进行下采样滤波处理，比如使用体素栅格法或随机采样法，经过滤波平滑处理后，点云数量将减少，且点云之间的间距将发生变化，比如若使用体素栅格滤波，将栅格大小设置为原始点距两倍时，则X、Y和Z方向上点云间的间距将变为2倍；将滤波后的点云数据进行平滑处理，如使用移动最小二乘法函数，能够使得滤波后的相邻点具有更好的规律性，点云曲面更光顺平滑。

在一些实施例中，可以采用如超体聚类或者区域生长法等分割算法，对三维点云数据进行分割，以获取目标点云。

在一些实施例中，可以根据PLC控制器61接收到现场钢坯的标准规格，通过标定获取标准规格下钢坯端面的点云数量，从而设置点云数量的阈值Dnum，通过阈值Dnum可以进一步过滤掉无关的点云，保留钢坯端面和钢坯侧面的点云曲面（当钢坯倾斜或尚未进入视野范围内时，钢坯图像中会具有钢坯侧面的点云）。图8和图9示出了点云预处理后的点云图像，图8中仅有一个钢坯，图9中包含两个钢坯，在图9中同一标准规格的钢坯的点云呈现出不同大小，这是由于两个钢坯在Z轴方向上的数值不同所导致，左边的点云Z值相对较大，而右边的点云Z值相对较小，也表明左边的钢坯距离机器人35较远，右边的钢坯距离机器人35较近。一旦左边钢坯的Z值大于某个预设阈值，说明机器人35无法驱动贴标机构341触及到左边钢坯的端面，也就无法进行有效贴标，这种情况下左边的钢坯会被识别为短坯。

在一些实施例中，为获得连接信息和拓扑结构，可以进一步对聚类后得到的三维点云数据进行点云曲面的重建，重建方式比如采用三角面片化，使用贪婪投影三角化算法，可以将拍摄物体的三维点云数据（包括钢坯端面和钢坯侧面）模型转化成由若干个小三角面片组成。

在一些实施例中，需要提取出钢坯端面和钢坯侧面的曲面，具体的实现方式可以是：采用RANSAC算法，判断上述重建后的点云曲面的分布特征，选用平面模型对点云曲面的离散点进行拟合，得到每个点云曲面中各面片的隐式表达，由于钢坯表面会生成氧化铁皮，导致钢坯端面和钢坯侧面的曲面中出现诸多面片，需要对同一个曲面中各面片进行NURBS曲面拟合，得到每个曲面的参数表达式。

在进一步的实施例中，在获取钢坯端面和钢坯侧面的曲面之后，还需要获取钢坯端面（或者还包括钢坯侧面）的棱线，具体的实现方式比如是：计算钢坯端面的曲率信息，通过设置局部特征权值和筛选曲率极限值点，来识别区域特征点，根据特征点的局部特征权值大小，筛选出特征权值最大的点作为种子点，建立最小生成树，构建连通区域，将特征点连接成线，分割、细化细小分支，从而提取出特征线。其中，获取钢坯端面的曲率信息可以采用主成分分析法、移动最小二乘法；或者，也可采用RANSAC算法，根据相邻平面的交集获得特征线。

由于钢坯呈长方体结构，因此可以提取出多条不同方向的棱线，本申请中识别钢坯形态主要使用竖直棱线，因此需要从多条棱线中进一步筛选出竖直方向（即Y轴方向）的棱线。在一些实施例中，遍历每条棱线上的点云，当一条棱线中绝大部分点云的X坐标值一致，并且Z坐标值一致，则认为该棱线属于竖直棱线，保留所有竖直棱线，并筛除其他非竖直棱线。当竖直棱线筛选完成后，即可启动钢坯形态的识别流程。需要说明的是，前述三维点云数据的相关内容和算法可以参照现有技术，本申请实施例不再赘述。

在一些实施例中，按照如下方式识别所述钢坯形态：从三维点云数据中筛选出若干竖直棱线，计算每条竖直棱线中点云的Z坐标均值；从若干竖直棱线中筛选出最小Z坐标均值；如果最小Z坐标均值大于第一阈值，并且当前钢坯不存在并坯，则识别钢坯形态为短坯。

每个钢坯包括4个竖直棱线，无论当前钢坯是端面正对朝向三维视觉设备5，还是由于斜坯导致点云曲面中同时存在钢坯端面和钢坯侧面，在不存在并坯的情况下，至少可以筛选出两条竖直棱线，计算每条竖直棱线中所有点云Z坐标均值，Z坐标均值表征竖直棱线在Z轴上的相对位置，则筛选出的最小Z坐标均值即为当前钢坯中最靠近机器人35的竖直棱线。可以参考机器人35沿Z轴的最大行进距离，或者系统认定不需要贴标的Z值来预设第一阈值Z_b。如果连最小Z坐标均值都大于第一阈值Z_b，说明钢坯端面和钢坯侧面都距离机器人35较远，机器人35沿Z轴行进最远距离也无法触及钢坯端面，并且也不允许将标签贴在钢坯侧面，因此无法实现有效贴标，当前钢坯的所有点云曲面属于超限曲面，可以确定钢坯形态为短坯。由此可见，短坯由于无法被有效粘贴标签，因此属于非正常坯，这类形态的钢坯会被筛滤掉，无需贴标。

由于钢坯在运输过程中可能发生斜置，当倾斜到超过一定程度时，钢坯端面没有正对朝向机器人35，比如钢坯端面和钢坯侧面相交的竖直棱线正对机器人35时，标签与竖直棱线之间属于线接触，由于接触面积过小，必然导致标签无法粘贴牢固，同样属于无效贴标，因此这类斜坯也属于非正常坯，也需要被筛滤掉而无需贴标。因此若判断出最小Z坐标均值小于或等于第一阈值Z_b，则需要进一步判断非短坯的钢坯是否为斜坯，如果钢坯为非短坯并且非斜坯，则识别为钢坯形态为正常坯；如果钢坯为非短坯但为斜坯，则仍然为非正常坯，也就是说短坯和斜坯中满足任一形态，都属于非正常坯的范畴。

在一些实施例中，按照如下方式识别所述钢坯形态：从三维点云数据中筛选出若干竖直棱线，计算每条竖直棱线中点云的Z坐标均值；过滤掉Z坐标均值大于第二阈值的竖直棱线，利用保留的竖直棱线构建钢坯端面；如果钢坯端面的法向量与X轴正向的夹角不在预设角度区间内，并且当前钢坯不存在并坯，则识别钢坯形态为斜坯；其中，所述预设角度区间为[90-θ, 90+θ]，θ为允许的偏差角。

图10示出了识别斜坯形态的原理示意图，左边是向X轴正向倾斜，右边是向X轴负向倾斜。由图10可以看出，当钢坯倾斜时，从正面可以同时看到钢坯端面（前端面）和钢坯侧面，则可以显示有3个竖直棱线，钢坯端面上包括2个竖直棱线，这2个竖直棱线是前端面与侧面相接重合的棱线，即分别表示为l1（x=b）、l2（x=c），第3个竖直棱线l3是后端面与侧面相接重合的棱线之一。本申请中识别斜坯主要是基于钢坯端面，因此需要根据筛选出的3个竖直棱线去构建钢坯端面，计算每个竖直棱线中点云的Z坐标均值，由于钢坯长度一般较长，钢坯前端面相较于侧面（或者说是后端面）会更靠近于机器人35，因此前端面上的2个竖直棱线l1和l2的Z坐标均值必然小于竖直棱线l3的Z坐标均值，因此可以根据标准规格钢坯的长度，取处于前、后端面之间合适的Z向位置作为预设的第二阈值Z_a，显然竖直棱线l1和l2的Z坐标均值都小于第二阈值Z_a，竖直棱线l3的Z坐标均值大于第二阈值Z_a，这样即可过滤掉竖直棱线l3，保留竖直棱线l1和l2，相平行的竖直棱线l1和l2可以确定唯一平面，即钢坯端面，而钢坯侧面则成为超限曲面。

在重新构建钢坯端面后，根据钢坯端面上的点云数据，计算钢坯端面的法向量和质心，即图10中的法向量0和质心0。根据向量间角度的计算方法，可以快速计算出钢坯端面的法向量与X轴正向的夹角α0，并通过比较夹角α0与预设角度区间[90°-θ，90°+θ]的关系，判断钢坯是否为斜坯以及斜坯的倾斜方向，其中θ为允许的偏差角，θ值可由标定时根据要求限定得出，比如θ可取值5°。当夹角α0在[90°-θ，90°+θ]区间内，则识别钢坯形态为正常坯（非斜坯），需要执行贴标；如果α0在（0°，90°-θ）区间内，则识别钢坯形态为斜坯，则不能执行贴标，并且钢坯端面是朝X轴正向倾斜，即图10中左侧示意的情况；如果α0在（90°+θ，180°）区间内，则识别钢坯形态为斜坯，则不能执行贴标，并且钢坯端面是朝X轴负向倾斜，即图10中右侧示意的情况。

前述短坯和斜坯对于单独一个钢坯的形态，在实际钢坯运输和分坯过程中，可能出现多个钢坯叠加并行的情况，则识别钢坯形态为并坯。并坯是多个钢坯叠加时的整体形态描述，而并坯中所包含的每个钢坯其形态可能是短坯、斜坯或正常坯，因此在对并坯进行贴标时，需要准确识别并坯中包含的钢坯数量，以及并坯中每个钢坯的形态，并对并坯中的正常坯进行贴标。

在一些实施例中，如图11所示，以2个钢坯发生并坯为例，并坯还可以被细化为错位型和对齐型。图11中（a）示出了错位型并坯的情况，错位型是指相邻两个钢坯端面的Z坐标不相等，即在Z方向上存在前后错位，由于三维点云数据考虑了图像在Z方向上的深度信息，因此当出现错位型并坯时，可以通过如超体聚类或者区域生成法等分割算法，将并坯分割成不同钢坯端面，从图11中（a）可以看出，虽然并坯的点云曲面中包括多个钢坯端面，但是每个钢坯端面之间具有明显的分割界限，因此如果确定并坯属于错位型，则错位型并坯中每个钢坯端面的质心和法向量都能直接计算得出，并通过前述各实施例的方案识别出并坯中的正常坯并进行贴标。

图11中（b）示出了对齐型并坯的情况，对齐型是指相邻两个钢坯端面的Z坐标相等，即在Z方向上不存在前后错位，两个钢坯的前端面是对齐重合的，因此体现在（b）中，多个钢坯端面之间没有明确的分割界限，而是相互连接组合成了同一个点云曲面，具有共同的质心和法向量，这种形态下既无法显而易见地识别出并坯中的钢坯数量，也无法准确分割出并坯中的各个钢坯，也就无法准确获取并坯中每个钢坯各自的质心和法向量。

对此在一些实施例中，如果确定并坯属于对齐型，则根据从现场获取的钢坯的标准规格，可以在标定时获知标准规格下钢坯端面的点云数量和分布，从而得到基准点云集合。以此基准点云集合为单位，在并坯的点云曲面中沿X轴方向构建目标竖直棱线，所述目标竖直棱线表示为{z=z0，x=xi}，其中z0为对齐型并坯的点云曲面的Z坐标，xi是以基准点云集合沿X轴的长度H_b为间隔，沿X轴方向对点云曲面进行划分而得到的分割线X坐标分布，1≤i≤N，N表示目标竖直棱线（即分割线）被构建的数量。简而言之，就是在点云曲面中沿X轴方向，每间隔基准点云集合的长度H_b，标记一条与Y轴平行的目标竖直棱线li，直至遍历{z=z0，x=x_a}~{z=z0，x=x_b}之间的点云区域，遍历完成后可以得到N条目标竖直棱线，N≥1。其中，x_a为点云曲面的最左侧边缘的X坐标值，x_b为点云曲面的最右侧边缘的X坐标值。通过这种构建目标竖直棱线的方式，实现对齐型并坯中各钢坯的分割，最终可划分出N+1个钢坯端面，如图12所示，可以构建出1个目标竖直棱线，分割出2个钢坯端面，然后即可对N+1个钢坯端面分别计算质心和法向量，并通过前述各实施例的方案识别出并坯中的正常坯并进行贴标。

如果确定并坯属于对齐型，不限于上述构建目标竖直棱线对并坯进行分割的方式。比如在其他实施例中，可以计算标准规格下每个钢坯端面的标准面积S_b，以及，计算并坯的点云曲面的总面积S；通过标准面积S_b和并坯的点云曲面的总面积S，通过S/S_b，即可计算出并坯的点云曲面中钢坯端面的数量。当并坯中包含的钢坯数量确定后，由于并坯中各钢坯都符合标准规格，因此可均等分割并坯的点云曲面，比如确定并坯中包含3个钢坯，则将点云曲面均等分割成3个面积份，每个面积份对应一个钢坯端面，然后即可对分割出的各个钢坯端面分别计算质心和法向量，然后即可识别并坯中的正常坯并进行贴标。

在一些实施例中，可以通过三角面片顶点的索引，获取构成三角面片的顶点空间坐标信息，继而得出每个三角面片的边长，再根据海伦公式得到钢坯端面的标准面积S_b，海伦公式计算如下：

上述海伦公式中，st _i 为面片化后每个小三角形的面积；p _i 为面片化后每个小三角形周长的一半；a _i 、b _i 和c _i 分别为面片化后每个小三角形的各边边长；n为总面片数；i表示面片索引数。

步骤S30，从钢坯形态中筛选出目标坯，并根据三维点云数据，计算目标坯的点云曲面中的质心坐标，以及根据目标坯的质心坐标生成贴标路径。所述目标坯包括单独的正常坯和并坯中的正常坯，正常坯是指非短坯并且非斜坯的钢坯。

步骤S40，控制机器人按照所述贴标路径，将贴标机构吸附的标签贴设于所述目标坯的端面。

在前述步骤S20中，识别出了钢坯图像中的钢坯形态，则可以筛选出符合贴标条件的目标坯，对于单独的正常坯和并坯中的正常坯，都需要粘贴标签，这就涉及到机器人35按照怎样的路径/轨迹运动，才能使贴标机构341上吸附的标签转贴到钢坯端面上。在前述识别钢坯形态以及分割钢坯端面时，计算了钢坯端面的质心，质心比如是钢坯端面的中心点，通过三维点云数据可以快速定位并计算出质心的三维坐标，则根据质心的三维坐标以及当前机器人35所处的位置，可以生成对应的贴标路径，使得机器人35按照贴标路径行进，即可将标签贴到目标坯的端面上，从而完成贴标。机器人35处于实际的世界坐标系中，而端面质心是在图像坐标系中计算的，因此可以采用如手眼标定方法，对机器人35和三维视觉设备5建立坐标系间的映射和关联，从而制定准确的贴标路径。

钢坯端面一般为平面，但受氧化反应的影响，钢坯端面往往会生成严重的氧化铁皮，导致标签因氧化铁皮的遮挡而贴不住，从而导致无效的贴标。因此在贴标之前，可以控制机器人35按照贴标路径向目标坯的端面移动靠近，然后先控制除磷机构344对目标坯的端面进行浮动除磷处理，以消除氧化铁皮，然后再粘贴标签，可以确保标签粘贴的有效性和牢固性。

在一些实施例中，由于贴标路径可能存在偏差，或者贴标机构341工作异常等因素影响，可能存在贴标失败的情况，因此在钢坯贴标完成后可以进行复检，以确定每个目标坯是否贴标成功，并控制语音装置7播报相应的复检结果。贴标机构341的表面设置有压力传感器346，贴标机构341吸附的标签会附着在压力传感器346表面，在未进行贴标时，压力传感器346检测的压力值很小并且近乎没有波动，当贴标机构341带动标签贴合钢坯端面时，由于标签与钢坯端面瞬时接触，产生了接触压力，从而使得压力传感器346检测的压力值发生突变，当这个突变的压力值大于或等于第三阈值时，则认为标签与钢坯端面充分接触，即贴标成功，控制语音装置7播报贴标成功信息；反之，如果压力值小于第三阈值，说明接触压力不足，则认为存在未贴标或贴标不牢的情况，导致贴标失败，则控制语音装置7播报贴标失败信息。压力传感器346反馈的压力检测值来进行贴标的复检，检查是否标签是否贴上，这种复检方式适用范围广，复检准确可靠。

涉及打印标签、取标、贴标、复检和后续机器人复位等控制流程，本申请方法实施例可以与系统实施例相互参照印证， 方法实施例部分不再赘述。

在实际应用场景中，钢坯在运输到分坯装置2后，往往需要统计钢坯的数量，即进行钢坯计数。由于钢坯涉及不同形态，包括短坯、斜坯、单正常坯和并坯等，尤其对于并坯，只有准确识别并坯中的钢坯数量，才能实现保证钢坯计数的准确性。

在一些实施例中，在识别钢坯图像中包含的钢坯形态之后，所述方法还包括按照如下步骤对钢坯进行计数：

如果钢坯形态为短坯、斜坯或单独的正常坯，则将计数量累计加1；如果钢坯形态为并坯中的错位型，由于错位型并坯可以根据Z向深度值的差异进行端面分割，则将计数量累计加M，M表示错位型并坯中识别出的钢坯端面的数量，即并坯中存在M个钢坯，则在当前计数量的基础上增加M。

而对于对齐型并坯，在一些实施例中，计算标准规格下每个钢坯端面的标准周长L_b，同一规格、在同一Z方向上标准周长L_b的值基本是确定的；以及，计算并坯的点云曲面的周长L，参照图11中的（b），为多个钢坯端面组合成的点云曲面的周长。之后通过比较标准周长L_b和并坯的点云曲面的周长L，来确定并坯中确切的钢坯数量。由于钢坯的周长较为稳定，特别是视野中只出现部分钢坯端面时，使用周长进行并坯数量判别可以提高钢坯计数的准确性。具体地，如果满足2.1×L_b＞L≥2×L_b，表明并坯中存在2个Z向端面对齐的钢坯，则将计数量累计加2；如果满足（K+0.1）×L_b≥L≥（K-0.9）×L_b，K≥3，表明并坯中存在K个Z向端面对齐的钢坯，则将计数量累计加K。

在一些实施例中，获得钢坯端面的点云曲面后，可以按照如下方式计算标准规格下每个钢坯端面的标准周长L_b：初始化一个n×n的零矩阵，用以统计叶片三角面片中所有边长的使用次数，n为钢坯端面所包含的点云数量，遍历所有三角面片中顶点的索引，每当统计到三角边a _i，j ，令矩阵中相应元素值加1，最终将零矩阵赋值为如下的上三角矩阵：

统计上述矩阵A _n×n 中值为1的元素，找到点云中相应的点，根据距离公式计算出位于叶片边缘端面的边长d _i ，然后将所有边长d _i 累加求和，即可得到钢坯端面的标准周长L_b，计算公式如下：

由以上技术方案可知，当接收到就位信号时，说明钢坯已经从冷床运输到分坯装置，并且钢坯会在分坯装置中的预设位置处短暂停留，以便进行图像采集和贴标，本申请的关键在于利用钢坯图像获得的三维点云数据，来识别图像中包含的钢坯形态，钢坯形态包括短坯、斜坯、正常坯和并坯。短坯即端面距离机器人较远的钢坯，超出机器人能够有效贴标的范围；斜坯即端面存在倾斜的钢坯，由于钢坯端面朝向不正，导致无法准确贴标，贴标效果差；正常坯是指非短坯并且非斜坯的钢坯，这类钢坯可以执行贴标；并坯是指至少存在两个钢坯并排放置，即存在多个钢坯叠加的情况，并坯中各钢坯可能存在短坯或斜坯，因此需要对并坯中的正常坯贴标，因此本申请中筛选出单独的正常坯或并坯中的正常坯作为目标坯，并根据三维点云数据，计算出目标坯的点云曲面中的质心坐标，即得到了目标坯的端面质心，根据目标坯的端面质心，生成贴标路径，机器人按照贴标路径行进，即可进行浮动除磷，并使贴标机构上吸附的标签被牢固转贴到目标坯的端面，从而完成贴标过程，之后可以利于压力传感器进行复检。本申请能够基于钢坯形态识别，筛选出能够准确有效贴标的目标坯，避免斜坯和并坯情况下存在的漏贴和贴标效果差的问题，实现自动化、智能化贴标，提高了钢坯贴标效率、准确性和标签粘贴效果，降低人工劳动强度和减少安全隐患。此外，本申请还提供了基于钢坯形态的计数方案，提高了钢坯计数的准确性，更适应相关场景的要求。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由所附的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于三维点云的钢坯贴标方法，其特征在于，包括：

当接收到就位信号，控制三维视觉设备拍摄钢坯图像；其中，所述就位信号是分坯装置检测到钢坯从冷床运输到预设位置时发送的；

根据从所述钢坯图像中获取的三维点云数据，识别所述钢坯图像中包含的钢坯形态，所述钢坯形态包括短坯、斜坯、正常坯和并坯；

从钢坯形态中筛选出目标坯，并根据三维点云数据，计算目标坯的点云曲面中的质心坐标；所述目标坯包括单独的正常坯和并坯中的正常坯，正常坯是指非短坯并且非斜坯的钢坯；

根据目标坯的质心坐标生成贴标路径；

控制机器人按照所述贴标路径，将贴标机构吸附的标签贴设于所述目标坯的端面。

2.根据权利要求1所述的方法，其特征在于，按照如下方式识别所述钢坯形态：

从所述三维点云数据中筛选出若干竖直棱线，计算每条竖直棱线中点云的Z坐标均值；

从所述若干竖直棱线中筛选出最小Z坐标均值；

如果所述最小Z坐标均值大于第一阈值，并且当前钢坯不存在并坯，则识别钢坯形态为短坯。

3.根据权利要求1所述的方法，其特征在于，按照如下方式识别所述钢坯形态：

从所述三维点云数据中筛选出若干竖直棱线，计算每条竖直棱线中点云的Z坐标均值；

过滤掉Z坐标均值大于第二阈值的竖直棱线，利用保留的竖直棱线构建钢坯端面；

如果所述钢坯端面的法向量与X轴正向的夹角不在预设角度区间内，并且当前钢坯不存在并坯，则识别钢坯形态为斜坯；其中，所述预设角度区间为[90°-θ，90°+θ]，θ为允许的偏差角。

4.根据权利要求1~3任一项所述的方法，其特征在于，所述方法还包括：

当检测到所述钢坯图像中包含多个叠加并行的钢坯，则识别钢坯形态为并坯；其中，所述并坯包括错位型和对齐型，所述错位型为相邻两个钢坯端面的Z坐标不相等，所述对齐型为相邻两个钢坯端面的Z坐标相等；

如果确定所述并坯属于错位型，则分别计算各个钢坯端面的质心和法向量，并对所述并坯中的正常坯进行贴标。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

如果确定所述并坯属于对齐型，则以钢坯端面的标准规格所对应的基准点云集合为单位，在并坯的点云曲面中沿X轴方向构建目标竖直棱线；所述目标竖直棱线表示为{z=z0，x=xi}，z0为对齐型并坯的点云曲面的Z坐标，xi是以所述基准点云集合沿X轴的长度为间隔，沿X轴方向对所述对齐型并坯的点云曲面进行划分而得到的分割线X坐标分布，1≤i≤N；

对划分出的N+1个钢坯端面分别计算质心和法向量，并对所述并坯中的正常坯进行贴标；其中，N表示目标竖直棱线被构建的数量。

6.据权利要求4所述的方法，其特征在于，所述方法还包括：

如果确定所述并坯属于对齐型，则计算标准规格下每个钢坯端面的标准面积，以及，计算并坯的点云曲面的总面积；

根据所述标准面积和所述并坯的点云曲面的总面积，计算并坯的点云曲面中钢坯端面的数量，以及对并坯中每个钢坯端面进行分割；

对分割出的若干钢坯端面分别计算质心和法向量，并对所述并坯中的正常坯进行贴标。

7.根据权利要求1所述的方法，其特征在于，在将标签贴设于所述目标坯的端面之前，所述方法还包括：

控制除磷机构对所述目标坯的端面进行浮动除磷处理，以消除所述目标坯的端面上生成的氧化铁皮。

8.根据权利要求1或7所述的方法，其特征在于，在将标签贴设于所述目标坯的端面之后，所述方法还包括：

获取所述贴标机构表面设置的压力传感器检测的压力值；

如果所述压力值大于或等于第三阈值，则控制语音装置播报贴标成功信息，并在所有目标坯都贴标完成后，控制所述机器人返回至初始位置；

如果所述压力值小于第三阈值，控制语音装置播报贴标失败信息。

9.根据权利要求4所述的方法，其特征在于，在识别所述钢坯图像中包含的钢坯形态之后，所述方法还包括按照如下步骤对钢坯进行计数：

如果所述钢坯形态为短坯、斜坯或单独的正常坯，则将计数量累计加1；

如果所述钢坯形态为并坯中的错位型，则将计数量累计加M，M表示错位型并坯中识别出的钢坯端面的数量；

如果所述钢坯形态为并坯中的对齐型，则计算标准规格下每个钢坯端面的标准周长L_b，以及，计算并坯的点云曲面的周长L；如果满足2.1×L_b＞L≥2×L_b，将计数量累计加2；如果满足（K+0.1）×L_b≥L≥（K-0.9）×L_b，K≥3，将计数量累计加K。

10.一种基于三维点云的钢坯贴标系统，其特征在于，包括：

机器人，所述机器人上连接有贴标机构；

三维视觉设备，用于拍摄钢坯图像；

控制系统，分别与机器人和三维视觉设备连接，被配置为执行：

当接收到就位信号，控制三维视觉设备拍摄钢坯图像；其中，所述就位信号是分坯装置检测到钢坯从冷床运输到预设位置时发送的；

根据从所述钢坯图像中获取的三维点云数据，识别所述钢坯图像中包含的钢坯形态，所述钢坯形态包括短坯、斜坯、正常坯和并坯；

从钢坯形态中筛选出目标坯，并根据三维点云数据，计算目标坯的点云曲面中的质心坐标；所述目标坯包括单独的正常坯和并坯中的正常坯，正常坯是指非短坯并且非斜坯的钢坯；

根据目标坯的质心坐标生成贴标路径；

控制机器人按照所述贴标路径，将贴标机构吸附的标签贴设于所述目标坯的端面。

Images