CN111618855B - 一种自动挂牌系统及方法 - Google Patents

Abstract

本申请公开一种自动挂牌系统及方法，在待挂牌样品打包完成以后，控制机器人向待挂牌样品的中空区域移动，并接收测距传感器检测的相机与待挂牌样品内壁的间距；当间距为预设距离时，启动环形光源和相机，接收相机拍摄的第一样品图像；根据第一样品图像确定打包类型和基点；控制环形光源关闭，启动结构光源，接收相机拍摄的第二样品图像；根据第二样品图像和基点，计算最佳悬挂点；控制机器人移动，将夹爪夹持的标牌悬挂至最佳悬挂点的三维坐标处；对挂牌状态进行复检，若复检结果为挂牌失败，重复上述步骤直至挂牌成功，复检过程结束。本申请利用机器视觉自动确定最佳悬挂点，并通过机器人自动执行挂牌操作，提高了挂牌效率。

Description

一种自动挂牌系统及方法

技术领域

本申请涉及视觉检测技术领域，尤其涉及一种自动挂牌系统及方法。

背景技术

在钢铁行业，目前现场生产的钢筋线材绕成盘卷后，经悬挂流水线先流转至打包工位，由由多股钢线或钢带自动打包捆绑，之后再流转至称重工位，称重结束后在人工操作台内由打印机打印金属标牌，在等待下一卷成品盘卷称重时，由人工对当前盘卷操作挂牌。挂牌时人工拿取标牌和挂钩，先将标牌挂至挂钩上，再将挂钩悬挂于线材盘卷内圈距两端约300mm的不同的打包钢线或钢带上，从而完成挂牌。

目前人工挂牌是从操作室窗口拿取标牌和挂钩，再走至称重下一站，站立于线材盘卷的一端，由人工徒手伸进线材盘卷内部进行悬挂标牌。由于流水线一直处于运行中，危险系数较大，并且线材盘卷生产量较大时，人工来回频繁跑动并悬挂标牌，长时间作业，劳动强度较大，存在作业疲劳，人工挂标牌存在不可控性，悬挂位置(上方或下方)和悬挂距离的远近等都存在不一致性，且人工长时间作业，容易产生挂错标牌和漏挂标牌问题。

发明内容

为解决上述背景技术中所述的问题，本申请提供一种自动挂牌系统及方法。

第一方面，本申请提供一种自动挂牌系统，包括：

机器人和与所述机器人连接的视觉定位装置和夹爪，所述视觉定位装置包括环形光源、结构光源、相机和测距传感器；以及，控制系统，被配置为执行如下程序步骤：

在待挂牌样品打包完成以后，控制机器人带动视觉定位装置移动至所述待挂牌样品的中空区域内，并接收所述测距传感器检测的相机与待挂牌样品内壁的间距；

当所述间距为预设距离时，启动环形光源和相机，接收所述相机拍摄的第一样品图像；

根据所述第一样品图像确定打包类型和图像坐标系uov中的基点(u₀，v₀)；

控制环形光源关闭，启动结构光源，接收所述相机拍摄的第二样品图像；

根据所述第二样品图像和所述基点(u₀，v₀)，计算图像坐标系uov中的最佳悬挂点；

控制机器人移动，将所述夹爪夹持的标牌悬挂至所述最佳悬挂点对应于世界坐标系XYZ的三维坐标处；

对挂牌状态进行复检，如果复检结果为挂牌失败，重复上述步骤直至挂牌成功，则复检过程结束。

在一些实施例中，所述控制系统被进一步配置为按如下步骤计算确定打包类型和图像坐标系中的基点(u₀，v₀)：

在所述第一样品图像中划定第一感兴趣区域；

将所述第一感兴趣区域与预先获取的打包模板进行匹配，确定打包类型；所述打包类型包括打包线和打包带；

获取所述第一感兴趣区域与所述打包类型对应的打包模板匹配得到的目标区域；

将所述目标区域的中心点作为所述基点(u₀，v₀)。

在一些实施例中，所述控制系统被进一步配置为按如下步骤计算图像坐标系uov中的最佳悬挂点：

在第二样品图像中划定第二感兴趣区域；所述第二感兴趣区域与所述第一感兴趣区域的位置对应并且区域大小相同，所述第二感兴趣区域与所述第一感兴趣区域共享基点(u₀，v₀)；

在第二感兴趣区域中，在基点(u₀，v₀)沿v轴正向或负向任一侧选定目标结构光条纹；

对所述目标结构光条纹中各段子条纹的中心点按照v坐标值进行排序，将v坐标值最小的中心点作为最凹点(u_a，v_a)；

将坐标(u_a，v₀)作为图像坐标系uov中的最佳悬挂点。

在一些实施例中，所述控制系统被进一步配置为按照如下步骤选定目标结构光条纹：

遍历第二感兴趣区域中的各个像素点，根据筛选出的白色像素点，得到包括基点(u₀，v₀)的打包区域，以及在所述打包区域沿v轴正向和负向两侧构建若干分区；或者，以基点(u₀，v₀)为基准，通过阈值步长将所述第二感兴趣区域划分为若干分区；

根据挂牌位置相对于打包位置的方向，以及各分区内结构光条纹的完整程度，选取目标分区，并将所述目标分区内包括的结构光条纹选定为所述目标结构光条纹。

在一些实施例中，所述控制系统还被配置为执行：

根据所述目标结构光条纹中各段子条纹的中心点的排序结果，将v坐标值最大的中心点作为最凸点(u_t，v_t)；

根据图像坐标系uov与世界坐标系XYZ的映射关系，计算最佳悬挂点(u_a，v₀)在世界坐标系XYZ的坐标值(X_a，Y₀)；

根据最凸点(u_t，v_t)以及相机、结构光源、测距传感器和待挂牌样品的相对位置参数，利用三角测距法计算最佳悬挂点对应的Z坐标，从而得到最佳悬挂点对应于世界坐标系XYZ的三维坐标(X_a，Y₀，Z)。

在一些实施例中，所述控制系统还被配置为按照如下步骤对挂牌状态进行复检：

控制机器人移动，使视觉定位装置返回至第一样品图像对应的拍摄位置；

控制结构光源关闭，启动环形光源，接收所述相机拍摄的第三样品图像；

对所述第三样品图像进行预处理后，计算所述第三样品图像的轮廓面积；

如果所述第三样品图像的轮廓面积大于阈值，则判定复检结果为挂牌成功；反之，则判定复检结果为挂牌失败；

其中，所述第三样品图像中除标牌之外其他轮廓的总面积小于所述阈值。

在一些实施例中，所述系统还包括语音装置，所述控制系统还被配置为执行：

在复检过程中，控制所述语音装置播报与所述挂牌状态对应的提示信息，所述挂牌状态包括挂牌成功和挂牌失败。

在一些实施例中，所述系统还包括制钩机和打印机，所述控制系统还被配置为执行：

在控制机器人带动视觉定位装置移动至所述待挂牌样品的中空区域内之前，控制所述制钩机制作挂钩，以及控制所述打印机打印标牌；所述挂钩用于将所述标牌悬挂于所述最佳悬挂点的三维坐标处；

响应于接收到所述制钩机发送的制作成功指令，控制所述夹爪从所述制钩机上夹取挂钩；

控制机器人带动夹爪移动，使所述挂钩穿过所述标牌上预置的穿孔，则完成穿牌动作。

在一些实施例中，当需要对待挂牌样品进行双侧挂牌时，所述控制系统还进一步配置为执行：

当一侧挂牌成功后，控制所述机器人旋转180°，以使所述相机朝向另一侧；

对另一侧执行悬挂标牌以及复检流程；

当另一侧挂牌成功后，控制环形光源关闭，并控制所述机器人回到初始位置。

第二方面，本申请提供一种自动挂牌方法，用于自动挂牌系统，所述自动挂牌系统包括机器人和与所述机器人连接的视觉定位装置和夹爪，所述视觉定位装置包括环形光源、结构光源、相机和测距传感器，所述方法包括：

在待挂牌样品打包完成以后，控制机器人带动视觉定位装置移动至所述待挂牌样品的中空区域内，并接收测距传感器检测的相机与待挂牌样品内壁的间距；

当所述间距为预设距离时，启动环形光源和相机，接收所述相机拍摄的第一样品图像；

根据所述第一样品图像确定打包类型和图像坐标系uov中的基点(u₀，v₀)；

控制环形光源关闭，启动结构光源，接收所述相机拍摄的第二样品图像；

根据所述第二样品图像和所述基点(u₀，v₀)，计算图像坐标系uov中的最佳悬挂点；

控制机器人移动，将夹爪夹持的标牌悬挂至所述最佳悬挂点对应于世界坐标系XYZ的三维坐标处；

对挂牌状态进行复检，如果复检结果为挂牌失败，重复上述步骤直至挂牌成功，则复检过程结束。

本申请的关键在于每次悬挂标牌时需要利用机器视觉计算最佳悬挂点，首先在相机与待挂牌样品内壁的间距为预设距离时，利用环形光源和相机拍摄到第一样品图像，第一样品图像包括线材和打包装置的局部区域，因此可以判定打包类型是打包带还是打包线，并获取打包线或打包带中的基点(u₀，v₀)，该基点(u₀，v₀)是后续确定最佳悬挂点的基准点；然后，关闭环形光源，启动结构光源，使得拍摄的第二样品图像中包括打包装置对应的光带以及线材对应的结构光条纹，然后即可根据第二样品图像的特征和基点(u₀，v₀)来计算出最佳悬挂点及其在世界坐标系XYZ中的三维坐标，通过控制机器人移动使夹爪携带的挂牌被悬挂在最佳悬挂点的三维坐标位置处，即可完成挂牌。然而，在实际应用中，由于最佳悬挂点的误差等因素，可能导致挂牌失败，这时需要对挂牌状态进行复检，以确定是否挂牌成功，如果复检结果是挂牌失败，则重复上述挂牌流程直至挂牌成功，复检和挂牌流程结束。本申请利用机器视觉自动确定最佳悬挂点，并通过机器人自动执行挂牌操作，实现了线材盘卷的自动化、智能化挂牌，减少人工劳作和安全隐患，提高了挂牌效率，避免挂错标牌和漏挂标牌。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了一种自动挂牌系统的整体结构示意图；

图2示例性示出了视觉定位装置的连接结构示意图；

图3示例性示出了视觉定位装置的正面结构示意图；

图4示例性示出了自动挂牌系统的电连接示意图；

图5示例性示出了一种自动挂牌方法的流程图；

图6(a)示例性示出了打包带模板的示意图；

图6(b)示例性示出了打包线模板的示意图；

图7(a)示例性示出了打包类型为打包带时基点的计算结果；

图7(b)示例性示出了打包类型为打包线时基点的计算结果；

图8示例性示出了第二感兴趣区域及其分区示意图；

图9示例性示出了动态分区的原理图；

图10示例性示出了静态分区的原理图；

图11示例性示出了第二感兴趣区域中关键点的标记图；

图12示例性示出了挂牌成功时的第三样品图像；

图13示例性示出了另一种自动挂牌系统的电连接示意图。

图中，1-机器人；2-支架；3-视觉定位装置，31-环形光源，32-结构光源，33-相机，34-测距传感器；4-夹爪；5-控制系统，51-PLC控制器，52-计算机；6-语音装置；7-制钩机；8-打印机；100-待挂牌样品；101-打包装置。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请中挂牌是在待挂牌样品100打包之后执行的，待挂牌样品100可以使用打包装置进行捆绑，打包装置101可以是打包线或打包带，打包线是若干股细钢丝组成，打包带是具有一定宽度的钢带，采用不同的打包装置即具有不同的打包类型。本申请实施例中以待挂牌样品100为线材盘卷为例进行说明。

如图1～图4所示，本申请提供一种自动挂牌系统的实施例，自动挂牌系统包括机器人1、与机器人1连接的视觉定位装置3和夹爪4，以及控制系统5。在图2的示例中，视觉定位装置3的一端与机器人1通过支架2连接，视觉定位装置3的另一端与夹爪4连接，夹爪4和视觉定位装置3相邻设置并且都朝向待挂牌样品100，在具体实现中，夹爪4可以从制钩机7处夹取制作完成的挂钩，并将挂钩穿过打印机8打印的标牌上预置的穿孔(即穿牌动作)，之后即可夹持标牌执行悬挂操作。

在图3的示例中，视觉定位装置3包括环形光源31、结构光源32、相机33和测距传感器34，环形光源31、结构光源32、相机33和测距传感器34可以按照于同一个安装板上，环形光源31和结构光源32可以呈左右分布，相机33与结构光源32可以呈上下布置，相机33与待挂牌样品100的内表面平行，但在实际工况中，由于相机33存在安装误差，导致相机33呈现一定程度的倾斜，这种情况下，需要先对相机33拍摄的图像进行仿射变换，才能进行后续预处理和最佳悬挂点的计算等步骤。

对于环形光源31与相机33的配合，可以拍摄出第一样品图像，第一样品图像包括线材和打包装置的局部区域，因此可用于判定打包类型是打包带还是打包线，并获取打包线或打包带中的基点(u₀，v₀)，该基点(u₀，v₀)是后续确定最佳悬挂点的基准点。对于结构光源32和相机33的配合，结构光源32启动时可以产生结构光，基于结构光受待挂牌样品表面的调制而发生形变的特性原理，结构光经待挂牌样品100的表面反射后，被相机33接收，从而使拍摄到的第二样品图像具有携带样品表面真实形变特征的多条结构光条纹以及打包装置101对应的光带，根据第二样品图像的特征和基点(u₀，v₀)来计算出最佳悬挂点及其在世界坐标系XYZ中的三维坐标，根据机器人和最佳悬挂点的三维坐标，可以生成一条悬挂轨迹，机器人1按照该悬挂轨迹移动后，使夹爪4携带的挂牌被悬挂在最佳悬挂点的三维坐标位置处，从而完成挂牌。相机33可以采用工业相机。

参照图1，待挂牌样品100可以近似为中空的圆柱形，需要将标牌悬挂在待挂牌样品100中空区域的内壁上，控制机器人1带动视觉定位装置3向待挂牌样品100的中空区域移动，中空区域具有一定的内径，因此需要调节好相机33与待挂牌样品100内壁之间的距离，保证图像拍摄效果。测距传感器34用于检测的相机33与待挂牌样品100内壁的间距，控制系统5判断所述间距是否为预设距离，这里所述的预设距离可以根据待挂牌样品100的内径酌情设定。当所述间距为预设距离时，认为视觉定位装置3已达合适的拍摄位置，拍摄位置定位完成，即可启动环形光源31进行第一样品图像的拍摄；如果所述间距不等于预设距离，则需要继续控制机器人1调节所述间距，直至所述间距等于预设距离为止。测距传感器34比如可选择激光测距仪。

在图4的示例中，控制系统5分别与机器人1、环形光源31、结构光源32、相机33、测距传感器34、语音装置6、制钩机7和打印机8电连接。控制系统5用于规划机器人1的运动轨迹，并控制机器人1按照运动轨迹移动，机器人1比如可选择六轴机器人等类型；控制系统5还用于控制环形光源31、结构光源32和相机33的启动和关闭；控制系统5还用于接收并根据测距传感器34检测的相机33与待挂牌样品内壁的间距，定位相机33的拍摄位置；控制系统5还用于接收并根据相机33拍摄的样品图像，来计算最佳悬挂点以及挂牌状态的复检；控制系统5还用于复检过程中控制语音装置6播报的挂牌状态，挂牌状态包括挂牌成功和挂牌失败，语音装置6可设置在机器人1上，或者其他需要进行语音提示的场景中；控制系统5还用于控制制钩机7制作挂钩以及控制打印机8打印标牌，同时控制系统5还响应于制钩机7发送的制作成功指令和打印机8发送的打印成功指令，控制机器人1带动夹爪4完成挂钩夹取和穿牌工作。

如图5所示，本申请还提供一种自动挂牌方法的实施例，该方法用于如上所述的自动挂牌系统，是其中控制系统5被配置执行的程序步骤，即该方法执行主体为控制系统5，所述方法包括：

步骤S10，在待挂牌样品打包完成以后，控制机器人带动视觉定位装置移动至所述待挂牌样品的中空区域内，并接收测距传感器检测的相机与待挂牌样品内壁的间距。

挂牌必须是在待挂牌样品打包完成后续执行的，当然在打包完成之后，可以执行如称重等所需流程之后再执行挂牌，具体以实际工况需求为准。在控制机器人1移动至待挂牌样品100的中空区域内之前，控制系统5控制制钩机7制作挂钩，以及控制打印机8打印标牌，所述挂钩用于将,标牌悬挂于最佳悬挂点的三维坐标处，响应于接收到制钩机7发送的制作成功指令，控制夹爪4从制钩机7上夹取挂钩，并控制机器人1带动夹爪4移动，使挂钩穿过标牌上预置的穿孔，则完成穿牌动作，从而将挂钩和标牌连接在一起，挂牌时挂钩的一端与标牌连接，挂钩的另一端悬挂在打包线/打包带上。

步骤S20，当所述间距为预设距离时，启动环形光源和相机，接收所述相机拍摄的第一样品图像。

通过测距传感器34以及预设距离，定位拍摄位置，从而将视觉定位装置3调整到合适拍摄样品图像的位置。本实施例中涉及的第一样品图像、第二样品图像以及复检时拍摄的第三样品图像都是相机33在该拍摄位置处采集得到。

步骤S30，根据所述第一样品图像确定打包类型和图像坐标系uov中的基点(u₀，v₀)。

控制系统5接收第一样品图像后，可以先在第一样品图像中划定第一感兴趣区域(Region Of Interest，ROI)，第一感兴趣区域中包括打包区域和局部线材区域，通过设定第一感兴趣区域可以降低图像处理和运算量，提高运算效率。此外，还可以对第一感兴趣区域的图像进行灰度化、滤波、腐蚀和二值化等预处理，具体可以根据实际所需进行图像预处理，这些图像预处理方式均为现有技术，本实施例不再具体说明。

本实施例中采用模板匹配算法确定打包类型和基点(u₀，v₀)，这就需要预先获取打包模板，当线材盘卷采用统一的打包线或打包带时，可以预先制作出通用的打包模板，预先采集打包线和打包带的图像，然后对打包线和打包带的图像进行预处理，从而得到打包模板。需要说明的是，如果相机33存在倾斜安装的问题，则打包线和打包带的图像在预处理之前还需要进行仿射变换。打包模板包括如图6(a)所示的打包带模板和如图6(b)所示的打包线模板。

将第一感兴趣区域与预先获取的打包模板进行匹配，第一感兴趣区域要大于且包含打包模板的区域，通过模板匹配算法，即可确定第一感兴趣区域中包含的是打包带区域或者打包线区域，从而确定打包类型。获取第一感兴趣区域与所述打包类型对应的打包模板匹配得到的目标区域，图7(a)和图7(b)分别示出了打包带和打包线类型下的目标区域，将目标区域的中心点作为所述基点(u₀，v₀)。第一样品图像用于确定打包类型和基点(u₀，v₀)，基点(u₀，v₀)是后续计算标牌的最佳悬挂点的基准点。

步骤S40，控制环形光源关闭，启动结构光源，接收所述相机拍摄的第二样品图像

关闭环形光源31，开启结构光源32，在拍摄位置不变的情况下，由于同一个相机33的拍摄视野不变，因此第二样品图像与第一样品图像尺寸相同，拍摄的区域也相同，所以第二样品图像与第一样品图像可以统一到同一图像坐标系uov中，这样拍摄区域内同一个空间点在第二样品图像和第一样品图像中具有相同的像素坐标，一般将图像左上角作为原点，建立图像坐标系uov。

进行最佳悬挂点计算之前，在第二样品图像中划定第二感兴趣区域，第二感兴趣区域与第一感兴趣区域的位置对应并且区域大小相同，相当于在同一图像坐标系uov中将第一样品图像中的第一感兴趣区域映射到第二样品图像，形成第二感兴趣区域，第一感兴趣区域和第二感兴趣区域中同一位置像素点的坐标相同，从而使得第二感兴趣区域与第一感兴趣区域共享基点(u₀，v₀)。同样地，可以对第二感兴趣区域进行灰度化、滤波、腐蚀和二值化等预处理。

步骤S50，根据所述第二样品图像和所述基点(u₀，v₀)，计算图像坐标系uov中的最佳悬挂点。

步骤S60，控制机器人移动，将所述夹爪夹持的标牌悬挂至所述最佳悬挂点对应于世界坐标系XYZ的三维坐标处。

由于第二样品图像是在结构光源32下拍摄的，如图8所示，第二感兴趣区域中包括打包区域对应的光带，基点(u₀，v₀)的位置在光带中，还包括在光带上侧(沿v轴负向)和下侧(沿v轴正向)分布的若干条结构光条纹，结构光条纹是线材在结构光下呈现的图像特征，由图8可见，每条结构光条纹由若干段的子条纹组成。结构光受待挂牌样品表面的调制而发生形变的特性为：由于待挂牌样品的表面存在凹凸性，会使照射到待挂牌样品表面的结构光发生相位调制，造成待挂牌样品越凸出的部分对应的光条纹像素点越偏下，反之，待挂牌样品越凹进去的部分对应的光条纹像素点越偏上。

在基点(u₀，v₀)沿v轴正向或负向任一侧选定目标结构光条纹，参照图1所示的拍摄角度，在实际工况中想要将标牌悬挂在打包装置101的左侧，那么就需要在基点(u₀，v₀)沿v轴负向的一侧选择目标结构光条纹；若想要将标牌悬挂在打包装置101的右侧，则在基点(u₀，v₀)沿v轴正向的一侧选择目标结构光条纹。然后基于结构光受待挂牌样品表面的调制而发生形变的特性，计算最佳悬挂点，具体来说，对目标结构光条纹中各段子条纹的中心点按照v坐标值进行排序，将v坐标值最小的中心点作为最凹点(u_a，v_a)，如果是按v坐标值递增(升序)排序，则将排序在首位的中心点作为最凹点(u_a，v_a)；如果是按v坐标值递减(降序)排序，则将排序在最末位的中心点作为最凹点(u_a，v_a)。

将坐标(u_a，v₀)作为图像坐标系uov中的最佳悬挂点，即取最凹点(u_a，v_a)的u坐标和基点(u₀，v₀)的v坐标组合得到最佳悬挂点在图像坐标系uov中的坐标，这样取值的目的在于：v₀是找到的打包线/打包带的位置，挂钩的一端需要悬挂在打包线/打包带上，在u＝u_a的直线上，由于线材最凹，使得线材之间的缝隙最深，能避免挂牌过程中标牌受线材阻挡，从而便于挂钩顺利完成挂牌。

在实际工况中，根据客户需求，可能仅对一侧进行挂牌(即单侧挂牌)，或者是对两侧进行挂牌(即双侧挂牌)。一侧挂牌就是在样品中空内壁上悬挂一个标牌，在该侧挂牌时，标牌相对于打包位置的方向可以是在打包线/打包带左侧或右侧；两侧挂牌时在样品中空内壁上悬挂两个标牌，两个标牌悬挂点相较于中轴线具有180度的转角，因此当第一侧挂牌完成时，需要控制机器人1旋转180度，带动相机33的拍摄角度也转变180度，这样势必会导致图像坐标系的颠倒，如果第一侧是在打包线/打包带的左侧挂牌，那么第二侧就是在打包线/打包带的右侧挂牌，才能保证标牌悬挂位置的准确性。此外，由于相机33可能存在倾斜安装的问题，并且悬挂的线材面是凹凸不平的曲面，也会影响悬挂位置确定的准确性。

对此，本实施例对第二感兴趣区域进行分区处理，遍历第二感兴趣区域中的各个像素点，根据筛选出的白色像素点，得到包括基点(u₀，v₀)的打包区域，以及在所述打包区域沿v轴正向和负向两侧构建若干分区。如图8所示，第二感兴趣区域由众多白色像素点和黑色像素点组成，白色像素点构成的白色区域包括打包区域(即中间的较粗长条的光带)以及结构光条纹，黑色像素点构成的黑色区域为样品背景，由于光带、结构光条纹和样品背景具有各自明显的特征，灰度不同，因此可以预设一个灰度阈值，通过灰度阈值对每个像素点进行区分，从而分割出白色区域和黑色区域。由图8可见，光带以及各结构光条纹之间在v轴方向上具有一定的间距，可以通过分割线来分隔开光带以及各结构光条纹，图8中4条分割线的划分结果为：中间的光带为打包区域，在打包区域上侧和下侧分别有2个分区。

如图9所示的示例，中间光带的白色终点(即光带上v坐标值最大的像素点(u₁，v₁))，以及白色终点(u₁，v₁)下方紧邻的下一个白色起点(即光带下方的结构光条纹中v坐标值最小的像素点(u₂，v₂))，在这两个像素点之间的中心位置坐分割线l，即l＝(v₁+v₂)/2。按照此动态分区的原理，对第二感兴趣区域完成全局分区。动态分区方式更加智能化，并且精度更高。

在其他实现方式中，如图10所示的示例，可以采用静态分区的方式，在图像坐标系中，以基点(u₀，v₀)为基准，通过阈值步长y_i对第二感兴趣区域进行分区，这种方式下，分割线l＝v₀+y_i，其中1≤i≤N，N为分割线的数量，比如图10中，第一条分割线的阈值步长y₁＝-30，第二条分割线的阈值步长y₂＝30，第三条分割线的阈值步长y₃＝80，从而将第二感兴趣区域划分为4个分区，分别为分区1、分区2、分区3和分区4。其中，阈值步长y_i可以根据实际经验设置。静态分区设置完成后，比如需要将标牌悬挂至图1中打包装置的左侧，则可以直接将基点(u₀，v₀)上侧相邻的分区作为目标分区，这种方式效率更高，但是准确率相对较低；或者从基点(u₀，v₀)上侧的若干分区中选取结构光条纹完整程度更高的分区作为目标分区，这种方式计算出的最佳悬挂点精度更高。需要说明的是，目标分区的获取规则不限于本实施例所述。相较于动态分区方式，静态分区能够降低系统节拍，提高挂牌效率，但由于分割线可能会将完整的结构光条纹隔断开来，因此计算精度比动态分区方式低，因此可以根据实际情况酌情选择采用动态或静态分区方式。

当第二感兴趣区域分区完成后，根据挂牌位置相对于打包位置的方向，以及各分区内结构光条纹的完整程度，选取目标分区，并将所述目标分区内包括的结构光条纹选定为所述目标结构光条纹。比如图8中，与中间光带相邻的上侧和下侧分区中具有较为完整的结构光条纹，如果客户指定第一侧需要将标牌悬挂于打包装置的左侧，则可以选取与中间光带相邻的上侧分区为目标分区，当将机器人1旋转180度后，由于图像坐标系颠倒，第二侧则选取与中间光带相邻的下侧分区为目标分区，以保证双侧挂牌的准确性。需要说明的是，如果采用单侧挂牌，进行分区处理则便于统一管理各个打包样品的挂牌位置和方向，当然单侧挂牌时也可不用设置分区。

当计算出图像坐标系uov中的最佳悬挂点后，需要计算最佳悬挂点在世界坐标系XYZ的三维坐标，然后根据夹爪4的当前位置和最佳悬挂点的三维坐标来生成悬挂轨迹，控制机器人1按照悬挂轨迹运动，即可将夹爪4中夹持的标牌(具体体现为通过挂钩)悬挂至最佳悬挂点的三维坐标处，从而完成挂牌动作。

世界坐标系XYZ是在实际世界空间中建立的坐标系，图像坐标系uov和世界坐标系XYZ建立后，可以根据相机成像特性和拍摄位置等相关信息，预先获取到图像坐标系uov与世界坐标系XYZ之间的映射关系，图像坐标系uov中任意一像素点都可以根据映射关系找到在世界坐标系XYZ对应的三维坐标点。因此，通过映射关系，可以计算最佳悬挂点(u_a，v₀)在世界坐标系XYZ的坐标值(X_a，Y₀)，即确定了最佳悬挂点在世界坐标系XYZ中的X坐标值和Y坐标值。

最佳悬挂点的Z坐标(深度)即为相机33到打包装置的距离，可以根据根据最凸点(u_t，v_t)以及相机33、结构光源32、测距传感器34和待挂牌样品100的相对位置参数等几何关系，利用三角测距法计算最佳悬挂点对应的Z坐标，从而得到最佳悬挂点对应于世界坐标系XYZ的三维坐标(X_a，Y₀，Z)。其中，根据述目标结构光条纹中各段子条纹的中心点的排序结果，将v坐标值最大的中心点作为最凸点(u_t，v_t)，如果是按v坐标值递增(升序)排序，则将排序在最末位的中心点作为最凸点(u_t，v_t)；如果是按v坐标值递减(降序)排序，则将排序在首位的中心点作为最凸点(u_t，v_t)。本实施例中，选取最凸点(u_t，v_t)参与计算最佳悬挂点的Z坐标的目的是因为最凸点是线材盘卷中最凸出的位置，以线材盘卷表面最凸点与相机33的实际距离作为Z坐标，可以避免挂牌过程中机器人1与线材盘卷相撞。

在实际工况中，为了提高挂牌的成功率，在生成机器人1的悬挂轨迹时，需要在最佳悬挂点的三维坐标(X_a，Y₀，Z)的基础上加上一定的偏差，即(X_a+a，Y₀+b，Z+c)，其中a、b和c为经验值，可以根据自动挂牌系统进行调试获得。图11中标记出了基点(u₀，v₀)、最凹点(u_a，v_a)、最凸点(u_t，v_t)和最佳悬挂点(u_a，v₀)。

步骤S70，对挂牌状态进行复检，如果复检结果为挂牌失败，重复上述步骤直至挂牌成功，则复检过程结束。

在步骤S70的一种具体实现方式中，当挂牌完成时，视觉定位装置3位于最佳悬挂点的附近，需要将视觉定位装置3返回至第一样品图像/第二样品图像对应的拍摄位置，即返回至根据测距传感器34和预设距离定位的拍摄位置处，控制结构光源32关闭，并启动环形光源31，由相机33拍摄第三样品图像，第三样品图像中包括打包装置、挂钩挂牌和线材的局部区域，然后可以对第三样品图像进行如灰度化、滤波、腐蚀等预处理，第三样品图像无需进行仿射变换。

然后计算第三样品图像的轮廓面积，如果第三样品图像的轮廓面积大于阈值，则判定复检结果为挂牌成功，反之，则判定复检结果为挂牌失败。其中，第三样品图像中除标牌之外其他轮廓的总面积小于所述阈值，所述阈值可以根据标牌的轮廓面积进行设定，比如可以设定为第三样品图像中悬挂成功的标牌面积的四分之一。对于第三样品图像的轮廓面积，其中标牌面积占比较高，而除标牌之外其他轮廓的总面积占比较小，并且小于设定的阈值，如果挂牌失败，第三样品图像中不具有标牌，则线材和打包装置的轮廓面积小于阈值，即可判定为挂牌失败；如果第三样品图像中具有标牌，则标牌面积显然会大于设定的阈值，即可判定为挂牌成功。

如果判定为挂牌成功，则结束复检；如果判定为挂牌失败，则需要重复步骤S10～步骤S70，重新拍摄第一样品图像和第二样品图像计算最佳悬挂点的三维坐标，并且再次执行挂牌动作，以及再次拍摄第三样品图像，判定第三样品图像的轮廓面积是否大于阈值，直至判定结果为第三样品图像的轮廓面积大于阈值，即挂牌成功，即可使复检过程结束。图12示出了挂牌成功时的第三样品图像示意图，其中带数字标识的即为标牌，标牌和打包线之间连接有挂钩。

如果采用单侧挂牌，则在挂牌成功，复检过程结束后，控制环形光源31关闭，并控制机器人1回到初始位置；如果采用双侧挂牌，则在一侧挂牌成功后，控制机器人1旋转180°，以使相机33朝向另一侧，然后对另一侧同样执行步骤S10～步骤S70示出的悬挂标牌以及复检的流程，并在另一侧也挂牌成功后，再控制环形光源31关闭，并控制机器人1回到初始位置。当前待挂牌样品单侧/双侧挂牌成功后，即可将当前的待挂牌样品移出挂牌工位，并将下一个待挂牌样品移动至挂牌工位，然后重复以上方法流程。

在复检过程中，控制语音装置6播报与挂牌状态对应的提示信息，所述挂牌状态包括挂牌成功和挂牌失败。无论是单侧还是双侧挂牌，每次复检时，执行一次判定第三样品图像的轮廓面积是否大于阈值的步骤，都可以根据判定出的挂牌状态，控制语音装置6播报对应的提示信息，所述提示信息可以预设在语音装置6中，提示信息比如可设置为某某样品已成功悬挂标牌，或者某某样品悬挂标牌失败等，以便现场人员能够获知挂牌状态和复检进程，提示信息的具体内容可以根据实际情况进行设定，本实施例不作限定。

在一种实现方式中，如图13所示，控制系统5可采用PLC控制器51+计算机52的组合控制结构，相机33、打印机8和PLC控制器51分别与计算机52电连接，机器人1、环形光源31、结构光源32、测距传感器34、语音装置6和制钩机7分别与PLC控制器51电连接。PLC控制器51+计算机52的组合控制流程如下：

待挂牌样品在打包、称重完成之后，送入挂牌工位，PLC控制器51控制制钩机7制作挂钩，计算机52控制打印机8打印标牌；当PLC控制器51接收到制钩机7发送的制作成功指令，控制机器人1移动，以带动夹爪4夹取挂钩；当计算机52接收到打印机反馈的打印成功指令，计算机52向PLC控制器51发送第一控制指令；PLC控制器51响应第一控制指令，控制机器人1带动夹爪完成穿牌动作。

穿牌完成后，PLC控制器51控制机器人1带动视觉定位装置移动至所述待挂牌样品100的中空区域内，并启动测距传感器34；PLC控制器51接收测距传感器34检测的相机33与待挂牌样品内壁的间距，并判断所述间距是否为预设距离，如果否，则继续调整视觉定位装置的位置，如果所述间距为预设距离，则PLC控制器51控制环形光源31和相机33启动，以使相机33拍摄第一样品图像；计算机52接收相机33拍摄的第一样品图像后，确定打包类型和图像坐标系uov中的基点(u₀，v₀)；计算机52向PLC控制器51发送第二控制指令，PLC控制器51响应第二控制指令，控制环形光源31关闭，启动结构光源32，以使相机33拍摄第二样品图像；计算机52接收相机33拍摄的第二样品图像后，计算图像坐标系uov中的最佳悬挂点，以及最佳悬挂点的三维坐标；计算机52向PLC控制器51发送第三控制指令，PLC控制器51响应第三控制指令，控制机器人1移动，将夹爪4中夹持的标牌悬挂至最佳悬挂点的三维坐标处，完成挂牌动作。

机器人1向PLC控制器51反馈挂牌完成指令，这时启动复检：PLC控制器51控制机器人1移动，使视觉定位装置3返回至第一样品图像对应的拍摄位置；PLC控制器51控制结构光源32关闭，启动环形光源31，以使相机33拍摄第三样品图像；计算机52接收相机33拍摄的第三样品图像后，对第三样品图像进行预处理，计算第三样品图像的轮廓面积，并判断第三样品图像的轮廓面积是否大于阈值；如果第三样品图像的轮廓面积大于阈值，则判定复检结果为挂牌成功；反之，则判定复检结果为挂牌失败，重复以上流程直至判定挂牌成功为止，复检过程结束。

如果采用单侧挂牌，则在挂牌成功，复检过程结束后，计算机52向PLC控制器51发送第四控制指令；PLC控制器51响应第四控制指令，控制环形光源31关闭，并控制机器人1回到初始位置；如果采用双侧挂牌，则在一侧挂牌成功后，计算机52向PLC控制器51发送第五控制指令；PLC控制器51响应第五控制指令，控制机器人1旋转180°，以使相机33朝向另一侧，然后对另一侧同样执行以上悬挂标牌以及复检的流程，并在另一侧也挂牌成功后，计算机52向PLC控制器51发送第六控制指令；PLC控制器51响应第六控制指令，控制环形光源31关闭，并控制机器人1回到初始位置。无论采用单侧挂牌还是双侧挂牌，在进行复检时，计算机52都需要向PLC控制器51发送判定出的挂牌状态；PLC控制器51根据挂牌状态，控制语音装置6播报对应的提示信息。

当前待挂牌样品单侧/双侧挂牌成功后，即可将当前的待挂牌样品移出挂牌工位，并将下一个待挂牌样品移动至挂牌工位，然后重复以上方法流程即可。

由以上技术方案可知，本申请的关键在于每次悬挂标牌时需要利用机器视觉计算最佳悬挂点，首先在相机与待挂牌样品内壁的间距为预设距离时，利用环形光源和相机拍摄到第一样品图像，第一样品图像包括线材和打包装置的局部区域，因此可以判定打包类型是打包带还是打包线，并获取打包线或打包带中的基点(u₀，v₀)，该基点(u₀，v₀)是后续确定最佳悬挂点的基准点；拍摄第二样品图像，第二样品图像中包括打包装置对应的光带以及线材对应的结构光条纹，通过分区处理，获取最凸点(u_t，v_t)和最凹点(u_a，v_a)，从而计算出最佳悬挂点(u_a，v₀)及其在世界坐标系XYZ中的三维坐标(X_a，Y₀，Z)，通过控制机器人移动使夹爪携带的挂牌被悬挂在最佳悬挂点的三维坐标位置处，即可完成挂牌。

在实际应用中，由于最佳悬挂点的误差等因素，可能导致挂牌失败，这时需要对挂牌状态进行复检，以确定是否挂牌成功，如果复检结果是挂牌失败，则重复上述挂牌流程直至挂牌成功，复检和挂牌流程结束。本申请利用机器视觉自动确定最佳悬挂点，并通过机器人自动执行挂牌操作，实现了线材盘卷的自动化、智能化挂牌，减少人工劳作和安全隐患，提高了挂牌效率和最佳悬挂点的定位精度，能避免挂错标牌和漏挂标牌，进而提高了线材盘卷的生产效率。本申请所述的技术方案可以适应性应用于其他类型样品的挂牌控制，而不限于线材盘卷。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由所附的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (8)

1.一种自动挂牌系统，其特征在于，包括：

机器人和与所述机器人连接的视觉定位装置和夹爪，所述视觉定位装置包括环形光源、结构光源、相机和测距传感器；以及，控制系统，被配置为执行如下程序步骤：

在待挂牌样品打包完成以后，控制机器人带动视觉定位装置移动至所述待挂牌样品的中空区域内，并接收所述测距传感器检测的相机与待挂牌样品内壁的间距；

当所述间距为预设距离时，启动环形光源和相机，接收所述相机拍摄的第一样品图像；

根据所述第一样品图像确定打包类型和图像坐标系uov中的基点（u ₀，v ₀）；

控制环形光源关闭，启动结构光源，接收所述相机拍摄的第二样品图像；

根据所述第二样品图像和所述基点（u ₀，v ₀），计算图像坐标系uov中的最佳悬挂点；

控制机器人移动，将所述夹爪夹持的标牌悬挂至所述最佳悬挂点对应于世界坐标系XYZ的三维坐标处；

对挂牌状态进行复检，如果复检结果为挂牌失败，重复上述步骤直至复检结果为挂牌成功，则复检过程结束；

所述控制系统被进一步配置为按如下步骤计算确定打包类型和图像坐标系uov中的基点（u ₀，v ₀）：

在所述第一样品图像中划定第一感兴趣区域；

将所述第一感兴趣区域与预先获取的打包模板进行匹配，确定打包类型；所述打包类型包括打包线和打包带；

获取所述第一感兴趣区域与所述打包类型对应的打包模板匹配得到的目标区域；

将所述目标区域的中心点作为所述基点（u ₀，v ₀）；

所述控制系统被进一步配置为按如下步骤计算图像坐标系uov中的最佳悬挂点：

在第二样品图像中划定第二感兴趣区域；所述第二感兴趣区域与所述第一感兴趣区域的位置对应并且区域大小相同，所述第二感兴趣区域与所述第一感兴趣区域共享基点（u ₀，v ₀）；

在第二感兴趣区域中，在基点（u ₀，v ₀）沿v轴正向或负向任一侧选定目标结构光条纹；

对所述目标结构光条纹中各段子条纹的中心点按照v坐标值进行排序，将v坐标值最小的中心点作为最凹点（u _a，v _a）；

将坐标（u _a，v ₀）作为图像坐标系uov中的最佳悬挂点。

2.根据权利要求1所述的自动挂牌系统，其特征在于，所述控制系统被进一步配置为按照如下步骤选定目标结构光条纹：

遍历第二感兴趣区域中的各个像素点，根据筛选出的白色像素点，得到包括基点（u ₀，v ₀）的打包区域，以及在所述打包区域沿v轴正向和负向两侧构建若干分区；或者，以基点（u ₀，v ₀）为基准，通过阈值步长将所述第二感兴趣区域划分为若干分区；

根据挂牌位置相对于打包位置的方向，以及各分区内结构光条纹的完整程度，选取目标分区，并将所述目标分区内包括的结构光条纹选定为所述目标结构光条纹。

3.根据权利要求1所述的自动挂牌系统，其特征在于，所述控制系统还被配置为执行：

根据所述目标结构光条纹中各段子条纹的中心点的排序结果，将v坐标值最大的中心点作为最凸点（u _t，v _t）；

根据图像坐标系uov与世界坐标系XYZ的映射关系，计算最佳悬挂点（u _a，v ₀）在世界坐标系XYZ的坐标值（X_a，Y₀）；

根据最凸点（u _t，v _t）以及相机、结构光源、测距传感器和待挂牌样品的相对位置参数，利用三角测距法计算最佳悬挂点对应的Z坐标，从而得到最佳悬挂点对应于世界坐标系XYZ的三维坐标（X_a，Y₀，Z）。

4.据权利要求1所述的自动挂牌系统，其特征在于，所述控制系统还被配置为按照如下步骤对挂牌状态进行复检：

控制机器人移动，使视觉定位装置返回至第一样品图像对应的拍摄位置；

控制结构光源关闭，启动环形光源，接收所述相机拍摄的第三样品图像；

对所述第三样品图像进行预处理后，计算所述第三样品图像的轮廓面积；

如果所述第三样品图像的轮廓面积大于阈值，则判定复检结果为挂牌成功；反之，则判定复检结果为挂牌失败；

其中，所述第三样品图像中除标牌之外其他轮廓的总面积小于所述阈值。

5.根据权利要求1所述的自动挂牌系统，其特征在于，还包括语音装置，所述控制系统还被配置为执行：

在复检过程中，控制所述语音装置播报与所述挂牌状态对应的提示信息，所述挂牌状态包括挂牌成功和挂牌失败。

6.根据权利要求1所述的自动挂牌系统，其特征在于，还包括制钩机和打印机，所述控制系统还被配置为执行：

在控制机器人带动视觉定位装置移动至所述待挂牌样品的中空区域内之前，控制所述制钩机制作挂钩，以及控制所述打印机打印标牌；所述挂钩用于将所述标牌悬挂于所述最佳悬挂点的三维坐标处；

响应于接收到所述制钩机发送的制作成功指令，控制所述夹爪从所述制钩机上夹取挂钩；

控制机器人带动夹爪移动，使所述挂钩穿过所述标牌上预置的穿孔，则完成穿牌动作。

7.根据权利要求4所述的自动挂牌系统，其特征在于，当需要对待挂牌样品进行双侧挂牌时，所述控制系统还进一步配置为执行：

当一侧挂牌成功后，控制所述机器人旋转180°，以使所述相机朝向另一侧；

对另一侧执行悬挂标牌以及复检流程；

当另一侧挂牌成功后，控制环形光源关闭，并控制所述机器人回到初始位置。

8.一种自动挂牌方法，用于自动挂牌系统，其特征在于，所述自动挂牌系统包括机器人和与所述机器人连接的视觉定位装置和夹爪，所述视觉定位装置包括环形光源、结构光源、相机和测距传感器，所述方法包括如下步骤：

在待挂牌样品打包完成以后，控制机器人带动视觉定位装置移动至所述待挂牌样品的中空区域内，并接收测距传感器检测的相机与待挂牌样品内壁的间距；

当所述间距为预设距离时，启动环形光源和相机，接收所述相机拍摄的第一样品图像；

根据所述第一样品图像确定打包类型和图像坐标系uov中的基点（u ₀，v ₀）；

控制环形光源关闭，启动结构光源，接收所述相机拍摄的第二样品图像；

根据所述第二样品图像和所述基点（u ₀，v ₀），计算图像坐标系uov中的最佳悬挂点；

控制机器人移动，将夹爪夹持的标牌悬挂至所述最佳悬挂点对应于世界坐标系XYZ的三维坐标处；

对挂牌状态进行复检，如果复检结果为挂牌失败，重复上述步骤直至复检结果为挂牌成功，则复检过程结束；

按如下步骤计算确定打包类型和图像坐标系uov中的基点（u ₀，v ₀）：

在所述第一样品图像中划定第一感兴趣区域；

将所述第一感兴趣区域与预先获取的打包模板进行匹配，确定打包类型；所述打包类型包括打包线和打包带；

获取所述第一感兴趣区域与所述打包类型对应的打包模板匹配得到的目标区域；

将所述目标区域的中心点作为所述基点（u ₀，v ₀）；

按如下步骤计算图像坐标系uov中的最佳悬挂点：

在第二样品图像中划定第二感兴趣区域；所述第二感兴趣区域与所述第一感兴趣区域的位置对应并且区域大小相同，所述第二感兴趣区域与所述第一感兴趣区域共享基点（u ₀，v ₀）；

在第二感兴趣区域中，在基点（u ₀，v ₀）沿v轴正向或负向任一侧选定目标结构光条纹；

对所述目标结构光条纹中各段子条纹的中心点按照v坐标值进行排序，将v坐标值最小的中心点作为最凹点（u _a，v _a）；

将坐标（u _a，v ₀）作为图像坐标系uov中的最佳悬挂点。

Images