CN117237616B - 一种钢板堆场的物料调运扫描识别系统及方法 - Google Patents

Abstract

本发明公开了一种钢板堆场的物料调运扫描识别系统及方法，包括：第一激光扫描仪、第二激光扫描仪、第三激光扫描仪、高清工业相机、倾角仪、绝对值编码器和工控机；工控机包括图像识别模块、第一3D点云识别模块和第二3D点云识别模块，图像识别模块由高清工业相机提供数据，对钢板区域和关键点区域进行识别；第一3D点云识别模块由第一激光扫描仪和绝对值编码器提供数据，对钢板入库抓取识别；第二3D点云识别模块由第二激光扫描仪、第三激光扫描仪和倾角仪提供数据，对钢板入库放置识别，完成钢板入库。本发明可应用于钢板堆场的自动化入库时车辆上钢板的定位计算，采用3D点云结合图像处理的方式对钢板识别定位，实现钢板自动化入库。

Description

一种钢板堆场的物料调运扫描识别系统及方法

技术领域

本发明涉及堆场管理系统，尤其涉及一种适用于钢板堆场的物料调运扫描识别系统及方法。

背景技术

目前，大多数用钢企业都需要对已采购的钢板放入钢板堆场中而不是直接使用，往往会在钢板堆场存放大量不同尺寸和厚度的钢板，并且存放时间长久；堆场环境复杂，很容易导致钢板氧化腐蚀，难以识别。

现有对钢板库钢板识别抓取放置主要有以下方法：依赖工人手动测量，将抓取位置和放置位置信息传递给起重机司机并且与起重机司机实时沟通调整，进行钢板的抓取与放置，这种方法对钢板识别抓取危险系数高，人工成本高，需要工人专业性强，耗时长；还有通过图像识别来进行钢板尺寸位置识别，给出起重机控制的尺寸坐标，然后根据工人给出的抓取高度和放置位置的坐标，实现钢板的抓取与放置，这种方法也比较依赖人力和操作工人的专业性，并且这种图像识别给出的定位会存在一定的误差，或者只能识别特别标识的钢板，有很大局限性。

发明内容

有鉴于此，本发明提供了一种钢板堆场的物料调运扫描识别系统及方法，可应用于钢板堆场的自动化入库时车辆上钢板专区中心点的定位计算，采用3D点云结合图像处理的方式对钢板识别定位，实现钢板的抓取与放置，以实现钢板自动化入库。

为此，本发明提供了以下技术方案：

本发明公开了一种钢板堆场的物料调运扫描识别系统，包括：

安装于停车位的一侧靠近中间位置的第一激光扫描仪，用于对钢板车进行点云数据扫描；

安装于起重机主梁两端的第二激光扫描仪和第三激光扫描仪，用于对待放置的钢板位置进行点云数据扫描；

安装在所述第一激光扫描仪旁边的高清工业相机，用于采集钢板车图像；

安装在起重机主梁上所述第二激光扫描仪和所述第三激光扫描仪旁边的倾角仪，用于获取所述第二激光扫描仪和所述第三激光扫描仪安装位置的实时角度信息；

用于实时检测各扫描仪安装位置的空间坐标位置的绝对值编码器；以及，

分别与所述第一激光扫描仪、所述第二激光扫描仪、所述第三激光扫描仪、所述高清工业相机、所述倾角仪、所述绝对值编码器连接的工控机；所述工控机包括图像识别模块、第一3D点云识别模块和第二3D点云识别模块，所述图像识别模块由所述高清工业相机提供数据，对钢板区域和关键点区域进行识别；所述第一3D点云识别模块由所述第一激光扫描仪和所述绝对值编码器提供数据，对钢板入库抓取识别；所述第二3D点云识别模块由所述第二激光扫描仪、所述第三激光扫描仪和所述倾角仪提供数据，对钢板入库放置识别，完成钢板入库。

进一步地，所述高清工业相机外侧安装有防尘防水护罩。

进一步地，还包括：安装于所述第一激光扫描仪底部的智能云台；所述智能云台搭配所述第一激光扫描仪对钢板车进行点云数据扫描。

本发明还提供了一种钢板堆场的物料调运扫描识别方法，应用于上述钢板堆场的物料调运扫描识别系统，所述方法包括：

通过工控机发送指令，控制高清工业相机采集实时钢板车图像，同时控制第一激光扫描仪对钢板车进行3D点云数据扫描；

图像识别模块获取所述实时钢板车图像，并基于所述钢板车图像识别出钢板区域和关键点区域；

第一点云识别模块获取所述钢板车的3D点云数据，并基于所述钢板车的3D点云数据，结合所述钢板区域和所述关键点区域确定最上层钢板的空间坐标信息；

通过第二激光扫描仪和第三激光扫描仪，对待放置钢板的钢板位置进行扫描，得到钢板放置区域的3D点云数据；

第二点云识别模块获取所述第二激光扫描仪和所述第三激光扫描仪采集的两组点云数据，对点云数据分割得到待放置区域的最小包围盒，得到钢板的放置位置；

工控机结合倾角仪计算的角度，控制起重机将钢板放置在所述钢板的放置位置，完成钢板入库。

进一步地，基于所述钢板车图像识别出钢板区域和关键点区域，包括：

获取高清工业相机实时采集的钢板车图像，预设定停车区域的掩膜位置，对所述钢板车图像中目标钢板车区域进行粗定位；

利用基于yolact实例分割的识别模型对粗定位后的钢板车图像进行分割识别，识别出钢板区域与关键点区域；

对钢板区域与关键点区域的轮廓进行直线拟合，得到最上层钢板和关键点的实际距离和最上层钢板的实际尺寸。

进一步地，通过RANSAC法对钢板区域与关键点区域的轮廓进行直线拟合。

进一步地，训练所述基于yolact实例分割的识别模型，包括：

通过高清工业相机采集不同钢板车的样本图像；

预设定停车区域的掩膜位置，对所述样本图像中目标钢板车区域进行粗定位；

对粗定位钢板车样本图像进行人工标注，标注区域为钢板区域和关键点区域，得到训练集；

利用所述训练集对所述识别模型进行训练，得到模型的最优权重系数。

进一步地，基于所述钢板车的3D点云数据，结合所述钢板区域和所述关键点区域确定最上层钢板的空间坐标信息，包括：

对所述钢板车的3D点云数据依次进行下采样和去噪预处理；

根据预设定停车区域掩膜位置，对预处理后的点云数据进行粗定位分割；

将粗定位分割的点云数据进行二次分割，对车斗区域和关键点区域进行位置提取；

根据车斗的点云数据，确定最上层钢板的高度信息；

结合所述钢板区域和所述关键点区域，确定点云数据最上层钢板的空间坐标信息。

本发明的优点和积极效果：本发明提供了一种钢板堆场的物料调运扫描识别系统及方法，在原有场地和设备不改变的情况下，通过增加激光扫描仪、云台、工业相机、倾角仪、绝对值编码器等设备，降低人工成本、提高工作效率、减少工作周期、增加安全系数，实现快速、准确的钢板识别定位抓取放置，实现对钢板堆场的智能化管理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中入库抓取3D视觉系统安装示意图；

图2为本发明实施例中入库放置3D视觉系统安装示意图；

图3为本发明实施例中钢板堆场的物料调运扫描识别方法的流程图；

图4为本发明实施例中钢板识别的流程图；

图5为本发明实施例中钢板入库抓取识别的流程图；

图6为本发明实施例中钢板入库放置识别的流程图；

图中，1、第一激光扫描仪；2、智能云台；3、高清工业相机；4、第二激光扫描仪；5、第三激光扫描仪。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明是针对钢板堆场的物料调运设备——“智能电磁天车”，为实现无人化全自动运行，自主感知生产作业时的现场实际状态，而设计的扫描识别系统及扫描方法。

如图1所示，本发明提出一种钢板堆场的物料调运扫描识别系统，包括：激光扫描仪、智能云台2、高清工业相机3、倾角仪、绝对值编码器及工控机。其中：

激光扫描仪包括多台多线激光扫描仪（第一激光扫描仪1、第二激光扫描仪4和第三激光扫描仪5），多线激光扫描仪能提供远距离和大视野探测能力，保证了在远处仍能识别出钢板边缘和特征区域目标。其中，第一激光扫描仪1搭配智能云台2对钢板车进行点云数据扫描；第二激光扫描仪4和第三激光扫描仪5对待放置的钢板位置进行点云数据扫描。第一激光扫描仪1安装于停车位的一侧贴近中间位置，高度应高于车辆车斗2-3m，视野开阔无遮挡。智能云台2安装于第一激光扫描仪1底部，确保可以扫描得到清晰的点云数据；高清工业相机3安装在第一激光扫描仪1旁边，保证得到清晰得钢板车图像；第二激光扫描仪4和第三激光扫描仪5安装于起重机主梁上，位于起重机主梁的两端，对待放置的钢板位置进行点云数据扫描；倾角仪安装在起重机主梁上第二激光扫描仪4和第三激光扫描仪5旁边，用来获取第二激光扫描仪4和第三激光扫描仪5安装位置的实时角度信息。

智能云台2是3D激光扫描仪的稳定器，对3D激光扫描仪起到平衡与稳定作用，在3D激光扫描仪安装好后可调3D激光扫描仪的水平和俯仰的角度。

高清工业相机3，安装位置可以清晰采集到钢板车图像，要求图像特征明显。并且高清工业相机3适应复杂环境，能长时间稳定工作。相机外侧安装防尘防水护罩，在强光、逆光等作业条件下，相机难以清晰成像时，需做适当的遮光处理。

倾角仪，获取安装位置的实时角度信息，辅助第二激光扫描仪4和第三激光扫描仪5建立点云坐标模型，扫描得到待放置钢板位置的点云数据。

绝对值编码器，可以实时检测各扫描仪安装位置的空间坐标位置，由机械位置确定的绝对编码器的每个位置都是唯一的，不需要记忆，不需要找参考点，不需要一直计数。

工控机，工控机中包括多种识别模块，工控机可以智能化调控各个模块，对各个模块进行通讯连接。识别模块具体包括图像识别模块、第一3D点云识别模块和第二3D点云识别模块，图像识别模块用于识别最上层钢板区域和关键点区域，第一3D点云识别模块用于对钢板入库抓取识别，第二3D点云识别模块用于对钢板入库放置识别。其中：图像识别模块，由高清工业相机3提供数据，工控机进行识别计算，得到最上层钢板和关键点的实际距离和最上层钢板的实际尺寸后，传送给第一3D点云识别模块。第一3D点云识别模块，由第一激光扫描仪1、绝对值编码器、智能云台2提供数据，工控机进行识别计算，确定点云数据最上层钢板的空间坐标信息，然后把最上层钢板尺寸、空间坐标传送给上位机处理模块。第二3D点云识别模块，由第二激光扫描仪4、第三激光扫描仪5、倾角仪提供数据，工控机进行识别计算，得到钢板的放置位置，结合倾角仪计算的角度，控制起重机将钢板放置特定区域，完成钢板入库。

上述实施例提供了一种适用于钢板堆场的物料调运扫描识别系统，在原有场地和设备不改变的情况下，通过增加激光扫描仪、云台、工业相机、倾角仪、绝对值编码器等设备，降低人工成本、提高工作效率、减少工作周期、增加安全系数，实现快速、准确的钢板识别定位抓取放置，实现对钢板堆场的智能化管理。

基于上述实施例中的物料调运识别系统，本发明实施例中还提供了一种钢板堆场的物料调运扫描识别方法，主要包括：钢板识别、钢板入库抓取识别和钢板入库放置识别，如图3所示，具体步骤如下：

S1、通过工控机发送指令，控制高清工业相机采集实时钢板车图像，同时控制第一激光扫描仪对钢板车进行3D点云数据扫描；

S2、图像识别模块获取实时钢板车图像，并基于钢板车图像识别出钢板区域和关键点区域；

S3、第一点云识别模块获取钢板车的3D点云数据，并基于钢板车的3D点云数据，结合钢板区域和关键点区域确定最上层钢板的空间坐标信息；

S4、通过第二激光扫描仪和第三激光扫描仪，对待放置钢板的钢板位置进行扫描，得到钢板放置区域的3D点云数据；

S5、第二点云识别模块获取第二激光扫描仪和第三激光扫描仪采集的两组点云数据，对点云数据分割得到待放置区域的最小包围盒，得到钢板的放置位置；

S6、工控机结合倾角仪计算的角度，控制起重机将钢板放置在钢板的放置位置，完成钢板入库。

其中，钢板识别具体是识别出最上层钢板区域和关键点区域，具体包括以下步骤：

S11、通过高清工业相机采集不同钢板车的样本图像，用于深度学习建模；

S12、预设定停车区域的掩膜位置，对目标钢板车区域进行粗定位；

S13、对粗定位钢板车样本进行人工标注，标注区域为钢板区域和关键点区域；将训练集代入模型训练得到模型的最优权重系数；

S14、通过工控机发送指令高清工业相机采集实时钢板车图像，将采集的相关数据传输至所述工控机，经粗定位后，代入最优权重系数模型，识别钢板区域与关键点区域；

在图像识别模块检测中，目标是识别出最上层钢板区域和关键点区域。钢板堆场环境复杂，钢板样本也是多种多样，以往识别钢板位置大多是用传统的图像方法。若是用传统的图像方法大多是根据钢板边缘纹理与背景的差异区分处钢板边界，但是由于在堆场的钢板表面复杂多样，所以可能导致钢板表面纹理与边缘纹理相似，导致出现钢板边界的判定出现大量错误。本发明实施例中，采用yolact实例分割对钢板图像进行分割识别，对样本进行标注，划分训练集与预测集，通过模型训练，选择最优权重系数，输入钢板图像，得到识别结果较理想，与实际区域贴合度较高。经过多次实验以及多种分割算法识别效果的比较，本发明实施例中采用yolact（yolact：you only look at coefficients 的简写，是一种实时实例分割模型）实例分割算法计算出的结果更贴合实际钢板位置，算法更稳定，计算时间周期更短。

S15、通过RANSAC法对钢板区域与关键点区域的轮廓进行直线拟合，再次图像处理得到最上层钢板和关键点的实际距离和最上层钢板的实际尺寸，并传送给3D点云识别模块。

本发明实施例中采用RANSAC法对轮廓进行直线拟合，RANSAC为Random SampleConsensus的缩写，它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。相比于其他方法对轮廓拟合，RANSAC法可以很好的剔除杂乱点，可以挑选全局最优点拟合，可以减小拟合出的直线误差。

钢板入库抓取识别具体包括以下步骤：

S21、在上述高清工业相机采集实时钢板车图像时，同时通过工控机发送指令控制所述云台旋转，带动第一激光扫描仪旋转，完成扫描采集钢板车样本的3D点云数据；

S22、将采集的相关数据传输至所述工控机，对上述3D点云数据依次进行下采样、去噪等预处理；

S23、根据预设定停车区域掩膜位置，对预处理后点云数据进行粗定位分割；

S24、将粗定位分割的点云数据进行二次分割，对车斗区域和关键点区域进行位置提取；

S25、根据车斗的点云数据，确定最上层钢板的高度信息；

S26、由图像识别模块得到的关键点空间坐标信息、最上层钢板尺寸信息和最上层钢板与关键点的距离信息，最终确定点云数据最上层钢板的空间坐标信息；

S27、将3D相机坐标系与世界坐标系进行标定，然后把最上层钢板尺寸、空间坐标传送给上位机处理模块。

上述成功抓取钢板后，对钢板进行入库放置，钢板入库放置识别具体包括以下步骤：

S31、通过安装在起重机主梁上的第二激光扫描仪和第三激光扫描仪，对待放置钢板的钢板位置进行扫描，得到钢板放置区域的3D点云数据；

S32、对采集到的两组点云数据进行融合、下采样和去噪处理，得到预处理后的点云数据；

S33、将采集的相关数据传输至所述工控机，通过对点云数据分割得到待放置区域的最小包围盒，得到钢板的放置位置；

S34、结合倾角仪计算的角度，控制起重机将钢板放置特定区域，完成钢板入库。

本发明实施例中，在钢板入库放置时也配置激光扫描仪，通过对钢板库区域进行扫描，传入到工控机计算，确定钢板放置的具体位置，控制起重机放置钢板，完成钢板入库。其好处在于：在入库的时候也不需要工作人员确定降落位置和操作起重机放置钢板，节省入库时间，提高安全效率，减少人力成本。

本发明实施例中的扫描方法采用机器学习中的实例分割算法，能很好的识别复杂多变的钢板样本位置。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种钢板堆场的物料调运扫描识别系统，其特征在于，包括：

安装于停车位的一侧靠近中间位置的第一激光扫描仪，用于对钢板车进行点云数据扫描；

安装于起重机主梁两端的第二激光扫描仪和第三激光扫描仪，用于对待放置的钢板位置进行点云数据扫描；

安装在所述第一激光扫描仪旁边的高清工业相机，用于采集钢板车图像；

安装在起重机主梁上所述第二激光扫描仪和所述第三激光扫描仪旁边的倾角仪，用于获取所述第二激光扫描仪和所述第三激光扫描仪安装位置的实时角度信息；

用于实时检测各扫描仪安装位置的空间坐标位置的绝对值编码器；以及，

分别与所述第一激光扫描仪、所述第二激光扫描仪、所述第三激光扫描仪、所述高清工业相机、所述倾角仪、所述绝对值编码器连接的工控机；所述工控机包括图像识别模块、第一3D点云识别模块和第二3D点云识别模块，所述图像识别模块由所述高清工业相机提供数据，对钢板区域和关键点区域进行识别；所述第一3D点云识别模块由所述第一激光扫描仪和所述绝对值编码器提供数据，结合所述钢板区域和所述关键点区域确定最上层钢板的空间坐标信息；所述第二3D点云识别模块由所述第二激光扫描仪、所述第三激光扫描仪和所述倾角仪提供数据，对钢板入库放置识别，完成钢板入库。

2.根据权利要求1所述的钢板堆场的物料调运扫描识别系统，其特征在于，所述高清工业相机外侧安装有防尘防水护罩。

3.根据权利要求1所述的钢板堆场的物料调运扫描识别系统，其特征在于，还包括：安装于所述第一激光扫描仪底部的智能云台；所述智能云台搭配所述第一激光扫描仪对钢板车进行点云数据扫描。

4.一种钢板堆场的物料调运扫描识别方法，其特征在于，应用于权利要求1~3任一项所述的物料调运扫描识别系统，所述方法包括：

通过工控机发送指令控制高清工业相机采集实时钢板车图像，同时控制第一激光扫描仪对钢板车进行3D点云数据扫描；

图像识别模块获取所述实时钢板车图像，并基于所述钢板车图像识别出钢板区域和关键点区域；

第一点云识别模块获取所述钢板车的3D点云数据，并基于所述钢板车的3D点云数据，结合所述钢板区域和所述关键点区域确定最上层钢板的空间坐标信息；

通过第二激光扫描仪和第三激光扫描仪，对待放置钢板的钢板位置进行扫描，得到钢板放置区域的3D点云数据；

第二点云识别模块获取所述第二激光扫描仪和所述第三激光扫描仪采集的两组点云数据，对点云数据分割得到待放置区域的最小包围盒，得到钢板的放置位置；

工控机结合倾角仪计算的角度，控制起重机将钢板放置在所述钢板的放置位置，完成钢板入库。

5.根据权利要求4所述的物料调运扫描识别方法，其特征在于，基于所述钢板车图像识别出钢板区域和关键点区域，包括：

获取高清工业相机实时采集的钢板车图像，预设定停车区域的掩膜位置，对所述钢板车图像中目标钢板车区域进行粗定位；

利用基于yolact实例分割的识别模型对粗定位后的钢板车图像进行分割识别，识别出钢板区域与关键点区域；

对钢板区域与关键点区域的轮廓进行直线拟合，得到最上层钢板的实际尺寸。

6.根据权利要求5所述的物料调运扫描识别方法，其特征在于，通过RANSAC法对钢板区域与关键点区域的轮廓进行直线拟合。

7.根据权利要求5所述的物料调运扫描识别方法，其特征在于，训练所述基于yolact实例分割的识别模型，包括：

通过高清工业相机采集不同钢板车的样本图像；

预设定停车区域的掩膜位置，对所述样本图像中目标钢板车区域进行粗定位；

对粗定位钢板车样本图像进行人工标注，标注区域为钢板区域和关键点区域，得到训练集；

利用所述训练集对所述识别模型进行训练，得到模型的最优权重系数。

8.根据权利要求4所述的物料调运扫描识别方法，其特征在于，基于所述钢板车的3D点云数据，结合所述钢板区域和所述关键点区域确定最上层钢板的空间坐标信息，包括：

对所述钢板车的3D点云数据依次进行下采样和去噪预处理；

根据预设定停车区域掩膜位置，对预处理后的点云数据进行粗定位分割；

将粗定位分割的点云数据进行二次分割，对车斗区域和关键点区域进行位置提取；

根据车斗的点云数据，确定最上层钢板的高度信息；

结合所述钢板区域和所述关键点区域，确定点云数据最上层钢板的空间坐标信息。