CN112288746B - 一种基于机器视觉的脱方检测方法及检测系统 - Google Patents

Abstract

本申请提供了一种基于机器视觉的脱方检测方法及检测系统。在入炉辊道的端部设置三维视觉设备，通过三维视觉设备对位于入炉辊道上的钢坯进行拍摄，得到钢坯端面图像，并从钢坯端面图像中确定三维点云数据，根据从三维点云数据中筛选出的多条棱线，确定钢坯位姿；如果钢坯为正常位姿，则根据任意两条相交的棱线中点云的三维点云数据，确定两条相交的棱线之间的夹角；如果夹角均符合第一预设角度范围，则确定所述钢坯为合格坯。相比于现有技术中人工检测脱方坯的方法而言，本申请实施例通过机器视觉技术实现对脱方坯的检测，并将识别出的脱方坯自动进行剔除，降低工人劳动强度，减少存在的安全隐患，提高脱方坯检测的准确度。

Description

一种基于机器视觉的脱方检测方法及检测系统

技术领域

本申请涉及钢坯检测领域，特别涉及一种基于机器视觉的脱方检测方法及检测系统。

背景技术

轧钢加热炉在钢铁企业中占有重要的地位，它的任务是加热钢坯，使钢坯温度及其温度分布满足轧制要求。加热炉上料装置是将钢坯运送到加热炉的装置，主要由上料台架、挡钢钩、拨钢叉和输送辊道组成。在上料坯料中，方形和矩形钢坯因四个角不成90°，演变为平行四边形、梯形或菱形的一种超差缺陷，称为脱方坯。脱方坯始终是一种影响加热炉加热与生产的重要隐患。每年由于脱方坯导致的轧制过程堆钢、停炉等事故直接影响着生产企业的经营效益。

目前脱方检测主要通过人眼观察钢坯的截面形状，在发现疑似脱方坯后，由人工进行截面对角线测量，发现对角线不等时，通知操作人员手动将脱方坯进行排除。整个操作过程机械枯燥，人工长期操作容易疲劳引起操作失误从而导致轧制过程出现故障。

发明内容

本申请提供了一种基于机器视觉的脱方检测方法及检测系统，可用于解决在现有技术中人工检测脱方坯容易引起操作失误从而导致轧制过程出现故障的技术问题。

第一方面，本申请实施例提供一种基于机器视觉的脱方检测方法，所述方法包括：

接收到钢坯端面图像后，根据所述钢坯端面图像，确定三维点云数据；

从所述三维点云数据中筛选出多条棱线；

根据每条棱线中点云的三维点云数据，确定钢坯位姿；所述钢坯位姿包括正常位姿和倾斜位姿；

如果钢坯为正常位姿，则根据任意两条相交的棱线中点云的三维点云数据，确定两条相交的棱线之间的夹角；

如果任意两条相交的棱线之间的夹角均符合第一预设角度范围，则确定所述钢坯为合格坯。

结合第一方面，在第一方面的一种可实现方式中，所述根据每条棱线中点云的三维点云数据，确定钢坯位姿，包括：

根据每条棱线中点云的三维点云数据，确定每条棱线中点云的最小Z坐标值；

如果所述每条棱线中点云的最小Z 坐标值均小于或等于第一阈值，则确定所述钢坯为正常位姿；

如果存在任意一条棱线中点云的最小Z 坐标值大于第一阈值，则确定所述钢坯为倾斜位姿。

结合第一方面，在第一方面的一种可实现方式中，在确定任意两条相交的棱线之间的夹角均符合第一预设角度范围之后，在确定所述钢坯为合格坯之前，所述方法还包括：

针对任一棱线，根据所述棱线中点云的三维点云数据，计算所述棱线中点云的X坐标值位于预设区间内的点云数量；

如果所述点云数量大于第二阈值，则确定所述棱线为竖直棱线，如果所述点云数量小于或等于第二阈值，则确定所述棱线为非竖直棱线；

如果存在两条竖直棱线，则确定所述钢坯为合格坯。

结合第一方面，在第一方面的一种可实现方式中，所述方法还包括：

如果不存在两条竖直棱线，则确定所述钢坯为脱方坯。

结合第一方面，在第一方面的一种可实现方式中，所述方法还包括骤：

如果存在两条相邻的棱线之间的夹角不符合第一预设角度范围，则确定所述钢坯为脱方坯。

结合第一方面，在第一方面的一种可实现方式中，在确定存在两条相邻的棱线之间的夹角不符合第一预设角度范围之后，在确定所述钢坯为脱方坯之前，所述方法还包括：

根据每条棱线中点云的三维坐标数据，确定每条棱线的端点三维坐标数据；

根据所述每条棱线的端点三维坐标数据，确定钢坯端面中两条对角线的长度；

如果两条对角线的长度之间的差值在预设长度范围内，则判断两条相交的棱线之间的夹角中是否存在角度差值在第二预设角度范围内的相似夹角，如果存在所述相似夹角，则确定所述钢坯为脱方坯，如果不存在所述相似夹角，则确定所述钢坯为可容忍的脱方坯；

如果两条对角线的长度之间的差值不在预设长度范围内，则确定所述钢坯为脱方坯。

结合第一方面，在第一方面的一种可实现方式中，所述方法还包括：

如果钢坯形态为倾斜位姿，则发送位姿调整指令；所述位姿调整指令用于调整所述钢坯的位姿。

第二方面，本申请实施例提供一种基于机器视觉的脱方检测系统，所述检测系统用于检测钢坯生产系统生产的钢坯；所述钢坯生产系统包括生产设备、输送带、拨钢叉、入炉辊道和加热炉；所述生产设备用于生成钢坯，所述输送带的一端与所述生产设备连接，另一端与所述入炉辊道连接，用于运送所述生产设备生产出的钢坯；所述拨钢叉位于所述输送带与所述入炉辊道之间，用于将钢坯运送到所述入炉辊道上；所述入炉辊道另一端与所述加热炉连接，用于将钢坯运送到所述加热炉内；所述脱方检测系统包括控制设备、计算机设备和三维视觉设备；所述三维视觉设备设置于所述入炉辊道的端部，且与所述计算机设备通过网络连接；所述控制设备分别与所述计算机设备、所述输送带、所述拨钢叉和所述入炉辊道通过网络连接；

所述三维视觉设备被配置为执行以下步骤：

在接收到就位信号后，拍摄钢坯端面图像；所述就位信号是所述入炉辊道检测到钢坯到达预设位置时发送的；

将所述钢坯端面图像发送至所述计算机设备；

所述计算机设备被配置为执行以下步骤：

接收到所述钢坯端面图像后，根据所述钢坯端面图像，确定三维点云数据；

从所述三维点云数据中筛选出多条棱线；

根据每条棱线中点云的三维点云数据，确定钢坯位姿；所述钢坯位姿包括正常位姿和倾斜位姿；

如果钢坯为正常位姿，则根据任意两条相交的棱线中点云的三维点云数据，确定两条相交的棱线之间的夹角；

如果任意两条相交的棱线之间的夹角均符合第一预设角度范围，则确定所述钢坯为合格坯；

向所述控制设备发送钢坯合格指令，所述钢坯合格指令用于指示所述控制设备控制所述入炉辊道将所述钢坯输送到所述加热炉内。

结合第二方面，在第二方面的一种可实现方式中，所述计算机设备具体被配置为执行以下步骤：

根据每条棱线中点云的三维点云数据，确定每条棱线中点云的最小Z坐标值；

如果所述每条棱线中点云的最小Z 坐标值均小于或等于第一阈值，则确定所述钢坯为正常位姿；

如果存在任意一条棱线中点云的最小Z 坐标值大于第一阈值，则确定所述钢坯为倾斜位姿。

结合第二方面，在第二方面的一种可实现方式中，在确定任意两条相交的棱线之间的夹角均符合第一预设角度范围之后，在确定所述钢坯为合格坯之前，所述计算机设备还被配置为执行以下步骤：

针对任一棱线，根据所述棱线中点云的三维点云数据，计算所述棱线中点云的X坐标值位于预设区间内的点云数量；

如果所述点云数量大于第二阈值，则确定所述棱线为竖直棱线，如果所述点云数量小于或等于第二阈值，则确定所述棱线为非竖直棱线；

如果存在两条竖直棱线，则确定所述钢坯为合格坯。

结合第二方面，在第二方面的一种可实现方式中，所述计算机设备还被配置为执行以下步骤：

如果不存在两条竖直棱线，则确定所述钢坯为脱方坯。

结合第二方面，在第二方面的一种可实现方式中，所述计算机设备还被配置为执行以下步骤：

如果存在两条相邻的棱线之间的夹角不符合第一预设角度范围，则确定所述钢坯为脱方坯；

向所述控制设备发送钢坯不合格指令，所述钢坯不合格指令用于指示所述控制设备控制所述入炉辊道调走所述钢坯或者将所述钢坯反方向运送。

结合第二方面，在第二方面的一种可实现方式中，在确定存在两条相邻的棱线之间的夹角不符合第一预设角度范围之后，在确定所述钢坯为脱方坯之前，所述计算机设备还被配置为执行以下步骤：

根据所述每条棱线中点云的三维坐标数据，确定每条棱线的端点三维坐标数据；

根据所述每条棱线的端点三维坐标数据，确定钢坯端面中两条对角线的长度；

如果两条对角线的长度之间的差值在预设长度范围内，则判断两条相交的棱线之间的夹角中是否存在角度差值在第二预设角度范围内的相似夹角，如果存在所述相似夹角，则确定所述钢坯为脱方坯，如果不存在所述相似夹角，则确定所述钢坯为可容忍的脱方坯；

如果两条对角线的长度之间的差值不在预设长度范围内，则确定所述钢坯为脱方坯。

结合第二方面，在第二方面的一种可实现方式中，所述控制设备被配置为执行以下步骤：

接收到所述钢坯不合格指令后，向所述入炉辊道发送调走指令或者反向运送指令，所述调走指令用于指示所述入炉辊道将所述钢坯调走，所述反向运送指令用于指示所述入炉辊道将所述钢坯反方向运送。

结合第二方面，在第二方面的一种可实现方式中，所述控制设备被配置为执行以下步骤：

接收到所述钢坯合格指令后，向所述入炉辊道发送运行指令，所述运行指令用于指示所述入炉辊道将所述钢坯输送到所述加热炉内。

结合第二方面，在第二方面的一种可实现方式中，所述计算机设备还被配置为执行以下步骤：

如果钢坯形态为倾斜位姿，则向所述控制设备发送位姿调整指令；

所述控制设备被配置为执行以下步骤：

接收到所述位姿调整指令后，控制所述拨钢叉调整所述钢坯在所述入炉辊道上的位姿。

本申请实施例中，在入炉辊道的端部设置三维视觉设备，通过三维视觉设备对位于入炉辊道上的钢坯进行拍摄，得到钢坯端面图像，并从钢坯端面图像中确定三维点云数据，根据从三维点云数据中筛选出的多条棱线，确定钢坯位姿；如果钢坯为正常位姿，则根据任意两条相交的棱线中点云的三维点云数据，确定两条相交的棱线之间的夹角；如果任意两条相交的棱线之间的夹角均符合第一预设角度范围，则确定所述钢坯为合格坯。相比于现有技术中人工检测脱方坯的方法而言，本申请实施例通过机器视觉技术实现对脱方坯的检测，并将识别出的脱方坯自动进行剔除，降低工人劳动强度，减少存在的安全隐患，提高脱方坯检测的准确度，进而可以稳定加热炉的加热节奏，降低产线堆钢风险，提升产线作业率。

附图说明

图1为本申请实施例适用的一种钢坯生产系统的结构示意图；

图2为本申请实施例提供的一种脱方检测系统的结构示意图；

图3为本申请实施例提供的一种三维视觉设备的结构示意图；

图4为本申请实施例提供的一种三维视觉传感器的结构示意图；

图5为本申请实施例提供的一种基于机器视觉的脱方检测方法所对应的流程示意图；

图6a为本申请实施例提供的一种点云预处理后的点云图像；

图6b为本申请实施例提供的另一种点云预处理后的点云图像；

图7a为本申请实施例中正常位姿的钢坯示意图；

图7b为本申请实施例中倾斜位姿的钢坯示意图；

图8为本申请实施例中端面斜切的钢坯示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

请参考图1，其示例性示出了本申请实施例适用的一种钢坯生产系统的结构示意图。如图1所示，钢坯生产系统1包括生产设备11、输送带12、拨钢叉13、入炉辊道14和加热炉15。

其中，生产设备11用于生成钢坯。

输送带12的一端与生产设备11连接，另一端与入炉辊道14连接，用于运送生产设备11生产出的钢坯。

拨钢叉位于输送带12与入炉辊道14之间，用于将钢坯运送到入炉辊道14上。

入炉辊道14另一端与加热炉15连接，用于将钢坯运送到加热炉15内。

基于图1所示的钢坯生产系统，图2示例性示出了本申请实施例提供的一种脱方检测系统的结构示意图。如图2所示，脱方检测系统2包括控制设备21、计算机设备22和三维视觉设备23。

其中，三维视觉设备23设置于入炉辊道14的端部，且与计算机设备22通过网络连接。

如图3所示，为本申请实施例提供的一种三维视觉设备的结构示意图。三维视觉设备23包括支架231 和三维视觉传感器232。其中，支架231用于支撑和固定三维视觉传感器232，支架231 固定在入炉辊道14一侧的地面上，并使得三维视觉传感器232正对着钢坯端面，从而准确拍摄钢坯端面图像，便于后续识别钢坯位姿和获取钢坯端面的三维点云数据。此外，该安装位置还需不影响在入炉锟道14上的钢坯进行反向运动。

如图4所示，为本申请实施例提供的一种三维视觉传感器的结构示意图。三维视觉传感器232具体可以用于获取钢坯端面的三维点云数据，并将其输送到计算机设备22进行处理。三维视觉传感器232包括光机2321、相机组件2322 和底板2323，底板2323 的底面固定在支架231 上，光机2321 和相机组件2322 固定在底板2323的顶面，光机2321 提供光源，相机组件2322 包括两个相机，两个相机可以对称安装在光机2321 两侧。两个相机可以呈一定夹角安装在底板2323 上，两个相机组成的夹角一般为12°至20°，从而可以提高三维点云数据的精度。

控制设备201分别与计算机设备22、输送带12、拨钢叉13和入炉辊道14通过网络连接。

具体实施过程中，生产设备11生成出钢坯，输送带12运送该钢坯，当运送到输送带12的尾部时，由拨钢叉13将钢坯运送到入炉辊道14上。此时，入炉辊道14如果检测到钢坯达到预设位置时，可以发送就位信号。

在发送就位信号的过程中，入炉辊道14可以先将就位信号发送给控制设备21，由控制设备21将就位信号转发给三维视觉设备23；或者，入炉辊道14也可以直接将就位信号发送给三维视觉设备23。如此，三维视觉设备23在接收到就位信号后，可以拍摄钢坯端面图像，以及将钢坯端面图像三维点云数据发送至计算机设备22。

基于图2所示的脱方检测系统，如图5所示，为本申请实施例提供的一种基于机器视觉的脱方检测方法所对应的流程示意图，具体包括如下步骤S501至步骤S505，其中，步骤S501至步骤S505可以由计算机设备22执行。

步骤S501，接收到钢坯端面图像后，根据钢坯端面图像，确定三维点云数据。

本申请是基于三维点云技术来实现，首先对三维点云技术给出相关介绍。三维视觉传感器232采集钢坯的三维点云数据，在三维坐标系XYZ 下，三维点云数据即是点云在X、Y 和Z 方向上的数值，量纲为mm。例如型号Kinect2 相机的点云之间的间距为1mm。计算机设备22中可以配置专门的点云处理算法，用于对获取的三维点云数据进行去除背景点云和干扰点云处理，以及点云数据预处理等。

以去除背景点云处理为例，可以采用直通滤波方法去除部分背景点云，如使用直通滤波时设置参数可以滤除y>220mm或y<50mm范围的点云。进一步地，在进行背景点云去除时，当三维视觉设备23非水平正对着钢坯拍摄时（即钢坯为倾斜位姿），还可能用到带法线的平面模板匹配法去除背景点数据，如平面方程为ax+by+cz+d=0，平面模板法线设置为（0，1，0）表示垂直地面向上，因此通过标定时预设法线角度阈值可以滤除三维视觉设备23非水平位置时钢坯下端入炉锟道造成的影响。进一步地，滤除点云数据中的孤点、离群点，可以采用的算法如：半径滤波等；进一步地，方坯进一步下采样滤波处理，比如使用体素栅格法或随机采样法，经过滤波平滑处理后，点云数量将减少，且点云之间间距间的数值将变化，比如使用体素栅格滤波时将栅格大小设置为原始点距两倍时，则在原始三维点云信息的基础上x,y,z中点云间的间距将变为2倍；将滤波后的点云数据进行平滑，如使用移动最小二乘法函数，能够使得滤波后的相邻点具有更好的规律性，点云面更光顺平滑。

进一步地，在对三维点云数据进行分割时，可以采用如超体聚类或者区域生长法等分割算法。

更进一步地，可以根据现场钢坯的标准规格，通过标定获取标准规格下钢坯端面的点云数量，从而设置点云数量的阈值Dnum，通过阈值Dnum可以进一步过滤掉无关的点云，保留钢坯端面和钢坯侧面的点云曲面（当钢坯倾斜或尚未进入视野范围内时，钢坯图像中会具有钢坯侧面的点云）。

图6a和图6b示出了点云预处理后的点云图像，图6a中的钢坯是正对着三维视觉设备23的，即该钢坯为正常位姿；图6b中的钢坯是斜对着三维视觉设备23的，即该钢坯为倾斜位姿。

步骤S502，从三维点云数据中筛选出多条棱线。

由于钢坯呈长方体结构，因此可以提取出多条不同方向的棱线。

具体筛选棱线的过程可以分为点云曲面的重建、提取钢坯端面和钢坯侧面的曲面和提取棱线这三个步骤，下面分别描述这三个步骤的具体实现过程。

点云曲面的重建：对聚类后得到的三维点云数据进行点云曲面的重建，重建方式比如采用三角面片化，使用贪婪投影三角化算法，可以将拍摄物体的三维点云数据（包括钢坯端面和钢坯侧面）模型转化成由若干个小三角面片组成。

提取钢坯端面和钢坯侧面的曲面：采用RANSAC 算法，判断上述重建后的点云曲面的分布特征，选用平面模型对点云曲面的离散点进行拟合，得到每个点云曲面中各面片的隐式表达，由于钢坯表面会生成氧化铁皮，导致钢坯端面和钢坯侧面的曲面中出现诸多面片，需要对同一个曲面中各面片进行NURBS 曲面拟合，得到每个曲面的参数表达式。

提取棱线：计算钢坯端面的曲率信息，通过设置局部特征权值和筛选曲率极限值点，来识别区域特征点，根据特征点的局部特征权值大小，筛选出特征权值最大的点作为种子点，建立最小生成树，构建连通区域，将特征点连接成线，分割、细化细小分支，从而提取出特征线。其中，获取钢坯端面的曲率信息可以采用主成分分析法、移动最小二乘法；或者，也可采用RANSAC 算法，根据相邻平面的交集获得特征线。该特征线可以作为棱线。

步骤S503，根据每条棱线中点云的三维点云数据，确定钢坯位姿。

钢坯位姿可以包括正常位姿和倾斜位姿。其中，正常位姿是指钢坯正对着三维视觉设备23放置的位姿，即，在三维视觉设备23拍摄的钢坯端面图像中，只能采集到钢坯端面的图像，而不能采集到钢坯侧面的图像。如图7a所示，为本申请实施例中正常位姿的钢坯示意图。

倾斜位姿是指钢坯斜对着三维视觉设备23放置的位姿，即，在三维视觉设备23拍摄的钢坯端面图像中，不仅能采集到钢坯端面的图像，还能采集到钢坯侧面的图像。如图7b所示，为本申请实施例中倾斜位姿的钢坯示意图。需要说明的是，图7b中示出了四种朝向不同的钢坯，这四种钢坯都是倾斜位姿。

本申请实施例中，确定钢坯位姿的方法有多种，一个示例中，可以根据每条棱线中点云的三维点云数据，确定每条棱线中点云的最小Z坐标值；进而，判断每条棱线中点云的最小Z 坐标值是否均小于或等于第一阈值，如果每条棱线中点云的最小Z 坐标值均小于或第一阈值，则确定钢坯为正常位姿；如果存在任意一条棱线中点云的最小Z 坐标值大于第一阈值，则确定钢坯为倾斜位姿。

另一个示例中，也可以根据每条棱线中点云的三维点云数据，确定每条棱线中点云的Z坐标值；进而判断点云的Z坐标值小于或等于第一阈值的点云数量，如果点云数量大于或等于预设的数量阈值，则确定钢坯为正常位姿；如果点云数量小于预设的数量阈值，则确定钢坯为倾斜位姿。

需要说明的是，本领域技术人员还可以采用其它方法确定钢坯位姿，具体不做限定。

步骤S504，如果钢坯为正常位姿，则根据任意两条相交的棱线中点云的三维点云数据，确定两条相交的棱线之间的夹角。

具体地，可以根据两条相交的棱线中点云的三维点云数据，确定两条相交的棱线的端点的三维坐标数据，进而，根据端点的三维坐标数据结合三角函数关系，可以确定两条相交的棱线之间的夹角。

相反地，如果钢坯形态为倾斜位姿，则可以向控制设备21发送位姿调整指令。

控制设备21在接收到位姿调整指令后，可以控制拨钢叉13调整钢坯在入炉辊道14上的位姿。进而，三维视觉设备23再次拍摄钢坯端面图像，并由计算机设备22检测钢坯是合格坯还是脱方坯。

步骤S505，如果任意两条相交的棱线之间的夹角均符合第一预设角度范围，则确定所述钢坯为合格坯。

所谓合格坯，是指端面形状为矩形的钢坯，也就是说，任意两条相交的棱线之间的角度应为90°。考虑到实际测量过程中会有误差的存在，因此，本申请实施例中，通过预先设置第一预设角度范围，来判断两条相交的棱线之间的夹角是否符合该第一预设角度范围。

需要说明的是，第一预设角度范围的具体数值可以是本领域技术人员根据实际情况确定的，比如，第一预设角度范围可以是90°±2°，具体不做限定。

相反地，如果存在两条相邻的棱线之间的夹角不符合第一预设角度范围，则确定钢坯为脱方坯。

进一步地，考虑到在某些特殊情况下，比如，如图8所示，钢坯的端面是被斜切的，两条相交的棱线之间的夹角可能也符合第一预设角度范围，但是这种钢坯事实上并不是合格坯，需要将它排除在外。

针对上述特殊情况，本申请实施例中，在确定任意两条相交的棱线之间的夹角均符合第一预设角度范围之后，在确定所述钢坯为合格坯之前，可以针对任一棱线，根据该棱线中点云的三维点云数据，计算棱线中点云的X坐标值位于预设区间内的点云数量；如果点云数量大于第二阈值，则确定棱线为竖直棱线，如果点云数量小于或等于第二阈值，则确定棱线为非竖直棱线；如果存在两条竖直棱线，则确定钢坯为合格坯，如果不存在两条竖直棱线，则确定钢坯为脱方坯。

采用上述方法，可以有效地排除某些特殊情况下，对钢坯的误判，从而可以提高脱方检测的准确度。

进一步地，考虑到在生产标准中，钢坯横截面中对角线之减的差值≤7mm的脱方坯也是可以容忍的，可以将这类脱方坯定义为可容忍的脱方坯。

基于此，本申请实施例中，在确定存在两条相邻的棱线之间的夹角不符合第一预设角度范围之后，在确定所述钢坯为脱方坯之前，还可以根据每条棱线中点云的三维坐标数据，确定每条棱线的端点三维坐标数据；进而，根据每条棱线的端点三维坐标数据，确定钢坯端面中两条对角线的长度；如果两条对角线的长度之间的差值在预设长度范围内，则判断两条相交的棱线之间的夹角中是否存在角度差值在第二预设角度范围内的相似夹角，如果存在相似夹角，则确定钢坯为脱方坯，如果不存在相似夹角，则确定钢坯为可容忍的脱方坯；如果两条对角线的长度之间的差值不在预设长度范围内，则确定钢坯为脱方坯。

需要说明的是，在上述判断钢坯是否为可容忍的脱方坯过程中，预设长度范围的设定可以根据钢坯规格大小的不同而设定不同的长度范围。举个例子，如果钢坯为小规格钢坯时，预设长度范围可以是0~3mm；如果钢坯为中等规格钢坯时，预设长度范围可以是0~5mm；如果钢坯为大规格钢坯时，预设长度范围可以是0~7mm。

在执行步骤S505之后，计算机设备22根据钢坯的检测结果，向控制设备21发送不同的指令。

具体地，如果钢坯为合格坯，计算机设备22可以向控制设备21发送钢坯合格指令，钢坯合格指令用于指示控制设备21控制入炉辊道14将钢坯输送到加热炉15内。

如果钢坯为脱方坯，计算机设备22可以向控制设备21发送钢坯不合格指令，钢坯不合格指令用于指示控制设备21控制入炉辊道14调走钢坯或者将钢坯反方向运送。

如果钢坯为可容忍的脱方坯，计算机设备22也可以向控制设备21发送钢坯合格指令，钢坯合格指令用于指示控制设备21控制入炉辊道14将钢坯输送到加热炉15内。

进而，控制设备21在接收到钢坯不合格指令后，向入炉辊道14发送调走指令或者反向运送指令，其中，调走指令用于指示入炉辊道14将钢坯调走，反向运送指令用于指示入炉辊道14将钢坯反方向运送。

控制设备21在接收到钢坯合格指令后，向入炉辊道14发送运行指令，运行指令用于指示入炉辊道14将钢坯输送到加热炉15内。

本申请实施例中，在入炉辊道的端部设置三维视觉设备，通过三维视觉设备对位于入炉辊道上的钢坯进行拍摄，得到钢坯端面图像，并从钢坯端面图像中确定三维点云数据，根据从三维点云数据中筛选出的多条棱线，确定钢坯位姿；如果钢坯为正常位姿，则根据任意两条相交的棱线中点云的三维点云数据，确定两条相交的棱线之间的夹角；如果任意两条相交的棱线之间的夹角均符合第一预设角度范围，则确定所述钢坯为合格坯。相比于现有技术中人工检测脱方坯的方法而言，本申请实施例通过机器视觉技术实现对脱方坯的检测，并将识别出的脱方坯自动进行剔除，降低工人劳动强度，减少存在的安全隐患，提高脱方坯检测的准确度，进而可以稳定加热炉的加热节奏，降低产线堆钢风险，提升产线作业率。

下述为本申请系统实施例，对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

本申请实施例提供一种基于机器视觉的脱方检测系统，所述检测系统用于检测钢坯生产系统生产的钢坯；所述钢坯生产系统包括生产设备、输送带、拨钢叉、入炉辊道和加热炉；所述生产设备用于生成钢坯，所述输送带的一端与所述生产设备连接，另一端与所述入炉辊道连接，用于运送所述生产设备生产出的钢坯；所述拨钢叉位于所述输送带与所述入炉辊道之间，用于将钢坯运送到所述入炉辊道上；所述入炉辊道另一端与所述加热炉连接，用于将钢坯运送到所述加热炉内；所述脱方检测系统包括控制设备、计算机设备和三维视觉设备；所述三维视觉设备设置于所述入炉辊道的端部，且与所述计算机设备通过网络连接；所述控制设备分别与所述计算机设备、所述输送带、所述拨钢叉和所述入炉辊道通过网络连接；

所述三维视觉设备被配置为执行以下步骤：

在接收到就位信号后，拍摄钢坯端面图像；所述就位信号是所述入炉辊道检测到钢坯到达预设位置时发送的；

将所述钢坯端面图像发送至所述计算机设备；

所述计算机设备被配置为执行以下步骤：

接收到所述钢坯端面图像后，根据所述钢坯端面图像，确定三维点云数据；

从所述三维点云数据中筛选出多条棱线；

根据所述每条棱线中点云的三维点云数据，确定钢坯位姿；所述钢坯位姿包括正常位姿和倾斜位姿；

如果钢坯为正常位姿，则根据任意两条相交的棱线中点云的三维点云数据，确定两条相交的棱线之间的夹角；

如果任意两条相交的棱线之间的夹角均符合第一预设角度范围，则确定所述钢坯为合格坯；

向所述控制设备发送钢坯合格指令，所述钢坯合格指令用于指示所述控制设备控制所述入炉辊道将所述钢坯输送到所述加热炉内。

可选地，所述计算机设备具体被配置为执行以下步骤：

根据所述每条棱线中点云的三维点云数据，确定每条棱线中点云的最小Z坐标值；

如果所述每条棱线中点云的最小Z 坐标值均小于或等于第一阈值，则确定所述钢坯为正常位姿；

如果存在任意一条棱线中点云的最小Z 坐标值大于第一阈值，则确定所述钢坯为倾斜位姿。

可选地，在确定任意两条相交的棱线之间的夹角均符合预设角度范围之后，在确定所述钢坯为合格坯之前，所述计算机设备还被配置为执行以下步骤：

针对任一棱线，根据所述棱线中点云的三维点云数据，计算所述棱线中点云的X坐标值位于预设区间内的点云数量；

如果所述点云数量大于第二阈值，则确定所述棱线为竖直棱线，如果所述点云数量小于或等于第二阈值，则确定所述棱线为非竖直棱线；

如果存在两条竖直棱线，则确定所述钢坯为合格坯。

可选地，所述计算机设备还被配置为执行以下步骤：

如果不存在两条竖直棱线，则确定所述钢坯为脱方坯。

可选地，所述计算机设备还被配置为执行以下步骤：

如果存在两条相邻的棱线之间的夹角不符合第一预设角度范围，则确定所述钢坯为脱方坯；

向所述控制设备发送钢坯不合格指令，所述钢坯不合格指令用于指示所述控制设备控制所述入炉辊道调走所述钢坯或者将所述钢坯反方向运送。

可选地，在确定存在两条相邻的棱线之间的夹角不符合第一预设角度范围之后，在确定所述钢坯为脱方坯之前，所述计算机设备还被配置为执行以下步骤：

根据所述每条棱线中点云的三维坐标数据，确定每条棱线的端点三维坐标数据；

根据所述每条棱线的端点三维坐标数据，确定钢坯端面中两条对角线的长度；

如果两条对角线的长度之间的差值在预设长度范围内，则判断两条相交的棱线之间的夹角中是否存在角度差值在第二预设角度范围内的相似夹角，如果存在所述相似夹角，则确定所述钢坯为脱方坯，如果不存在所述相似夹角，则确定所述钢坯为可容忍的脱方坯；

如果两条对角线的长度之间的差值不在预设长度范围内，则确定所述钢坯为脱方坯。

可选地，所述控制设备被配置为执行以下步骤：

接收到所述钢坯不合格指令后，向所述入炉辊道发送调走指令或者反向运送指令，所述调走指令用于指示所述入炉辊道将所述钢坯调走，所述反向运送指令用于指示所述入炉辊道将所述钢坯反方向运送。

可选地，所述控制设备被配置为执行以下步骤：

接收到所述钢坯合格指令后，向所述入炉辊道发送运行指令，所述运行指令用于指示所述入炉辊道将所述钢坯输送到所述加热炉内。

可选地，所述计算机设备还被配置为执行以下步骤：

如果钢坯形态为倾斜位姿，则向所述控制设备发送位姿调整指令；

所述控制设备被配置为执行以下步骤：

接收到所述位姿调整指令后，控制所述拨钢叉调整所述钢坯在所述入炉辊道上的位姿。

本申请实施例中，在入炉辊道的端部设置三维视觉设备，通过三维视觉设备对位于入炉辊道上的钢坯进行拍摄，得到钢坯端面图像，并从钢坯端面图像中确定三维点云数据，根据从三维点云数据中筛选出的多条棱线，确定钢坯位姿；如果钢坯为正常位姿，则根据任意两条相交的棱线中点云的三维点云数据，确定两条相交的棱线之间的夹角；如果任意两条相交的棱线之间的夹角均符合第一预设角度范围，则确定所述钢坯为合格坯。相比于现有技术中人工检测脱方坯的方法而言，本申请实施例通过机器视觉技术实现对脱方坯的检测，并将识别出的脱方坯自动进行剔除，降低工人劳动强度，减少存在的安全隐患，提高脱方坯检测的准确度，进而可以稳定加热炉的加热节奏，降低产线堆钢风险，提升产线作业率。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于服务构建装置和服务加载装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

以上所述的本申请实施方式并不构成对本申请保护范围的限定。

Claims (8)

1.一种基于机器视觉的脱方检测方法，其特征在于，所述方法包括：

接收到钢坯端面图像后，根据所述钢坯端面图像，确定三维点云数据；

从所述三维点云数据中筛选出多条棱线；

根据每条棱线中点云的三维点云数据，确定每条棱线中点云的最小Z坐标值；

如果所述每条棱线中点云的最小Z 坐标值均小于或等于第一阈值，则确定钢坯为正常位姿；

如果存在任意一条棱线中点云的最小Z 坐标值大于第一阈值，则确定所述钢坯为倾斜位姿；

如果钢坯为正常位姿，则根据任意两条相交的棱线中点云的三维点云数据，确定两条相交的棱线之间的夹角；

如果任意两条相交的棱线之间的夹角均符合第一预设角度范围，则确定所述钢坯为合格坯。

2.根据权利要求1所述的方法，其特征在于，在确定任意两条相交的棱线之间的夹角均符合预设角度范围之后，在确定所述钢坯为合格坯之前，所述方法还包括：

针对任一棱线，根据所述棱线中点云的三维点云数据，计算所述棱线中点云的X坐标值位于预设区间内的点云数量；

如果所述点云数量大于第二阈值，则确定所述棱线为竖直棱线，如果所述点云数量小于或等于第二阈值，则确定所述棱线为非竖直棱线；

如果存在两条竖直棱线，则确定所述钢坯为合格坯。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

如果不存在两条竖直棱线，则确定所述钢坯为脱方坯。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果存在两条相邻的棱线之间的夹角不符合第一预设角度范围，则确定所述钢坯为脱方坯。

5.根据权利要求4所述的方法，其特征在于，在确定存在两条相邻的棱线之间的夹角不符合第一预设角度范围之后，在确定所述钢坯为脱方坯之前，所述方法还包括：

根据所述每条棱线中点云的三维坐标数据，确定每条棱线的端点三维坐标数据；

根据所述每条棱线的端点三维坐标数据，确定钢坯端面中两条对角线的长度；

如果两条对角线的长度之间的差值在预设长度范围内，则判断两条相交的棱线之间的夹角中是否存在角度差值在第二预设角度范围内的相似夹角，如果存在所述相似夹角，则确定所述钢坯为脱方坯，如果不存在所述相似夹角，则确定所述钢坯为可容忍的脱方坯；

如果两条对角线的长度之间的差值不在预设长度范围内，则确定所述钢坯为脱方坯。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果钢坯形态为倾斜位姿，则发送位姿调整指令；所述位姿调整指令用于调整所述钢坯的位姿。

7.一种基于机器视觉的脱方检测系统，所述检测系统用于检测钢坯生产系统生产的钢坯；所述钢坯生产系统包括生产设备、输送带、拨钢叉、入炉辊道和加热炉；所述生产设备用于生成钢坯，所述输送带的一端与所述生产设备连接，另一端与所述入炉辊道连接，用于运送所述生产设备生产出的钢坯；所述拨钢叉位于所述输送带与所述入炉辊道之间，用于将钢坯运送到所述入炉辊道上；所述入炉辊道另一端与所述加热炉连接，用于将钢坯运送到所述加热炉内；其特征在于，所述脱方检测系统包括控制设备、计算机设备和三维视觉设备；所述三维视觉设备设置于所述入炉辊道的端部，且与所述计算机设备通过网络连接；所述控制设备分别与所述计算机设备、所述输送带、所述拨钢叉和所述入炉辊道通过网络连接；

所述三维视觉设备被配置为执行以下步骤：

在接收到就位信号后，拍摄钢坯端面图像；所述就位信号是所述入炉辊道检测到钢坯到达预设位置时发送的；

将所述钢坯端面图像发送至所述计算机设备；

所述计算机设备被配置为执行以下步骤：

接收到所述钢坯端面图像后，根据所述钢坯端面图像，确定三维点云数据；

从所述三维点云数据中筛选出多条棱线；

根据每条棱线中点云的三维点云数据，确定每条棱线中点云的最小Z坐标值；

如果所述每条棱线中点云的最小Z 坐标值均小于或等于第一阈值，则确定所述钢坯为正常位姿；

如果存在任意一条棱线中点云的最小Z 坐标值大于第一阈值，则确定所述钢坯为倾斜位姿；

如果钢坯为正常位姿，则根据任意两条相交的棱线中点云的三维点云数据，确定两条相交的棱线之间的夹角；

如果任意两条相交的棱线之间的夹角均符合第一预设角度范围，则确定所述钢坯为合格坯；

向所述控制设备发送钢坯合格指令，所述钢坯合格指令用于指示所述控制设备控制所述入炉辊道将所述钢坯输送到所述加热炉内。

8.根据权利要求7所述的脱方检测系统，其特征在于，在确定任意两条相交的棱线之间的夹角均符合预设角度范围之后，在确定所述钢坯为合格坯之前，所述计算机设备还被配置为执行以下步骤：

针对任一棱线，根据所述棱线中点云的三维点云数据，计算所述棱线中点云的X坐标值位于预设区间内的点云数量；

如果所述点云数量大于第二阈值，则确定所述棱线为竖直棱线，如果所述点云数量小于或等于第二阈值，则确定所述棱线为非竖直棱线；

如果存在两条竖直棱线，则确定所述钢坯为合格坯。

Images