CN112233120A - 一种基于点云数据处理的脱方检测方法及系统 - Google Patents

Abstract

本申请提供了一种基于点云数据处理的脱方检测方法及系统，在入炉辊道一侧设置传感器，用于检测钢坯从输送带运输到入炉辊道；在入炉辊道的端部设置三维视觉设备，通过三维视觉设备对位于入炉辊道上的钢坯进行拍摄，得到钢坯图像，并从钢坯图像中获取点云数据；从数据预处理后的钢坯点云数据中筛选出竖直棱线，从而确定钢坯端面；如果钢坯端面存在两条绝对竖直棱线，则根据钢坯端面上的任意两条相交棱线点云数据，确定两条相交的棱线之间的夹角；如果夹角均符合第一预设角度范围，则确定钢坯为合格坯。本申请能够实现对脱方坯的检测，并将识别出的脱方坯自动剔除，降低人工成本，减少安全隐患，提高脱方坯检测的准确度。

Description

一种基于点云数据处理的脱方检测方法及系统

技术领域

本申请涉及钢坯检测领域，特别涉及一种基于点云数据处理的脱方检测方法及系统。

背景技术

轧钢加热炉在钢铁企业中占有重要地位，它的任务是加热钢坯，使钢坯温度及其温度分布满足轧制要求。加热炉上料装置是将钢坯运送到加热炉的装置，主要由上料台架、挡钢钩、拨钢叉和输送辊道组成。脱方也叫菱变，是指方形和矩形轧件因四个角不成90°，演变为平行四边形、梯形或菱形的一种超差缺陷。在上料坯料中，脱方坯始终是一种影响加热炉加热与生产的重要隐患。每年由于脱方坯导致的轧制过程堆钢、停炉等事故直接影响着生产企业的经营效益。

目前脱方检测主要通过人眼观察钢坯的截面形状，在发现疑似脱方坯后，由人工进行截面对角线测量，发现对角线不等时，通知操作人员手动将脱方坯进行排除。整个操作过程机械枯燥，人工长期操作容易疲劳引起操作失误从而导致轧制过程出现故障。

目前针对加热炉自动上料、脱方坯检测的相关公开技术有：

专利申请号为201711244182.7的中国发明专利申请《基于可见光图像识别技术的加热炉自动上料系统》公开了一种自动上料系统，但该方案并没有对钢坯形状发生形变的钢坯进行检测，一旦异形钢坯进入炉内，可能多炉内设备造成损害和对生产造成影响，造成无法预估的损失。

专利申请号为201711326061.7的中国发明专利申请《推钢式加热炉双线自动进钢方法》公开了一种自动进钢方法，该申请案的控制过程仅仅是判断该钢坯进入哪条线路，无法判断钢坯是否脱方、形变，对脱方坯造成影响无法预估。

专利申请号为201910238856.5的中国发明专利申请《一种基于机器视觉的脱方检测自动上料方法》通过计算并连接消隐点确定地平线的方法来判断钢坯是否脱方坯，但该方法需要设置参照物且参照物与钢坯截面处于同一平面，此外当钢坯在钢坯检测处发生倾斜时必然不能够判断出钢坯是否为脱方坯，因此具有较大局限性。

发明内容

为了解决公开技术中的不足及人工脱方坯检测出现操作失误而导致轧制过程出现故障的技术问题，本申请通过以下实施例公开了一种基于点云数据处理的脱方检测方法及系统。

本申请第一方面公开了一种基于点云数据处理的脱方检测方法，应用于钢坯检测领域，所述方法包括以下步骤：

步骤S1当接收到就位信号后，控制三维视觉设备拍摄钢坯图像，获取钢坯的原始点云数据，并对所述原始点云数据进行数据预处理；其中，所述就位信号是传感器检测到钢坯从输送带运输到入炉辊道时发送的；

步骤S2从所述数据预处理后的钢坯点云数据，筛选出所述钢坯的竖直棱线点云数据，继而得到竖直棱线，如果所述竖直棱线的数量小于第一阈值，则确定所述钢坯为脱方坯；

步骤S3根据筛选出的所述竖直棱线点云数据确定钢坯端面并且得到钢坯端面点云数据；

步骤S4根据所述钢坯端面点云数据，根据绝对竖直棱线的确定方法，判断所述钢坯端面是否存在两条绝对竖直棱线，若存在，执行步骤S5、S6：

步骤S5根据所述钢坯端面上的任意两条相交棱线点云数据，确定两条相交的所述棱线之间的夹角；

步骤S6如果任意两条相交的所述棱线之间的夹角均符合第一预设角度范围，则确定所述钢坯为合格坯。

可选的，步骤S1中，所述对所述原始点云数据进行数据预处理包括体素滤波、半径滤波、直通滤波和点云数据平滑处理。

可选的，所述步骤S2具体包括：

针对所述钢坯的任意所述棱线，根据所述棱线点云数据，计算所述棱线点云数据的X坐标均值X₀；

计算所述棱线点云数据的X坐标值位于第一预设区间内的点云数量；其中，所述第一预设区间为[X₀-a，X₀+a]，a为X坐标上允许的偏差值；

判断所述点云数量的比值是否大于第一预设比例；所述点云数量的比值为所述位于第一预设

区间内的点云数量与所述棱线点云数据中包含的总点云个数对应的比值；

如果所述点云数量的比值大于所述第一预设比例，则确定所述棱线点云数据为所述竖直棱线棱线点云数据，表示所述竖直棱线点云数据的棱线为所述竖直棱线；

如果所述点云数量的比值小于或等于所述第一预设比例，则确定所述棱线点云数据为非竖直棱线点云数据，表示所述非竖直棱线点云数据的棱线为非竖直棱线；

如果所述竖直棱线的数量小于所述第一阈值，则确定所述钢坯为脱方坯。

可选的，所述步骤S3具体包括：

针对所述竖直棱线，根据所述竖直棱线点云数据，计算所述竖直棱线点云数据的Z坐标均值Z₀；

过滤掉所述Z坐标均值Z₀大于第二阈值的所述竖直棱线点云数据，利用保留好的所述竖直棱线点云数据构建所述钢坯端面；

构成所述钢坯端面的点云为所述钢坯端面点云数据。

可选的，步骤S4中，所述绝对竖直棱线的确定方法，包括：

根据所述竖直棱线点云数据，计算所述竖直棱线点云数据的Z坐标值位于第二预设区间内的点云数量；其中，所述第二预设区间为[Z₀-b，Z₀+b]，b为Z坐标上允许的偏差值；

判断所述点云数量的比例是否大于第二预设比例；所述点云数量的比例为所述位于第二预设区间内的点云数量与所述竖直棱线点云数据中包含的总点云个数对应的比值；

如果所述点云数量的比例大于所述第二预设比例，则确定所述竖直棱线为所述绝对竖直棱线，如果所述点云数量的比例小于或等于所述第二预设比例，则确定所述竖直棱线为非绝对竖直棱线。

可选的，步骤S4之后，步骤S5之前，还可以包括以下步骤：

如果所述绝对竖直棱线的数量小于第三阈值，则确定所述钢坯为脱方坯；

所述第三阈值的值为2。

可选的，步骤S5和步骤S6之后，还包括：

如果所述钢坯端面存在两条相邻的所述棱线之间的夹角不符合所述第一预设角度范围，则确定所述钢坯为脱方坯；

如果所述钢坯端面存在两条相邻的所述棱线之间的夹角符合所述第一预设角度范围，则确定所述钢坯为合格坯。

本申请第二方面公开了一种基于点云数据处理的脱方检测系统，所述系统用于执行如本申请第一方面所述的一种基于点云数据处理的脱方检测方法，所述钢坯上料系统包括生产系统、输送带、拨钢叉、传感器、入炉辊道、入炉工位和钢坯收集区；所述生产系统用于生产钢坯，所述输送带的一端与所述生产系统连接，另一端与所述入炉辊道连接，用于输送所述生产系统生产出的钢坯；所述拨钢叉位于所述输送带与所述入炉辊道之间，用于将钢坯运送到所述入炉辊道上；所述入炉辊道一端与所述入炉工位连接，用于将合格坯运送到所述入炉工位，所述入炉辊道另一端与所述钢坯收集区连接，用于将脱方坯运输到所述钢坯收集区域；所述传感器设置在所述入炉辊道一侧，用于检测出钢坯从所述输送带运输到所述入炉辊道；其特征在于，所述脱方检测系统包括控制系统、计算机系统和三维视觉设备；所述三维视觉设备设置于所述入炉辊道的端部，且与所述计算机系统通过网络连接；所述控制系统分别与所述传感器、所述计算机系统、所述输送带、所述拨钢叉和所述入炉辊道通过网络连接；

所述三维视觉设备被配置为执行以下步骤：

当接收到就位信号后，拍摄钢坯图像；其中，所述就位信号是所述传感器检测到钢坯从所述输送带运输到所述入炉辊道时发送的；

将所述钢坯图像发送至所述计算机系统；

所述计算机系统被配置为执行以下步骤：

接收到所述钢坯图像后，根据所述钢坯图像，获取钢坯的原始点云数据，并对所述原始点云

数据进行数据预处理；

从所述数据预处理后的钢坯点云数据，筛选出所述钢坯的竖直棱线点云数据，继而得到竖直棱线，如果所述竖直棱线的数量小于第一阈值，则确定所述钢坯为脱方坯；

根据筛选出的所述竖直棱线点云数据确定钢坯端面并且得到钢坯端面点云数据；

根据所述钢坯端面点云数据，根据绝对竖直棱线的确定方法，判断所述钢坯端面是否存在两条绝对竖直棱线，若存在，执行以下操作：

根据所述钢坯端面上的任意两条相交棱线点云数据，确定两条相交的所述棱线之间的夹角；

如果任意两条相交的所述棱线之间的夹角均符合第一预设角度范围，则确定所述钢坯为合格坯；向所述控制系统发送钢坯合格指令，所述钢坯合格指令用于指示所述控制系统控制所述入炉辊道将所述钢坯运输到所述入炉工位；

如果所述钢坯为脱方坯，向所述控制系统发送钢坯不合格指令，所述钢坯不合格指令用于指示所述控制系统控制所述入炉辊道将所述钢坯运输到所述钢坯收集区。

可选的，所述计算机设备具体被配置为执行以下步骤：

所述数据预处理包括体素滤波、半径滤波、直通滤波和点云数据平滑处理；

针对所述钢坯的任意所述棱线，根据所述棱线点云数据，计算所述棱线点云数据的X坐标均值X₀；

计算所述棱线点云数据的X坐标值位于第一预设区间内的点云数量；其中，所述第一预设区间为[X₀-a，X₀+a]，a为X坐标上允许的偏差值；

判断所述点云数量的比值是否大于第一预设比例；所述点云数量的比值为所述位于第一预设区间内的点云数量与所述棱线点云数据中包含的总点云个数对应的比值；

如果所述点云数量的比值大于所述第一预设比例，则确定所述棱线点云数据为所述竖直棱线棱线点云数据，表示所述竖直棱线点云数据的棱线为所述竖直棱线；

如果所述点云数量的比值小于或等于所述第一预设比例，则确定所述棱线点云数据为非竖直棱线点云数据，表示所述非竖直棱线点云数据的棱线为非竖直棱线；

如果所述竖直棱线的数量小于第一阈值，则确定所述钢坯为脱方坯；

针对所述竖直棱线，根据所述竖直棱线点云数据，计算所述竖直棱线点云数据的Z坐标均值Z₀；

过滤掉所述Z坐标均值Z₀大于第二阈值的所述竖直棱线点云数据，利用保留好的所述竖直棱线点云数据构建所述钢坯端面；

构成所述钢坯端面的点云为所述钢坯端面点云数据。

可选的，在确定所述钢坯为合格坯之前，所述计算机系统还被配置为执行以下步骤：

根据所述竖直棱线点云数据，计算所述竖直棱线点云数据的Z坐标值位于第二预设区间内的点云数量；其中，所述第二预设区间为[Z₀-b，Z₀+b]，b为Z坐标上允许的偏差值；

判断所述点云数量的比例是否大于第二预设比例；所述点云数量的比例为所述位于第二预设区间内的点云数量与所述竖直棱线点云数据中包含的总点云个数对应的比值；

如果所述点云数量的比例大于所述第二预设比例，则确定所述竖直棱线为所述绝对竖直棱线，如果所述点云数量的比例小于或等于所述第二预设比例，则确定所述竖直棱线为非绝对竖直棱线；

如果所述绝对竖直棱线的数量小于第三阈值，则确定所述钢坯为脱方坯；其中，所述第三阈值的值为2；

如果所述钢坯端面存在两条相邻的所述棱线之间的夹角不符合所述第一预设角度范围，则确定所述钢坯为脱方坯；

如果所述钢坯端面存在两条相邻的所述棱线之间的夹角符合所述第一预设角度范围，且所述钢坯端面的所述棱线中有两条棱线为所述绝对竖直棱线，则确定所述钢坯为合格坯。

本申请实施例公开了一种基于点云数据处理的脱方检测方法及系统，该方法包括在入炉辊道一侧设置传感器，在入炉辊道的端部设置三维视觉设备，通过三维视觉设备接收到就位信号后，对位于入炉辊道上的钢坯进行拍摄，得到钢坯图像，并从钢坯图像中确定点云数据，根据从点云数据中筛选出的多条棱线，由竖直棱线确定钢坯端面，继而判断钢坯端面是否存在两条绝对竖直棱线，若是，则继续判断任意两条相交的棱线之间的夹角是否均符合第一预设角度范围，若是，则确定所述钢坯为合格坯。该方法相比于现有技术中人工检测脱方坯的方法而言，本申请实施例能够实现对脱方坯的检测，并将识别出的脱方坯自动进行剔除，适用性更强，能够降低人工成本，减少安全隐患，提高脱方坯检测的准确度，进而提高产线作业率。

附图说明

图1为本申请实施例适用的一种钢坯上料系统的结构示意图；

图2为本申请实施例提供的一种基于点云数据处理的脱方检测系统的结构示意图；

图3为本申请实施例提供的一种基于点云数据处理的脱方检测方法所对应的工作流程示意图；

图4为本申请实施例提供的一种点云预处理后的点云图像；

图5为本申请实施例提供的另一种点云预处理后的点云图像；

图6为本申请实施例中端面斜切的钢坯示意图。

图例说明：1-钢坯上料系统，11-生产系统，12-输送带，13-拨钢叉，14-入炉辊道，15-入炉工位，16-钢坯收集区，17-传感器；2-脱方检测系统，21-控制系统，22-计算机系统，23-三维视觉设备；3-钢坯。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请第一实施例公开了一种基于点云数据处理的脱方检测方法，参见图3所示的工作流程示意图，该方法包括：

步骤S301、当接收到就位信号后，控制三维视觉设备23拍摄钢坯图像，获取钢坯3的原始点云数据，并进行数据预处理。其中，所述就位信号是传感器17检测到钢坯3从输送带12运输到入炉辊道14时发送的。

步骤S302、从所述数据预处理后的钢坯点云数据，筛选出所述钢坯3的竖直棱线点云数据。

步骤S303、根据筛选出的竖直棱线点云数据确定钢坯端面。

步骤S304、判断钢坯端面的绝对竖直棱线的数量；如果小于第三阈值，则执行步骤S305，否则执行步骤S306，其中第三阈值的值为2。

步骤S305、判断钢坯3为脱方坯。

步骤S306、根据任意两条相交棱线点云数据，确定两条相交的所述棱线之间的夹角。

步骤S307、如果任意两条相交的棱线之间的夹角均符合第一预设角度范围，则确定所述钢坯3为合格坯。

采用上述方法，可以有效地排除某些特殊情况下，对钢坯3的误判，从而可以提高脱方检测的准确度。

下面结合本申请实施例，具体对本申请提供的方法进行阐述。

步骤S301中，图1为本申请实施例公开的一种钢坯上料系统的结构示意图，所述钢坯上料系统1包括生产系统11、输送带12、拨钢叉13、传感器17、入炉辊道14、入炉工位15和钢坯收集区16。

其中，生产系统11用于生成钢坯3。

输送带12的一端与生产系统11连接，另一端与入炉辊道14连接，用于输送生产系统11生产出的钢坯3。

拨钢叉13位于输送带12与入炉辊道14之间，用于将钢坯3运送到入炉辊道14上。

入炉辊道14一端与入炉工位15连接，用于将合格坯运送到入炉工位15，另一端与钢坯收集区16连接，用于将脱方坯运输到钢坯收集区16。

传感器17设置在入炉辊道14一侧，用于检测出钢坯3从输送带12运输到入炉辊道14。

实际工况中，传感器17的功能是实现入炉辊道14的钢坯3检测功能，因此安装的位置不唯一。

基于图1所示的钢坯上料系统1，图2为本申请实施例公开的一种基于点云数据处理的脱方检测系统的结构示意图，所述脱方检测系统2包括控制系统21、计算机系统22和三维视觉设备23。

三维视觉设备23设置于入炉辊道14的端部，且与计算机系统22通过网络连接。

其中，如图1和图2所示，箭头所指示的方向表示钢坯3运输到入炉工位15的方向，箭头所指示的反方向表示钢坯3运输到钢坯收集区16的方向。

在一些实施例中，三维视觉设备23包括支架和三维视觉传感器。支架用于支撑和固定三维视觉传感器，支架固定在入炉辊道14的端部处一侧的地面上，并使得三维视觉传感器正对朝向停留在预设位置处的钢坯端面，从而准确拍摄钢坯图像，便于后续识别钢坯3形态和钢坯3计数。此外，三维视觉设备23的安装位置需不影响钢坯3从入炉辊道14反向运动到钢坯收集区16，且钢坯收集区16不影响三维视觉设备23对入炉辊道14上的钢坯3检测。三维视觉设备的结构可以参照现有技术，在本申请实施例中未用图表示。

在一些实施例中，三维视觉传感器包括光机、相机组件和底板，底板的底面固定在支架上，光机和相机组件固定在底板的顶面，光机提供光源，相机组件包括两个相机，两个相机可以对称安装在光机两侧。两个相机可以呈一定夹角安装在底板上，两个相机组成的夹角一般为12°~20°，可以提高获取点云数据的精度。三维视觉传感器的结构可以参照现有技术，在本申请实施例中未用图表示。

控制系统21分别与传感器17、计算机系统22、输送带12、拨钢叉13和入炉辊道14通过网络连接。

在一些实例中，控制系统21为PLC。

在具体的控制流程上，生产系统11生产出钢坯3，输送带12将钢坯3运送到输送带12的尾部时，由拨钢叉13将钢坯3运送到入炉辊道14上。此时，传感器17检测到钢坯3运输到入炉辊道14后，向控制系统21发送就位信号。

控制系统21与计算机系统22进行通信，再由计算机系统22控制三维视觉设备23拍摄钢坯图像。

本申请是基于三维点云技术来实现，首先对三维点云技术做出相关介绍。三维视觉传感器采集物体的点云数据，在三维坐标系0-XYZ下，点云数据即是点云在X、Y和Z方向上的数值，量纲为mm，例如型号Kinect2相机的点云之间的间距为1mm。计算机系统22中可以配置专门的点云处理系统，对获取的点云数据进行去除背景点云和干扰点云，以及点云数据预处理等计算过程。

在一些实施例中，在去除背景点云时，可以采用直通滤波方法去除部分背景点数据，比如使用直通滤波时设置参数可以滤除y>660mm或y<20mm范围内的点云数据；进一步在去除背景点云时，因三维视觉设备23非水平正对着钢坯3拍摄时，因此需要用到带法线的平面模板匹配法去除背景点数据，如平面方程为Ax+By+Cz+D=0，平面模板法线设置为（0，1，0）来表示垂直地面向上，由此通过标定时预设法线角度阈值，可以滤除三维视觉设备23非水平时钢坯3下端入炉辊道14造成的影响；进一步滤除点云数据中的孤点、离群点等干扰点云，可以采用的算法如半径滤波等；进一步地，进行下采样滤波处理，比如使用体素栅格法或随机采样法，经过滤波平滑处理后，点云数量将减少，且点云之间的间距将发生变化，比如若使用体素栅格滤波，将栅格大小设置为原始点距两倍时，则X、Y和Z方向上点云间的间距将变为2倍；将滤波后的点云数据进行平滑处理，如使用移动最小二乘法函数，能够使得滤波后的相邻点具有更好的规律性，点云曲面更光顺平滑。

步骤S302中，在一些实施例中，可以采用如超体聚类或者区域生长法等分割算法，对点云数据进行分割，以获取目标点云。

在一些实施例中，可以根据计算机系统22获取现场钢坯3的标准规格，通过标定获取标准规格下钢坯端面的点云数量，从而设置点云数量的阈值Point_num，通过阈值Point_num可以进一步过滤掉无关的点云，保留钢坯端面和钢坯侧面的点云曲面（当钢坯3倾斜时，钢坯图像中会具有钢坯侧面的点云）。图4和图5示出了点云预处理后的点云图像。在图4中钢坯3是正对着三维视觉设备23的，图5中的钢坯3是倾斜对着三维视觉设备23，造成的原因可能是钢坯3运输到入炉辊道14时倾斜或者三维视觉设备23安装时没有正对钢坯端面。其中，点云预处理后的钢坯3的点云数据量与钢坯3的规格、钢坯3的位姿及钢坯3运输到入炉辊道14后的工作距离有关。例如，对同一规格的钢坯3，工作距离越小，点云数据量越大。

在一些实施例中，为获得连接信息和拓扑结构，可以进一步对聚类后得到的点云数据进行点云曲面的重建，重建方式比如采用三角面片化，使用贪婪投影三角化算法，可以将拍摄物体的点云数据（包括钢坯端面和钢坯侧面）模型转化成由若干个小三角面片组成。

在一些实施例中，需要提取出钢坯端面和钢坯侧面的曲面，具体的实现方式可以是：采用RANSAC算法，判断上述重建后的点云曲面的分布特征，选用平面模型对点云曲面的离散点进行拟合，得到每个点云曲面中各面片的隐式表达，由于钢坯3表面会生成氧化铁皮，导致钢坯端面和钢坯侧面的曲面中出现诸多面片，需要对同一个曲面中各面片进行NURBS曲面拟合，得到每个曲面的参数表达式。

在进一步的实施例中，在获取钢坯端面和钢坯侧面的曲面之后，还需要获取钢坯端面（或者还包括钢坯侧面）的棱线，具体的实现方式比如是：计算钢坯端面的曲率信息，通过设置局部特征权值和筛选曲率极限值点，来识别区域特征点，根据特征点的局部特征权值大小，筛选出特征权值最大的点作为种子点，建立最小生成树，构建连通区域，将特征点连接成线，分割、细化细小分支，从而提取出特征线。其中，获取钢坯端面的曲率信息可以采用主成分分析法、移动最小二乘法；或者，也可采用RANSAC算法，根据相邻平面的交集获得特征线，将该特征线作为棱线。

由于钢坯3呈长方体结构，因此可以提取出多条不同方向的棱线，本申请中识别钢坯端面主要使用竖直棱线，因此需要从多条棱线中进一步筛选出竖直方向（即Y轴方向）的棱线。

在一些实施例中，遍历每条棱线上的点云，计算每条棱线中点云的X坐标均值X₀。因为在实际工况中，即使是合格坯也不存在完全竖直的棱线，此外入炉辊道14的上表面不平整也必然会导致钢坯3发生一定程度的倾斜，因此需要计算棱线中点云的X坐标值位于第一预设区间内的点云数量。其中，第一预设区间为[X₀-a，X₀+a]，a为X坐标上允许的偏差值。需要说明的是，a的具体数值可以是本领域技术人员根据实际情况确定的，比如，a=2mm，具体不做限定。

点云预处理后的钢坯3的点云数据量与钢坯3的规格、钢坯3的位姿及钢坯3运输到入炉辊道14后的工作距离有关。因此，需要判断点云数量的比值是否大于第一预设比例，其中，点云数量的比值为位于第一预设区间内的点云数量与棱线中包含的总点云个数对应的比值。

如果点云数量的比值大于第一预设比例，则确定该棱线为竖直棱线，如果点云数量的比值小于或等于第一预设比例，则确定该棱线为非竖直棱线，需要说明的是，第一预设比例的具体数值可以是本领域技术人员根据实际情况确定的，比如，第一预设比例为0.98，具体不做限定。

竖直棱线的数量小于第一阈值，则确定钢坯3为脱方坯，其中第一阈值的值为2。如果筛选出的多条棱线中，竖直棱线的数量少于2，那么必然为脱方坯。

步骤S303中，在进一步的实施例中，计算筛选出的每条竖直棱线中点云的Z坐标均值Z₀，滤过掉Z坐标均值Z₀大于第二阈值的竖直棱线，利用保留好的竖直棱线构建钢坯端面，需要说明的是，第二阈值的具体数值可以是本领域技术人员根据实际情况确定的，比如，第二阈值的值为100mm，具体不做限定。图4中示出，点云预处理后的只有钢坯端面的点云图像；图5中示出，点云预处理后的有钢坯端面和钢坯侧面的点云图像。此时，需要通过第二阈值筛选出钢坯端面的竖直棱线，从而将钢坯端面和钢坯侧面进行区分，进一步可以筛选出钢坯端面其他的棱线。此外，由于钢坯端面上存在有不同程度的氧化铁皮，因此前述采用RANSAC算法重建钢坯端面曲面的方法在精度和稳定性上，都低于通过两线共面的原理确定钢坯端面的方法，因此，采用两线共面的原理筛选出的钢坯端面其他棱线具有更高的精度。本申请实施例中需要说明的是，前述点云数据的相关内容和算法可以参照现有技术，本申请实施例不再赘述。

步骤S304中，因为在实际工况中，存在某些特殊情况下，如图6所示，钢坯端面是被斜切的，任意两条相交的棱线之间的夹角为90°，但是这种钢坯3并不是合格坯，需要将它排除在外。

在一些实施例中，遍历在钢坯端面的竖直棱线中点云的Z坐标值位于第二预设区间内的点云数量。其中，第二预设区间为[Z₀-b，Z₀+b]，b为Z坐标上允许的偏差值。需要说明的是，b的具体数值可以是本领域技术人员根据实际情况确定的，比如，b=2mm，具体不做限定。

点云预处理后的钢坯3的点云数据量与钢坯3的规格、钢坯3的位姿及钢坯3运输到入炉辊道14后的工作距离有关。因此，需要判断点云数量的比例是否大于第二预设比例，其中，点云数量的比例为位于第二预设区间内的点云数量点云数量与竖直棱线中包含的总点云个数对应的比值。

如果点云数量的比例大于第二预设比例，则确定所述竖直棱线为绝对竖直棱线，如果点云数量的比例小于或等于第二预设比例，则确定竖直棱线为非绝对竖直棱线，需要说明的是，第二预设比例的具体数值可以是本领域技术人员根据实际情况确定的，比如，第二预设比例为0.98，具体不做限定。

步骤S305中，判断钢坯3为脱方坯。

步骤S306中，具体地，可以根据钢坯端面任意两条相交的棱线中点云的点云数据，确定两条相交的棱线的端点的三维坐标数据，进而，根据端点的三维坐标数据结合三角函数关系，可以确定两条相交的棱线之间的夹角。

步骤S307中，所谓合格坯，是指钢坯3的端面形状为矩形，即任意两条相交的棱线之间的夹角为90°。

在一些实施例中，考虑到实际测量过程中存在的误差，因此，本申请实施例中如果存在两条相邻的棱线之间的夹角不符合第一预设角度范围，则确定钢坯3为脱方坯，否则为合格坯，需要说明的是，第一预设角度范围的具体数值可以是本领域技术人员根据实际情况确定的，比如，第一预设角度范围可以是90°±5°，具体不做限定。

在执行上述步骤对钢坯3进行判断后，计算机系统22根据钢坯3的检测结果，向控制系统21发送不同的指令。

具体地，如果钢坯3为合格坯，计算机系统22可以向控制系统21发送钢坯合格指令，钢坯合格指令用于指示控制系统21控制入炉辊道14将钢坯3运输到入炉工位15。

如果钢坯3为脱方坯，计算机系统22可以向控制系统21发送脱方坯指令，脱方坯指令用于指示控制系统21控制入炉辊道14将钢坯3运输到钢坯收集区16。

本申请实施例公开了一种基于点云数据处理的脱方检测方法，该方法包括通过三维视觉设备23接收到就位信号后，对位于入炉辊道14上的钢坯3进行拍摄，得到钢坯图像，并从钢坯图像中确定点云数据，根据从点云数据中筛选出的多条棱线，由竖直棱线确定钢坯端面，继而判断钢坯端面是否存在两条绝对竖直棱线，若是，则继续判断任意两条相交的棱线之间的夹角是否均符合第一预设角度范围，若是，则确定所述钢坯3为合格坯。该方法相比于现有技术中人工检测脱方坯的方法而言，本申请实施例能够实现对脱方坯的检测，并将识别出的脱方坯自动进行剔除，适用性更强，能够降低人工成本，减少安全隐患，提高脱方坯检测的准确度，进而提高产线作业率。

上述实施例公开的一种基于点云数据处理的脱方检测方法，不仅可以判断在不同姿态、不同位置和不同情况下的钢坯3是否合格，而且能够消除钢坯端面氧化铁皮严重时的干扰，该方法适用范围广。

下述为本申请公开的系统实施例，用于执行上述方法实施例，对于系统实施例中未披露的细节，请参照方法实施例。

本申请第二实施例公开了一种基于点云数据处理的脱方检测系统，所述系统用于执行如本申请第一实施例所述的一种基于点云数据处理的脱方检测方法，所述系统包括：

所述系统用于检测钢坯上料系统1中的钢坯3；所述钢坯上料系统1包括生产系统11、输送带12、拨钢叉13、传感器17、入炉辊道14、入炉工位15和钢坯收集区16；所述生产系统11用于生产钢坯3，所述输送带12的一端与所述生产系统11连接，另一端与所述入炉辊道14连接，用于输送所述生产系统11生产出的钢坯3；所述拨钢叉13位于所述输送带12与所述入炉辊道14之间，用于将钢坯3运送到所述入炉辊道14上；所述入炉辊道14一端与所述入炉工位15连接，用于将合格方坯运送到所述入炉工位15，所述入炉辊道14另一端与所述钢坯收集区16连接，用于将脱方坯运输到所述钢坯收集区16；所述传感器17设置在所述入炉辊道14一侧，用于检测出钢坯3从所述输送带12运输到所述入炉辊道14；其特征在于，所述脱方检测系统2包括控制系统21、计算机系统22和三维视觉设备23；所述三维视觉设备23设置于所述入炉辊道14的端部，且与所述计算机系统22通过网络连接；所述控制系统21分别与所述传感器17、所述计算机系统22、所述输送带12、所述拨钢叉13和所述入炉辊道14通过网络连接。

所述三维视觉设备23被配置为执行以下步骤：

当接收到就位信号后，拍摄钢坯图像；其中，所述就位信号是所述传感器17检测到钢坯3从所述输送带12运输到所述入炉辊道14时发送的；

将所述钢坯图像发送至所述计算机系统22。

所述计算机系统22被配置为执行以下步骤：

接收到所述钢坯图像后，根据所述钢坯图像，获取钢坯3的原始点云数据，并对所述原始点

云数据进行数据预处理；

从所述数据预处理后的钢坯点云数据，筛选出所述钢坯3的竖直棱线点云数据，继而得到竖直棱线，如果所述竖直棱线的数量小于第一阈值，则确定所述钢坯3为脱方坯；

根据筛选出的所述竖直棱线点云数据确定钢坯端面并且得到钢坯端面点云数据；

根据所述钢坯端面点云数据，根据绝对竖直棱线的确定方法，判断所述钢坯端面是否存在两条绝对竖直棱线，若存在，执行以下操作：

根据所述钢坯端面上的任意两条相交棱线点云数据，确定两条相交的所述棱线之间的夹角；

如果任意两条相交的所述棱线之间的夹角均符合第一预设角度范围，则确定所述钢坯3为合格坯；向所述控制系统21发送钢坯合格指令，所述钢坯合格指令用于指示所述控制系统21控制所述入炉辊道14将所述钢坯3运输到所述入炉工位15；

如果所述钢坯3为脱方坯；向所述控制系统21发送钢坯不合格指令，所述钢坯不合格指令用于指示所述控制系统21控制所述入炉辊道14将所述钢坯3运输到所述钢坯收集区16。

进一步的，所述计算机设备具体被配置为执行以下步骤：

所述数据预处理包括体素滤波、半径滤波、直通滤波和点云数据平滑处理；

针对所述钢坯3的任意所述棱线，根据所述棱线点云数据，计算所述棱线点云数据的X坐标均值X₀；

计算所述棱线点云数据的X坐标值位于第一预设区间内的点云数量；其中，所述第一预设区间为[X₀-a，X₀+a]，a为X坐标上允许的偏差值；

判断所述点云数量的比值是否大于第一预设比例；所述点云数量的比值为所述位于第一预设区间内的点云数量与所述棱线点云数据中包含的总点云个数对应的比值；

如果所述点云数量的比值大于所述第一预设比例，则确定所述棱线点云数据为所述竖直棱线棱线点云数据，表示所述竖直棱线点云数据的棱线为所述竖直棱线；

如果所述点云数量的比值小于或等于所述第一预设比例，则确定所述棱线点云数据为非竖直棱线点云数据，表示所述非竖直棱线点云数据的棱线为非竖直棱线；

如果所述竖直棱线的数量小于所述第一阈值，则确定所述钢坯3为脱方坯；

从所述钢坯点云数据中筛选出若干所述竖直棱线，计算所述竖直棱线点云数据的Z坐标均值Z₀；

过滤掉所述Z坐标均值Z₀大于第二阈值的所述竖直棱线点云数据，利用保留好的所述竖直棱线点云数据构建所述钢坯端面；

构成所述钢坯端面的点云为所述钢坯端面点云数据。

进一步的，在确定所述钢坯3为合格坯之前，所述计算机系统22还被配置为执行以下步骤：

根据所述竖直棱线点云数据，计算所述竖直棱线点云数据的Z坐标值位于第二预设区间内的点云数量；其中，所述第二预设区间为[Z₀-b，Z₀+b]，b为Z坐标上允许的偏差值；

判断所述点云数量的比例是否大于第二预设比例；所述点云数量的比例为所述位于第二预设区间内的点云数量与所述竖直棱线点云数据中包含的总点云个数对应的比值；

如果所述点云数量的比例大于所述第二预设比例，则确定所述竖直棱线为所述绝对竖直棱线，如果所述点云数量的比例小于或等于所述第二预设比例，则确定所述竖直棱线为非绝对竖直棱线；

如果所述绝对竖直棱线的数量小于第三阈值，则确定所述钢坯3为脱方坯；其中，所述第三阈值的值为2；

如果所述钢坯端面存在两条相邻的所述棱线之间的夹角不符合所述第一预设角度范围，则确定所述钢坯3为脱方坯；

如果所述钢坯端面存在两条相邻的所述棱线之间的夹角符合所述第一预设角度范围，且所

述钢坯端面的所述棱线中有两条棱线为所述绝对竖直棱线，则确定所述钢坯3为合格坯。

以上结合具体实施方式和范例性实例对本申请进行了详细说明，不过这些说明并不能理解为对本申请的限制。本领域技术人员理解，在不偏离本申请精神和范围的情况下，可以对本申请技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本申请的范围内。本申请的保护范围以所附权利要求为准。

Claims (10)

1.一种基于点云数据处理的脱方检测方法，应用于钢坯检测领域，其特征在于，所述方法包括以下步骤：

步骤S1当接收到就位信号后，控制三维视觉设备拍摄钢坯图像，获取钢坯的原始点云数据，并对所述原始点云数据进行数据预处理；其中，所述就位信号是传感器检测到钢坯从输送带运输到入炉辊道时发送的；

步骤S2从所述数据预处理后的钢坯点云数据，筛选出所述钢坯的竖直棱线点云数据，继而得到竖直棱线，如果所述竖直棱线的数量小于第一阈值，则确定所述钢坯为脱方坯；

步骤S3根据筛选出的所述竖直棱线点云数据确定钢坯端面并且得到钢坯端面点云数据；

步骤S4根据所述钢坯端面点云数据，根据绝对竖直棱线的确定方法，判断所述钢坯端面是否存在两条绝对竖直棱线，若存在，执行步骤S5、S6：

步骤S5根据所述钢坯端面上的任意两条相交棱线点云数据，确定两条相交的所述棱线之间的夹角；

步骤S6如果任意两条相交的所述棱线之间的夹角均符合第一预设角度范围，则确定所述钢坯为合格坯。

2.根据权利要求1所述的方法，其特征在于，步骤S1中，所述对所述原始点云数据进行数据预处理包括体素滤波、半径滤波、直通滤波和点云数据平滑处理。

3.根据权利要求1所述的方法，其特征在于，所述步骤S2具体包括：

针对所述钢坯的任意所述棱线，根据所述棱线点云数据，计算所述棱线点云数据的X坐标均值X₀；

计算所述棱线点云数据的X坐标值位于第一预设区间内的点云数量；其中，所述第一预设区间为[X₀-a，X₀+a]，a为X坐标上允许的偏差值；

判断所述点云数量的比值是否大于第一预设比例；所述点云数量的比值为所述位于第一预设区间内的点云数量与所述棱线点云数据中包含的总点云个数对应的比值；

如果所述点云数量的比值大于所述第一预设比例，则确定所述棱线点云数据为所述竖直棱线棱线点云数据，表示所述竖直棱线点云数据的棱线为所述竖直棱线；

如果所述点云数量的比值小于或等于所述第一预设比例，则确定所述棱线点云数据为非竖直棱线点云数据，表示所述非竖直棱线点云数据的棱线为非竖直棱线；

如果所述竖直棱线的数量小于所述第一阈值，则确定所述钢坯为脱方坯。

4.根据权利要求1所述的方法，其特征在于，所述步骤S3具体包括：

针对所述竖直棱线，根据所述竖直棱线点云数据，计算所述竖直棱线点云数据的Z坐标均值Z₀；

过滤掉所述Z坐标均值Z₀大于第二阈值的所述竖直棱线点云数据，利用保留好的所述竖直棱线点云数据构建所述钢坯端面；

构成所述钢坯端面的点云为所述钢坯端面点云数据。

5.根据权利要求4所述的方法，其特征在于，步骤S4中，所述绝对竖直棱线的确定方法，包括：

根据所述竖直棱线点云数据，计算所述竖直棱线点云数据的Z坐标值位于第二预设区间内的点云数量；其中，所述第二预设区间为[Z₀-b，Z₀+b]，b为Z坐标上允许的偏差值；

判断所述点云数量的比例是否大于第二预设比例；所述点云数量的比例为所述位于第二预设区间内的点云数量与所述竖直棱线点云数据中包含的总点云个数对应的比值；

如果所述点云数量的比例大于所述第二预设比例，则确定所述竖直棱线为所述绝对竖直棱线，如果所述点云数量的比例小于或等于所述第二预设比例，则确定所述竖直棱线为非绝对竖直棱线。

6.根据权利要求1所述的方法，其特征在于，步骤S4之后，步骤S5之前，还可以包括以下步骤：

如果所述绝对竖直棱线的数量小于第三阈值，则确定所述钢坯为脱方坯；

所述第三阈值的值为2。

7.根据权利要求1所述的方法，其特征在于，步骤S5和步骤S6之后，还包括：

如果所述钢坯端面存在两条相邻的所述棱线之间的夹角不符合所述第一预设角度范围，则确定所述钢坯为脱方坯；

如果所述钢坯端面存在两条相邻的所述棱线之间的夹角符合所述第一预设角度范围，则确定所述钢坯为合格坯。

8.一种基于点云数据处理的脱方检测系统，所述系统用于检测钢坯上料系统中的钢坯；所述钢坯上料系统包括生产系统、输送带、拨钢叉、传感器、入炉辊道、入炉工位和钢坯收集区；所述生产系统用于生产钢坯，所述输送带的一端与所述生产系统连接，另一端与所述入炉辊道连接，用于输送所述生产系统生产出的钢坯；所述拨钢叉位于所述输送带与所述入炉辊道之间，用于将钢坯运送到所述入炉辊道上；所述入炉辊道一端与所述入炉工位连接，用于将合格坯运送到所述入炉工位，所述入炉辊道另一端与所述钢坯收集区连接，用于将脱方坯运输到所述钢坯收集区域；所述传感器设置在所述入炉辊道一侧，用于检测出钢坯从所述输送带运输到所述入炉辊道；其特征在于，所述脱方检测系统包括控制系统、计算机系统和三维视觉设备；所述三维视觉设备设置于所述入炉辊道的端部，且与所述计算机系统通过网络连接；所述控制系统分别与所述传感器、所述计算机系统、所述输送带、所述拨钢叉和所述入炉辊道通过网络连接；

所述三维视觉设备被配置为执行以下步骤：

当接收到就位信号后，拍摄钢坯图像；其中，所述就位信号是所述传感器检测到钢坯从所述输送带运输到所述入炉辊道时发送的；

将所述钢坯图像发送至所述计算机系统；

所述计算机系统被配置为执行以下步骤：

接收到所述钢坯图像后，根据所述钢坯图像，获取钢坯的原始点云数据，并对所述原始点云数据进行数据预处理；

从所述数据预处理后的钢坯点云数据，筛选出所述钢坯的竖直棱线点云数据，继而得到竖直棱线，如果所述竖直棱线的数量小于第一阈值，则确定所述钢坯为脱方坯；

根据筛选出的所述竖直棱线点云数据确定钢坯端面并且得到钢坯端面点云数据；

根据所述钢坯端面点云数据，根据绝对竖直棱线的确定方法，判断所述钢坯端面是否存在两条绝对竖直棱线，若存在，执行以下操作：

根据所述钢坯端面上的任意两条相交棱线点云数据，确定两条相交的所述棱线之间的夹角；

如果任意两条相交的所述棱线之间的夹角均符合第一预设角度范围，则确定所述钢坯为合格坯；向所述控制系统发送钢坯合格指令，所述钢坯合格指令用于指示所述控制系统控制所述入炉辊道将所述钢坯运输到所述入炉工位；

如果所述钢坯为脱方坯，向所述控制系统发送钢坯不合格指令，所述钢坯不合格指令用于指示所述控制系统控制所述入炉辊道将所述钢坯运输到所述钢坯收集区。

9.根据权利要求8所述的一种基于点云数据处理的脱方检测系统，其特征在于，所述计算机系统具体被配置为执行以下步骤：

所述数据预处理包括体素滤波、半径滤波、直通滤波和点云数据平滑处理；

针对所述钢坯的任意所述棱线，根据所述棱线点云数据，计算所述棱线点云数据的X坐标均值X₀；

计算所述棱线点云数据的X坐标值位于第一预设区间内的点云数量；其中，所述第一预设区间为[X₀-a，X₀+a]，a为X坐标上允许的偏差值；

判断所述点云数量的比值是否大于第一预设比例；所述点云数量的比值为所述位于第一预设区间内的点云数量与所述棱线点云数据中包含的总点云个数对应的比值；

如果所述点云数量的比值大于所述第一预设比例，则确定所述棱线点云数据为所述竖直棱线棱线点云数据，表示所述竖直棱线点云数据的棱线为所述竖直棱线；

如果所述点云数量的比值小于或等于所述第一预设比例，则确定所述棱线点云数据为非竖直棱线点云数据，表示所述非竖直棱线点云数据的棱线为非竖直棱线；

如果所述竖直棱线的数量小于所述第一阈值，则确定所述钢坯为脱方坯；

针对所述竖直棱线，根据所述竖直棱线点云数据，计算所述竖直棱线点云数据的Z坐标均值Z₀；

过滤掉所述Z坐标均值Z₀大于第二阈值的所述竖直棱线点云数据，利用保留好的所述竖直棱线点云数据构建所述钢坯端面；

构成所述钢坯端面的点云为所述钢坯端面点云数据。

10.根据权利要求8所述的一种基于点云数据处理的脱方检测系统，其特征在于，在确定所述钢坯为合格坯之前，所述计算机系统还被配置为执行以下步骤：

针对所述钢坯端面的所述竖直棱线，根据所述竖直棱线点云数据，计算所述竖直棱线点云数据的Z坐标值位于第二预设区间内的点云数量；其中，所述第二预设区间为[Z₀-b，Z₀+b]，b为Z坐标上允许的偏差值；

判断所述点云数量的比例是否大于第二预设比例；所述点云数量的比例为所述点云数量与所述竖直棱线点云数据中包含的总点云个数对应的比值；

如果所述点云数量的比例大于所述第二预设比例，则确定所述竖直棱线为所述绝对竖直棱线，如果所述点云数量的比例小于或等于所述第二预设比例，则确定所述竖直棱线为非绝对竖直棱线；

如果所述绝对竖直棱线的数量小于第三阈值，则确定所述钢坯为脱方坯；其中，所述第三阈值的值为2；

如果所述钢坯端面存在两条相邻的所述棱线之间的夹角不符合所述第一预设角度范围，则确定所述钢坯为脱方坯；

如果所述钢坯端面存在两条相邻的所述棱线之间的夹角符合所述第一预设角度范围，且所述钢坯端面的所述棱线中有两条棱线为所述绝对竖直棱线，则确定所述钢坯为合格坯。

Images