CN113219903B - 一种基于深度视觉的钢坯最优剪切控制方法及装置 - Google Patents

Abstract

本发明提供一种基于深度视觉的钢坯最优剪切控制方法及系统。本发明包括将深度相机设置好，设定世界坐标系；标定深度相机的参数；采集钢坯的RGB和深度视图；通过针孔相机模型，得到每个像素点的三维坐标，然后通过直通滤波和离群点去除进行预处理；使用随机采样一致性算法拟合出钢坯上表面的平面，然后将平面投影到2D平面，再采用中心扩展法计算出最优剪切线；根据钢坯的移动速度与待剪切位置头部坐标，获得头部和剪切刀口的距离，计算出控制剪切头剪切的时刻。本发明利用图像信息解决钢坯头尾部的剪切线检测问题，达到节约能源和材料的目的，深度相机得到的世界坐标精度高，省却了复杂的标定过程，布置简单。

Description

一种基于深度视觉的钢坯最优剪切控制方法及装置

技术领域

本发明涉及炼钢连铸生产技术领域，尤其涉及一种基于深度视觉的钢坯最优剪切控制方法及装置。

背景技术

在炼钢连铸生产工艺中，剪切是其中一个重要环节，目的是去掉钢坯头尾部的曲边，使得钢坯呈长方体形态，以便后续的切割成定尺或倍尺长度。钢材在由液态向固态的转变过程中，受到各种内外力的作用引起形变，做到最优剪切关系到节约能源、材料，提高企业产能，具体就是解决对头尾的不规整的部分的最优剪切问题。

公告号为CN101658954A的《基于图像传感的钢坯剪切装置及其剪切方法》公开的内容使用两个CCD相机，然后利用图像处理方法提取出最优的切割线，虽然很简单快速，但是只能在钢坯厚度均匀时有效，没有使用3D信息。目前，还有利用事先标定像素对应的位置，然后边缘检测检测头尾部的位置的方法，该方法是从钢坯头部开始找到一个固定长度的切割位置，但是无法将头尾的不规则部分去掉。

发明内容

根据上述提出的技术问题，而提供一种基于深度视觉的钢坯最优剪切控制方法。本发明采用的技术手段如下：

一种基于深度视觉的钢坯最优剪切控制方法，包括如下步骤：

步骤1、将深度相机安装在成像平面与钢坯平面平行的位置，设置世界坐标系，确定好世界坐标和相机坐标的关系，使得相机坐标系中的点可以得到世界坐标；

步骤2、标定深度相机的参数：采用分步标定法求得相机的内参和外参；

步骤3、实时采集图像：使用深度相机采集钢坯的RGB和深度视图，并将二者的分辨率转换一致，使得深度和RGB的像素一一对应；

步骤4、数据预处理：通过针孔相机模型，得到每个像素点的三维坐标，然后将得到的点进行一定的预处理，所述预处理包括直通滤波和离群点去除，所述直通滤波用于滤除背景点云，所述离群点去除用于去除异常点；

步骤5、轮廓线检测：使用随机采样一致性算法拟合出钢坯上表面的平面，然后将平面投影到2D平面，再采用中心扩展法计算出最优剪切线；

步骤6、根据钢坯的移动速度与待剪切位置头部坐标，获得头部和剪切刀口的距离，计算出控制剪切头剪切的时刻。

进一步地，所述步骤4具体包括如下步骤：

步骤41、点云生成：通过如下关系式得到每个像素点的三维点坐标：

其中，f为相机焦距，X、Y、Z分别是像素点在相机坐标系中的坐标，w、h分别是图像的像素的长度和宽度，s是转换系数，用于将深度的像素值转换成标准单位，d是该像素处的深度；

步骤42、直通滤波：钢坯平面的Z坐标区间为[d_min,d_max]，坐标满足条件d_min≤Z≤d_max的像素保留，超出范围的去除，同理，对X坐标和Y坐标进行同样的区间分割；

步骤43、离群点去除：先算出每个点和其他点的距离，然后选出K点进行统计，计算这K点到的所有的点的距离，假设其结果是高斯分布，若计算得出的均值为μ，方差为∑，对于任意一点，若非离群点，应该和每一点的距离一般不会超过平均距离，根据此原理，给出以下关系：

μ_θ＝μ+k∑

其中，k是比例系数，对于非离群点，其满足距离的均值不超过阈值μ_θ，若满足μ_i≤μ_θ，则为非离群点，若μ_i＞μ_θ，则为离群点。

进一步地，所述步骤5具体包括如下步骤：

步骤51、钢坯表面的提取：使用改进的随机采样一致性算法将钢坯的上表面拟合出来，具体地，随机选取若干个点作为内点，给定平面Ax+By+Cx+D＝0，对于平面上任意三点P₀、P₁、P₂，面上两条直线的方向向量分别为

则平面P₀P₁P₂的一法向量为

由点法式方程求得A、B、C、D，然后，从点集中选取点来计算和该平面的距离，点到平面距离公式：

假设判定该点属于该平面的最大容许距离为d′，则当距离d>d′时，认为该点不属于该平面，统计在平面内的点的集合，与之前最优的集合比较点的数目，数量超过则更新点集，然后重新选取三个点继续下一轮迭代，迭代t次后停止迭代，则当前最佳集合就是最后结果；

步骤52、钢坯平面的轮廓提取：采用球旋转法将不完整的点云进行补洞从而完成表面重建，据投影公式计算出相应的像素坐标：

X、Y、Z为点的三维坐标，X′和Y′分别是投影的2D坐标，通过人工生成只包含投影的图片，图片为二值图，投影点坐标为白色，非投影点为黑色；

步骤53、采用中心扩展法计算出最优剪切线：钢坯出现在相机的视野X像素范围后确认像素中心M，钢坯宽度W，对于钢坯头部，从Y坐标的最大值开始，沿着中心向上进行逐行扫描，为了加快速度，只向两端扫描

个像素，统计属于钢坯表面的点的数目N，若满足：

N≥λW

则认为此时已经到达最优剪切位置，则停止搜索，λ是比例因子，λW为最低门限值；

对于尾部的检测需要从相反方向搜索，假设钢坯表面某点坐标(X,Y)，分别从0和从Y值最大方向开始遍历，对于钢坯头部和尾部的确定，假设尾部的像素Y均值为μ_H，图像高度为H，若

则当前图像显示的是钢坯尾部，否则，为钢坯头部，因此，从两端开始往中间遍历，上部先访问到不为0的像素，则为钢坯头部，否则，为钢坯尾部；

对于一段完整的钢坯，包括头部、中间和尾部，钢坯中间部分其轮廓贯穿相机视野，因此其中心会在

附近波动，选取一定的阈值δ，以区分中间部位和头尾部，定义上边第一个不为0的像素为Y_top，下边第一个像素不为0的坐标为Y_bot，对于钢坯尾部的判定应满足

钢坯头部应满足

进一步地，所述步骤6具体包括如下步骤：

钢坯的剪切时刻为：

其中：Y_S为剪切刀口的坐标，v为钢坯运动速度，η为刀口的速度，Y_T为检测到的钢坯最优剪切线的坐标，H_S为高度。

本发明还公开一种基于深度视觉的钢坯最优剪切控制系统，包括：深度相机、数据预处理模块、检测模块，视觉伺服模块；

所述深度相机安置于剪切口的前端，和数据预处理模块相连，其用于采集并传输原始的RGB图和深度图；

所述数据预处理模块用于将原始的二维图像进行一定的处理后，将处理后的三维数据或者二维图像传输到检测模块；

所述检测模块和视觉伺服模块相连，其用于得到最优剪切线等检测的结果；

所述视觉伺服模块用于将结果转换成控制信号。

本发明具有以下优点：

1、本发明利用图像信息解决钢坯头尾部的剪切线检测问题，达到节约能源和材料的目的，深度相机得到的世界坐标精度高，省却了复杂的标定过程，布置简单。

2、本发明结合三维信息，解决了传统基于图像传感方法无法针对钢坯头尾部不平整的部分剪切的问题。

3、本发明提出了一种简单高效的钢坯剪切线检测算法，具有速度快且有效的特点，可以快速识别钢坯头部和尾部，并且具有一定的鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明流程图。

图2为本发明实施例中建立的世界坐标系，其中，(a)为世界坐标系原点示意图；(b)为根据坐标系生成的场景点云。

图3为本发明实施例中直通滤波结果示意图。

图4为本发明实施例中去除离群点示意图。

图5为本发明实施例中采样一致算法拟合钢坯的上表面平面示意图。

图6为本发明实施例中泊桑重建和球旋转重建对比图，其中(a)为泊桑重建，(b)为球旋转重建。

图7(a)为本发明实施例中点云投影结果示意图，图7(b)为本发明实施例中LSD算法检测结果示意图。

图8为本发明实施例中头部剪切线示意图，其中，(a)为钢坯真实的头部剪切线，(b)为计算得到的头部剪切线。

图9为本发明实施例中尾部剪切线示意图，其中，(a)为钢坯真实的尾部剪切线，(b)为计算得到的尾部剪切线。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例公开了一种基于深度视觉的钢坯最优剪切控制方法，包括如下步骤：

步骤1、将深度相机安装在成像平面与钢坯平面平行的位置，设置世界坐标系，确定好世界坐标和相机坐标的关系，使得相机坐标系中的点可以得到世界坐标，具体地，先以RGB镜头中心为原点O，镜头光轴和钢坯平面垂直，镜头竖直朝下放置，指向钢坯的方向为Z轴正方向，镜头中心射出的光轴为Z轴，以钢坯进给的方向为Y轴的正方向，以垂直于ZOY指向传送机左侧方向为X轴正方向；

步骤2、标定深度相机的参数：采用分步标定法求得相机的内参和外参；

步骤3、实时采集图像：使用深度相机采集钢坯的RGB和深度视图，并将二者的分辨率转换一致，使得深度和RGB的像素一一对应，本实施例中，使用Azure Kinect相机；

步骤4、数据预处理：通过针孔相机模型，得到每个像素点的三维坐标，然后将得到的点进行一定的预处理，所述预处理包括直通滤波和离群点去除，所述直通滤波用于滤除背景点云，所述离群点去除用于去除异常点；

步骤5、轮廓线检测：使用随机采样一致性算法拟合出钢坯上表面的平面，然后将平面投影到2D平面，再采用中心扩展法计算出最优剪切线；

步骤6、根据钢坯的移动速度与待剪切位置头部坐标，获得头部和剪切刀口的距离，计算出控制剪切头剪切的时刻。

任务结束回到步骤3，重复运行步骤3到步骤6的过程。

所述步骤4具体包括如下步骤：

步骤41、点云生成：根据建立好的世界坐标系，由针孔相机的模型可以将所有像素点都可以通过如下关系式得到每个像素点的三维点坐标：

其中，f为相机焦距，X、Y、Z分别是像素点在相机坐标系中的坐标，w、h分别是图像的像素的长度和宽度，s是转换系数，用于将深度的像素值转换成标准单位，d是该像素处的深度；

步骤42、直通滤波，用于将无关的背景点去除，由于建立的世界坐标系的Z轴垂直于钢坯平面，假设钢坯平面的Z坐标区间为[d_min,d_max]，坐标满足条件d_min≤Z≤d_max的像素保留，超出范围的去除，同理，对X坐标和Y坐标进行同样的区间分割，以去除多余的背景；

步骤43、离群点去除：采用统计方式去除，先算出每个点和其他点的距离，然后选出K点进行统计，计算这K点到的所有的点的距离，假设其结果是高斯分布，若计算得出的均值为μ，方差为∑，对于任意一点，若非离群点，应该和每一点的距离一般不会超过平均距离，根据此原理，给出以下关系：

μ_θ＝μ+k∑

其中，k是比例系数，对于非离群点，其满足距离的均值不超过阈值μ_θ，可以结合实际进行调整，若满足μ_i≤μ_θ，则为非离群点，若μ_i＞μ_θ，则为离群点。

所述步骤5具体包括如下步骤：

步骤51、钢坯表面的提取：因为要排除头部非曲面部分，所以使用改进的随机采样一致性算法，将其拓展到三维，将钢坯的上表面拟合出来，具体地，随机选取若干个点作为内点，这取决于想拟合的模型，给定平面Ax+By+Cx+D＝0，对于平面上任意三点P₀、P₁、P₂，面上两条直线的方向向量分别为

则平面P₀P₁P₂的一法向量为

由点法式方程求得A、B、C、D，然后，从点集中选取点来计算和该平面的距离，点到平面距离公式：

假设判定该点属于该平面的最大容许距离为d′，则当距离d>d′时，认为该点不属于该平面，统计在平面内的点的集合，与之前最优的集合比较点的数目，数量超过则更新点集，然后重新选取三个点继续下一轮迭代，迭代t次后停止迭代，则当前最佳集合就是最后结果；

步骤52、钢坯平面的轮廓提取：通过上一步获取了去除头部的钢坯上表面，接下来，需要获取上表面的二维投影，但是点云中间有很多空洞，如果直接投影会造成投影区域大量缺失，因此需要进行表面重建，虽然泊桑重建可以将不完整的点云进行补洞，但是对于非水密型点云即非闭合点云会重建出额外的点云，于是采用球旋转法是比较适合的方法，不会影响非闭合点云的重建。得到表面重建的点云接下来进行投影操作，由针孔相机模型可知：

其中，x、y、z表示点的三维坐标，u、v表示点的二维像素坐标，f_x、f_y表示相机的焦距，c_x、c_y表示相机主轴光心偏移量，这些参数都可通过标定获取，因为点云包含的点比较多，从中选取一万个点作为样本进行投影，根据投影公式计算出相应的像素坐标：

X、Y、Z为点的三维坐标，X′和Y′分别是投影的2D坐标，通过人工生成只包含投影的图片，图片为二值图，投影点坐标为白色，非投影点为黑色；

步骤53、对于已经完成的钢坯轮廓图像，一般线段检测采用LSD(Line SegmentDetector)算法，但是由于物体轮廓边缘会出现深度失效的问题，因此边缘处的点云不是很平滑，很难检测出一条完整的线段，对此，本实施例采用中心扩展法计算出最优剪切线：钢坯出现在相机的视野X像素范围后确认像素中心M，钢坯宽度W，对于钢坯头部，从Y坐标的最大值开始，沿着中心向上进行逐行扫描，为了加快速度，只向两端扫描

个像素，统计属于钢坯表面的点的数目N，若满足：

N≥λW

则认为此时已经到达最优剪切位置，则停止搜索，λ是比例因子，λW为最低门限值；

对于尾部的检测需要从相反方向搜索，假设钢坯表面某点坐标(X,Y)，分别从0和从Y值最大方向开始遍历，对于钢坯头部和尾部的确定，假设尾部的像素Y均值为μ_H，图像高度为H，若

则当前图像显示的是钢坯尾部，否则，为钢坯头部，因此，从两端开始往中间遍历，上部先访问到不为0的像素，则为钢坯头部，否则，为钢坯尾部；

对于一段完整的钢坯，包括头部、中间和尾部，钢坯中间部分其轮廓贯穿相机视野，因此其中心会在

附近波动，选取一定的阈值δ，以区分中间部位和头尾部，定义上边第一个不为0的像素为Y_top，下边第一个像素不为0的坐标为Y_bot，对于钢坯尾部的判定应满足

钢坯头部应满足

4、根据权利要求3所述的基于深度视觉的钢坯最优剪切控制方法，其特征在于，所述步骤6具体包括如下步骤：

钢坯的剪切时刻为：

其中：Y_S为剪切刀口的坐标，v为钢坯运动速度，η为刀口的速度，Y_T为检测到的钢坯最优剪切线的坐标，H_S为高度。

实施例1

本实施例使用的是Microsoft的Azure Kinect DK相机，该相机是TOF(Time OfFlight)相机，使用前应先固定好相机，使成像平面尽量与钢坯平面平行，然后固定相机位置，事先确定好世界坐标和相机坐标的关系，使得相机坐标系中的点可以得到世界坐标。为了能生成点云，应先保证RGB和Depth图像对齐，对齐后就可以根据上面所述的关系，逐一将像素的二维坐标转换成三维坐标，坐标系的构筑如图2(a)、(b)所示。

得到三维点云后，因为包含太多无意义的背景信息，可以通过先验得知钢坯平面和相机的距离，然后分别将XYZ方向超过一定范围的点滤掉，这样就得到了只包含钢坯的点云集合，如图3所示；

得到去除背景的点云后，这时候不能直接使用，因为散粒噪声的缘故，可能会导致物体边缘会出现一些随机的噪点，或者垂直位置出现深度失效问题，因此，对于这些异常的点，需要进行离群点去除，采用上述的统计法去除离群点，效果如图4所示；

离群点去除后，对于一个包含一定曲面的钢坯头尾部，不希望曲面部分保留，为此，可以通过上述的拓展到三维的随机采样一致算法拟合钢坯的上表面平面，因为平面将头部的曲面部分给去除，这样就得到了钢坯平整的部分，如图5所示；

得到钢坯平整表面后，接下来需要进行表面重建，用于后面的平面投影，泊桑重建对于非封闭表面的重建会造成过度重建，多出来额外的表面，于是，作为优选的实施方式，本申请采用球旋转法进行重建，得到的表面不会有多余的。泊桑重建和球旋转重建的效果分别如图6(a)、(b)所示：

表面重建完成后，利用上述方法，先进行采样，然后计算二维坐标，手动生成和原始图像尺寸大小相同的二值图，投影坐标像素值为1，否则为0。原本得到的表面如果很完美，应该是个两边完全笔直的直线，但是边界的深度失效问题导致边缘并不完美，通过LSD算法得到的线段检测结果，是无数的孤立的，不连续的线段。投影的结果和LSD算法检测算法分别如图7(a)、(b)所示：

为了完成剪切线的计算，利用上述的中心扩展法，识别钢坯的头尾部还有对剪切线的计算，传统的基于边缘检测的算法是无法将钢坯头部的曲面部分去除的，而本发明解决了剪切掉曲面头部的问题，效果如图8(a)、8(b)所示，同理，尾部的效果如图9(a)、9(b)所示，得到剪切线的精确像素坐标后，根据上述方法即可算出剪切刀口的剪切时间。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (2)

1.一种基于深度视觉的钢坯最优剪切控制方法，其特征在于，包括如下步骤：

步骤1、将深度相机安装在成像平面与钢坯平面平行的位置，设置世界坐标系，确定好世界坐标和相机坐标的关系，使得相机坐标系中的点可以得到世界坐标；

步骤2、标定深度相机的参数：采用分步标定法求得相机的内参和外参；

步骤3、实时采集图像：使用深度相机采集钢坯的RGB和深度视图，并将二者的分辨率转换一致，使得深度和RGB的像素一一对应；

步骤4、数据预处理：通过针孔相机模型，得到每个像素点的三维坐标，然后将得到的点进行一定的预处理，所述预处理包括直通滤波和离群点去除，所述直通滤波用于滤除背景点云，所述离群点去除用于去除异常点；

步骤5、轮廓线检测：使用随机采样一致性算法拟合出钢坯上表面的平面，然后将平面投影到2D平面，再采用中心扩展法计算出最优剪切线；

步骤6、根据钢坯的移动速度与待剪切位置头部坐标，获得头部和剪切刀口的距离，计算出控制剪切头剪切的时刻；

所述步骤4具体包括如下步骤：

步骤41、点云生成：通过如下关系式得到每个像素点的三维点坐标：

其中，f为相机焦距，X、Y、Z分别是像素点在相机坐标系中的坐标，w、h分别是图像的像素的长度和宽度，s是转换系数，用于将深度的像素值转换成标准单位，d是该像素处的深度；

步骤42、直通滤波：钢坯平面的Z坐标区间为[d_min,d_max]，坐标满足条件d_min≤Z≤d_max的像素保留，超出范围的去除，同理，对X坐标和Y坐标进行同样的区间分割；

步骤43、离群点去除：先算出每个点和其他点的距离，然后选出K点进行统计，计算这K点到的所有的点的距离，假设其结果是高斯分布，若计算得出的均值为μ，方差为∑，给出以下关系：

μ_θ＝μ+k∑

其中，k是比例系数，对于非离群点，其满足距离的均值不超过阈值μ_θ，若满足μ_i≤μ_θ，则为非离群点，若μ_i＞μ_θ，则为离群点；

所述步骤5具体包括如下步骤：

步骤51、钢坯表面的提取：使用改进的随机采样一致性算法将钢坯的上表面拟合出来，具体地，随机选取若干个点作为内点，给定平面Ax+By+Cx+D＝0，对于平面上任意三点P₀、P₁、P₂，面上两条直线的方向向量分别为

则平面P₀P₁P₂的一法向量为

由点法式方程求得A、B、C、D，然后，从点集中选取点来计算和该平面的距离，点到平面距离公式：

假设判定该点属于该平面的最大容许距离为d′，则当距离d>d′时，认为该点不属于该平面，统计在平面内的点的集合，与之前最优的集合比较点的数目，数量超过则更新点集，然后重新选取三个点继续下一轮迭代，迭代t次后停止迭代，则当前最佳集合就是最后结果；

步骤52、钢坯平面的轮廓提取：采用球旋转法将不完整的点云进行补洞从而完成表面重建，据投影公式计算出相应的像素坐标：

X、Y、Z为点的三维坐标，X′和Y′分别是投影的2D坐标，生成只包含投影的图片，图片为二值图，投影点坐标为白色，非投影点为黑色；

步骤53、采用中心扩展法计算出最优剪切线：钢坯出现在相机的视野X像素范围后确认像素中心M，钢坯宽度W，对于钢坯头部，从Y坐标的最大值开始，沿着中心向上进行逐行扫描，为了加快速度，只向两端扫描

个像素，统计属于钢坯表面的点的数目N，若满足：

N≥λW

则认为此时已经到达最优剪切位置，则停止搜索，λ是比例因子，λW为最低门限值；

对于尾部的检测需要从相反方向搜索，假设钢坯表面某点坐标(X,Y)，分别从0和从Y值最大方向开始遍历，对于钢坯头部和尾部的确定，假设尾部的像素Y均值为μ_H，图像高度为H，若

则当前图像显示的是钢坯尾部，否则，为钢坯头部，因此，从两端开始往中间遍历，上部先访问到不为0的像素，则为钢坯头部，否则，为钢坯尾部；

对于一段完整的钢坯，包括头部、中间和尾部，钢坯中间部分其轮廓贯穿相机视野，因此其中心会在

附近波动，选取一定的阈值δ，以区分中间部位和头尾部，定义上边第一个不为0的像素为Y_top，下边第一个像素不为0的坐标为Y_bot，对于钢坯尾部的判定应满足

钢坯头部应满足

所述步骤6具体包括如下步骤：

钢坯的剪切时刻为：

其中：Y_S为剪切刀口的坐标，v为钢坯运动速度，η为刀口的速度，Y_T为检测到的钢坯最优剪切线的坐标，H_S为高度。

2.一种基于权利要求1所述基于深度视觉的钢坯最优剪切控制方法的钢坯最优剪切控制装置，其特征在于，包括：深度相机、数据预处理模块、检测模块，视觉伺服模块；

所述深度相机安置于剪切口的前端，和数据预处理模块相连，其用于采集并传输原始的RGB图和深度图；

所述数据预处理模块用于将原始的二维图像进行一定的处理后，将处理后的三维数据或者二维图像传输到检测模块；

所述检测模块和视觉伺服模块相连，其用于得到最优剪切线检测的结果；所述视觉伺服模块用于将结果转换成控制信号。

Images