CN112767359B - 复杂背景下的钢板角点检测方法及系统 - Google Patents

Abstract

本发明公开了一种复杂背景下的钢板角点检测方法及系统，包括以下步骤：1、获取钢板图像并提取图像中的标记点；2、对图像进行矫正；3、提取感兴趣区域；4、进行边缘检测；5、对钢板四条边分别进行采样和拟合；6、对检测结果进行判定。现有的角点检测方法在钢板边缘轮廓不连续、不整齐、顶点有残缺、噪声干扰多的情况下存在可靠性和鲁棒性差以及计算复杂度高的问题。本发明提出的方法解决了上述问题，本发明的方法可靠性高、鲁棒性强、对计算机运算能力要求低，非常适合在钢板加工的工业场景中完成角点检测任务。

Description

复杂背景下的钢板角点检测方法及系统

技术领域

本发明涉及图像处理技术，特别是一种复杂背景下的钢板角点检测方法及系统。

背景技术

钢铁产业是当代工业领域的重要支柱产业之一，随着我国经济的飞速发展，钢铁产量已占到全世界的50％。而钢板作为钢铁产业的重要产品形式，是当代社会应用非常广泛的工业材料，广泛应用于建筑行业，汽车制造行业，船舶制造行业以及飞机制造行业等等。钢铁产业的发展也强有力的推动着其他产业和领域的发展，甚至从第一次工业革命以来，钢铁产业的发展程度一直作为衡量一个国家工业发展水平和经济发展水平的标准之一。所以钢铁产业在当代社会的地位举足轻重。但是由于钢铁产业是较为保守的传统行业，其在自动化和智能化的水平上存在明显不足，还有很大的提升空间。具体表现为在钢板的生产和加工等作业中，仍需要大量人工操作，依然属于劳动密集型产业。然而随着我国人口老龄化的加深，劳动人口总量逐年减少，劳动力成本逐年攀升，所以钢铁产业现在急需升级转型，提高生产和加工过程的自动化和智能化水平。

钢板加工的一个重要作业方式就是切割作业，以激光切割为例，钢板在切割过程中最核心的问题就是如何确定激光切割刀与钢板的相对位置。激光切割刀通过可移动滑轨安装在切割台上，激光切割刀可以在二维平面上移动，钢板只需要放置在切割台上，通过控制激光切割刀的移动就可以实现切割作业。于是问题就转化为当以切割台的坐标系为参考系时，如何确定钢板的坐标。由于待切割的钢板近似是边长为400mm的正方形，问题也可以进一步解释为如何确定钢板四个顶点的坐标。视觉测量技术作为一种非接触测量方法，在钢板切割加工这样危险的场景中具有先天的优势，所以利用计算机视觉技术实现钢板顶点的定位是最优的方案。而在整个方案中最核心的问题就是如何准确、快速地获取钢板顶点在图像中的位置，也就是角点检测问题。在近些年来随着深度学习的发展，基于深度学习图像处理技术在准确性、灵活性等方面得到了较大的提升，但是基于深度学习的方法需要大量的数据作为驱动，并且作为一种黑盒模型，不具有可解释性，再多的训练也无法使模型完全避免意外情况的发生。与此同时，由于工业场景数据有限而且复杂多变，为了提高算法的的准确度，业界的通用做法是加深网络的层数和加入大量优化单元模块，来提取更多的特征。这种方法需要大量的计算和内存占用，然而在实际的工业场景中计算机的算力往往十分有限，难以支撑大规模神经网络模型的部署和应用。所以基于深度学习的角点检测方法并不适合对精度、速度和鲁棒性要求都高，而且计算机算力又十分有限的钢板切割作业的工业场景。

传统的角点检测方法由于对计算机算力要求低而且具有可解释性，在实际的工业场景中被广泛应用。然而，虽然传统方法在工业场景中具有一定的优势，但是传统方法在处理背景复杂的图像时，往往表现不佳。例如CN108898148B提出的方法对钢板进行角点检测，如果钢板边缘检测得到的轮廓不闭合、顶点有残缺或背景中其他物体的轮廓干扰很大时，难以准确定位到钢板的四个顶点。再比如CN106936964A提出的方法也难以胜任钢板角点检测的任务，因为钢板边缘不平整，边缘检测结果中钢板轮廓的线条杂乱交错，霍夫变换的效果不理想。综上所述，在复杂背景下钢板角点检测方法还存在明显不足。复杂背景包含三个方面的含义：1、背景与钢板对比度低，钢板边缘不清晰；2、背景中噪声和干扰物体多；3、环境中的光照复杂多变。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种复杂背景下的钢板角点检测方法及系统，提高检测精度。

为解决上述技术问题，本发明所采用的技术方案是：一种复杂背景下的钢板角点检测方法，包括以下步骤：

1)获取钢板图像并提取钢板图像中的标记点；

2)根据所述标记点的坐标，通过放射变换，矫正所述钢板图像，使得矫正后的图像中标记点的连线为水平连线和/或垂直连线；

3)根据所述标记点的坐标，提取所述矫正后的图像的感兴趣区域；

4)对所述感兴趣区域进行边缘检测；

5)利用所述边缘检测的结果拟合钢板的四条边，进而确定角点的位置。

第一步通过在图像中准确地提取标记点，可以对图像中的感兴趣区域进行初步确定。再通过第二步仿射变换对图像进行校正之后，可以进一步缩小感兴趣区域的候选区域。在之后的第三步中提取感兴趣区域时可以更加准确，更大程度地排除钢板以外的其他物体的干扰。在第四步中对第三步得到的感兴趣区域进行边缘检测之前先进行预处理，提高对比度，可以增强算法的鲁棒性。最后对边缘检测的结果进行采样和拟合确定四条边，进而确定角点的位置。经过上述的步骤，可以实现在复杂背景下的钢板角点检测任务。在钢板与背景对比度低且钢板边缘不清晰时，在背景中噪声和干扰物体较多时，在环境中的光照复杂多变时，都有很高的鲁棒性。

步骤1)中，标记点的中心在所述钢板图像中的坐标(x_c,y_c)的计算公式为：

其中，其中a,b,c,d,e是椭圆标记点代数形式的系数；(x₀,y₀)是椭圆标记点感兴趣区域左上角的坐标。

由于拍摄照片时不可避免会有一定角度的倾斜，圆形标记点在图像中往往呈现为椭圆。采用以上椭圆模型对标记点中心进行定位，比采用圆形模型具有更高的精度和和更好的适应性。

步骤2)中，利用下式矫正所述钢板图像：

其中，(x,y)表示任一像素点在钢板图像中的坐标，(x_r,y_r)表示该像素点在矫正之后的图像中的坐标，θ表示顺时针旋转的角度，(t_x,t_y)表示平移向量；

其中，θ₁，θ₂，θ₃，θ₄分别为钢板图像中四个标记点构成的矩形的四条边的倾斜角。上述对图像进行矫正的方法能保持二维图形的“平直性”和“平行性”，即：直线经过变换之后依然是直线，二维图形之间的相对位置关系也保持不变，平行线依然是平行线，而且直线上点的相对位置关系保持不变。

步骤3)中，所述感兴趣区域左上角坐标(x_ROI,y_ROI)以及宽w、高h的计算公式为：

其中，a和b是比例因子；(x₂,y₂)、(x₃,y₃)、(x₄,y₄)分别为右上角标记点、左上角标记点和左下角标记点在矫正之后的图像中的坐标。

a和b作为比例因子，是超参数，可以根据具体的场景任意设置，在不同的应用场景中应根据图像的构成灵活调整。在本发明中，由于标记点位置固定，根据试验结果表明当a取0.1时、b取0.8时效果最好。

步骤4)的具体实现过程包括：

A)将所述感兴趣区域由RGB颜色空间转换至YCrCb颜色空间，对转换后的图像的Y通道进行伽马变换，对伽马变换后的Y通道进行线性变换，将线性变换后的图像转换至RGB颜色空间，得到预处理后的感兴趣区域；

B)对所述预处理后的感兴趣区域进行Canny边缘检测。

由于在RGB颜色空间中的色彩和亮度都是由三个通道共同叠加决定的，色彩和亮度是耦合的，在RGB颜色空间对三通道进行伽马变换会使图像产生严重的色彩偏差。然而在YCrCb颜色空间中亮度是单独用一个Y通道决定的。所以只需要对Y通道进行伽马变换，而其余的两个决定色彩的通道保持不变即可。这样不破坏原图的色彩结构，更有利于保持原图中的细节。

步骤A)中，对任一像素的Y通道值I(i,j)进行伽马变换的公式为：

其中，O(i,j)是伽马变换后该像素的Y通道值；γ＝2^{(mask(i,j)-128)/128}；mask(i,j)是对感兴趣区域进行反色处理并进行高斯滤波之后的掩模图像。

在上述伽马变换中，能实现自适应地调整γ的值，而不是整幅图像使用统一的γ值。当mask(i,j)大于128时，说明该点是暗像素而且周边也是暗像素，此时γ的值大于1能使得该点变得更暗；当mask(i,j)小于128时，说明该点是亮像素而且周边也是亮像素，此时γ的值小于1能使得该点变得更亮。当mask(i,j)等于128时，γ的值等于1，像素的亮度不产生变化。

步骤A)中，对伽马变换后的Y通道进行线性变换的公式为：a'为增益，a'＞0；b'为偏置，b'＜0。对于a'x+b'大于等于255的截断为255，对于a'x+b'小于255且大于零的进行四舍五入，a'x+b'小于等于零的截断为0；f(x)为线性变换后的值。

经过伽马变换之后，图像的对比度有所增强，但是整幅图像的总体亮度还是较弱，而且钢板表面的纹理和污渍的干扰依然存在，经过上述的线性变换，尤其对于a'x+b'大于等于255的截断为255，可以利用钢板表面存在过曝光的特点，将钢板表面的纹理和污渍淹没在过曝光之中。

步骤5)的具体实现过程包括：

i)将边缘检测结果围合而成的矩形区域划分为上、下、左、右四个区域；

ii)对于任一一个区域，遍历该区域的每一行，在每一行中从左向右遍历每一个像素点，直到找到第一个像素值为255的像素点，把该像素点的坐标放入到临时结果集Buffer中，当Buffer中的数据量达到设定值n时，计算Buffer中每个点(x_i,y_i)到直线l的欧氏距离d_i，其中直线l为对Buffer中的数据进行最小二乘直线拟合得到的直线；继续向下探索，若之后的第k个像素点d_i+k到直线l的欧氏距离小于等于阈值τ，则将该像素点也加入到当前Buffer中，一直到探索的像素点与直线l的欧氏距离大于阈值τ时停止探索，完成当前Buffer；重复步骤ii)，直至探索完该区域的所有像素点，得到多个Buffer；

为每一个Buffer分配采样指标，根据采样指标分别在每个Buffer中进行采样，即取Buffer中到直线l的欧氏距离d_i最小的Q_j个像素点；SNR_j表示第j个Buffer中的信噪比；SNR_max是所有Buffer中信噪比的最大值，n_max是信噪比最大的Buffer中的像素点数量；

iii)利用采样的像素点分别拟合四个区域，得到钢板的四条边。

上述采样方法可以大大降低离群点在样本中的比例，有效地降低离群点对直线拟合的干扰，提高算法的鲁棒性。

步骤5)中，确定钢板的四条边后，对各条边进行判断，具体实现过程包括：

第(1)步：判断对边是否近似平行，即L1和L3是否近似平行且L2和L4是否近似平行，若否，则结束判断流程，反之，进入第(2)步；

第(2)步：判断四条边长度是否近似相等，若否，则结束，若是，进入第(3)步；

第(3)步：判断四个角是否近似等于若否，则结束判断流程，反之，则认为此次定位结果是准确的。

上述判定方法中的三个判断条件之间是“且”的关系，只有三个条件全部满足时才会被认为结果准确，能排除所有不满足正方形的虚假结果。

一种复杂背景下的钢板角点检测系统，其特征在于，包括计算机设备；所述计算机设备被配置或编程为用于执行上述方法的步骤。

与现有技术相比，本发明所具有的有益效果为：

1.本发明针对在钢板加工作业现场的实际情况和特点，解决了现有的角点检测算法在复杂背景下检测精度低的问题，尤其解决了当背景与钢板对比度低，钢板边缘不清晰时、当背景中噪声和干扰物体较多时和当环境中的光照复杂多变时，现有方法的可靠性差、鲁棒性差的问题。

2.本发明提出的角点检测算法，不需高性能的GPU，对计算机算力要求非常低，1.6GHz及以上CPU、1GB及以上RAM即可，能很方便的在计算机上进行部署。

附图说明

图1为本发明实施例的方法流程图；

图2为钢板加工场景示意图(切割台俯视图)；

图3为钢板倾斜角示意图；

图4为矫正后的效果图；

图5为感兴趣区域(ROI)的示意图；

图6为非极大值抑制原理图；

图7为增加对比度后Canny边缘检测的效果图；

图8为未增加对比度时低亮度高阈值情况下的Canny边缘检测的效果图；

图9为未增加对比度时高亮度低阈值情况下的Canny边缘检测的效果图；

图10为上、下、左、右四个感兴趣区域的划分示意图；

图11为采样的流程图；

图12为左边感兴趣区域的采样结果图；

图13为四条边直线拟合结果图；

图14为定位结果判定程序的流程图。

具体实施方式

本发明实施例实现步骤如下：

步骤1：获取钢板图像并提取图像中的标记点；

步骤2：对图像进行矫正；

步骤3：提取感兴趣区域；

步骤4：进行边缘检测；

步骤5：对钢板四条边分别进行采样和拟合；

步骤6：对检测结果进行判定。

本发明实施例的流程如图1所示，下面结合附图对本发明的具体实施方式作进一步详细的描述。

步骤1.获取钢板图像并提取图像中的标记点：

采用海康威视工业相机对钢板图像进行采集，从正上方垂直向下拍摄钢板获取图像。钢板加工场景如图2所示，钢板切割台的作业区域四个角分别设置一个圆形标记点，如图2中的圆形斑点所示。四个标记点的连线可形成一个矩形，右下角标记点标号为①号，逆时针依次：右上角为②号，左上角为③号，左下角为④号。

圆形标记点的提取可以转化为对其中椭圆的提取，整体上分成两步实现。第一步，提取椭圆的边缘坐标：输入圆形标志点的感兴趣区域，记录感兴趣区域左上角的坐标(x₀,y₀)；对感兴趣区域进行中值滤波，在不损失目标信息的同时降低噪声对椭圆边界的影响；将中值滤波后的图像二值化并去除干扰，将圆形标记点区域像素值置255，背景区域像素值置0，统计各个连通域的面积，只保留面积最大的连通域；边缘检测，采用Canny算子提取圆形标记点的边缘。第二步，对圆形标记点中心进行定位：根据提取到的圆形标记点的边缘，采用最小二乘拟合的方法还原标记点的形状和中心，椭圆曲线方程的一般代数形式可以表示为ax²+bxy+cy²+dx+ey+f＝0，其中a,b,c,d,e,f是椭圆的系数，写成矩阵的形式如下：

当已知多个边缘上点的坐标(x_i,y_i)时，则有

令X＝[a b c d e f+1]^T，B＝[1 1 … 1]^T，则式(2)可以简记为

AX＝B (3)

根据最小二乘方法可得

X＝(A^TA)^-1B (4)

由X可得椭圆的6个系数，特征系数确定之后就可以确定椭圆的中心在感兴趣区域中的坐标(x_c′,y_c′)，再根据感兴趣区域左上角在图像中的坐标(x₀,y₀)，即可得到圆形标记点的中心在图像中的坐标(x_c,y_c)，其中

步骤2.对图像进行矫正：

经过第一步可以获取标记点在图像中的坐标，标记点连线可能不是水平和垂直的，应根据标记点坐标通过仿射变换对图像进行矫正，使得矫正过后的图像中标记点的连线均为水平和垂直，经过这样的变换，钢板四条边与图像的四条边更接近于平行，方便下一步提取感兴趣区域的进行。图像矫正所采用的方法——仿射变换，原理可用如下公式表示：

式(7)中(x,y)表示在图像中的坐标，(x_r,y_r)表示在矫正之后的图像中的坐标，θ表示顺时针旋转的角度，(t_x,t_y)表示平移向量。本发明中用到的仿射变换不需要平移向量，只需要求得旋转角度θ，方法如下：根据第一步中求得的标记点坐标，分别计算由四个标记点所构成的矩形的四条边的倾斜角θ₁，θ₂，θ₃，θ₄，如图3所示，取四个倾斜角的平均数作为旋转角度θ，

经仿射变换矫正的结果如图4所示。

步骤3.提取感兴趣区域：

图像经过矫正之后，可以在保证钢板轮廓完整的前提下使感兴趣区域(ROI)更小，采取的做法是根据标记点坐标提取感兴趣区域。感兴趣区域大小要合理，保证钢板轮廓在感兴趣区域中完整，同时也要排除一些干扰。记四个标记点在矫正之后的图像中的坐标依次是①(x₁,y₁)、②(x₂,y₂)、③(x₃,y₃)、④(x₄,y₄)。感兴趣区域左上角坐标(x_ROI,y_ROI)以及宽w和高h的设置原则是：

式(9)中的a和式(10)中的b是比例因子，试验结果表明当a＝0.1、b＝0.8时效果最好。提取感兴趣区域之后得到的图像如图5所示。

步骤4.进行边缘检测：

在对上一步中提取到的感兴趣区域进行边缘检测之前要先进行预处理，目的是去除噪声和增加对比度，增加对比度的操作可以通过伽马变换实现。在对三通道的RGB图像进行伽马变换之前，需要将RGB颜色空间转换成YCrCb颜色空间，因为在RGB颜色空间对三通道进行伽马变换会使图像产生严重的色彩偏差。这是由于在RGB颜色空间中的色彩和亮度都是由三个通道共同叠加决定的，然而在YCrCb颜色空间中亮度是单独用一个Y通道决定的。所以只需要对Y通道进行伽马变换，而其余的两个决定色彩的通道保持不变即可。

遍历每个像素的Y通道，通过伽马变换可以使图像中较亮的像素点变得更亮，较暗的像素点变得更暗，达到增加对比度的目的。设某个像素的Y通道值是I(i,j)，变换公式如下：

式(11)中的I(i,j)是变换之前该像素Y通道的值，O(i,j)是变换之后该像素Y通道的值，γ的计算方式如下：

γ＝2^{(mask(i,j)-128)/128} (12)

式(12)中的mask(i,j)是对原图进行反色处理并进行高斯滤波之后的掩模图像，这样就能实现自适应的调整γ的值，增加对比度。当mask(i,j)大于128时，说明该点是暗像素而且周边也是暗像素，此时γ＞1能使得该点变得更暗，当mask(i,j)小于128时，说明该点是亮像素而且周边也是亮像素，此时γ＜1能使得该点变得更亮。当mask(i,j)等于128时，γ的值是1，像素的亮度不产生变化。

在完成伽马变换之后，图像的对比度有所增强，但是整幅图像的总体亮度还是较弱，还需要对图像的Y通道做线性变换，进一步增强对比度并降低钢板表面纹理和污渍的干扰。线性变换的公式如下：

参数a'被称为增益(Gain)，需要满足a'＞0。参数b'被称为偏置(Bias)，被设置为负数，可以防止增益过大导致过多像素点被截断为255。对于a'x+b'大于等于255的截断为255，对于a'x+b'小于255且大于零的进行四舍五入，a'x+b'小于等于零的截断为0。完成线性变换之后，再将YCrCb颜色空间转换为RGB颜色空间即可。完成增加对比度的操作之后，在使钢板边缘变得更加清晰的同时，背景的干扰和钢板表面的纹理污渍的干扰也大大降低，这使得边缘检测的结果能更好的保留钢板边缘而排除其他干扰信息。

边缘检测采用的是Canny算法，Canny边缘检测的步骤如下：第一步，滤波平滑噪声，通常使用高斯平滑滤波器卷积降噪；第二步，计算梯度幅值和方向，一般采用Sobel算子来实现，利用一对卷积阵列G_x和G_y分别作用于x和y方向，使用如下公式计算梯度幅值G和梯度方向θ

第三步，非极大值抑制，排除绝大部分非边缘点，仅仅保留一些候选边缘，原理如图6所示，在每一点上，邻域中心x与沿着其对应的梯度方向的两个像素相比，若中心像素为最大值，则保留该邻域中心x，否则置0，这样可以抑制非极大值，保留局部梯度最大的点，以得到细化的边缘；第四步，双阈值法抑制假边缘、连接真边缘，选取高阈值TH和低阈值TL，将小于TL的点置0排除，将大于TH的点确定为边缘点置255，将小于TH且大于TL的点使用3*3邻域确定，若该点在邻域内与大于TH的像素连接，则保留为边缘点置255，否则置0被排除。

值得一提的是在经过增加对比度后Canny算法的参数鲁棒性大大增强，高阈值TH和低阈值TL的可选合理范围变得更大。增加对比度后正常的Canny边缘检测的效果如图7所示。这一点在光照亮度复杂多变的场景下非常重要，因为在光照亮度较低时(比如在晚上)，钢板边缘和背景干扰信息都较为模糊，如果高阈值TH和低阈值TL取值都比较高，则钢板边缘丢失会非常严重，只有少量边缘被保留，效果如图8所示。与此同时在光照亮度较高时(比如在晴天时的中午)，钢板边缘和背景干扰信息都非常清晰，如果高阈值TH和低阈值TL取值都比较低，则会有过多的背景干扰信息被保留，效果如图9所示。在这两种情况下都会对后续的采样和拟合效果造成严重的影响，破坏算法的鲁棒性。

步骤5.对钢板四条边分别进行采样和拟合：

从边缘检测的结果图像中能发现，虽然通过图像的预处理增加了对比度和进行了滤波，但这仍然不能完全保证钢板边缘的连续和整齐，也不能保证完全地去除背景的干扰，所以在对四条边分别进行拟合之前，必须先进行采样来降低背景的干扰和边缘不整齐造成的影响。本发明采用的是一种动态步长的采样，首先将边缘检测结果划分为上、下、左、右四个感兴趣区域，根据五等分点进行划分，如图10所示，分别对上、下、左、右四个感兴趣区域进行采样。以左边区域为例进行说明，采样的流程图如图11所示，遍历该区域的每一行，在每一行中从左向右遍历每一个像素，直到找到第一个像素值为255的点，把该点的坐标放入到临时结果集(Buffer)中，当Buffer中的数据量达到设定值n时，对Buffer中数据的信噪比(SNR)进行评估，由于无法确定数据中的哪些点是噪声，所以很难直接计算信噪比，采用的间接评估方法如下：第一步对Buffer中的数据进行最小二乘直线拟合，得到直线l:Ax+By+C＝0；第二步计算Buffer中每个点(x_i,y_i)到直线l的欧氏距离d_i，公式如下：

信噪比的大小用欧氏距离的平均值来衡量，欧氏距离的平均值越小代表噪声越少，信噪比越大，反之信噪比越小，公式如下：

当评估完当前Buffer中的信噪比之后，继续向下探索，如果之后的第k个点d_i+k到直线l的欧氏距离小于等于阈值τ，则将该点也加入到当前Buffer中，一直到探索的点与直线l的欧氏距离大于阈值τ时停止探索，完成当前Buffer开启下一个Buffer。经过大量试验发现，当τ取3时采样效果最好。

SNR_j表示第j个Buffer中的信噪比，当所有Buffer的信噪比都计算完之后，为每一个Buffer分配采样指标。总的样本容量为Q，计算方式如下：

式中SNR_max是所有Buffer中信噪比的最大值，n_max是信噪比最大的Buffer中的像素点数量，第j个Buffer的采样指标Q_j为

计算完每个Buffer的采样指标后，根据指标分别在每个Buffer中进行采样。采样的方法是取Buffer中到直线l的欧氏距离d_i最小的Q_j个点，采样的最终结果如图12所示。从图中可以看出，不仅在错综复杂的钢板边缘中提取出了有效地像素点，而且也大大减轻了背景噪声的干扰。其他三个边的采样同理。在采样之后分别对四条边进行直线拟合，拟合算法是一种鲁棒回归算法(Robust Regression)，采用的损失函数是Welsch损失

式(19)中的r是点到直线的距离，和基于二阶统计量均方误差的损失函数相比，应用Welsch损失函数的鲁棒回归不容易受离群值(Outlier)的影响，进一步保证了直线拟合的准确性。当钢板四条边的直线都拟合完成后，四条直线(L1、L2、L3、L4)拟合的结果画在一张图上的效果如图13所示。

步骤6.对检测结果进行判定：

经过步骤5的直线拟合，四条边拟合的直线都已经确定解析式，相邻两边求交点即可确定四个角点的位置。如图13所示，直线L1和直线L4的交点是角点C1，直线L1和直线L2的交点是角点C2，直线L2和直线L3的交点是角点C3，直线L3和直线L4的交点是角点C4。大多数情况都能准确的拟合出钢板的四条边，进而准确的确定角点的位置。只有极小的概率会出现拟合的直线与钢板实际边缘存在较大的偏差，为了弥补这种情况下的不足，在最终确定检测结果之前，先对直线拟合结果进行判别。主要的方法就是根据正方形的约束，对四条直线进行判断。因为钢板的形状是边长近似为400mm的正方形，所以只需要判断是否符合正方形的约束。又因为钢板本身尺寸存在误差，而且在工业相机拍照过程中存在形变，所以近似满足正方形约束即可，近似的程度用三个超参数(δ，ε_β，ε_β)来控制。对定位结果判定的程序流程图如图14所示，流程的说明如下：

第(1)步：判断对边是否近似平行，即L1和L3是否近似平行且L2和L4是否近似平行，可用如下不等式表示：|α₁-α₃|≤δ且|α₂-α₄|≤δ。α₁,α₂,α₃,α₄分别是L1，L2，L3，L4的倾斜角，δ是允许的角度误差，用来控制近似的程度。如果第(1)步判断结果是不满足对边近似平行，则认为此次定位结果存在较大误差，结束判断流程，反之若第(1)步判断结果是满足对边近似平行，则进入第(2)步判断。

第(2)步：四条边长度是否近似相等，写成不等式如下：

/>

式(20)中表示四条边的平均长度，l_i表示第i条边的长度，ε_l表示允许的长度误差，用来控制近似的程度。如果第(2)步判断结果是不满足四条边长度近似相等，则认为此次定位结果存在较大误差，结束判断流程，反之若第(2)步判断结果是满足四条边长度近似相等，则进入第(3)步判断。

第(3)步：判断四个角是否近似等于写成不等式如下：

式(21)中β_i表示四边形第i个角的角度，ε_β表示允许的角度误差，用来控制近似的程度。如果第(3)步判断结果是不满足四个角近似等于则认为此次定位结果存在较大误差，结束判断流程，反之若第(3)步判断结果是满足四个角近似等于/>则认为此次定位结果是准确的。

本发明另一实施例还提供了一种复杂背景下的钢板角点检测系统，该系统包括计算机设备，计算机设备可以是微处理器、上位机等，该计算机设备被配置或编程为执行上述实施例方法的步骤。

Claims (6)

1.一种复杂背景下的钢板角点检测方法，其特征在于，包括以下步骤：

1)获取钢板图像并提取钢板图像中的标记点；

2)根据所述标记点的坐标，通过放射变换，矫正所述钢板图像，使得矫正后的图像中标记点的连线为水平连线和/或垂直连线；

3)根据所述标记点的坐标，提取所述矫正后的图像的感兴趣区域；

4)对所述感兴趣区域进行边缘检测；

5)利用所述边缘检测的结果拟合钢板的四条边，进而确定角点的位置；

步骤4)的具体实现过程包括：

A)将所述感兴趣区域由RGB颜色空间转换至YCrCb颜色空间，对转换后的图像的Y通道进行伽马变换，对伽马变换后的Y通道进行线性变换，将线性变换后的图像转换至RGB颜色空间，得到预处理后的感兴趣区域；

B)对所述预处理后的感兴趣区域进行Canny边缘检测；

步骤5)的具体实现过程包括：

i)将边缘检测结果围合而成的矩形区域划分为上、下、左、右四个区域；

ii)对于任一个区域，遍历该区域的每一行，在每一行中从左向右遍历每一个像素点，直到找到第一个像素值为255的像素点，把该像素点的坐标放入到临时结果集Buffer中，当Buffer中的数据量达到设定值n时，计算Buffer中每个点(x_i,y_i)到直线l的欧氏距离d_i，其中直线l为对Buffer中的数据进行最小二乘直线拟合得到的直线；继续向下探索，若之后的第k个像素点d_i+k到直线l的欧氏距离小于等于阈值τ，则将该像素点也加入到当前Buffer中，一直到探索的像素点与直线l的欧氏距离大于阈值τ时停止探索，完成当前Buffer；重复步骤ii)，直至探索完该区域的所有像素点，得到多个Buffer；

为每一个Buffer分配采样指标，根据采样指标分别在每个Buffer中进行采样，即取Buffer中到直线l的欧氏距离d_i最小的Q_j个像素点；SNR_j表示第j个Buffer中的信噪比；SNR_max是所有Buffer中信噪比的最大值，n_max是信噪比最大的Buffer中的像素点数量；m为Buffer的数量；

iii)利用采样的像素点分别拟合四个区域，得到钢板的四条边；

确定钢板的四条边后，对各条边进行判断，具体实现过程包括：第(1)步：判断对边是否近似平行，即L1和L3是否近似平行且L2和L4是否近似平行，若否，则结束判断流程，反之，进入第(2)步；第(2)步：判断四条边长度是否近似相等，若否，则结束，若是，进入第(3)步；

第(3)步：判断四个角是否近似等于若否，则结束判断流程，反之，则认为此次定位结果是准确的；

步骤1)中，标记点的中心在所述钢板图像中的坐标(x_c,y_c)的计算公式为：

其中，其中a,b,c,d,e是椭圆标记点代数形式的系数；(x₀,y₀)是椭圆标记点感兴趣区域左上角的坐标。

2.根据权利要求1所述的复杂背景下的钢板角点检测方法，其特征在于，步骤2)中，利用下式矫正所述钢板图像：

其中，(x,y)表示任一像素点在钢板图像中的坐标，(x_r,y_r)表示该像素点在矫正之后的图像中的坐标，θ表示顺时针旋转的角度，(t_x,t_y)表示平移向量；其中，θ₁，θ₂，θ₃，θ₄分别为钢板图像中四个标记点构成的矩形的四条边的倾斜角。

3.根据权利要求1所述的复杂背景下的钢板角点检测方法，其特征在于，步骤3)中，所述感兴趣区域左上角坐标(x_ROI,y_ROI)以及宽w、高h的计算公式为：

其中，α和β是比例因子；(x₃,y₃)、(x₄,y₄)分别为左上角标记点、左下角标记点在矫正之后的图像中的坐标，x₂为右上角标记点在校正之后的图像中的横坐标。

4.根据权利要求1所述的复杂背景下的钢板角点检测方法，其特征在于，步骤A)中，对任一像素的Y通道值I(i,j)进行伽马变换的公式为：其中，O(i,j)是伽马变换后该像素的Y通道值；γ＝2^{(mask(i,j)-128)/128}；mask(i,j)是对感兴趣区域进行反色处理并进行高斯滤波之后的掩模图像。

5.根据权利要求1所述的复杂背景下的钢板角点检测方法，其特征在于，步骤A)中，对伽马变换后的Y通道进行线性变换的公式为：a'为增益，a'＞0；b'为偏置，b'＜0，f(x)为线性变换后的值，[]表示四舍五入。

6.一种复杂背景下的钢板角点检测系统，其特征在于，包括计算机设备；所述计算机设备被配置或编程为用于执行权利要求1～5之一所述方法的步骤。