CN106355597A - 基于单目视觉的钢板折角自动测量机器人图像处理方法 - Google Patents

Abstract

本发明公开了一种基于单目视觉的钢板折角自动测量机器人图像处理方法，输入实时拍摄的钢板折角的截面图像，根据折角的位置分割出钢板折边小图；对钢板折角边进行边缘点的检测、筛选、直线拟合；根据钢板两条边的内外侧边缘拟合得到的直线，计算得到钢板折角的夹角度数。本发明能够准确地计算出钢板的折弯角度，运行时间短，可用于钢板折角测量的实时自动化检测；将大尺寸图像分割成包含折边的小图进行处理，降低了外界环境的干扰，极大的减少了计算量；减少了大量背景中虚假边缘点，减少了由于折边光照不均形成的干扰边缘点和折边凸起处的干扰边缘点，降低了钢板由于折边两端有弯曲，衔接不流畅现象及中间段有因受光照而发生形变的部分的影响。

Description

基于单目视觉的钢板折角自动测量机器人图像处理方法

技术领域

本发明属于工业自动化技术领域，尤其涉及一种基于单目视觉的钢板折角自动测量机器人图像处理方法。

背景技术

钢板折角的测量主要用于钢板合格品的评判和钢板折弯轧刀力度的调整。

传统测量钢板折角的方案一般使用卡尺进行多次手工测量，然后取平均值。该方案需在生产线上暂停钢板折弯生产，降低了钢板处理的工作效率。

为保证角度测量的精度，折角截面的拍摄图片分辨率较高、尺寸较大，整图处理的时间较长，无法满足实时性要求；图像拍摄过程中会受周围环境的干扰(如：拍摄背景复杂、光照不均匀)，同时钢板折边的边缘存在不光滑现象，使用现有的简单边缘检测算法，不能准确的定位折边边缘，从而不能保证角度测量的精度。

发明内容

本发明的目的在于提供一种基于单目视觉的钢板折角自动测量机器人图像处理方法，旨在解决钢板折角的高精度测量的问题。

本发明是这样实现的，一种基于单目视觉的钢板折角自动测量机器人图像处理方法，所述基于单目视觉的钢板折角自动测量机器人图像处理方法输入实时拍摄的钢板折角的截面图像，根据折角的位置分割出钢板折边小图，缩小检测范围，减少了计算量，降低了运行时间，同时也减少了运行时所需的存储空间；对钢板折角边进行边缘点的检测、筛选、直线拟合，使钢板折边边缘直线定位更为精准；根据钢板两条边的内外侧边缘拟合得到的直线，获得钢板折角内外侧的角度，平均后得到钢板折角的夹角度数。

进一步，所述分割出钢板折边小图的方法包括：旋转切割图像I，得到包含折边的小图；实际拍摄的钢板折角图像I中，折角开口向上，折角90度左右，左右折边与竖直方向的夹角45度左右，折角顶点V位于图像I中心附近，位于图像I的右侧上方钢板折边为L₁，左侧上方折边为L₂；

顺时针旋转图像α＝45度得到图像I'，计算顶点V旋转后的顶点V'；

延顶点V'向上取长条形小图S₂包含折边L₂'，延顶点V'向右取长条形小图S₁，将图S₁转置并进行垂直翻转得到图S₁'，使得折边L₁'在图S₁'中接近竖直方向，折角的外侧边缘位于左侧。

进一步，对于图像S₁'检测边缘点，并进行第一次筛选，

分别使用t*t大小的水平与垂直方向梯度模板与图像S₁'进行卷积，筛选出水平梯度大于一定阈值T_G，垂直梯度小于一定阈值T_G'的边缘点集合P₀；

图像I中的钢板折边内部灰度均值g偏高g∈[g1,g2]，背景灰度均值g偏低g∈[g3,g4]，由于图像S₁'中折边L'₁处于竖直位置，故L'₁左侧边缘E_L的左边是背景，E_L的右边是折边内部，根据边缘点左、右侧的灰度均值g进一步筛选边缘点，得到左侧边缘E_L的边缘点集合P_L0，同理得到右侧边缘E_R的边缘点集合P_R0。

进一步，将集合P_L0的边缘点进行行采样后直线拟合得到直线线段M_L0，集合P_R0的边缘点进行行采样后直线拟合得到直线线段M_R0。

进一步，根据拟合的直线线段M_L0、M_R0，对边缘点集合P_L0、P_R0进行第二次筛选，具体包括：

遍历图像S₁'的每一行，计算第r(r＝1…S₁'.rows)行近似处于直线线段M_L0上的像素点p，搜索像素点p附近在水平方向上与点p距离小于d₀范围内的边缘点集合P_r，计算边缘点集合P_r中边缘点与点p的距离均值d_mean、集合P_r中梯度最大的边缘点pg_max及集合P_r中处于线段M_L0左侧且梯度最大的边缘点pg_Lmax；

当d_mean＜d_t时，pg_max为第r行筛选出的边缘点；当d_mean＞d_t且边缘点pg_Lmax与像素点p的距离小于d₁时，pg_Lmax为第r行筛选出的边缘点；否则，该行不保留边缘点；最终，左侧边缘E_L的边缘点组成点集合P_L1，同理右侧边缘E_R的边缘点经过筛选形成点集合P_R1。

进一步，将集合P_L2中的边缘点进行直线拟合得到左侧拟合直线线段M_L2，M_L2与竖直向下方向顺时针旋转角度为β1_L∈[-180,180)，集合P_R2中的边缘点进行直线拟合得到右侧拟合直线线段M_R2，M_R2对应的角度为β1_R∈[-180,180)。

进一步，钢板折角外侧角度θo＝β2_L-β1_L+90，钢板折角内侧角度θi＝β2_R-β1_R+90，最终钢板折角θ＝(θo+θi)/2。

本发明对实时拍摄的钢板折角的截面图像，根据折角的位置分割出钢板折边小图，选出小图像素点的梯度符合阈值要求的边缘点集合，使用本发明提出的依据边缘点邻域灰度特征的筛选方法对边缘点进行第一次筛选，然后对候选边缘点进行拟合，使用本发明提出的依据拟合的线段附近的边缘点分布特性的筛选方法对候选边缘点进行第二次筛选，使用本发明提出的取线段方向两端的边缘点进行直线拟合获得折边的边缘角度信息，从而得到钢板折边内外侧的角度，然后取平均值作为折角的最终角度。

本发明与现有的技术相比具有以下优点：

1.本发明依据待检测图像的特点，将大尺寸图像分割成包含折边的小图进行处理，降低了外界环境的干扰，极大的减少了计算量；

2.本发明提出边缘点的多次筛选方法，在边缘的拟合中，依据钢板折边拍摄图像中的先验知识，采用本发明提出的依据边缘点邻域灰度特征的筛选方法对边缘点进行第一次筛选，减少了大量的背景中的虚假边缘点，确定了折边边缘的主要区域，采用本发明提出的依据拟合的线段附近的边缘点分布特性的筛选方法对候选边缘点进行第二次筛选，减少了由于折边光照不均形成的干扰边缘点和折边凸起处的干扰边缘点，采用本发明提出的取线段方向两端的边缘点进行最终直线拟合，降低了钢板由于折边两端有弯曲，衔接不流畅现象及中间段有因受光照而发生形变的部分的影响；

附图说明

图1是本发明实施例提供的基于单目视觉的钢板折角自动测量机器人图像处理方法流程图。

图2是本发明实施例提供的实施例1的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例的基于单目视觉的钢板折角自动测量机器人图像处理方法包括以下步骤：

S101：输入实时拍摄的钢板折角的截面图像，根据折角的位置分割出钢板折边小图；

S102：对钢板折角边进行边缘点的检测、筛选、直线拟合；

S103：根据钢板两条边的内外侧边缘拟合得到的直线，计算得到钢板折角的夹角度数。

下面结合附图对本发明的应用原理作进一步的描述。

实施例1：

本发明实施例的基于单目视觉的钢板折角自动测量机器人图像处理方法包括以下步骤：

步骤1，输入实时拍摄的待检测钢板折角的截面图像I；

步骤2，旋转切割图像I，得到包含折边的小图。

实际拍摄的钢板折角图像I中，折角开口向上，折角90度左右，左右折边与竖直方向的夹角45度左右，折角顶点V位于图像I中心附近，位于图像I的右侧上方钢板折边为L₁，左侧上方折边为L₂；

(2.1)顺时针旋转图像α＝45度得到图像I'，计算顶点V旋转后的顶点V'；

(2.2)延顶点V'向上取长条形小图S₂包含折边L₂'，延顶点V'向右取长条形小图S₁，将图S₁转置并进行垂直翻转得到图S₁'，使得折边L₁'在图S₁'中接近竖直方向，折角的外侧边缘位于左侧；

步骤3，对于图像S₁'检测边缘点，并进行第一次筛选。

(3.1)分别使用t*t大小的水平与垂直方向梯度模板与图像S₁'进行卷积，筛选出水平梯度大于一定阈值T_G，垂直梯度小于一定阈值T_G'_G的边缘点集合P₀；

(3.2)一般，图像I中的钢板折边内部灰度均值g偏高g∈[g1,g2]，背景灰度均值g偏低g∈[g3,g4]，由于图像S₁'中折边L'₁处于竖直位置，故L'₁左侧边缘E_L的左边是背景，E_L的右边是折边内部，根据边缘点左、右侧的灰度均值g进一步筛选边缘点，得到左侧边缘E_L的边缘点集合P_L0，同理得到右侧边缘E_R的边缘点集合P_R0；

步骤4，将集合P_L0的边缘点进行行采样后直线拟合得到直线线段M_L0，集合P_R0的边缘点进行行采样后直线拟合得到直线线段M_R0；

步骤5，根据拟合的直线线段M_L0、M_R0，对边缘点集合P_L0、P_R0进行第二次筛选。

(5.1)遍历图像S₁'的每一行，计算第r(r＝1…S₁'.rows)行近似处于直线线段M_L0上的像素点p，搜索像素点p附近在水平方向上(近似线段垂直方向)与点p距离小于d₀范围内的边缘点集合P_r，计算边缘点集合P_r中边缘点与点p的距离均值d_mean、集合P_r中梯度最大的边缘点pg_max及集合P_r中处于线段M_L0左侧且梯度最大的边缘点pg_Lmax；

(5.2)当d_mean＜d_t时，pg_max为第r行筛选出的边缘点；当d_mean＞d_t且边缘点pg_Lmax与像素点p的距离小于d₁时，pg_Lmax为第r行筛选出的边缘点；否则，该行不保留边缘点；最终，左侧边缘E_L的边缘点组成点集合P_L1，同理右侧边缘E_R的边缘点经过筛选形成点集合P_R1；

步骤6，由于钢板由于折边两端有弯曲，衔接不流畅的现象，中间段有因受光照影响而发生形变的部分，在保证测量精度的前提下，分别去掉点集合P_L1、P_R1位于线段M_L0、M_R0两端长度l₀及中间长度l₁的边缘点，形成点集合P_L2和P_R2；

步骤7，将集合P_L2中的边缘点进行直线拟合得到左侧拟合直线线段M_L2，M_L2与竖直向下方向顺时针旋转角度为β1_L∈[-180,180)，集合P_R2中的边缘点进行直线拟合得到右侧拟合直线线段M_R2，M_R2对应的角度为β1_R∈[-180,180)；

步骤8，对于小图S₂重复步骤3至7，得到图S₂左侧边缘对应的角度β2_L∈[-180,180)，右侧边缘对应的角度β2_R∈[-180,180)，钢板折角外侧角度θo＝β2_L-β1_L+90，钢板折角内侧角度θi＝β2_R-β1_R+90，最终钢板折角θ＝(θo+θi)/2。

图像人工测量角度为90.10度，使用本发明提出的方法得到的检测角度为89.92度，检测时间31ms。同一仿真平台下对同一图像，使用现有的对整图边缘检测未筛选边缘点的方法得到的检测角度为89.66度，检测时间101ms。

从实验结果可以看出本发明通过分割小图，极大的缩短了运行时间；本发明通过对边缘点的多次筛选，使得边缘定位更为准确，提高了角度测量的精度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于单目视觉的钢板折角自动测量机器人图像处理方法，其特征在于，所述基于单目视觉的钢板折角自动测量机器人图像处理方法输入实时拍摄的钢板折角的截面图像，根据折角的位置分割出钢板折边小图；对钢板折角边进行边缘点的检测、筛选、直线拟合；根据钢板两条边的内外侧边缘拟合得到的直线，计算得到钢板折角的夹角度数。

2.如权利要求1所述的基于单目视觉的钢板折角自动测量机器人图像处理方法，其特征在于，所述基于单目视觉的钢板折角自动测量机器人图像处理方法包括以下步骤：

步骤1，输入实时拍摄的待检测钢板折角的截面图像I；

步骤2，旋转切割图像I，得到包含折边的小图；

步骤3，对于折边图像S₁'检测边缘点，并进行第一次筛选；

步骤4，将集合P_L0的边缘点进行直线拟合得到直线线段M_L0，集合P_R0的边缘点进行直线拟合得到直线线段M_R0；

步骤5，根据拟合的直线线段M_L0、M_R0，对边缘点集合P_L0、P_R0进行第二次筛选；

步骤6，由于钢板折边两端有弯曲，衔接不流畅的现象，中间段有因受光照影响而发生形变的部分，在保证测量精度的前提下，分别去掉点集合P_L1、P_R1位于线段M_L0、M_R0两端长度l₀及中间长度l₁的边缘点，形成点集合P_L2和P_R2；

步骤7，将集合P_L2中的边缘点进行直线拟合得到左侧拟合直线线段M_L2，M_L2与竖直向下方向顺时针旋转角度为β1_L∈[-180,180)，集合P_R2中的边缘点进行直线拟合得到右侧拟合直线线段M_R2，M_R2对应的角度为β1_R∈[-180,180)；

步骤8，对于小图S₂重复步骤3至7，得到图S₂左侧边缘对应的角度β2_L∈[-180,180)，右侧边缘对应的角度β2_R∈[-180,180)，钢板折角外侧角度θo＝β2_L-β1_L+90，钢板折角内侧角度θi＝β2_R-β1_R+90，最终钢板折角θ＝(θo+θi)/2。

3.如权利要求1所述的基于单目视觉的钢板折角自动测量机器人图像处理方法，其特征在于，所述步骤2，旋转切割图像I，得到包含折边的小图。

实际拍摄的钢板折角图像I中，折角开口向上，折角90度左右，左右折边与竖直方向的夹角45度左右，折角顶点V位于图像I中心附近，位于图像I的右侧上方钢板折边为L₁，左侧上方折边为L₂；

顺时针旋转图像α＝45度得到图像I'，计算顶点V旋转后的顶点V'；

延顶点V'向上取长条形小图S₂包含折边L₂'，延顶点V'向右取长条形小图S₁，将图S₁转置并进行垂直翻转得到图S₁'，使得折边L₁'在图S₁'中接近竖直方向，折角的外侧边缘位于左侧。

4.如权利要求1所述的基于单目视觉的钢板折角自动测量机器人图像处理方法，其特征在于，步骤3，对于图像S₁'检测边缘点，并进行第一次筛选；

分别使用t*t大小的水平与垂直方向梯度模板与图像S₁'进行卷积，筛选出水平梯度大于一定阈值T_G，垂直梯度小于一定阈值T′_G的边缘点集合P₀；

图像I中的钢板折边内部灰度均值g偏高g∈[g1,g2]，背景灰度均值g偏低g∈[g3,g4]，由于图像S′₁中折边L'₁处于竖直位置，故L'₁左侧边缘E_L的左边是背景，E_L的右边是折边内部，根据边缘点左、右侧的灰度均值g进一步筛选边缘点，得到左侧边缘E_L的边缘点集合P_L0，同理得到右侧边缘E_R的边缘点集合P_R0。

5.如权利要求1所述的基于单目视觉的钢板折角自动测量机器人图像处理方法，其特征在于，步骤5，根据拟合的直线线段M_L0、M_R0，对边缘点集合P_L0、P_R0进行第二次筛选：

遍历图像S₁'的每一行，计算第r(r＝1…S′₁.rows)行近似处于直线线段M_L0上的像素点p，搜索像素点p附近在水平方向上近似线段垂直方向与点p距离小于d₀范围内的边缘点集合P_r，计算边缘点集合P_r中边缘点与点p的距离均值d_mean、集合P_r中梯度最大的边缘点pg_max及集合P_r中处于线段M_L0左侧且梯度最大的边缘点pg_Lmax；

当d_mean＜d_t时，pg_max为第r行筛选出的边缘点；当d_mean＞d_t且边缘点pg_Lmax与像素点p的距离小于d₁时，pg_Lmax为第r行筛选出的边缘点；否则，该行不保留边缘点；最终，左侧边缘E_L的边缘点组成点集合P_L1，同理右侧边缘E_R的边缘点经过筛选形成点集合P_R1。