CN104923593B - 一种基于视觉的顶层折弯板材定位方法 - Google Patents

Abstract

本发明公开了一种基于视觉的顶层折弯板材定位方法。首先，利用CCD摄像机采集取料站上折弯板材的图片，通过阈值分割、膨胀与腐蚀、图像掩膜提取采集图像中的板材区域。然后通过边缘提取及筛选得到属于顶层板材的两条边缘，并利用统计概率霍夫线变换获得两条边缘线段的端点。最后根据相机内部参数把得到的端点的像素坐标转换成为相机坐标系下的三维坐标，求取两条边缘对应的直线方程，从而计算板材的实际位置与预先求得的参考位置的位移偏差和角度偏差，最终求得折弯机器人实际的抓取位置。本发明通过视觉传感技术，实现了从多层板材中自动识别顶层板材位置的功能，避免了由机械定位导致的时间成本高和通用性低等缺陷。

Description

一种基于视觉的顶层折弯板材定位方法

技术领域：

本发明涉及一种基于视觉的顶层折弯板材定位方法，其属于自动化技术应用领域。

背景技术：

目前，随着金属钣金制品在汽车、电器柜、家电、机床等行业的广泛应用，需求量大，折弯精度要求高，因此自动化折弯技术的发展是必然趋势。折弯机器人由于相对传统人工折弯具有质量稳定，效率较高的优点，正在逐步取代人工折弯。折弯机器人是一种在折弯过程中完成自动上下料，折弯板料定位，折弯过程中板料的跟随等任务的装备，它在应用过程中对于待折板料的定位精度要求高，而目前待折板料都采用机械定位方式，即在一个倾斜的定位台加若干定位元件对板材进行定位。该种定位方式容易实现，成本低，但是也存在诸多不足：第一，取料站上的板材数量多，采用机械定位，定位台无法同时定位多张板材，因而机器人每次只能抓取取料站上的顶层板材并放到定位台上定位后再次抓取板材开始折弯，造成辅助定位时间长，效率低，特别是大批量生产时更加突出。第二，对于不同形状或大小的折弯板料，采用的定位台也不同，因此通用性低。第三，定位机构相对于折弯机器人是相对独立的装置，两者的相对位置可能会发生改变，此时需要花费时间重新示教折弯机器人，否则会直接影响折弯精度。

针对上述问题，本专利开发出基于视觉传感技术的自动化板材定位方式来取代当前的机械定位方式，实现多层板材的定位，提高待折板材的定位精度，缩短折弯机器人抓取时间，进一步提高自动化折弯的效率。

视觉传感技术借助视觉传感器可以获取周围物体的视觉信息，而且由于图像处理的速度快和识别的精度高，视觉传感技术逐渐被应用于制造业中，例如工件形状识别，表面质量检测、焊缝识别等。但是把视觉传感应用于折弯板材方面的研究和应用却不多见，目前，在可见的报道中，文献“甄栋志，基于机器视觉的折弯机器人目标识别及抓取研究[硕士学位论文]，扬州，扬州大学，2013”把相机安装在折弯机器人上，对折弯板材的识别进行了研究，但是处理过程中需要利用ROI区域设置从多层板材中检测出顶层板材的边界轮廓，不能自动筛选出顶层板材的边界轮廓，因而不能满足实际生产自动化的要求，而且该文中没有给出具体定位过程。文献“金钰飞，开放式折弯机器人控制系统的开发[硕士学位论文]，南京，南京航空航天大学，2014”重点分析了多层板材特征信息获取的各个过程，也没有进行后续的板材的定位计算。

因此，确有必要对现有技术进行改进以解决现有技术之不足。

发明内容：

针对现有技术的不足和生产需要，本发明提供一种基于视觉的顶层折弯板材定位方法，实现自动从取料站上的多层板材中识别顶层板材的位置，从而解决在机器人辅助折弯中自动定位板材的技术问题。

本发明采用如下技术方案：一种基于视觉的顶层折弯板材定位方法，自动从取料站上多层板材中识别顶层板材的位置，其包括如下步骤：

1)、图像采集：用垂直安装于取料站上方的CCD摄像机拍摄堆在取料站上多层板材的图像；

2)、板材区域提取：利用阈值分割粗略提取板材区域，然后利用先腐蚀后膨胀去掉分割后图像中的噪声区域，并把结果图片作为掩膜，作用于原始采集的图像，从采集的图像中提取多层板材的区域；

3)、边缘提取及筛选：利用中值滤波对提取的板材区域进行平滑，然后利用Canny算子提取图像中所有板材的边缘，并根据提取边缘的长度，过滤掉过短的噪声边缘，最后对图像的下半部分进行从左到右的逐行扫描，得到顶层折弯板材的右边缘，对图像的左半部分进行从下到上的逐列扫描，得到顶层折弯板材的上边缘；

4)、位置参数获取：对得到的图像进行概率统计霍夫线变换，获得顶层板材右边缘和上边缘对应线段的端点的像素坐标，并根据相机内部参数和顶层板材在相机坐标系下Z轴坐标，把端点的二维像素坐标转换成为相机坐标系下的三维坐标；

5)、位置偏差计算：根据得到的两条线段的端点坐标，计算相应的直线方程，从而计算板材的实际位置和参考位置的位置偏差，包括两个位移偏差Δx、Δy和一个角度偏差ΔA；

6)、实际抓取位置计算：根据得到的位置偏差，对在参考抓取位置时折弯机器人的工具坐标系进行旋转平移变换，得到实际抓取位置。

进一步地，步骤4)中相机内部参数可由相机标定实验得到，顶层板材在相机坐标系下Z轴坐标可由取料站上板材的数量、每块板材的厚度、参考位置在相机坐标系下Z轴坐标计算得到，参考位置在相机坐标系下的Z轴坐标由放置在取料站上的平面标定模板的外部参数得到。

进一步地，把二维像素点转化成相机坐标系下的三维坐标的步骤包括：设统计概率霍夫线变换得到的线段3的两个端点为(u₃₁,v₃₁)和(u₃₂,v₃₂)，线段4的两个端点为(u₄₁,v₄₁)和(u₄₂,v₄₂)，根据式(1)即可转换成在相机坐标系下的三维坐标

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{k}_x& 0& u_0\\ 0& k_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x/(z_c-n\×t)\\ y/(z_c-n\×t)\\ 1\end{array}\right]=M\left[\begin{array}{c}x/(z_c-n\×t)\\ y/(z_c-n\×t)\\ 1\end{array}\right]---\left(1\right)$

其中，矩阵M是CCD摄像机的内部参数矩阵，z_c是参考金属板材在相机坐标系下的Z坐标，两者均由相机标定得到，n是取料站上金属板材的数量，t是金属板材的厚度，因此(x,y,(z_c-n×t))就是像素点(u,v)在相机坐标系下对应的三维坐标，设由式(1)得到的线段3和线段4的端点在相机坐标系下的三维坐标分别为(x₃₁,y₃₁,(z_c-n×t))，(x₃₂,y₃₂,(z_c-n×t))，(x₄₁,y₄₁,(z_c-n×t))和(x₄₂,y₄₂,(z_c-n×t))，计算得到线段3和线段4相应的直线方程A_iX+B_iY+C_iZ+D_i＝0,i＝3,4。

进一步地，步骤5)中的参考位置也由两条直线表示，计算方法同步骤1)-4)，位置偏差计算的具体步骤是：

(a)根据端点计算相应的直线方程，设直线方程1和2对应的是参考板材的上边缘和右边缘，直线方程3和4对应的是实际顶层板材的上边缘和右边缘，直线方程表示为A_iX+B_iY+C_iZ+D_i＝0,i＝1,2,3,4；

(b)令Z＝0，计算直线3和直线4的交点，记为点P(P_x,P_y)，计算点P到直线2的距离记为Δx，计算点P到直线1的距离记为Δy，计算直线2和直线4的夹角记为ΔA。

进一步地，步骤6)中的参考抓取位置是折弯机器人在抓取参考板材时，机器人工具坐标系的位置。

本发明具有如下有益效果：本发明提供了一种基于视觉的顶层折弯板材定位方法，满足了目前折弯生产中，多层板材定位自动化的要求。只需在取料站上添加一个CCD摄像机，通过图像处理从多层板材中自动识别顶层待折弯板材的位置，并计算实际位置与参考位置的偏差，从而使折弯机器人根据偏差自动定位到板材上方。生产过程中，在当前折弯板材还在折弯时，下一块板材的位置信息，通过高效的图像处理已经计算得到并存储。因此当前的板材完成折弯后，机器人可直接移动到取料站抓取下一块板材，避免了由机械定位产生的时间成本，大大缩短了折弯周期，而且不需要定位台，通用性高，提高了机器人辅助折弯的自动化水平和效率。

附图说明：

图1是本发明的一个具体实施例的工作流程图。

图2是板材的实际位置与参考位置的位置偏差示意图。

具体实施方式：

为使本发明的目的、技术方案和有益效果更加清楚，下面结合具体实施例，并参照附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

请参照图1所示，本发明基于视觉的顶层折弯板材的定位方法，其包括如下步骤：

1)、图像采集：用垂直安装于取料站上方的CCD摄像机拍摄堆在取料站上多层板材的图像；

2)、板材区域提取：利用阈值分割粗略提取板材区域，然后利用先腐蚀后膨胀去掉分割后图像中的噪声区域，并把结果图片作为掩膜，作用于原始采集的图像，从采集的图像中提取多层板材的区域；

3)、边缘提取及筛选：利用中值滤波对提取的板材区域进行平滑，然后利用Canny算子提取图像中所有板材的边缘，并根据提取边缘的长度，过滤掉过短的噪声边缘，最后对图像的下半部分进行从左到右的逐行扫描，得到顶层折弯板材的右边缘，对图像的左半部分进行从下到上的逐列扫描，得到顶层折弯板材的上边缘；

4)、位置参数获取：对得到的图像进行概率统计霍夫线变换，获得顶层板材右边缘和上边缘相对应直线的端点，并根据相机内部参数和顶层板材在相机坐标系下Z轴坐标，把得到的端点的二维像素坐标转换成相机坐标系下的三维坐标；

5)、位置偏差计算：根据得到的两条线段端点的坐标，计算相应的直线方程，从而计算板材的实际位置和预先求得的参考位置的位置偏差，包括两个位移偏差Δx，Δy和一个角度偏差ΔA；

6)、实际抓取位置计算：根据得到的位置偏差，对在参考抓取位置时折弯机器人的工具坐标系进行旋转平移变换，得到实际抓取位置。

步骤4)中相机内部参数可由相机标定实验得到，顶层板材在相机坐标系下Z轴坐标可由取料站上板材的数量、每块板材的厚度、参考位置在相机坐标系下Z轴坐标计算得到，参考位置在相机坐标系下的Z轴坐标由放置在取料站上的平面标定模板的外部参数得到。

步骤4)中把二维像素点转化成相机坐标系下的三维坐标的具体内容为：请参照图2所示，设统计概率霍夫线变换得到的线段3的两个端点为(u₃₁,v₃₁)和(u₃₂,v₃₂)，线段4的两个端点为(u₄₁,v₄₁)和(u₄₂,v₄₂)，根据式(1)即可转换成在相机坐标系下的三维坐标。

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{k}_x& 0& u_0\\ 0& k_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x/(z_c-n\×t)\\ y/(z_c-n\×t)\\ 1\end{array}\right]=M\left[\begin{array}{c}x/(z_c-n\×t)\\ y/(z_c-n\×t)\\ 1\end{array}\right]---\left(1\right)$

其中，矩阵M是CCD摄像机的内部参数矩阵，z_c是参考金属板材在相机坐标系下的Z坐标，两者均由相机标定得到。n是取料站上金属板材的数量，t是金属板材的厚度。因此(x,y,(z_c-n×t))就是像素点(u,v)在相机坐标系下对应的三维坐标。设由式(1)得到的线段3和线段4的端点在相机坐标系下的三维坐标分别为(x₃₁,y₃₁,(z_c-n×t))，(x₃₂,y₃₂,(z_c-n×t))，(x₄₁,y₄₁,(z_c-n×t))和(x₄₂,y₄₂,(z_c-n×t))，由此可计算得到线段3和线段4相应的直线方程A_iX+B_iY+C_iZ+D_i＝0,i＝3,4。

步骤5)中的参考位置的计算方法同步骤1)-4)，区别在于计算参考位置时，取料站上只有一块折弯板材作为参考板材，当进行坐标转换时，式(1)中的n＝0。图2中直线1和直线2是参考位置对应的直线，对应的方程为A_iX+B_iY+C_iZ+D_i＝0,i＝1,2。

此时令直线方程1-4中的Z＝0，则直线方程变为A_iX+B_iY+D_i＝0,i＝1,2,3,4。求直线3和直线4的交点，记为P(P_x,P_y)，利用式(2)就可求得位移偏差Δx和Δy，根据斜率可求得直线2和直线4与x轴的夹角分别θ2和θ4，因此角度偏差ΔA＝θ2-θ4。

$\left\{\begin{array}{c}\mathrm{\Δx}=\frac{|A_2{P}_x+B_2{P}_y+D_2|}{\sqrt{{A_2}^2+{B_2}^2}}\\ \mathrm{\Δy}=\frac{|A_1{P}_x+B_1{P}_y+D_1|}{\sqrt{{A_1}^2+{B_1}^2}}\end{array}\right.---\left(2\right)$

步骤6)中的参考抓取位置是机器人抓参考板材时的工具坐标系的位置，请参考图2，坐标系o_r-x_ry_r表示的是折弯机器人在参考抓取位置时，工具坐标系的x和y坐标轴的坐标和方向，根据求得的位移偏差和角度偏差，对参考位置时的工具坐标系进行旋转平移变换，坐标系o-xy表示的是在实际抓取位置时的工具坐标系的x和y轴的坐标位置和方向。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (5)

1.一种基于视觉的顶层折弯板材定位方法，自动从取料站上多层板材中识别顶层板材的位置，其特征在于：包括如下步骤

1)、图像采集：用垂直安装于取料站上方的CCD摄像机拍摄堆在取料站上多层板材的图像；

2)、板材区域提取：利用阈值分割粗略提取板材区域，然后利用先腐蚀后膨胀去掉分割后图像中的噪声区域，并把结果图片作为掩膜，作用于原始采集的图像，从采集的图像中提取多层板材的区域；

3)、边缘提取及筛选：利用中值滤波对提取的板材区域进行平滑，然后利用Canny算子提取图像中所有板材的边缘，并根据提取边缘的长度，过滤掉过短的噪声边缘，最后对图像的下半部分进行从左到右的逐行扫描，得到顶层折弯板材的右边缘，对图像的左半部分进行从下到上的逐列扫描，得到顶层折弯板材的上边缘；

4)、位置参数获取：对得到的图像进行概率统计霍夫线变换，获得顶层板材右边缘和上边缘对应线段的端点的像素坐标，并根据相机内部参数和顶层板材在相机坐标系下Z轴坐标，把端点的二维像素坐标转换成为相机坐标系下的三维坐标；

5)、位置偏差计算：根据得到的两条线段的端点坐标，计算相应的直线方程，从而计算板材的实际位置和参考位置的位置偏差，包括两个位移偏差Δx、Δy和一个角度偏差ΔA；

6)、实际抓取位置计算：根据得到的位置偏差，对在参考抓取位置时折弯机器人的工具坐标系进行旋转平移变换，得到实际抓取位置。

2.如权利要求1所述的一种基于视觉的顶层折弯板材定位方法，其特征在于：步骤4)中相机内部参数可由相机标定实验得到，顶层板材在相机坐标系下Z轴坐标可由取料站上板材的数量、每块板材的厚度、参考位置在相机坐标系下Z轴坐标计算得到，参考位置在相机坐标系下的Z轴坐标由放置在取料站上的平面标定模板的外部参数得到。

3.如权利要求2所述的一种基于视觉的顶层折弯板材定位方法，其特征在于：把二维像素坐标转化成相机坐标系下的三维坐标的步骤包括：设概率统计霍夫线变换得到的线段3的两个端点为(u₃₁,v₃₁)和(u₃₂,v₃₂)，线段4的两个端点为(u₄₁,v₄₁)和(u₄₂,v₄₂)，根据式(1)即可转换成在相机坐标系下的三维坐标

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}{k}_x& 0& u_0\\ 0& k_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x/(z_c-n\×t)\\ y/(z_c-n\×t)\\ 1\end{array}\right]=M\left[\begin{array}{c}x/(z_c-n\×t)\\ y/(z_c-n\×t)\\ 1\end{array}\right]---\left(1\right)$

其中，矩阵M是CCD摄像机的内部参数矩阵，z_c是参考金属板材在相机坐标系下的Z坐标，两者均由相机标定得到，n是取料站上金属板材的数量，t是金属板材的厚度，因此(x,y,(z_c-n×t))就是像素点(u,v)在相机坐标系下对应的三维坐标，设由式(1)得到的线段3和线段4的端点在相机坐标系下的三维坐标分别为(x₃₁,y₃₁,(z_c-n×t))，(x₃₂,y₃₂,(z_c-n×t))，(x₄₁,y₄₁,(z_c-n×t))和(x₄₂,y₄₂,(z_c-n×t))，计算得到线段3和线段4相应的直线方程A_iX+B_iY+C_iZ+D_i＝0,i＝3,4。

4.如权利要求1所述的一种基于视觉的顶层折弯板材定位方法，其特征在于，步骤5)中的参考位置也由两条直线表示，计算方法同步骤1)-4)，位置偏差计算的具体步骤是：

(a)根据端点计算相应的直线方程，设直线方程1和2对应的是参考板材的上边缘和右边缘，直线方程3和4对应的是实际顶层板材的上边缘和右边缘，直线方程表示为A_iX+B_iY+C_iZ+D_i＝0,i＝1,2,3,4；

(b)令Z＝0，计算直线3和直线4的交点，记为点P(P_x,P_y)，计算点P到直线2的距离记为Δx，计算点P到直线1的距离记为Δy，计算直线2和直线4的夹角记为ΔA。

5.如权利要求4所述的一种基于视觉的顶层折弯板材定位方法，其特征在于，步骤6)中的参考抓取位置是折弯机器人在抓取参考板材时，机器人工具坐标系的位置。