CN105258647A - 一种汽车锁扣铆点的视觉检测方法 - Google Patents

Abstract

本发明公开了一种汽车锁扣铆点的视觉检测方法，对测量系统进行相机标定；加载相机的检测图像，并作预处理；对预处理后的图像采用概率Hough变换进行直线检测，从而建立以锁扣边缘为基准的图像初级测量坐标系；进行坐标仿射变换，在仿射变换后测量坐标系中定位铆点所在区域，依据铆点自身成像特点使用梯度锐化对其进行处理，使分离图像的轮廓细节更加清晰，增加测量的准确度；采用随机Hough变换提取铆点的轮廓并计算铆点直径。本发明的有益效果是能够有效地对汽车锁扣铆点直径进行高效率、高精度的检测。

Description

一种汽车锁扣铆点的视觉检测方法

技术领域

本发明属于图像处理技术领域，涉及一种汽车锁扣铆点的视觉检测方法。

背景技术

汽车锁扣是汽车的一个重要安全部件，其工作的可靠性和稳定性直接影响着驾驶人员的财产甚至生命安全，而锁扣检测是保证其质量的一个重要环节。铆点的尺寸规格直接影响着铆接质量，所以铆点直径必须保证在一定尺寸偏差内。由于铆点分布在汽车锁扣表面，凸体较短，不便于装夹进行传统测量，且传统的测量锁扣铆点的方法存在不稳定、精度低的缺点，难以达到检测目的；检测效率很低，不能适应生产线产量大、效率高的要求。

目前大部分厂家都是通过人工肉眼目测完成的，人工检测速度慢，可靠性差，容易漏检。机器视觉是一门集数字图像处理、机械工程、电子工程、光学工程及软件工程等技术的综合学科，其核心就是对采集到的图像进行处理和分析。在常规的视觉检测中，冗杂的门锁表面工艺对提取铆点特征存在很大的干扰，难以精确定位、保证测量精度。因此提出了一种基于机器视觉的汽车锁扣铆点检测方法，该方法不受工件摆放位置以及图像几何失真的影响，也无需进行机械矫正，并使用改进的梯度锐化算法增强了铆点的轮廓，提高了测量的准确度。

发明内容

本发明的目的在于提供一种汽车锁扣铆点的视觉检测方法，解决传统的锁扣铆点测量方法所存在的不稳定、精度低、检测效率低下，不能适应生产线的大产能问题。

本发明所采用的技术方案是按照以下步骤进行：

步骤1：对测量系统进行相机标定；

步骤2：加载相机的检测图像，并作预处理；采用图像灰度化处理减少图像冗余信息，高斯平滑滤波去除图像噪声，采用均衡化处理改善图像质量及增加对比度，最后对处理后的图像进行边缘提取；

步骤3：对预处理后的图像采用概率Hough变换进行直线检测，从而建立以锁扣边缘为基准的图像初级测量坐标系；

步骤4：进行坐标仿射变换，采用仿射变换对图像进行校正以消除图像几何失真；规定仿射变换后测量坐标系的x轴与图像横坐标平行，y轴与图像纵坐标平行，且锁扣边缘相互垂直，图像横纵坐标是图像显示设备的默认坐标，本发明以左上角为原点；选取原点O(x₀,y₀)，l₁的端点a₂(x₂,y₂)，l₂的端点b₂(x₄,y₄)作为仿射变换参考点，变换后对应点分别为O'(x₀',y₀')、a₂'(x₂',y₂')和b₂'(x₄',y₄')，变换后的坐标为汽车锁扣在标准姿态下提取的水平边缘、竖直边缘所对应的坐标；

步骤5：在仿射变换后测量坐标系中定位铆点所在区域；求取以锁扣边缘为基准的图像初级测量坐标系下铆点圆心坐标、直径及ROI感兴趣区域的窗口大小；

步骤6：为了补偿滤波对ROI铆点轮廓的平滑，依据铆点自身成像特点使用梯度锐化对其进行处理，使分离图像的轮廓细节更加清晰，增加测量的准确度；

步骤7：采用随机Hough变换提取铆点的轮廓并计算铆点直径。

进一步，所述步骤1中，选用12×9边长为20mm×20mm的标准棋盘进行常规线性标定，标定方法选用张正友相机标定方法。

进一步，所述步骤3中，根据汽车锁扣的几何形状特征，提取锁扣边缘并建立图像测量坐标系；建立以水平边缘为x轴，竖直边缘为y轴，O点为原点的图像初级测量坐标系；设提取的水平边缘l₁的起点和终点分别为a₁(x₁,y₁),a₂(x₂,y₂)，竖直边缘l₂为b₁(x₃,y₃),b₂(x₄,y₄)，分别求出两条边缘在图像像素坐标系下的斜率和截距为k₁、k₂、b₁、b₂；测量坐标系原点O(x₀,y₀)的计算公式如下：

$\begin{array}{cc}{x}_0=\frac{b_1-b_2}{k_2-k_1}& y_0=\frac{b_2-(k_2/k_1)\×b_1}{1-k_2/k_1}\end{array};$

进一步，所述步骤4中标准姿态下为零件不绕Z轴旋转且不发生纵向倾斜的放置状态。

进一步，所述步骤5定位铆点所在区域方法为：从CAD设计图纸中得到铆点直径及其中心到两条边缘的物理距离，分别为d_w、x_w、y_w，由标定已经得到像素在横向和纵向的物理分辨率设为S_x，S_y，将物理距离转化为像素距离，从而定位每个铆点所在的ROI感兴趣区域，由于定位误差的出现，并不能保证ROI窗口能够完全包含对应的铆点，因此设置一个尺度系数Scale控制窗口的大小；

d_pixel＝d_w/S_x

x_pixel＝x_w/S_x

y_pixel＝y_w/S_y

WinSize_x＝d_w×Scale/S_x

WinSize_y＝d_w×Scale/S_y；

通过上式计每个铆点对应的像素坐标x_pixel、y_pixel就可以在测量坐标系下设定铆点ROI，把铆点区域从复杂的检测图像中分离出来。

进一步，所述步骤6中梯度锐化的方法为：对于图像f(x，y),任意的点(x，y)梯度在函数f(x，y)最大变化率方向上，梯度幅度设为G_M[f(x，y)]，设置门限判断对梯度锐化，锐化公式如下式所示：

其中，G'_M[f(x,y)]为最终的灰度代替值，G'_M[f(x,y)]_max＝255，T′₁表示锐化阈值，当梯度值大于T′₁时，其值加T₁，从而加强梯度边缘；T′₂表示灰度的阈值，当图像灰度值大于T′₂时，灰度值减T₂，保留原图高灰度值信息同时消除了其对梯度边缘的影响，其他情况灰度值不变。

本发明的有益效果是能够有效地对汽车锁扣铆点直径进行高效率、高精度的检测。

附图说明

图1为本发明铆点直径视觉检测总体流程图；

图2为铆点检测图像预处理流程图；

图3为锁扣棱边提取效果图；

图4为测量坐标仿射变换示意图；

图5为铆钉定位示意图；

图6铆点轮廓直接识别效果图；

图7铆点梯度锐化轮廓识别效果图。

具体实施方式

下面结合具体实施方式对本发明进行详细说明。

本发明汽车锁扣铆点的视觉检测方法如图1所示，图1是铆点直径视觉检测总体流程图。首先，对系统相机进行标定，加载检测图像，并作相关预处理，再根据汽车锁扣的实际几何形状，提取边缘特征建立图像测量坐标系，仿射变换可以减少因锁扣放置偏差而引起的图像失真。然后，分别在测量坐标系中定位铆点所在区域、设置ROI，把铆点从复杂的检测图像中分离出来，并用改进后的锐化算法对其进行处理以加强轮廓，最后测量铆点直径。具体方法如下步骤：

步骤1：对测量系统进行相机标定，选用12×9边长为20mm×20mm的标准棋盘进行常规线性标定，标定方法选用经典的张正友相机标定方法；

步骤2：加载相机的检测图像，并作预处理，如图2所示；其内容包括：采用图像灰度化处理大大减少图像冗余信息，高斯平滑滤波去除图像噪声，采用均衡化处理改善图像质量及增加对比度，最后对处理后的图像进行边缘提取；

步骤3：对预处理后的图像采用概率Hough变换进行直线检测，从而建立以锁扣边缘为基准的图像初级测量坐标系；

根据汽车锁扣的几何形状特征，提取锁扣边缘并建立图像测量坐标系；建立以水平边缘为x轴，竖直边缘为y轴，O点为原点的图像初级测量坐标系；由于汽车锁扣表面造型十分复杂，存在着大量圆形和弧形工艺，对铆点的定位与轮廓的提取造成极大干扰，难以直接对铆点直径进行测量。通过观察，该类型汽车锁扣的两条棱边较其他特征区别明显，轮廓比较清晰。设提取的水平边缘l₁的起点和终点分别为a₁(x₁,y₁),a₂(x₂,y₂)，同理竖直边缘l₂为b₁(x₃,y₃),b₂(x₄,y₄)，分别求出两条边缘在图像像素坐标系下的斜率和截距为k₁、k₂、b₁、b₂；测量坐标系原点O(x₀,y₀)的计算公式如下：

$\begin{array}{cc}{x}_0=\frac{b_1-b_2}{k_2-k_1}& y_0=\frac{b_2-(k_2/k_1)\×b_1}{1-k_2/k_1}\end{array};$

通过上述步骤建立了图像初级测量坐标系，由于坐标系是以锁扣边缘为基准的相对坐标，因此其保证了测量不受工件摆放位置的影响，无需传统的机械矫正。

图3是本发明提供的锁扣棱边提取效果图。锁扣图像间的特征相对边缘l₁、l₂的距离是由零件自身设计尺寸决定的，不会随锁扣沿相机光轴的旋转而发生变化。

步骤4：进行坐标仿射变换，采用仿射变换对图像进行校正以消除图像几何失真。仿射变换可以校正物体所有可能的与位姿相关的变化，为了与图像像素坐标统一并便于后续铆点的定位，规定仿射变换后测量坐标系的x轴与图像横坐标平行，y轴与图像纵坐标平行，且锁扣边缘相互垂直。图像横纵坐标是图像显示设备的默认坐标，一般以图像显示设备的左上角或者左下角为原点，与图片的相关格式基准有关。本发明以左上角为原点。

这里选取原点O(x₀,y₀)，l₁的端点a₂(x₂,y₂)，l₂的端点b₂(x₄,y₄)作为仿射变换参考点，变换后对应点分别为O'(x₀',y₀')、a₂'(x₂',y₂')和b₂'(x₄',y₄')，变换后的坐标为汽车锁扣在标准姿态下(零件不绕Z轴旋转且不发生纵向倾斜的放置状态)提取的水平边缘、竖直边缘所对应的坐标，其坐标值通过精密的测量工具在实验状态下获得。图4是本发明提供的测量坐标仿射变换示意图。

步骤5：在仿射变换后测量坐标系中定位铆点所在区域时，需要得到以锁扣边缘为基准的图像初级测量坐标系下铆点圆心坐标、直径及ROI(RegionsofInterest，感兴趣区域)的窗口大小。由于从锁扣的设计图纸中获取的相关距离信息是物理距离，因此必须将其转化为图像像素距离。

首先从CAD设计图纸中得到铆点直径及其中心到两条边缘的物理距离，分别为d_w、x_w、y_w，由标定已经得到像素在横向和纵向的物理分辨率设为S_x，S_y。通过下式可以将物理距离转化为像素距离，从而定位每个铆点所在的ROI。由于定位误差的出现，并不能保证ROI窗口能够完全包含对应的铆点，因此设置一个尺度系数Scale控制窗口的大小。

d_pixel＝d_w/S_x

x_pixel＝x_w/S_x

y_pixel＝y_w/S_y

WinSize_x＝d_w×Scale/S_x

WinSize_y＝d_w×Scale/S_y；

通过上式计每个铆点对应的x_pixel、y_pixel就可以在测量坐标系下设定铆点ROI，把铆点区域从复杂的检测图像中分离出来，ROI作为一个独立的图像单元参与后续处理。图5是本发明提供的铆钉定位示意图。

步骤6：为了补偿滤波对ROI铆点轮廓的平滑，依据铆点自身成像特点使用改进的梯度锐化对其进行处理，使分离图像的轮廓细节更加清晰，增加测量的准确度。对于图像f(x，y),任意的点(x，y)梯度在函数f(x，y)最大变化率方向上，梯度幅度设为G_M[f(x，y)]。设置门限判断对梯度锐化，锐化公式如下式所示。

其中，G'_M[f(x,y)]为最终的灰度代替值，G'_M[f(x,y)]_max＝255。T′₁表示锐化阈值，当梯度值大于T′₁时，其值加T₁，从而加强梯度边缘；T′₂表示灰度的阈值，当图像灰度值大于T′₂时，灰度值减T₂，保留原图高灰度值信息同时消除了其对梯度边缘的影响，其他情况灰度值不变，处理后的图像既增强了铆点轮廓又大大增加边缘信息与其他背景的区分度。图6是本发明提供的铆点轮廓直接识别效果图，可以看出提取的铆点轮廓与实际轮廓有一定的偏差，从而带来一定的测量误差。

步骤7：由于ROI区域中圆数目较少，且大多数点都在圆上，采用效率更高的随机Hough变换提取铆点的轮廓并计算铆点直径。图7是本发明提供的梯度锐化后铆点轮廓识别效果图，可以看出梯度锐化后轮廓提取更加贴切真实的轮廓边缘，测量的准确度大大增加。

对同一幅锁扣图像梯度锐化前后轮廓提取效果进行了对比，可以得出，梯度锐化后轮廓提取更加贴切真实的边缘。该测量方法不受工件摆放位置的影响，也无需进行机械矫正，通过自设定的图像处理算法自动消除图像几何失真，保证测量精度。本发明汽车锁扣铆点检测方法和改进前技术相比，测量值更加准确，精度达到0.035mm，满足检测要求。该方法适用于铆点在线高精度检测，具有重要的应用价值。

经过上面详细的实施，我们可以很方便的进行汽车锁扣铆点的视觉检测，改进后图像铆点直径的测量值更加准确，精度达到0.035mm，满足检测要求。该方法适用于铆点在线高精度检测，具有重要的应用价值。不仅提高了汽车锁扣铆点的视觉检测的稳定性，而且节省了人工检测成本，提高了检测的效率与准确性。

以上所述仅是对本发明的较佳实施方式而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施方式所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims (6)

1.一种汽车锁扣铆点的视觉检测方法，其特征在于按照以下步骤进行：

步骤1：对测量系统进行相机标定；

步骤2：加载相机的检测图像，并作预处理；采用图像灰度化处理减少图像冗余信息，高斯平滑滤波去除图像噪声，采用均衡化处理改善图像质量及增加对比度，最后对处理后的图像进行边缘提取；

步骤3：对预处理后的图像采用概率Hough变换进行直线检测，从而建立以锁扣边缘为基准的图像初级测量坐标系；

步骤4：进行坐标仿射变换，采用仿射变换对图像进行校正以消除图像几何失真；规定仿射变换后测量坐标系的x轴与图像横坐标平行，y轴与图像纵坐标平行，且锁扣边缘相互垂直，图像横纵坐标是图像显示设备的默认坐标，本发明以左上角为原点；选取原点O(x₀,y₀)，l₁的端点a₂(x₂,y₂)，l₂的端点b₂(x₄,y₄)作为仿射变换参考点，变换后对应点分别为O'(x₀',y₀')、a₂'(x₂',y₂')和b₂'(x₄',y₄')，变换后的坐标为汽车锁扣在标准姿态下提取的水平边缘、竖直边缘所对应的坐标；

步骤5：在仿射变换后测量坐标系中定位铆点所在区域；求取以锁扣边缘为基准的图像初级测量坐标系下铆点圆心坐标、直径及ROI感兴趣区域的窗口大小；

步骤6：为了补偿滤波对ROI铆点轮廓的平滑，依据铆点自身成像特点使用梯度锐化对其进行处理，使分离图像的轮廓细节更加清晰，增加测量的准确度；

步骤7：采用随机Hough变换提取铆点的轮廓并计算铆点直径。

2.按照权利要求1所述一种汽车锁扣铆点的视觉检测方法，其特征在于：所述步骤1中，选用12×9边长为20mm×20mm的标准棋盘进行常规线性标定，标定方法选用张正友相机标定方法。

3.按照权利要求1所述一种汽车锁扣铆点的视觉检测方法，其特征在于：所述步骤3中，根据汽车锁扣的几何形状特征，提取锁扣边缘并建立图像测量坐标系；建立以水平边缘为x轴，竖直边缘为y轴，O点为原点的图像初级测量坐标系；设提取的水平边缘l₁的起点和终点分别为a₁(x₁,y₁),a₂(x₂,y₂)，竖直边缘l₂为b₁(x₃,y₃),b₂(x₄,y₄)，分别求出两条边缘在图像像素坐标系下的斜率和截距为k₁、k₂、b₁、b₂；测量坐标系原点O(x₀,y₀)的计算公式如下：

$\begin{array}{cc}{x}_0=\frac{b_1-b_2}{k_2-k_1}& y_0=\frac{b_2-(k_2/k_1)\×b_1}{1-k_2/k_1}\end{array}.$

4.按照权利要求1所述一种汽车锁扣铆点的视觉检测方法，其特征在于：所述步骤4中标准姿态下为零件不绕Z轴旋转且不发生纵向倾斜的放置状态。

5.按照权利要求1所述一种汽车锁扣铆点的视觉检测方法，其特征在于：所述步骤5定位铆点所在区域方法为：从CAD设计图纸中得到铆点直径及其中心到两条边缘的物理距离，分别为d_w、x_w、y_w，由标定已经得到像素在横向和纵向的物理分辨率设为S_x，S_y，将物理距离转化为像素距离，从而定位每个铆点所在的ROI感兴趣区域，由于定位误差的出现，并不能保证ROI窗口能够完全包含对应的铆点，因此设置一个尺度系数Scale控制窗口的大小；

d_pixel＝d_w/S_x

x_pixel＝x_w/S_x

y_pixel＝y_w/S_y

WinSize_x＝d_w×Scale/S_x

WinSize_y＝d_w×Scale/S_y；

通过上式计每个铆点对应的像素坐标x_pixel、y_pixel就可以在测量坐标系下设定铆点ROI，把铆点区域从复杂的检测图像中分离出来。

6.按照权利要求1所述一种汽车锁扣铆点的视觉检测方法，其特征在于：所述步骤6中梯度锐化的方法为：对于图像f(x，y),任意的点(x，y)梯度在函数f(x，y)最大变化率方向上，梯度幅度设为G_M[f(x，y)]，设置门限判断对梯度锐化，锐化公式如下式所示：

其中，G'_M[f(x,y)]为最终的灰度代替值，G'_M[f(x,y)]_max＝255，T₁'表示锐化阈值，当梯度值大于T₁'时，其值加T₁，从而加强梯度边缘；T₂'表示灰度的阈值，当图像灰度值大于T₂'时，灰度值减T₂，保留原图高灰度值信息同时消除了其对梯度边缘的影响，其他情况灰度值不变。