CN107328371A - 基于高斯影响的亚像素轮廓提取及利用Softmax回归在钣金检测场景下的优化 - Google Patents

Abstract

本发明涉及基于单目视觉钣金测量系统。在第一阶段，对图像进行畸变校正并对图像进行平滑操作，将钣金侧面的上下边缘进行过滤，并采用Canny算子对钣金像素级边缘检测；然后，根据得到的图像灰度梯度方向分布，提出基于高斯影响的亚像素偏移(GIM)算法，对边缘进行亚像素定位；之后再利用相机标定计算出的内外参对亚像素图像边缘进行平面信息真实比例的还原。第二阶段，基于高斯影响的轮廓提取流程应用到钣金轮廓检测的应用场景中，对图像进行了畸变校正、空间坐标系校正以还原图像轮廓真实信息。考虑由于模型误差和计算误差导致的亚像素定位偏移等因素，使用Softmax回归将提取到的亚像素轮廓再次校正，进而提升轮廓提取的精度。

Description

基于高斯影响的亚像素轮廓提取及利用Softmax回归在钣金 检测场景下的优化

技术领域

本发明属于单目视觉钣金测量系统中提升测量精度领域，具体涉及提升轮廓精度方法。

背景技术

钣金是在工业中被加工成平面薄片的一种金属，具有强度高、屏蔽性强、成本低、易于批量生产等特点，在工业、航天业、汽车业、电子通信、医疗甚至家居等领域有着广泛的应用，是空调、冰箱、手机、电视的必不可少的原料之一。钣金经常被加工成各式各样的形状以满足产品的外观和功能需求。通常，同一钣金零件的厚度是均匀的，厚度范围在1mm到5mm之间且为整数，大多数钣金零件的外轮廓呈矩形。钣金零件加工是否合格一个重要的判别标准是其加工尺寸和设计尺寸的偏差程度。

传统的检测做法是使用游标卡尺等测量工具进行测量。工业中使用的游标卡尺精度大多为0.05mm，也有部分使用的精度为0.02mm，对于小型的部件(尺寸在500mm×500mm以下)，可以使用游标卡尺较为准确的测量其外部轮廓和关键点的信息，经验丰富的生产线工人对这类零件的尺寸测量可将精度保持在0.1mm左右。然而，尺寸较大的钣金零件通常无法进行一次性测量，即使使用市面上3m及3m以上量程的游标卡尺，其测量效率也十分低下，并会很大程度的影响测量精度。

单目视觉在目前的图像处理领域应用广泛，它使用一台视觉传感器来进行拍摄，这种方法结构简单，相机标定简单，算法也相对比较简单，而且能得到较好的效果，甚至在某些领域效果更加显著。基于单目视觉的钣金零件测量系统就是用来避免传统使用游标卡尺进行测量的诸多弊端。国内外近年来出现了很多的基于该类技术的商业产品，技术成熟，功能也十分的全面。这类产品配套的硬件设备操作简单方便，测量时间较快，测量结果也较为精确。并且考虑了相机模型、镜头畸变、光照强度等因素，通过各类模型真实的还原了钣金轮廓。

机器学习作为近年来人工智能领域，乃至计算机领域相当热门的技术，在许多领域有着十分广泛的应用。目前机器学习的理论研究和相关技术都非常的成熟。它是一种多领域交叉学科，拟在研究出利用机器来模拟与人类学习行为相似的行为，使得机器有着自我学习和优化的功能，并可以获得新的知识，不断完善自身。作为人工智能的核心，机器学习会利用现有数据和先验的经验来优化自身。一般情况下，机器学习的过程就是，首先我们把学习的信息提供给系统的学习部分，接着计算机通过对训练集的学习来修改自身的知识库，增进自身的各项效能，最后，更好地执行根据知识库完成的任务，并将结果反馈给训练部分。

发明内容

本发明基于单目视觉的钣金测量系统中获取钣金零件的二维真实轮廓，针对拍摄图的单双边缘共存、钣金区域与背景区域分离、存在畸变现象、拍摄平面与钣金平面不完全平行等特点，利用边缘检测算法但又不限于以此作为钣金零件的真实边界。本发明的主要内容如下：

1)使用单目视觉钣金测量系统获取到的图像为二维图像，受拍摄角度、拍摄距离以及相机本身的影响，带有一定的畸变并且无法表示真实的尺寸信息。本发明利用相机标定所得到的的相机内参和外参等信息对畸变图像进行校正，并利用真实相机坐标系和虚拟相机坐标系之间的转换还原轮廓的真实尺寸和轮廓点的真实位置。

2)采用图像处理的方式提取高精度轮廓点。针对钣金检测中拍摄图像的背景区域与钣金区域分离的特殊性，提出了基于高斯影响的亚像素偏移算法，在已知背景区域和钣金区域的灰度值的前提下，利用像素点的灰度值和灰度梯度方向使用该算法快速高效的对像素级边缘点进行亚像素级定位。

3)采用机器学习进一步提高轮廓点提取精度。为了能够让提取到的轮廓点达到更好的精度，分析轮廓提取过程中使用到的模型和计算所带来的误差，对可能对轮廓点造成偏移的因素进行分析建模，以此作为特征空间，引入Softmax回归来对轮廓提取的结果进行优化。

附图说明

图1为空间坐标系矫正示意图。

图2为二值函数增加高斯影响的示意图。

图3为本发明的Softmax回归训练运行过程示意图。

图4为本发明的效果对比示意图。

具体实施方式

1)空间坐标系矫正

如图1所示，已知轮廓点p(u,v)，首先需要求得其在三维坐标系中的位置，若要对二维点进行三维空间的映射，需要借助平面F，相机坐标系的O点与p连线过平面F的焦点即为p的三维坐标系中的位置。令F为以相机坐标系为基准的钣金平台平面，现要求得其表达式。在此引入方格标定板作为辅助工具来检测，用于获取F平面上的物理标尺以及与成像平面的夹角信息，也即平移向量T和旋转矩阵R。在此建立世界坐标系，以标定板的左下角角点为原点，角点向右方向为x方向，角点向上方向为y方向，垂直于标定板平面向上的方向为z方向。

在此默认已经对相机的内参进行标定并求得相应的内参。点p(u,v)在成像平面上的物理坐标为：在点O与点p连接线上与其延长线OP上的任意一点M(X_C,Y_C,Z_C)都可以讲图像物理坐标映射为(x,y)，当且仅当

将OP与面F的交点作为轮廓点p在三维坐标系中的映射点。将该点利用进行平移旋转的逆操作得到其在世界坐标系中的坐标P(X_W,Y_W,Z_W)。由于M(X_C,Y_C,Z_C)是在F平面上，而F平面正好是世界坐标系中的XOY平面，因此求得的Z_w＝0，也即世界坐标系坐标为P(X_W,Y_W,1)。此时令P′为P点在XOY平面的映射点，则P′＝((X_W,Y_W)。P′即为经过空间坐标系校正后的点。

2)轮廓计算

初始化变量钣金区域灰度值L_sum和背景区域灰度值H_sum以及相应的像素个数和H_n，并引入状态变量state。state表示当前正在背景区域中1或是在钣金区域中0，初始化为1。对灰度图G_gray自左向右、自上向下进行遍历，若state＝1，则L_sum增加当前像素的灰度值，且L_n自增1，否则H_sum增加当前像素的灰度值，且H_n自增1。遍历过程中，当前后两个像素坐标在图G_canny分别为轮廓点和非轮廓点时，反转state的值。重复此过程，直到遍历完整张灰度图，得到H＝H_sum/H_n和L＝L_sum/L_n。将L和H的值分别作为二值曲线的下限和上限，分段函数表达式为将高斯的影响加入真实边缘的二值函数，如图2，则边缘处的灰度值沿梯度方向的变化函数G(n)表达式为G(d)＝L+(H-L)·其中自变量d表示梯度方向上的像素坐标和亚像素坐标的直线距离，L和H表示钣金区域和背景区域的灰度值平均值，sgn(x)为标准0-1分段函数，σ表示高斯影响因子，σ值越大，对目标像素点提取时，周围灰度值对其灰度值的影响越大。

由于图像的Gr(x)的分布值是离散的，可取有限的x的取值集合，令每一个x满足G(x-d)＝Gr(x)，求得d，最后将所有的d值取平均值d_ave。则P在灰度梯度方向α上移动的坐标为从而，求得亚像素坐标(x+diffX,y+diffY)。

3)Softmax回归优化。

由于受到轮廓提取模型本身的限制以及计算过程中带来的一些的误差，并不能完全保证提取到的轮廓与真实值完全相等。而我们除了拥有大量的标准钣金件的拍摄图作为原始数据，还拥有相应的设计图，在这里可以理解为真实值，利用机器视觉测量出图像中的钣金轮廓便有了“最终目标”。经过图形匹配后建立了钣金轮廓与相应CAD图形元素的对应关系，可以认为通过图像提取到的轮廓点有理论上的真实坐标位置。值得注意的是：在实际应用的过程中，虽然每一张钣金的拍摄图都有其对应的CAD图，但并不能主观的将每一个轮廓点贴近CAD图，这是由于受加工工艺限制，钣金的实际轮廓并不一定能和CAD图完全重合。

使用Softmax回归进行优化的目的是提高钣金轮廓与CAD图的匹配度，即令式取得最小值。轮廓提取的过程使用的策略为使用畸变模型、针孔模型以及边缘检测等方法尽可能的还原由钣金到图像的整个变换过程，让轮廓上的所有的点接近真实值。将以每一个轮廓点及其相应真实点作为训练单元，将真实点和偏差点之间的距离作为训练集中的输出空间，将影响真实点移动到偏差点的因素一个作为训练集中的特征，依次对每幅图中每组训练单元进行训练并建立模型，具体过程如图3所示。也就是说，为了使所有轮廓点与CAD图形元素的距离之和尽可能的最小，采用单点的方式让轮廓点接近CAD图，即减小n个点中每一个距离dist(m_i,minM_i(C))。

4)回归优化效果展示

图4为经过对训练集训练之后对测试集的校正效果数据。训练过程耗时55.806s，测试集的计算过程耗时0.238s。测试集的计算结果分为两组：第一组为当θ的取值范围为(-π/2,π/2)时的轮廓点集，第二组为θ取值范围为(-π/2,π/2)之外的轮廓点集。对比指标中，SDIV为测试集中轮廓点到CAD图的输出值的平均值，MAE为对测试集利用模型计算出的预测值的平均值与SDIV的差值，而MASR表示回归优化对结果优化的比率，公式为MSE为测试集利用模型计算出的预测值与轮廓点到CAD图的输出值的平局值差值的平均方差，RMSE为测试集利用模型计算出的预测值与轮廓点到CAD图的输出值的平局值差值的平均方差的平方。ACCU为对轮廓点偏移亚像素值的预测准确率，假设为随机预测，该值应为1/(2/Pr+1)＝4.76％。结果显示，使用回归优化之后，对轮廓点的精度定位有一定的提高，并且，对相机可以拍摄到钣金轮廓侧面的部分，使用Softmax回归之后效果要优于拍摄不到轮廓侧面的部分。

Claims (3)

1.单目视觉钣金测量系统是通过单目视觉方式对钣金的加工合格性进行检测，为了提高检测效果，需要提高轮廓的提取精度，其特征在于提出了亚像素级的边缘检测算法和使用机器学习方式对精度进行进一步提高。

2.根据权利1所述的亚像素级边缘检测算法，其特征在于对单目视觉钣金测量系统中的图像的特点，通过将高斯映像加入真实边缘的灰度变换函数从而还原亚像素边缘的真实产生过程。

3.根据权利2所述的使用机器学习的方式对轮廓提取精度提高，其特征在于构建Softmax回归模型，对模型中的特征向量空间进行定义并对输出空间进行计算。