CN114119553A - 一种以十字激光为基准的双目视觉异面圆孔检测方法 - Google Patents

Abstract

本发明涉及一种以十字激光为基准的双目视觉异面圆孔检测方法，属于测量技术领域。采集图像，提取异面孔的边缘轮廓，建立边缘轮廓点的匹配点对，得到边缘轮廓点的三维点云数据，获取的外轮廓尺寸，构建异面孔的数学模型，计算异面孔的孔位垂直精度和锪窝深度。本发明优点是能够有效地降低图像的透视投影误差，提高边缘轮廓点的匹配精度，适用于非接触式工业检测和基于视觉的圆孔精密检测。

Description

一种以十字激光为基准的双目视觉异面圆孔检测方法

技术领域

本发明属于先进测量技术领域，尤其涉及一种以十字激光为基准的双目视觉异面圆孔检测方法，适用于非接触式工业检测和基于视觉的圆孔精密检测。

背景技术

目前，异面孔的检测方式仍采用传统的接触式检测，这种检测方式虽然精度较高，但操作流程复杂，检测效率低难以满足批量化检测的需求，同时检测过程中可能会划伤工件表面降低沉头孔的疲劳寿命，研究非接触式异面孔检测法对填补该领域的技术空白具有重大战略意义。

“基于点云的锪孔成孔质量检测系统研究与实现”[安轶伦，[D].武汉理工大学,2019]，该方法通过手持式三维扫描仪获取异面孔的点云数据，但是当锪窝曲面存在加工造成的碎屑或划痕时，结构光可能会发生严重的光学干扰现象。

“基于视觉测量的沉头孔垂直度检测方法”[毕运波,徐超,樊新田,严伟苗.[J].浙江大学学报(工学版),2017,51(02):312-318.]，该方法采用单目视觉结合远心镜头的方式检测沉头孔质量，然而沉头孔的内外轮廓在深度方向上不共面，仅依靠成像平面内的二维信息会产生透视投影误差，测量结果与真实值将发生比例变化。当沉头孔的轴向与工件表面存在角度偏差，误差将进一步影响最后的检测结果。

立体匹配可以分为基于特征信息的匹配以及基于区域灰度值的匹配。然而在获取的异面孔图像中，同种材质的异面孔与背景具有相似的像数值并且光滑的圆轮廓导致无法提取角点、拐点等有效的特征信息用于匹配，倘若直接对其使用立体匹配算法，图像中背景区域作为无纹理区域会在视差图中会以块状的形式聚集产生严重的误匹配现象。因此针对上述匹配难的问题，本发明提出十字激光条纹与边缘的交点作为特征定位点并将异面孔的轮廓边缘点作为待匹配点进行立体匹配。

基于双目视觉的异面圆孔检测方法，其关键技术在于图像中圆边界的准确提取、边界点的精准匹配以及圆孔几何参数的正确拟合。“基于改进Zernike矩的亚像素钻铆圆孔检测方法”[陈璐,关立文.[J].清华大学学报(自然科学版),2019,59(0版:438-444).]通过建立亚像素正交矩的方式提高边界提取精度；“立体视觉空间圆检测及其在曲轴红套中的应用实验研究”[徐博.[D].上海交通大学,2008.]通过Levenberg—Marquardt构建非线性最优接的方式拟合点云数据提取圆孔参数。但在立体匹配阶段均仅采用极线约束和一致性原则建立边界匹配点对约束关系，在实际测量中很难获得较好的立体匹配结果。

发明内容

本发明提供一种以十字激光为基准的双目视觉异面圆孔检测方法，以解决目前存在的因透视投影误差影响检测结果准确的问题，能够有效地降低图像的透视投影误差，提高边缘轮廓点的匹配精度。

本发明采取的技术方案是，包括下列步骤：

(1)、通过视觉检测系统中的双目相机获取工件异面孔图像，

(2)、对于采集到的图像，通过图像预处理以及边缘检测提取异面孔的边缘轮廓；

(3)、完成边缘轮廓提取后,通过透视变换和深度学习优化的立体匹配算法建立边缘轮廓点的匹配点对；

(4)、根据双目视觉的三角测量法得到边缘轮廓点的三维点云数据，拟合点云所在的平面可以得到异面孔外轮廓的尺寸信息；

(5)通过已知的内孔孔径和锪窝角信息结合之前获取的外轮廓尺寸，构建异面孔的数学模型；

(6)根据模型内的几何约束关系计算异面孔的孔位垂直精度和锪窝深度。

本发明所述视觉检测系统包括工业相机，高清微距镜头，转盘，滑动块，底板，定位块，连接板和激光发射器，其中滑动块在底板的长槽中调整好位置后螺栓连接，转盘通过弧形槽与滑动块调整好角度后螺栓连接，工业相机与转盘固定连接，工业相机下方连接高清微距镜头，定位块与底板固定连接，激光发射器与定位块下方的底板固定连接，底板与后边的连接板固定连接。

本发明所述视觉检测系统中，相机的基线距可调节范围为60～240mm，双目相机倾斜角度的调节范围为0°～20°，定位块作为基线测量和角度调节的定位基准，激光发射器的十字激光条纹作为孔位定位标记，使被测孔清晰成像在图像中央。

本发明所述步骤(2)边缘检测包括：采用的3x3卷积核大小的双边滤波器在消除图像中孤立噪点的同时还能有效保留边缘信息，再通过阈值处理筛选出图像中的高亮度区域，并利用FMM算法修复图像中的高亮度区域，最后，利用直方图均衡化增强图像中沉头孔区域与其他区域的明暗对比程度，以及Canny边缘检测算法提取异面孔内外轮廓。

本发明所述步骤(3)具体方法包括：P_sample和E_sample分别为样本数据和样本标签用于训练SA-MLP网络模型，对参考平面内的边界点P_target经过透视变换后得到的投影点P_transfrom进行判断，若满足误差要求则直接用于立体匹配，反之将待修正的投影点P_referct输入训练好的SA-MLP网络模型中，得到定位误差的预测值

最后将补偿修正后的投影点坐标P_modifie用于立体匹配，其中：

a)在透视变换过程中，通过十字激光与圆孔边缘轮廓得到的特征点构建左右两幅图像的空间变换关系，可将一个平面内的特征点透视投影到另一个新平面中，其数学模型可以表示为如下矩阵方程：

式中s为比例因子,(u_p,v_p)是参考图像上特征点的坐标,(u_t,v_t)为投影图像上对应的像素坐标,h₁～h₈为单应矩阵H的8个变换系数，针对透视变换环节得到的单组特征点仅包含局部区域映射关系不能有效覆盖偏离权重的变形区域的问题，通过旋转激光条纹的角度并尽可能覆盖整个圆孔区域的方式，得到多组特征点对S_i，再根据Ransac算法对特征点对提纯并估算最佳单应矩阵H^*，特征点集合{S_i}经过透视变换得到的投影点集合为{Q_i(x_i,y_i)}，则投影点集合的中心点坐标

的表达式为：

以所有投影点到中心点q_i的几何距离均值来表示投影点的分布发散程度，计算公式为：

其中，△R数值越大，则投影点分布越发散表示变换矩阵涵盖的区域映射关系越全面，因此模型的总体评估函数△E为：

式中，(u_i,v_i)为原投影平面的特征点坐标，(x_i',y_i')为生成的投影点坐标，λ为权重因子，△S和△R分别用于衡量投影误差及投影分布，因此基于Ransac算法的最佳单应矩阵计算流程如下：

1)从特征点组集合{S_i}中随机抽取4组不共线的样本，计算出变换矩阵H；

2)利用变换矩阵H对所有集合{S_i}内的点进行透视变换得到投影点集合{Q_i}，计算当前模型的△E，若△E小于阈值，则记录该变换矩阵的内点集{N_i}；

3)判断内点集{N_i}的点数是否为最大内点集数，若达到最大内点集数，则记录最佳内点集{N_i}以及最优单应矩阵H^*，结束循环，反之，则进入步骤4)；

4)判断当前迭代次数是否达到最大迭代次数，若没有则重复步骤1)，反之则输出整个迭代过程中的最佳内点集{N_i}以及最优单应矩阵H^*，运行结束；

b)在深度学习优化环节，首先需要筛选出脱离映射关系的投影点，根据实验需求，取几何距离均值△R作为衡量标准，若投影点到中心点q_i的距离d_i不满足|d_i-△R|<τ，即为待修正的投影点T_p(x_p,y_p)，因此设定网络模型的输入、输出均为两个节点，即为补偿前的投影点T_p(x_p,y_p)和误差补偿值△E{△x,△y}，其中,i,j,k分别对应输入层、隐含层、输出层的节点个数，W_ij为输入层到隐含层的权值矩阵，W_jk为隐含层到输出层的权值矩阵，b_j,b_k为对应的偏置参数，经过前向计算后，网络输入输出间的关系为：

式中，σ(x)为sigmoid激活函数将输出值限制在(0,1)区间，能够加速网络的收敛，对于损失函数的选择，为减小损失值在局部极小的“波谷”区域震荡采用熵误差函数，其函数表达式为：

其中，N为输入样本的总个数。此时反映了期望输出值O_pm与实际输出值

之间的“距离”尺度；

在网络模型的反向传播优化权值的过程中，采用基于模拟退火的优化算法，通过添加扰动的方式使全局函数在搜索过程中生成新的状态，并以Metropolis准则作为判断依据让函数一定概率接受比当前解更差的解，从而跳出局部最优解区域，最后逐步降低温度使函数收敛至全局最优解，Metropolis准则的表达式为：

式中，P为接受概率，E(n)为更新前的状态，E(n+1)为更新后的状态，T_n+1＝εⁿT₀为当前的退火温度由初始温度T₀随着迭代轮次衰减得到,同时生成一个随机数μ～U[0,1],当P>μ时模型接受新的状态，反之保留当前状态，同时选择损失函数L(W)作为模型的评价函数、梯度下降法作为新权值的生成函数，设置网络参数α,T₀,T_min,δ,Epoch分别对应网络学习率、初始温度、终止温度、最小增量以及迭代轮次，并且在迭代轮次、退火温度、函数增量中任意一个达到阈值后输出最优解并结束循环。

本发明所述步骤(4)中包括：

1)三维重建阶段

在完成边缘轮廓点的精准匹配之后，根据双目视觉的检测算法需要将二维的像素点生成三维空间点，根据双目立体视觉成像的数学模型，为了简化计算选择左相机坐标系作为世界坐标系，f_l,f_r,为相机对应的有效焦距，C_x,C_y为图像中心点，K为相机的内参矩阵，R,T为两相机坐标系之间的旋转、平移矩阵，则通过左、右两幅图像上的对应点(u₁,v₁),(u₂,v₂)可以建立求解空间点P(x,y,z)的方程组：

则空间点P的三维坐标可以表示为：

其中,u′₁＝u₁-C_x,v′₁＝v₁-C_y,u'₂＝u₂-C_x,v'₂＝v₂-C_y相机的内参矩阵和外参矩阵可以通过双目相机标定获得；

2)点云滤波阶段：

生成的点云数据受到测量误差的干扰存在与边缘轮廓较远的离群点，需要进行点云滤波处理，为此采用抗差估计算法处理，首先将平面方程展开成如下表达式：

记为Xψ＝Y (15)

抗差估计的目的是以残差为变量，使损失函数达到最小值：

通常取空间点到平面的距离d_i作为判断离群点的依据，选取Tukey’s Biweight函数作为权函数：

式中：c为权函数的尺度因子，为了确保损失函数收敛趋向于全局最优解，在尺度因子设的足够高的情况下启动迭代算法，然后逐步减小尺度因子，使越来越多的异常点得到抑制，当减小c不能更好地逼近平面时，停止迭代算法并输出最优解，最后通过选权迭代法，利用第k步的迭代残差确定第k+1步的等价权W_k，进而求出第k+1步的迭代解：

ψ_k+1＝(X^TW_kX)^-1X^TW_kY (18)

整体算法流程如下：

(a)设置衰减因子ε，阈值τ，尺度因子c_k＝ε^kc₀，其中k为迭代次数，导入样本数据集C＝{C₁,C₂...C_m}；

(b)随机选取三个点拟合出平面模型L_k，计算所有样本点到平面L_k的距离d_i，过滤|d_i|>c_k的离群点；

(c)计算每一个点对应的等价权值W(d_i)，进而求解出当前的迭代解ψ_k；

(d)判断损失函数E(ψ_k)是否小于E(ψ_k-1)，若满足要求则最优迭代解ψ^*＝ψ_k，更新当前的样本数据集C^*，进入步骤e)，反之，则重复步骤b)；

(e)判断E(ψ_k)-E(ψ_k-1)是否小于ε或者c_k是否小于τ，满足两者任意条件结束循环并输出最优迭代解ψ^*以及最佳样本数据集C^*，反之，则重复步骤b)。

本发明所述步骤(5)构建异面孔的数学模型包括：

a)总体分析：对内外轮廓进行同样的点云滤波和平面拟合处理，确定内孔圆的半径r、圆心坐标O(x₀,y₀,z₀)、外孔椭圆的半长短轴a,b，圆心坐标O₁(x₁,y₁,z₁)以及两点云所处平面的法向量

对于异面孔的检测指标包括孔径尺寸、法向偏差角以及锪窝深度，其中，孔径尺寸可以通过空间曲线拟合获取，法向偏差角

为平面L的法向量

与平面∏的法向量

所构成的夹角，而锪窝深度的计算还需要确定所在圆锥的顶点M_e，开口角θ，以及圆锥轴线axis，为此构建异面孔模型，进行数学建模分析；

b)具体实施：首先确定圆锥的顶点M_e,并计算开口角θ，在内圆曲线上任取一点P₁,作一个法向量垂直于

和

且过线段OP₁的平面Γ，平面Γ交内圆曲线于P₁,P₂,交外椭圆曲线于N₁,N₂，连接N₁P₁,N₂P₂，由于空间直线N₁P₁,N₂P₂均为平面Γ上的共面直线，因此必然有公共交点即为圆锥的顶点M_e，最后在△OM_eP₁中求得圆锥的开口角θ，重复迭代多次上述步骤并将所有得到的结果取平均值。

本发明所述(6)计算异面孔的孔位垂直精度和锪窝深度如下：

在确定了内圆半径r、外孔半轴a、内孔圆心O到顶点M_e的距离

圆锥开口角θ以及法向偏差角

后，取异面孔模型截面图分析，得到锪窝深度的表达式，因此综合得到圆锥开口角θ以及法向偏差角

以及锪窝深度h的表达示为：

通过计算得到圆锥开口角θ、法向偏差角

以及锪窝深度h。

本发明的优点是：

1)在边缘检测阶段，针对检测到的高亮像素点利用周边像素进行代替，层层向内推进直至修复完所有的像素点，如图5a)所示，飞机蒙皮为金属材质，在实际加工过程反光现象不可避免，导致图像的纹理结构和边缘信息受到严重破坏，修复后实际效果如图5b)所示，有效克服了结构光在金属材质表面易发生反射和衍射现象。

2)在立体匹配阶段，受到相机高度和夹角的影响，得到的钻铆圆孔图像存在透视投影畸变，传统匹配算法采用的极线约束和一致性原则没有建立边界点对精确的映射关系，从而影响了后续空间圆几何参数测量。为此，本发明采用的结合透视变换和深度学习优化的立体匹配法，利用两幅待配准的图像中存在相对应的重叠区域I_l和I_r，以十字激光与圆孔边缘轮廓的交点作为透视变换的特征点对，初步建立出边界点间的映射关系。针对双目相机内外参的耦合作用以及非线性误差的影响导致的并非所有的投影点位于边界轮廓上的问题，利用多层感知器模型(MLP)具有极强的非线性泛化能力，通过构建合适的输入、输出数据间的关系式，有效地解决了相机成像产生的非线性因素问题，从而精确获取边界匹配点对的映射关系。

3)传统的网络模型优化算法建立在梯度下降法之上，普遍存在着收敛速度慢、易陷入局部最小值等缺点。本发明采用基于模拟退火法的多层感知器模型(SA-MLP)，通过添加扰动的方式使全局函数在搜索过程中生成新的状态，并以Metropolis准则作为判断依据让函数一定概率接受比当前解更差的解，从而跳出局部最优解区域，最后逐步降低温度使函数收敛至全局最优解，具有较大的应用价值。

附图说明

图1是基于双目视觉的异面孔检测方法的系统示意图；

图2是视觉检测系统的爆炸图；

图3是偏斜式双目相机布局示意图；

图4a)是双目相机公共视野的小孔成像示意图；

图4b)是双目相机公共视野的相机视场区域示意图；

图5是异面孔预处理图像，图中a)沉头孔原始灰度图像,b)抑制反光区域后的图像,c)亚像素边缘提取图像；

图6是基于透视变换和SA-MLP网络的立体匹配流程图；

图7是透视变换原理示意图；

图8是基于透视变换和深度学习优化的匹配效果图；

图9是基于透视变换和SA-MLP网络的立体匹配流程图；

图10是双目立体视觉成像模型图；

图11是点云滤波算法过滤效果对比图，图中a)原始点云数据图,b)滤波后的点云数据图；

图12是点云拟合算法效果图；

图13是异面孔模型的示意图；

图14是异面孔模型截面图。

具体实施方式

包括下列步骤：

(1)、通过连接板7与工业机器人连接，工业机器人带动双目相机移动至检测孔上方，通过视觉检测系统中的双目相机获取工件异面孔图像；

所述视觉检测系统包括工业相机1，高清微距镜头2，转盘3，滑动块4，底板5，定位块6，连接板7和激光发射器8，其中滑动块4在底板5的长槽中调整好位置后螺栓连接，转盘3通过弧形槽与滑动块4调整好角度后螺栓连接，工业相机1与转盘3固定连接，工业相机1下方连接高清微距镜头2，定位块6与底板5固定连接，激光发射器8与定位块6下方的底板5固定连接，底板5与后边的连接板7固定连接；

所述视觉检测系统中，相机的基线距可调节范围为60～240mm，双目相机1倾斜角度的调节范围为0°～20°，定位块6作为基线测量和角度调节的定位基准，激光发射器8的十字激光条纹作为孔位定位标记，使被测孔清晰成像在图像中央；

本实施例考虑相机的公共视野大小，如图3所示双目像采用偏斜式放置，为此需要确定两相机间基线距离B和相机倾斜角α；

由于选用的相机焦距f＝55mm，物距z＝276mm，景深t＝17.6mm，相机芯片尺寸为7.2×5.4mm(记为w₀×h₀)，则单个相机视场在平面上的投影尺寸为：

其中，水平视场角β和线段E₁C₁的长度l的表达式为：

在确定了l和β具体数值后，如图4a)所示，根据相机的成像原理可以得到水平公共视野D₂E₁的长度m和水平公共视野N₁N₂的长度n关于倾斜角α和基线距B的表达式：

在确立垂直公共视野的最大变化范围后，如图4b)所示可以得到偏斜式双目视场区域的最大重叠面积S：

由于本实施例中被测孔的孔径在18mm左右，并要求相机的公共视野占据原视野的70％以上，综合得到对倾斜角α和基线距B的约束方程：

代入数据后计算得到相机光轴夹角α的取值范围[71.25,82.85]，基线距B的取值范围[117.48,211.71]，结合相机的理论误差要求，最终选择相机的光心距离为130mm,相机于光轴夹角为80°，此时镜头距工作台表面的高度为275.10mm，相机的公共视野为32.2x26.5mm占相机视野的83.3％，并且相机的理论精度达到了0.013mm。

在完成相机夹具的设计安装之后，利用手眼标定和十字激光找正技术定位被测孔位并采集清晰的图像；

(2)、对于采集到的图像，通过图像预处理以及边缘检测提取异面孔的边缘轮廓；

首先采用的3x3卷积核大小的双边滤波器在消除图像中孤立噪点的同时还能有效保留边缘信息。再通过阈值处理筛选出图像中的高亮度区域，并利用FMM算法修复图像中的高亮度区域，最后，利用直方图均衡化增强图像中沉头孔区域与其他区域的明暗对比程度，以及Canny边缘检测算法提取异面孔内外轮廓，处理结果如图5c)所示；

(3)、完成边缘轮廓提取后,通过透视变换和深度学习优化的立体匹配算法建立边缘轮廓点的匹配点对；

在完成边缘检测之后，根据双目视觉的检测算法需要通过立体匹配确定两幅图像中对应的边缘轮廓点对，采用基于透视变换和深度学习优化的立体匹配法，该方法流程如图6所示，其中，P_sample和E_sample分别为样本数据和样本标签用于训练SA-MLP网络模型。对参考平面内的边界点P_target经过透视变换后得到的投影点P_transfrom进行判断，若满足误差要求则直接用于立体匹配，反之将待修正的投影点P_referct输入训练好的SA-MLP网络模型中，得到定位误差的预测值

最后将补偿修正后的投影点坐标P_modifie用于立体匹配，从以下两个方面介绍具体实施细节：

a)在透视变换过程中，通过十字激光与圆孔边缘轮廓得到的特征点构建左右两幅图像的空间变换关系。如图7为透视变换的原理示意图，可将一个平面内的特征点透视投影到另一个新平面中，其数学模型可以表示为如下矩阵方程：

式中s为比例因子,(u_p,v_p)是参考图像上特征点的坐标,(u_t,v_t)为投影图像上对应的像素坐标,h₁～h₈为单应矩阵H的8个变换系数。针对透视变换环节得到的单组特征点仅包含局部区域映射关系不能有效覆盖偏离权重的变形区域的问题，在实际操作中通过旋转激光条纹的角度并尽可能覆盖整个圆孔区域的方式，得到多组特征点对S_i。再根据Ransac算法对特征点对提纯并估算最佳单应矩阵H^*。假设特征点集合{S_i}经过透视变换得到的投影点集合为{Q_i(x_i,y_i)}，则投影点集合的中心点坐标

的表达式为：

这里以所有投影点到中心点q_i的几何距离均值来表示投影点的分布发散程度，计算公式为：

其中，△R数值越大，则投影点分布越发散表示变换矩阵涵盖的区域映射关系越全面，因此模型的总体评估函数△E为：

式中,(u_i,v_i)为原投影平面的特征点坐标，(x_i',y_i')为生成的投影点坐标，λ为权重因子，△S和△R分别用于衡量投影误差及投影分布。因此基于Ransac算法的最佳单应矩阵计算流程如下：

1)从特征点组集合{S_i}中随机抽取4组不共线的样本，计算出变换矩阵H；

2)利用变换矩阵H对所有集合{S_i}内的点进行透视变换得到投影点集合{Q_i}，计算当前模型的△E，若△E小于阈值，则记录该变换矩阵的内点集{N_i}；

3)判断内点集{N_i}的点数是否为最大内点集数，若达到最大内点集数，则记录最佳内点集{N_i}以及最优单应矩阵H^*，结束循环。反之，则进入步骤4)；

4)判断当前迭代次数是否达到最大迭代次数，若没有则重复步骤1)，反之则输出整个迭代过程中的最佳内点集{N_i}以及最优单应矩阵H^*，运行结束。最后经过透视变换以及Ransack算法处理后，边界点对间的映射效果如图8所示；

b)在深度学习优化环节，首先需要筛选出脱离映射关系的投影点。根据实验需求，取几何距离均值△R作为衡量标准，若投影点到中心点q_i的距离d_i不满足|d_i-△R|<τ，即为待修正的投影点T_p(x_p,y_p)，因此设定网络模型的输入、输出均为两个节点，即为补偿前的投影点T_p(x_p,y_p)和误差补偿值△E{△x,△y}，其中,i,j,k分别对应输入层、隐含层、输出层的节点个数，W_ij为输入层到隐含层的权值矩阵，W_jk为隐含层到输出层的权值矩阵，b_j,b_k为对应的偏置参数。经过前向计算后，网络输入输出间的关系为：

式中，σ(x)为sigmoid激活函数将输出值限制在(0,1)区间，能够加速网络的收敛。对于损失函数的选择，为减小损失值在局部极小的“波谷”区域震荡采用熵误差函数，其函数表达式为：

其中，N为输入样本的总个数。此时反映了期望输出值O_pm与实际输出值

之间的“距离”尺度。

在网络模型的反向传播优化权值的过程中，采用基于模拟退火的优化算法。通过添加扰动的方式使全局函数在搜索过程中生成新的状态，并以Metropolis准则作为判断依据让函数一定概率接受比当前解更差的解，从而跳出局部最优解区域，最后逐步降低温度使函数收敛至全局最优解。Metropolis准则的表达式为：

式中，P为接受概率，E(n)为更新前的状态，E(n+1)为更新后的状态，T_n+1＝εⁿT₀为当前的退火温度由初始温度T₀随着迭代轮次衰减得到,同时生成一个随机数μ～U[0,1]，当P>μ时模型接受新的状态，反之保留当前状态，同时选择损失函数L(W)作为模型的评价函数、梯度下降法作为新权值的生成函数，设置网络参数α,T₀,T_min,δ,Epoch分别对应网络学习率、初始温度、终止温度、最小增量以及迭代轮次，并且在迭代轮次、退火温度、函数增量中任意一个达到阈值后输出最优解并结束循环。算法的具体流程如图9所示。

(4)、根据双目视觉的三角测量法得到边缘轮廓点的三维点云数据，拟合点云所在的平面可以得到异面孔外轮廓的尺寸信息；

1)三维重建阶段：

在完成边缘轮廓点的精准匹配之后，根据双目视觉的检测算法需要将二维的像素点生成三维空间点，如图10所示为双目立体视觉的数学模型，为了简化计算选择左相机坐标系作为世界坐标系，假设f_l,f_r,为相机对应的有效焦距，C_x,C_y为图像中心点，K为相机的内参矩阵，R,T为两相机坐标系之间的旋转、平移矩阵，则通过左右两幅图像上的对应点(u₁,v₁),(u₂,v₂)可以建立求解空间点P(x,y,z)的方程组：

则空间点P的三维坐标可以表示为：

其中,u₁'＝u₁-C_x,v₁'＝v₁-C_y,u'₂＝u₂-C_x,v'₂＝v₂-C_y相机的内参矩阵和外参矩阵可以通过双目相机标定获得。

2)点云滤波阶段：

如图11a)所示为生成的点云数据，受到测量误差的干扰存在与边缘轮廓较远的离群点，需要进行点云滤波处理，为此采用抗差估计算法处理。首先将平面方程展开成如下表达式：

记为Xψ＝Y (15)

抗差估计的目的是以残差为变量，使损失函数达到最小值：

通常取空间点到平面的距离d_i作为判断离群点的依据，本方法选取Tukey’sBiweight函数作为权函数：

式中：c为权函数的尺度因子，为了确保损失函数收敛趋向于全局最优解，在尺度因子设的足够高的情况下启动迭代算法，然后逐步减小尺度因子，使越来越多的异常点得到抑制。当减小c不能更好地逼近平面时，停止迭代算法并输出最优解。最后通过选权迭代法，利用第k步的迭代残差确定第k+1步的等价权W_k，进而求出第k+1步的迭代解：

ψ_k+1＝(X^TW_kX)^-1X^TW_kY (18)

整体算法流程如下：

1)设置衰减因子ε，阈值τ，尺度因子c_k＝ε^kc₀，其中k为迭代次数，导入样本数据集C＝{C₁,C₂...C_m}；

2)随机选取三个点拟合出平面模型L_k，计算所有样本点到平面L_k的距离d_i，过滤|d_i|>c_k的离群点；

3)计算每一个点对应的等价权值W(d_i)，进而求解出当前的迭代解ψ_k

4)判断损失函数E(ψ_k)是否小于E(ψ_k-1)，若满足要求则最优迭代解ψ^*＝ψ_k，更新当前的样本数据集C^*，进入步骤5)。反之，则重复步骤2)；

5)判断E(ψ_k)-E(ψ_k-1)是否小于ε或者c_k是否小于τ，满足两者任意条件结束循环并输出最优迭代解ψ^*以及最佳样本数据集C^*，反之，则重复步骤2)。

最终经过点云滤波处理都得到的效果如图11b)所示。

(5)通过已知的内孔孔径和锪窝角信息结合之前获取的外轮廓尺寸，构建异面孔的数学模型；

1)数学建模阶段：

a)总体分析：对内外轮廓进行同样的点云滤波和平面拟合处理，得到的拟合结果如图12所示，为此，可以确定内孔圆的半径r、圆心坐标O(x₀,y₀,z₀)外孔椭圆的半长短轴a,b、圆心坐标O₁(x₁,y₁,z₁)以及两点云所处平面的法向量

对于异面孔的检测指标主要包括孔径尺寸、法向偏差角以及锪窝深度。其中，孔径尺寸可以通过空间曲线拟合获取，法向偏差角

为平面L的法向量

与平面∏的法向量

所构成的夹角，而锪窝深度的计算还需要确定所在圆锥的顶点M_e,开口角θ,以及圆锥轴线axis，为此构建如图13所示的异面孔模型，进行数学建模分析；

b)具体实施：首先确定圆锥的顶点M_e,并计算开口角θ。在内圆曲线上任取一点P₁,作一个法向量垂直于

和

且过线段OP₁的平面Γ，平面Γ交内圆曲线于P₁,P₂,交外椭圆曲线于N₁,N₂。连接N₁P₁,N₂P₂，由于空间直线N₁P₁,N₂P₂均为平面Γ上的共面直线，因此必然有公共交点即为圆锥的顶点M_e，最后在△OM_eP₁中求得圆锥的开口角θ，重复迭代多次上述步骤并将所有得到的结果取平均值。

(6)根据模型内的几何约束关系计算异面孔的孔位垂直精度和锪窝深度；

在确定了内圆半径r、外孔半轴a、内孔圆心O到顶点M_e的距离

圆锥开口角θ以及法向偏差角

后，如图14所示取异面孔模型截面图分析，可以得到锪窝深度的表达式。因此综合得到圆锥开口角θ以及法向偏差角

以及锪窝深度h的表达示为：

本实施例中人工测量异面孔的内外孔径、锪窝角、法向偏差角以及锪窝深度与本发明方法估计的数据对比如下：

表1.沉头孔参数测量结果数据对比

从上述结果中可以看出，锪窝深度作为间接测量的数据受到其他误差的累计，其均值误差更高于其他数据的误差。尽管如此，经过多次实验系统测量的锪窝深度误差最大仅为0.068mm与深度测量表的结果基本保持一致。由此说明，本发明提出的一种双目视觉与十字激光相结合的异面圆孔检测方法可以达到较高的精度，为实现异面圆孔自动化检测提供支持。

Claims (8)

1.一种以十字激光为基准的双目视觉异面圆孔检测方法，其特征在于，包括下列步骤：

(1)、通过视觉检测系统中的双目相机获取工件异面孔图像，

(2)、对于采集到的图像，通过图像预处理以及边缘检测提取异面孔的边缘轮廓；

(3)、完成边缘轮廓提取后,通过透视变换和深度学习优化的立体匹配算法建立边缘轮廓点的匹配点对；

(4)、根据双目视觉的三角测量法得到边缘轮廓点的三维点云数据，拟合点云所在的平面可以得到异面孔外轮廓的尺寸信息；

(5)通过已知的内孔孔径和锪窝角信息结合之前获取的外轮廓尺寸，构建异面孔的数学模型；

(6)根据模型内的几何约束关系计算异面孔的孔位垂直精度和锪窝深度。

2.根据权利要求1所述一种以十字激光为基准的双目视觉异面圆孔检测方法，其特征在于：步骤(1)所述视觉检测系统包括工业相机，高清微距镜头，转盘，滑动块，底板，定位块，连接板和激光发射器，其中滑动块在底板的长槽中调整好位置后螺栓连接，转盘通过弧形槽与滑动块调整好角度后螺栓连接，工业相机与转盘固定连接，工业相机下方连接高清微距镜头，定位块与底板固定连接，激光发射器与定位块下方的底板固定连接，底板与后边的连接板固定连接。

3.根据权利要求2所述一种以十字激光为基准的双目视觉异面圆孔检测方法，其特征在于：所述视觉检测系统中，相机的基线距可调节范围为60～240mm，双目相机倾斜角度的调节范围为0°～20°，定位块作为基线测量和角度调节的定位基准，激光发射器的十字激光条纹作为孔位定位标记，使被测孔清晰成像在图像中央。

4.根据权利要求1所述一种以十字激光为基准的双目视觉异面圆孔检测方法，其特征在于：所述步骤(2)边缘检测包括：采用的3x3卷积核大小的双边滤波器在消除图像中孤立噪点的同时还能有效保留边缘信息，再通过阈值处理筛选出图像中的高亮度区域，并利用FMM算法修复图像中的高亮度区域，最后，利用直方图均衡化增强图像中沉头孔区域与其他区域的明暗对比程度，以及Canny边缘检测算法提取异面孔内外轮廓。

5.根据权利要求1所述一种以十字激光为基准的双目视觉异面圆孔检测方法，其特征在于：所述步骤(3)具体方法包括：P_sample和E_sample分别为样本数据和样本标签用于训练SA-MLP网络模型，对参考平面内的边界点P_target经过透视变换后得到的投影点P_transfrom进行判断，若满足误差要求则直接用于立体匹配，反之将待修正的投影点P_referct输入训练好的SA-MLP网络模型中，得到定位误差的预测值

最后将补偿修正后的投影点坐标P_modifie用于立体匹配，其中：

a)在透视变换过程中，通过十字激光与圆孔边缘轮廓得到的特征点构建左右两幅图像的空间变换关系，可将一个平面内的特征点透视投影到另一个新平面中，其数学模型可以表示为如下矩阵方程：

式中s为比例因子,(u_p,v_p)是参考图像上特征点的坐标,(u_t,v_t)为投影图像上对应的像素坐标,h₁～h₈为单应矩阵H的8个变换系数，针对透视变换环节得到的单组特征点仅包含局部区域映射关系不能有效覆盖偏离权重的变形区域的问题，通过旋转激光条纹的角度并尽可能覆盖整个圆孔区域的方式，得到多组特征点对S_i，再根据Ransac算法对特征点对提纯并估算最佳单应矩阵H^*，特征点集合{S_i}经过透视变换得到的投影点集合为{Q_i(x_i,y_i)}，则投影点集合的中心点坐标

的表达式为：

以所有投影点到中心点q_i的几何距离均值来表示投影点的分布发散程度，计算公式为：

其中，△R数值越大，则投影点分布越发散表示变换矩阵涵盖的区域映射关系越全面，因此模型的总体评估函数△E为：

式中，(u_i,v_i)为原投影平面的特征点坐标，(x′_i，y′_i)为生成的投影点坐标，λ为权重因子，△S和△R分别用于衡量投影误差及投影分布，因此基于Ransac算法的最佳单应矩阵计算流程如下：

1)从特征点组集合{S_i}中随机抽取4组不共线的样本，计算出变换矩阵H；

2)利用变换矩阵H对所有集合{S_i}内的点进行透视变换得到投影点集合{Q_i}，计算当前模型的△E，若△E小于阈值，则记录该变换矩阵的内点集{N_i}；

3)判断内点集{N_i}的点数是否为最大内点集数，若达到最大内点集数，则记录最佳内点集{N_i}以及最优单应矩阵H^*，结束循环，反之，则进入步骤4)；

4)判断当前迭代次数是否达到最大迭代次数，若没有则重复步骤1)，反之则输出整个迭代过程中的最佳内点集{N_i}以及最优单应矩阵H^*，运行结束；

b)在深度学习优化环节，首先需要筛选出脱离映射关系的投影点，根据实验需求，取几何距离均值△R作为衡量标准，若投影点到中心点q_i的距离d_i不满足|d_i-△R|<τ，即为待修正的投影点T_p(x_p,y_p)，因此设定网络模型的输入、输出均为两个节点，即为补偿前的投影点T_p(x_p,y_p)和误差补偿值△E{△x,△y}，其中,i,j,k分别对应输入层、隐含层、输出层的节点个数，W_ij为输入层到隐含层的权值矩阵，W_jk为隐含层到输出层的权值矩阵，b_j,b_k为对应的偏置参数，经过前向计算后，网络输入输出间的关系为：

式中，σ(x)为sigmoid激活函数将输出值限制在(0,1)区间，能够加速网络的收敛，对于损失函数的选择，为减小损失值在局部极小的“波谷”区域震荡采用熵误差函数，其函数表达式为：

其中，N为输入样本的总个数，此时反映了期望输出值O_pm与实际输出值

之间的“距离”尺度；

在网络模型的反向传播优化权值的过程中，采用基于模拟退火的优化算法，通过添加扰动的方式使全局函数在搜索过程中生成新的状态，并以Metropolis准则作为判断依据让函数一定概率接受比当前解更差的解，从而跳出局部最优解区域，最后逐步降低温度使函数收敛至全局最优解，Metropolis准则的表达式为：

式中，P为接受概率，E(n)为更新前的状态，E(n+1)为更新后的状态，T_n+1＝εⁿT₀为当前的退火温度由初始温度T₀随着迭代轮次衰减得到,同时生成一个随机数μ～U[0,1],当P>μ时模型接受新的状态，反之保留当前状态，同时选择损失函数L(W)作为模型的评价函数、梯度下降法作为新权值的生成函数，设置网络参数α,T₀,T_min,δ,Epoch分别对应网络学习率、初始温度、终止温度、最小增量以及迭代轮次，并且在迭代轮次、退火温度、函数增量中任意一个达到阈值后输出最优解并结束循环。

6.根据权利要求1所述一种以十字激光为基准的双目视觉异面圆孔检测方法，其特征在于：所述步骤(4)中包括：

1)三维重建阶段

在完成边缘轮廓点的精准匹配之后，根据双目视觉的检测算法需要将二维的像素点生成三维空间点，根据双目立体视觉成像的数学模型，为了简化计算选择左相机坐标系作为世界坐标系，f_l,f_r,为相机对应的有效焦距，C_x,C_y为图像中心点，K为相机的内参矩阵，R,T为两相机坐标系之间的旋转、平移矩阵，则通过左、右两幅图像上的对应点(u₁,v₁),(u₂,v₂)可以建立求解空间点P(x,y,z)的方程组：

则空间点P的三维坐标可以表示为：

其中,u′₁＝u₁-C_x,v′₁＝v₁-C_y,u′₂＝u₂-C_x,v′₂＝v₂-C_y相机的内参矩阵和外参矩阵可以通过双目相机标定获得；

2)点云滤波阶段：

生成的点云数据受到测量误差的干扰存在与边缘轮廓较远的离群点，需要进行点云滤波处理，为此采用抗差估计算法处理，首先将平面方程展开成如下表达式：

记为Xψ＝Y (15)

抗差估计的目的是以残差为变量，使损失函数达到最小值：

通常取空间点到平面的距离d_i作为判断离群点的依据，选取Tukey’s Biweight函数作为权函数：

式中：c为权函数的尺度因子，为了确保损失函数收敛趋向于全局最优解，在尺度因子设的足够高的情况下启动迭代算法，然后逐步减小尺度因子，使越来越多的异常点得到抑制，当减小c不能更好地逼近平面时，停止迭代算法并输出最优解，最后通过选权迭代法，利用第k步的迭代残差确定第k+1步的等价权W_k，进而求出第k+1步的迭代解：

ψ_k+1＝(X^TW_kX)^-1X^TW_kY (18)

整体算法流程如下：

(a)设置衰减因子ε，阈值τ，尺度因子c_k＝ε^kc₀，其中k为迭代次数，导入样本数据集C＝{C₁,C₂...C_m}；

(b)随机选取三个点拟合出平面模型L_k，计算所有样本点到平面L_k的距离d_i，过滤|d_i|>c_k的离群点；

(c)计算每一个点对应的等价权值W(d_i)，进而求解出当前的迭代解ψ_k；

(d)判断损失函数E(ψ_k)是否小于E(ψ_k-1)，若满足要求则最优迭代解ψ^*＝ψ_k，更新当前的样本数据集C^*，进入步骤e)，反之，则重复步骤b)；

(e)判断E(ψ_k)-E(ψ_k-1)是否小于ε或者c_k是否小于τ，满足两者任意条件结束循环并输出最优迭代解ψ^*以及最佳样本数据集C^*，反之，则重复步骤b)。

7.根据权利要求1所述一种以十字激光为基准的双目视觉异面圆孔检测方法，其特征在于：所述步骤(5)构建异面孔的数学模型包括：

a)总体分析：对内外轮廓进行同样的点云滤波和平面拟合处理，确定内孔圆的半径r、圆心坐标O(x₀,y₀,z₀)、外孔椭圆的半长短轴a,b，圆心坐标O₁(x₁,y₁,z₁)以及两点云所处平面的法向量

对于异面孔的检测指标包括孔径尺寸、法向偏差角以及锪窝深度，其中，孔径尺寸可以通过空间曲线拟合获取，法向偏差角

为平面L的法向量

与平面∏的法向量

所构成的夹角，而锪窝深度的计算还需要确定所在圆锥的顶点M_e，开口角θ，以及圆锥轴线axis，为此构建异面孔模型，进行数学建模分析；

b)具体实施：首先确定圆锥的顶点M_e,并计算开口角θ，在内圆曲线上任取一点P₁,作一个法向量垂直于

和

且过线段OP₁的平面Γ，平面Γ交内圆曲线于P₁,P₂,交外椭圆曲线于N₁,N₂，连接N₁P₁,N₂P₂，由于空间直线N₁P₁,N₂P₂均为平面Γ上的共面直线，因此必然有公共交点即为圆锥的顶点M_e，最后在△OM_eP₁中求得圆锥的开口角θ，重复迭代多次上述步骤并将所有得到的结果取平均值。

8.根据权利要求1所述一种以十字激光为基准的双目视觉异面圆孔检测方法，其特征在于：所述(6)计算异面孔的孔位垂直精度和锪窝深度如下：

在确定了内圆半径r、外孔半轴a、内孔圆心O到顶点M_e的距离

圆锥开口角θ以及法向偏差角

后，取异面孔模型截面图分析，得到锪窝深度的表达式，因此综合得到圆锥开口角θ以及法向偏差角

以及锪窝深度h的表达示为：

通过计算得到圆锥开口角θ、法向偏差角

以及锪窝深度h。

Images