CN113405451B - 一种基于单目视觉的齿形结构装配测量方法 - Google Patents

Abstract

本发明公开了一种基于单目视觉的齿形结构装配测量方法，包括S1：基于自适应核与自适应阈值的SUSAN算法提取齿形结构输出轴、输入轴齿顶角点；S2：根据路径搜索法及距离约束获取输出轴缺齿、输入轴花键中点在图像中的坐标；S3：采用RANSAC思想聚类，剔除误差较大的候选点，从而便于后续对输出轴、输入轴齿顶圆、辅助圆进行椭圆拟合并获取椭圆参数；S4：通过图像坐标系下的齿顶圆投影椭圆、辅助圆投影椭圆、缺齿与花键中点信息解算其空间六自由度位姿，本发明取代传统的通过人眼观察输出轴、输入轴对合状态进行装配的模式，且对其状态评估更加准确；相对于激光跟踪仪等大尺寸测量引导的齿形结构装配方式，该方法装配成本大大降低，场地适应性显著增强，受环境如湿度、温度影响较小，便于拆装、维护。

Description

一种基于单目视觉的齿形结构装配测量方法

技术领域

本发明涉及一种测量方法，特别涉及一种基于单目视觉的齿形结构装配测量方法，属于齿形结构装配测量技术领域。

背景技术

测量辅助装配广泛应用于航空、航天等制造工程领域。以往测量辅助装配主要依赖于大尺寸测量系统，如激光跟踪仪、激光雷达、iGPS等，这些设备价格高昂，安装与拆卸耗时耗力。在齿形结构关键部件的装配过程中，因为输出轴与输入轴之间存在遮挡关系，若使用激光跟踪仪进行装配引导时较难测量位姿，而采用引出式靶球等方式在现场条件复杂的情况下属于间接测量，易产生碰撞，难以保证测量精度要求。

因此，确有必要对现有技术进行改进以解决现有技术之不足。

发明内容

本发明的目的在于提供一种基于单目视觉的齿形结构装配测量方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于单目视觉的齿形结构装配测量方法，包括以下步骤：

S1：基于自适应核与自适应阈值的SUSAN算法提取齿形结构输出轴、输入轴齿顶角点；

S2：根据路径搜索法及距离约束获取输出轴缺齿、输入轴花键中点在图像中的坐标；

S3：采用RANSAC思想聚类，剔除误差较大的候选点，从而便于后续对输出轴、输入轴齿顶圆、辅助圆进行椭圆拟合并获取椭圆参数；

S4：通过图像坐标系下的齿顶圆投影椭圆、辅助圆投影椭圆、缺齿与花键中点信息解算其空间六自由度位姿。

作为本发明的一种优选技术方案，所述步骤S1包括以下内容：

a1：基于灰度直方图，利用近似一维Means方法寻找二值化阈值，计算SUSAN模版半径：

其中R1为输出轴模板半径，R2为输入轴模板半径，n(IA1)、n(IA2)为各自环形ROI(感兴趣区域)前景所占像素数，n(IB1)、n(IB2)为各自环形ROI内背景所占像素数，K_1,2为各自环形ROI所占的像素数，Q为图像总分辨率；

a2：计算模板邻域内的各个像素与中心像素的灰度差，记初始迭代值L₁，其中R为模板半径：

将上述灰度差小于且等于L₀的灰度值归为集合A，其余归入集合B，进入下一轮迭代，记L₀，式中q为模板领域内某一像素与中心像素的灰度差值A(q)，B(q)分别为集合A，B中具有等同于q值的像素点数；

以上式类推，不断迭代计算L₃，…，Ln，直至Ln与Ln-1差值的绝对值为零时退出迭代，并将最后一次的迭代值赋值给相似比较函数中的灰度差阈值t。

作为本发明的一种优选技术方案，所述步骤S2包括以下内容：

b1：沿椭圆路径计算邻近齿顶的距离，当距离取得最大值时所对应的两点即为缺齿两角点,设pi，pj为齿顶点集C中沿椭圆路径的邻近两点，最终获得的两点坐标记p1，p2如下式：

max(p_i,p_j)＝||p_i-p_j||₂(i≠j,i,j∈C)；

b2：通过齿顶点拟合的椭圆向外作环形ROI区域包含花键部分，基于上述的SUSAN法检测其角点位置即可获得花键两端点，记为q1，q2,花键中点坐标P与缺齿中点坐标Q如下式：

作为本发明的一种优选技术方案，所述步骤S3包括以下内容：

c1：建立各自ROI区域后，通过RANSAC聚类假定Si为采集的齿顶点集或弧段点集，S为存放聚类后的点集，初始为空,对Si中的值作标记，记为pi(i＝1,2…N)，其横坐标为pix，纵坐标为piy，记aj＝(pix,piy,1)T取出前5个值，带入下式，其中[]代表行列式，λ为给定阈值；

-λ＜[a₁,a₂,a₅][a₃,a₄,a₅][a₁,a₃,a_i][a₂,a₄,a_i]-[a₁,a₃,a₅][a₂,a₄,a₅][a₁,a₂,a_i][a₃,a₄,a_i]＜λ；

c2：对满足上式的aj，其对应的pi即为取该5个值情况下的内点，通过对Si取不同的5个值重复该过程，比较内点最多的集合作为聚类后的集合S，得到输出轴齿顶点集S₁、输出轴辅助圆弧段点集S₂、输入轴齿顶点集S₃、输入轴辅助圆弧段点集S₄。

作为本发明的一种优选技术方案，所述步骤S4包括以下内容：

d1：空间圆在像平面上投影若非正圆时存在二义性问题，通过输出轴与输入轴的辅助圆作为一组同轴平行圆，计算获得输出轴或输入轴齿顶圆圆心O_A1、O_A2法向量n_A1、n_A2与辅助圆圆心O_B1、O_B2法向量n_B1、n_B2，由于圆法向量方向近似相等，分别计算n_A1·n_B1、n_A1·n_B2、n_A2·n_B1、n_A2·n_B2获取其中数值较大的两组，再通过齿顶圆、辅助圆圆心实际深度距离与对应的圆心坐标所计算的距离比较，差值较小即所求解；

d2：由于已确定齿顶圆平面，缺齿、花键中点在空间中与各自齿顶圆共面，联立圆平面法式方程与空间点透视投影方程：

式中(u,v)为缺齿或花键中点在像素坐标系下坐标；

为焦比，f^I为焦距，

为像素在其坐标系下U、V方向上的宽度；P＝(x_C,y_C,z_C)^T为对应中点相机坐标系下坐标；n＝(n₁,n₂,n₃)^T、Q＝(x₁,y₂,z₃)^T分别为齿顶圆在相机坐标系下的圆心坐标和法向量。

与现有技术相比，本发明的有益效果是：

1.取代传统的通过人眼观察输出轴、输入轴对合状态进行装配的模式，且对其状态评估更加准确。

2.相对于激光跟踪仪等大尺寸测量引导的齿形结构装配方式，该方法装配成本大大降低，场地适应性显著增强，受环境如湿度、温度影响较小，便于拆装、维护。

3.图像处理、位姿计算相关算法快速且有效，大大缩短装配耗时，提高效率。

附图说明

图1是空间圆单目视觉位姿测量流程图；

图2是空间圆单目视觉位姿测量原理示意图；

图3是邻域含56个像素的SUSAN圆形模板；

图4是输出轴、输入轴齿顶角点提取结果示意图；

图5是输出轴花键、输入轴缺齿中点示意图；

图6是输出轴、输入轴齿顶圆椭圆及辅助圆椭圆拟合示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-6，本发明提供了一种基于单目视觉的齿形结构装配测量方法的技术方案：包括以下步骤：

S1：输出轴、输入轴齿圈顶点提取；

S2：输出轴、输入轴辅助圆边缘提取；

S3：输出轴花键、输入轴缺齿中点提取；

S4：关键特征椭圆拟合；

S5：位姿解算。

实施例一：

S1输出轴、输入轴齿圈顶点提取：

设圆形模板半径为R(R∈N₊)，包含2R²+6R+1(R≥3,R∈N₊)个像素，模版大小是影响角点提取效果的关键，分别对输出轴与输出轴齿圈进行环形(近似齿根到齿顶部分)ROI划分，获取各自灰度直方图，利用近似一维Means方法寻找二值化阈值，划分前景与背景，得到R值如下式：

其中R1为输出轴模板半径,R2为输入轴模板半径，n(I_A1)，n(I_A2)为各自环形ROI前景所占像素数，n(I_B1)，n(I_B2)为各自环形ROI内背景所占像素数，K_1,2为各自环形ROI所占的像素数，Q为图像总分辨率，若R为5模版如图2所示。

为了提取角点，需要将模板邻域内的像素灰度与中心灰度作比较，其相似比较函数如下：

式中：r与r0代表模板中心与模版领域像素的坐标，I(r)，I(r₀)为对应坐标下该像素的灰度值，t为灰度差阈值，常规取20，结合理论与实践，指数取6时候误检率最低。

并统计相似程度，如下式：

然后通过下式角点响应函数，若某像素点的USAN值小于几何阈值g，则被认为是初始角点，即USAN值越小，角点响应越大。

由于输出轴与输入轴的齿顶角在像平面呈现出约120度角，则取g＝0.67n_max。

如下式计算模板邻域内的各个像素与中心像素的灰度差，记初始迭代值L1，其中R为模板半径。

将上述灰度差小于且等于L₀的灰度值归为集合A，其余归入集合B，进入下一轮迭代，记L₂，式中q为模板领域内某一像素与中心像素的灰度差值，A(q)，B(q)分别为集合A，B中具有等同于q值的像素点数。

以此类推不断迭代，直至前后迭代值插值的绝对值为零时退出迭代，并将最后一次的迭代值赋值给灰度差阈值t。

通过该阈值t计算，经过角点响应函数所获取的角点会存在齿根部角点，若要完成齿顶角点的筛选需涉及备选角点邻域灰度差集合A与B，若集合A内元素数量大于集合B，则可认为该点是齿顶角点，否则剔除，角点提取效果如图3所示。

实施例二：

S2输出轴、输入轴辅助圆边缘提取：

为获取端面圆弧段信息需要对图像进行边缘检测，传统的Canny算法中双阈值需要人为提前设定一个固定值，阈值过大导致边缘不连续，而过小会提取到伪边缘，因此采用OTSU阈值作替代。

对采集的图像作前景和背景分割，图像总像素记为N，阈值记为T，属于前景的像素点数占总像素的比例记α，平均灰度记g₁；属于背景的像素点数占总像素的比例记β，平均灰度记g₂。图像总灰度平均值记为g，类间方差记σ²。则有：

N₁+N₂＝N,α+β＝1

g＝α×g₁+β×g₂

σ²＝α×(g-g₁)²+β×(g-g₂)²

最佳的分割门限值即类间方差取最大时的灰度值。对g逐个寻优求取最大阈值T，该T即为Canny中的高阈值，低阈值则取0.5T。检测得到单像素边缘后，需要进一步获得离散的弧段作为椭圆拟合的输入集，则采用边缘骨架剪枝算法去除三联通区域与Shi-Thomas角点检测对曲率突变处进行截断。最后建立相应ROI区域划分属于输出轴、输入轴辅助圆离散弧段部分。

实施例三：

S3输出轴花键、输入轴缺齿中点提取：

对于输入轴缺齿，由于已经获取其所有齿顶点坐标，且已经过拟合椭圆，则可沿椭圆路径计算邻近齿顶的距离，当距离取得最大值时所对应的两点即为缺齿两角点。设pi，pj为齿顶点集C中沿椭圆路径的邻近两点，最终获得的两点坐标记p1，p2如下式：

max(p_i,p_j)＝||p_i-p_j||₂(i≠j,i,j∈C)

对于输出轴花键，其相对齿较为突出，则通过齿顶点拟合的椭圆向外作环形ROI区域，则该区域内包含花键特征，用上述的SUSAN法检测其角点位置即可获得花键两端点，记为q₁，q₂。花键中点坐标P与缺齿中点坐标Q如下式：

输出轴花键、输入轴缺齿提取效果如图4所示。

实施例四：

S4关键特征椭圆拟合：

获取齿顶点与边缘弧段后，将要进行椭圆拟合，分别拟合出图像坐标系下的输出轴、输入轴齿顶椭圆与各自的端面辅助圆，椭圆方程展开式及其齐次坐标转换如下式：Ax²+By²+Cxy+Dx+Ey+F＝0，用Q代表矩阵：

建立各自ROI区域后，为避免干扰提高鲁棒性通过RANSAC聚类，再采用基于几何距离的椭圆拟合方法提高拟合精度。RANSAC(Random Sample Consensus)是基于重复最小样本集合，将离群数据剔除后得到有效集合的方法。假定Si为采集的齿顶点集或弧段点集，S为存放聚类后的点集，初始为空。对Si中的值作标记，记为pi(i＝1,2…N)，其横坐标为pix，纵坐标为piy，记aj＝(pix,piy,1)T取出前5个值，带入下式，其中[]代表行列式，λ为给定阈值：

||[a₁,a₂,a₅][a₃,a₄,a₅][a₁,a₃,a_i][a₂,a₄,a_i]-[a₁,a₃,a₅][a₂,a₄,a₅][a₁,a₂,a_i][a₃,a₄,a_i]||＜λ

不等式左端为椭圆的6点表达。对满足上式的aj，其对应的pi即为取该5个值情况下的内点，通过对Si取不同的5个值重复该过程，比较内点最多的集合作为聚类后的集合S。以此算法可分别找寻为椭圆拟合做准备的输出轴齿顶点集、输出轴辅助圆弧段点集、输入轴齿顶点集、输入轴辅助圆弧段点集。

外点剔除后即可直接进行椭圆拟合，将每个点带入椭圆方程并得到其系数矩阵，经过SVD分解后可得初始拟合结果。然后基于如下式的几何距离进行拟合：

其中Q为二次型矩阵，

为Q的共轭矩阵，

建立非线性优化目标函数：

求出对应Q后通过Levenber-Marquardt算法进行优化，椭圆拟合情况如图5所示。

实施例五：

S5六自由度位姿解算：

空间圆在经过透视变换后在像平面上成像为椭圆，该椭圆可理解为像平面与空间圆和光心构成的椭圆视锥所截取而得，如图1所示，O_w-X_wY_wZ_w为世界坐标系，O_c-X_cY_cZ_c为相机坐标系，O_I-X_IY_I为像平面坐标系。通过在相机坐标系下求解空间圆位姿后，再经由相机标定得到的外参矩阵即可解算出该圆在世界坐标系的位姿。

相机坐标系下空间圆坐标P_i ^C＝(x_i ^C,y_i ^C,z_i ^C)^T与该点在图像坐标系下齐次坐标P_i ^I＝(x_i ^I,y_i ^I,1)^T以及像素坐标系下齐次坐标P_i ^I”＝(u_i ^I,v_i ^I,1)^T的转换关系为：

式中(u₀ ^I,v₀ ^I)为相机主点，单位pixel；

为焦比，f^I为焦距，

为像素在其坐标系下U、V方向上的宽度，单位均为mm。

根据成像模型可得视锥方程：

Ax²+By²+Cxy+Dxz+Eyz+Fz²＝0

将上式转换成如下矩阵形式，其中Q为二次型矩阵：

将实对称矩阵Q对角化使得：

P^-1QP＝P^TQP＝diag(λ₁,λ₂,λ₃)

已知半径的空间圆的位姿求解即求圆锥平面相交问题，需将相机坐标系下的视锥转换到标准坐标系后，再通过计算并转换回相机坐标系下即可得空间圆圆心坐标与法向量分别为：

其中P^R为视锥从相机坐标系到标准坐标系的转换矩阵。

由式可知空间圆在像平面上投影若非正圆时其圆心坐标和法向量均有两组解，即存在二义性问题。

通过计算获得输出轴齿顶圆圆心O_A1、O_A2法向量n_A1、n_A2与辅助圆圆心O_B1、O_B2法向量n_B1、n_B2。由于圆法向量方向近似相等，分别计算n_A1·n_B1、n_A1·n_B2、n_A2·n_B1、n_A2·n_B2，获取其中数值较大的两组，再通过齿顶圆、辅助圆圆心实际深度距离与对应的圆心坐标所计算的距离比较，差值较小即所求解。

目前为止可获取输出轴与输入轴除偏航角以外的所有信息，最后一个维度分别由输出轴花键和输入轴缺齿确定。在单目视觉的相机内参已知时，一个空间三维点由于缺乏深度信息，则不能仅仅通过内参矩阵反求三维空间点，但由于已经确定了齿顶圆平面，且缺齿、花键中点在空间中与各自齿顶圆共面，只需联立圆平面法式方程与空间点透视投影方程即可，如下：

式中(u,v)为缺齿或花键中点在像素坐标系下坐标；

为焦比，f^I为焦距，

为像素在其坐标系下U、V方向上的宽度；P＝(x_C,y_C,z_C)^T为对应中点相机坐标系下坐标；n＝(n₁,n₂,n₃)^T、Q＝(x₁,y₂,z₃)^T分别为齿顶圆在相机坐标系下的圆心坐标和法向量。

在本发明的描述中，需要理解的是，指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明中，除非另有明确的规定和限定，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于单目视觉的齿形结构装配测量方法，其特征在于，包括以下步骤：

S1：基于自适应核与自适应阈值的SUSAN算法提取齿形结构输出轴、输入轴齿顶角点；

S2：根据路径搜索法及距离约束获取输出轴缺齿、输入轴花键中点在图像中的坐标；

S3：采用RANSAC思想聚类，剔除误差较大的候选点，从而便于后续对输出轴齿顶圆、辅助圆，输入轴齿顶圆、辅助圆进行椭圆拟合并获取椭圆参数；

S4：通过图像坐标系下的齿顶圆投影椭圆、辅助圆投影椭圆、缺齿与花键中点信息解算齿形结构空间六自由度位姿；

所述步骤S2包括以下内容：

b1：沿椭圆路径计算邻近齿顶的距离，当距离取得最大值时所对应的两点即为缺齿两角点,设pi，pj为齿顶点集C中沿椭圆路径的邻近两点，最终获得的两点坐标记p1，p2如下式：

max(p_i,p_j)＝||p_i-p_j||₂(i≠j,i,j∈C)；

b2：通过齿顶点拟合的椭圆向外作环形ROI区域包含花键部分，基于上述的SUSAN法检测其角点位置即可获得花键两端点，记为q1，q2,输出轴缺齿中点坐标P与输入轴花键中点坐标Q如下式：

2.根据权利要求1所述的一种基于单目视觉的齿形结构装配测量方法，其特征在于：所述步骤S1包括以下内容：

a1：基于灰度直方图，利用近似一维Means方法寻找二值化阈值，计算SUSAN模板半径：

其中R₁为输出轴模板半径，R₂为输入轴模板半径，n(I_A1)，n(I_A2)为各自环形ROI(感兴趣区域)前景所占像素数，n(I_B1)，n(I_B2)为各自环形ROI内背景所占像素数，n(I_K1,K2)为各自环形ROI所占的像素数，n(I_Q)为图像总分辨率；

a2：计算模板邻域内的各个像素与中心像素的灰度差，记初始迭代值L1，其中R为模板半径：

将上述灰度差小于且等于L₁的灰度值归为集合A，其余归入集合B，进入下一轮迭代，记L₂，式中q为模板领域内某一像素与中心像素的灰度差值，A(q)，B(q)分别为集合A，B中具有等同于q值的像素点数；

以上式类推，不断迭代计算L₃，…，Ln，直至Ln与Ln-1差值的绝对值为零时退出迭代，并将最后一次的迭代值赋值给相似比较函数中的灰度差阈值t。

3.根据权利要求1所述的一种基于单目视觉的齿形结构装配测量方法，其特征在于：所述步骤S3包括以下内容：

c1：建立各自ROI区域后，通过RANSAC聚类假定Si为采集的齿顶点集或弧段点集，S为存放聚类后的点集，初始为空,对Si中的值作标记，记为pi(i＝1,2…N)，其横坐标为pix，纵坐标为piy，记aj＝(pix,piy,1)^T取出前5个值，带入下式，其中[]代表行列式，λ为给定阈值；

-λ＜[a₁,a₂,a₅][a₃,a₄,a₅][a₁,a₃,a_i][a₂,a₄,a_i]-[a₁,a₃,a₅][a₂,a₄,a₅][a₁,a₂,a_i][a₃,a₄,a_i]＜λ；

c2：对满足上式的aj，其对应的pi即为取该5个值情况下的内点，通过对Si取不同的5个值重复该过程，比较内点最多的集合作为聚类后的集合S，得到输出轴齿顶点集S₁、输出轴辅助圆弧段点集S₂、输入轴齿顶点集S₃、输入轴辅助圆弧段点集S₄。

4.根据权利要求1所述的一种基于单目视觉的齿形结构装配测量方法，其特征在于：所述步骤S4包括以下内容：

d1：空间圆在像平面上投影若非正圆时存在二义性问题，通过输出轴与输入轴的辅助圆作为一组同轴平行圆，计算获得输出轴或输入轴齿顶圆圆心O_A1、O_A2法向量n_A1、n_A2与辅助圆圆心O_B1、O_B2法向量n_B1、n_B2，由于圆法向量方向近似相等，分别计算n_A1·n_B1、n_A1·n_B2、n_A2·n_B1、n_A2·n_B2获取其中数值较大的两组，再通过齿顶圆、辅助圆圆心实际深度距离与对应的圆心坐标所计算的距离比较，差值较小即所求解；

d2：由于已确定齿顶圆平面，缺齿、花键中点在空间中与各自齿顶圆共面，联立圆平面法式方程与空间点透视投影方程：

式中(u,v)为缺齿或花键中点在像素坐标系下坐标；

为焦比，f^I为焦距，

为像素在其坐标系下U、V方向上的宽度；P＝(x_C,y_C,z_C)^T为对应中点相机坐标系下坐标；n＝(n₁,n₂,n₃)^T、Q＝(x₁,y₂,z₃)^T分别为齿顶圆在相机坐标系下的圆心坐标和法向量。

Images