CN107121061B - 一种基于椭圆锥约束的制孔点法矢量求解方法 - Google Patents

Abstract

本发明基于椭圆锥约束的制孔点法矢量求解方法属于计算机视觉测量技术领域，涉及一种基于椭圆锥约束的制孔点法矢量求解方法。该方法采用基于双目视觉结合分组布置投影点并增加椭圆锥面约束的方法进行法矢量测量。首先将多组由四投影点组成的图案依次投影在制孔区域，并基于双目立体视觉求解各组投影标志点的三维坐标，进而针对每组测点的坐标集，采用平面主元分析法快速求解得到各组的局部法矢量，对各局部法矢量归一化，拟合椭圆锥，最后近似求解椭圆锥的轴线，作为制孔点位置的精确法矢量。该方法采用分组布置投影标志点的方式，结合椭圆锥约束求解法矢量的方法，增加了可测量的空间点数量，该方法稳定性好，可靠性高，损耗极小。

Description

一种基于椭圆锥约束的制孔点法矢量求解方法

技术领域

本发明属于计算机视觉测量技术领域，涉及一种基于椭圆锥约束的制孔点法矢量求解方法。

背景技术

在飞机装配领域，为了确保铆接及螺栓连接孔的法向精度，在自动钻铆工序中，需要实时测量零件曲面上制孔点处的法矢量。其中法矢量的测量精度决定了制孔精度和装配质量，而法矢量求解方法是快速获得高精度法矢量的主要途径。

现有的法矢量求解方法主要有接触式位移传感器,如三坐标测量仪测四点求法矢量、使用电涡流传感器或激光测距传感器测多点拟合二次曲面求法矢量、单目视觉测交叉光条求法矢量等方法，此外还有利用三角面片、空间点云、球面逼近等工具的算法。基于接触式位移传感器的测量方法是通过接触曲面制孔点周围的表面提取空间信息，测量效率低，设备寿命短，可靠性差；基于电涡流传感器或激光测距传感器的测量方法实现了非接触快速测量曲面离散点坐标，但是由于一个传感器一次只能测量一个点，受传感器结构数量限制，可测的空间点数量少、分布间距大，无法精确反映制孔点处的型面信息；单目视觉测交叉光条的方法是测量经过制孔点的两个直线方向的离散点信息，拟合曲面上两条经过制孔点的曲线方程，进而求解法矢量的过程，其测量速度较快，精度较高，获取点的数量很多，但是这些点无法反映制孔点周围各方向的信息，导致测量不同曲面的制孔点法矢量的精度保持性差。谢友金等人发表《球面逼近求解变形曲面法向矢量算法研究》[J].制造技术,2010,07:051-108，提出了一种用球面拟合制孔点周围的局部曲面并由球面球心与制孔点的坐标求解法矢量的方法，该方法首先需要测量制孔点周围多个点的三维坐标，再取三个不共线的点与制孔点构成初始球面，然后定义目标函数为所有离散点到拟合球面距离的平均值，使用“模式搜索法”进行迭代，求解目标函数中的各待定系数。这种算法需要测量大量的离散点，求解法矢量的精度较高,可靠性较好；姚振强等人发明的专利号为CN201110099364.6的“用于大曲率半径曲面法向矢量快速检测方法”专利，采用两个相互垂直平面与工件曲面相交，得到曲面点的两条坐标曲线，然后分别检测两条坐标曲线上以曲面点为中心的微小曲线切向矢量，从而得到曲面数据点的法向矢量，该方法将传统的曲面法向检测三维问题转化为两次二维曲线检测，便于实现，可以达到曲面加工实时检测的需求，提高了曲面加工的质量和效率。

发明内容

本发明要解决的技术难题是针对航空零件表面制孔点法矢量算法精度不高、效率较低的问题，发明了一种基于椭圆锥约束的制孔点法矢量求解方法。该方法针对航空零部件表面的制孔点，在该点周围区域，需要在每个采集周期布置一组由四个投影标志点构成的图案，并对每个采集周期内采集到的四个投影点图像进行提取、三维重建和局部法矢量求解，从而获得制孔点周围各组测量标志点的局部法矢量，最终通过拟合椭圆锥面的方式逼近精确的制孔点法矢量。该方法通过分组布置投影标志点的方式获得大量反映制孔点附近区域的信息，并且采用椭圆锥形状约束法矢量的取值范围，从而大大提高法矢量求解的精度。

本发明采用的技术方案是一种基于椭圆锥约束的制孔点法矢量求解方法，其特征是，该方法采用基于双目视觉结合分组布置投影点并增加椭圆锥面约束的方法进行法矢量测量；首先将多组由四投影点组成的图案依次投影在制孔区域，并基于双目立体视觉求解各组投影标志点的三维坐标；进而针对每组测点的坐标集，采用平面主元分析法快速求解得到各组的局部法矢量；然后对各局部法矢量归一化，拟合椭圆锥；最后近似求解椭圆锥的轴线，作为制孔点位置的精确法矢量。方法具体步骤如下：

第一步搭建基于双目立体视觉的法矢量测量系统

该系统由安装在支架上且标定过的左右摄像机、动态点投影仪、被测物和工作台组成；将被测物放在工作台上，被测物上的待测区域置于两台摄像机的公共视场中，待测点的图像尽可能处于或接近两摄像机的中心；

第二步基于多组四投影点的动态分布方法

针对曲面制孔点的连续平滑特性，以四个投影点为一组点，提出基于多组四投影点的动态分布方法；对于曲面上任一待加工的孔，定义钻孔时刀具回转轴与曲面的接触点为曲面制孔点O_P，已知在基准坐标系(左摄像机坐标系)中的三维坐标O_P(X_P,Y_P,Z_P)；在以O_P为圆心、R为半径的圆C上，采用动态投影的方式布置一系列圆点，圆点的直径为d；

首先对圆C进行4n等分，n为正整数，获得4n个节点，任取其中某一节点作为投影始点A₁，按顺时针方向分别定义各节点为A₂、A₃、...、A_4n；初始时刻t₀，以四个节点A₁、A_n+1、A_2n+1、A_3n+1为圆心投影圆点，作为第一组投影点；然后，在时刻t₀+(j-1)Δt，取消前一组点的投影，并投影第j组的四个投影点A_i(i＝j,j+n,j+2n,j+3n)，其中，Δt是相邻两组投影点的投影时间间隔，j＝2,3,...,n；

第三步基于双目立体视觉求解制孔区域中各组测点的三维坐标

采用双目摄像机拍摄投影在制孔点周围的每一组点，左右两个摄像机各获得n张图像，记左摄像机拍摄的第k张图像中的四个投影点为A_lk、A_l(k+n)、A_l(k+2n)和A_l(k+3n)，右摄像机拍摄的第i张图像中的四个投影点为A_rk、A_r(k+n)、A_r(k+2n)和A_r(k+3n)，其中k＝1,2,...,n；

对图像进行处理，采用canny算子检测边缘，检索投影点轮廓包含的单连通区域，并使用灰度重心法提取每个投影点的中心图像坐标；记左摄像机拍摄图像中提取得到的投影点中心坐标为A_li(x_li,y_li)，右摄像机拍摄图像中提取得到的投影点中心坐标A_ri(x_ri,y_ri)，其中i＝1,2,...,4n；

根据提取到的左右对应投影点中心坐标A_li(x_li,y_li)和A_ri(x_ri,y_ri)进行三维重建；那么第i个投影点的三维坐标A_i(X_i,Y_i,Z_i)求解公式：

其中，f_l和f_r分别是左右摄像机的焦距,R＝[r₁ r₂ r₃；r₄ r₅ r₆；r₇ r₈ r₉]是左摄像机坐标系到右摄像机坐标系的旋转矩阵，T＝[t_x t_y t_z]^T是左摄像机坐标系到右摄像机坐标系的平移矩阵；

第四步平面主元分析法快速求解每组测点的法矢量

根据前面得到的投影点三维坐标A_i(X_i,Y_i,Z_i)和制孔点的三维坐标O_P(X_P,Y_P,Z_P)，第j组投影点与制孔点O_P的构成的扩展矩阵记为

其中j＝1,2,...,n；由公式(3)计算第j组四个投影点的主元

根据公式(4)计算第j组四个投影点的法矢量

求解得到

第五步基于归一化法矢量的椭圆锥面拟合

本方法采用非线性拟合的方法拟合一般椭圆锥面，拟合的对象是归一化的法矢量；按公式(5)对法矢量归一化；

拟合的基本原理是最小二乘法，目标函数为：

z²+ax²+by²+cxy+dxz+eyz＝0 (6)

求解方程组

根据双目立体视觉系统的测量性质，可以附加约束条件：

且a和b的数值较大；根据式(7)和式(8)得到各参数值a、b、c、d、e，其中c＝0；

第六步基于椭圆锥面轴线求解精确法矢量

前面通过拟合的方法，确定制孔点的实际法矢量在椭圆锥面f(x,y,z)＝z²+ax²+by²+dxz+eyz＝0的约束范围内；这里根据椭圆锥面在双目视觉坐标系中的性质，采用近似逼近椭圆锥轴法平面的方法求解；

使用平面P₁(x₁,y₁,z₁):z₁＝-1截取椭圆锥，得到截断面椭圆方程S₁＝f(x,y,z₁)＝0：

分别令和求解该椭圆的四个顶点，分别记为相对于原点的向量形式：

由公式(10)计算平面调整角θ_x和θ_y；

让平面P₁(x₁,y₁,z₁)分别绕x和y轴旋转获得平面P₂(x₂,y₂,z₂)，公式如下：

P₂的方程为:

-cosθ_xsinθ_yx-sinθ_xy+cosθ_xcosθ_yz＝1 (13)

得到制孔点O_P(X_P,Y_P,Z_P)的精确法矢量为：

(-cosθ_xsinθ_y -sinθ_x cosθ_xcosθ_y) (14)

经过上述步骤完成制孔点法矢量的快速精确求解。

本发明的有益效果是采用分组布置投影标志点的方式，减小了单组数据处理量且提高整体运算速度，很大程度地增加了可测量的空间点数量，从而保证了制孔点法矢量测量的可靠性；采用椭圆锥约束各组点局部法矢量的方法，可以自动剔除误差数据点、保证算法鲁棒性，提高法矢量的求解精度；采用双目立体视觉的测量方法，确保了高精度实时测量的要求，设备鲁邦性好，可靠性高，无损耗；可以满足曲面制孔点法矢量的快速高精度求解的要求。

附图说明

图1为投影标志点空间分布示意图。图中，O_P为制孔点。左图为第1组投影标志点，四个点的直径均为d，分别记为A₁、A_n+1、A_2n+1和A_3n+1，V₁表示投影点分布在以O_P为圆心、R为半径的圆上；右图为第j组投影标志点A_j、A_j+n、A_j+2n和A_j+3n，通过第1组投影点绕O_P顺时针旋转得到，其中n为投影标志点的组数。

图2是法矢量求解示意图。S₁-以制孔点O_P为中心的区域，-局部单位法矢量，j＝1,2,...,n；S₂-椭圆锥面，-制孔点O_P的精确法矢量。

图3为基于椭圆锥面约束的制孔点法矢量求解方法的流程图。

具体实施方式

以下结合技术方案和附图详细叙述本发明的具体实施方式。

本实施例中，被测物体表面为3.4m×0.6m的t800复合材料板，安装双目立体视觉系统和多点投影仪，将各组投影标志点按时间顺序垂直地投影到复材板上，如附图1所示。

本发明采用分别配置广角镜头的左右两个摄像机拍摄多幅投影点图像。摄像机型号为view works VC-12MC-M/C 65摄像机，分辨率：4096×3072，图像传感器：CMOS，帧率：全画幅，最高64.3fps，重量：420g。广角镜头型号为EF 16-35mm f/2.8L II USM，参数如下所示，镜头焦距：f＝16-35mm，APS焦距：25.5-52.5，光圈：F2.8，镜头尺寸：82×106。拍摄条件如下：图片像素为4096×3072，镜头焦距为25mm，物距为750mm，视场约为850mm×450mm。

附图3为基于椭圆锥面约束的制孔点法矢量求解方法的流程图。根据该操作流程，整个法矢量求解分为搭建基于双目立体视觉的法矢量测量系统、动态分布多组四投影标志点、获取制孔区域中多组测点的三维坐标、平面主元分析法快速求解每组测点的法矢量、基于归一化法矢量的椭圆锥面拟合、基于椭圆锥面轴线求解精确法矢量等六个步骤。

第一步搭建基于双目立体视觉的法矢量测量系统

搭建双目立体视觉系统并进行标定。将被测物放在工作台上，被测物上的待测区域置于两台摄像机的公共视场中，待测点的图像尽可能处于或接近两摄像机的中心。

第二步时序分布多组四投影标志点

将点投影仪对准待制孔区域，投影一组四投影点并使之均匀分布在制孔点周围，调整点投影仪的焦距使每个投影点清晰且不失真，其中投影点的直径d＝2mm，每个投影点到制孔点的距离R＝10mm。在制孔点处投影点，可以计算得到制孔点在基准坐标系里的三维坐标O_P(X_P,Y_P,Z_P)。

为了能够尽可能准确地反映待测制孔点区域的型面信息，需要测量尽可能多的采样点，本步骤的目的是在被测表面上按一定规则布置一定数量的投影点，并且能够确保最终法矢量的求解精度、效率和稳定性。以大型飞机典型复合材料构件表面为例，根据附图1按时间顺序布置30组四投影标志点,即n＝30。投影第一组标志点的时刻t₀定为启动双目立体视觉系统之后的5-10秒,接下来每隔Δt＝5秒取消前一组点的投影，并投影下一组点。按空间分布顺序标记每组点，第k组记为A_k、A_k+30、A_k+60和A_k+90，其中k＝1,2,...,30。

第三步获取制孔区域中多组测点的三维坐标

对第二步拍摄的图像，采用canny算子进行边缘检测，然后进行两次腐蚀和两次膨胀的形态学处理滤除图像噪点，检索图像所有闭合轮廓并计算每个轮廓的灰度重心，获得左、右摄像机拍摄图像中对应提取得到第i个投影点中心坐标为A_li(x_li,y_li)和A_ri(x_ri,y_ri)，其中i＝1,2,…,120。根据式(1)求解得到第i个投影点的三维坐标A_i(X_i,Y_i,Z_i)。

第四步平面主元分析法快速求解每组测点的法矢量

根据前面得到的各组投影标记点的三维坐标，分别按平面主元分析法求解该组点的法矢量。

由第k组四投影标记点的三维坐标A_k、A_k+30、A_k+60和A_k+90，按式(3)求解主元进而根据式(4)求解该组数据对应的局部法矢量

第五步基于归一化法矢量的椭圆锥面拟合

首先，将第四步求解得到的局部法矢量按公式(5)进行归一化，得到单位局部法矢量

然后，对所有单位局部法矢量采用最小二乘法拟合椭圆锥面，基本公式为式(7)。根据双目立体视觉系统的测量性质，受摄像机视角的约束，制孔点法矢量与视觉坐标系的z轴的夹角较小，即椭圆锥轴线与z轴的夹角较小，且椭圆锥在z轴的负半轴；另外，由于各的夹角较小，可以推测椭圆锥形状狭长，由此追加约束条件式(8)。根据式(7)和(8)求解椭圆锥面方程中的待定系数a、b、c、d、e，其中,c＝0。

第六步基于椭圆锥面轴线求解精确法矢量

图2是法矢量求解示意图,在以制孔点O_P为中心的区域S₁内，由各组投影标志点分别求解得到局部单位法矢量并且拟合所有局部单位法矢量得到椭圆锥面S₂，求解该椭圆锥面的轴线即为制孔点O_P的精确法矢量

前面通过拟合的方法，确定制孔点的实际法矢量在椭圆锥面f(x,y,z)＝z²+ax²+by²+dxz+eyz＝0的收束范围内。由于椭圆锥面方程系数a和b的数值较大，椭圆锥呈狭长放射形状，可以认为实际法矢量与椭圆锥面的轴线的夹角很小，近似重合，接下来求解椭圆锥面的轴线。然而由于椭圆锥面的轴线方程涉及非线性方程组的求解，难以获得精确结果，这里根据椭圆锥面在双目视觉坐标系中的性质，采用近似逼近椭圆锥轴线的法平面的方法求解。

使用平面P₁(x₁,y₁,z₁):z₁＝-1截取椭圆锥面，得到空间椭圆方程(9)。根据式(10)求解该空间椭圆的四个顶点相对于原点的向量形式和再由式(11)求解由P₁旋转变换到椭圆锥轴线的法平面P₂的两次变换角度θ_x和θ_y。

确定法矢量的方向，由P₂的方程(13)得到制孔点O_P(X_P,Y_P,Z_P)的精确法矢量(-cosθ_xsinθ_y,-sinθ_x,cosθ_xcosθ_y)。

本发明针对曲面制孔点法矢量的高精度、高效率测量的需求，采用分组投影标志点的投影方式和平面主元分析法，可以快速求解局部法矢量，解决了静态投影测量中测点数量不足、分布不集中的问题，进而保证了数据处理的效率和方法可靠性。采用椭圆锥面约束各组点局部法矢量的方法，可以有效提高测量精度和算法鲁棒性。基于双目立体视觉的测量方法，确保了高精度和实时性好的测量要求。该方法稳定性好，可靠性高，损耗极小等特点。

Claims (1)

1.一种基于椭圆锥约束的制孔点法矢量求解方法，其特征是，该方法采用基于双目视觉结合分组布置投影点,并增加椭圆锥面约束的方法进行法矢量测量；首先将多组由四投影点组成的图案依次投影在制孔区域，并基于双目立体视觉求解各组投影标志点的三维坐标；针对每组测点的坐标集，采用平面主元分析法快速求解得到各组的局部法矢量；然后对各局部法矢量归一化，拟合椭圆锥；最后近似求解椭圆锥的轴线，作为制孔点位置的精确法矢量；方法具体步骤如下：

第一步 搭建基于双目立体视觉的法矢量测量系统

该系统由安装在支架上且标定过的左右摄像机、动态点投影仪、被测物和工作台组成；将被测物放在工作台上，被测物上的待测区域置于两台摄像机的公共视场中，待测点的图像处于两摄像机的中心；

第二步 基于多组四投影点的动态分布方法

针对曲面制孔点的连续平滑特性，以四个投影点为一组点，对于曲面上任一待加工的孔，定义钻孔时刀具回转轴与曲面的接触点为曲面制孔点O_P，已知在基准坐标系，左摄像机坐标系中的三维坐标O_P(X_P,Y_P,Z_P)；在以O_P为圆心、R为半径的圆C上，采用动态投影的方式布置一系列圆点，圆点的直径为d；

首先对圆C进行4n等分，n为正整数，获得4n个节点，任取其中某一节点作为投影始点A₁，按顺时针方向分别定义各节点为A₂、A₃、...、A_4n；初始时刻t₀，以四个节点A₁、A_n+1、A_2n+1、A_3n+1为圆心投影圆点，作为第一组投影点；然后，在时刻t₀+(j-1)Δt，取消前一组点的投影，并投影第j组的四个投影点A_i(i＝j,j+n,j+2n,j+3n)，其中，Δt是相邻两组投影点的投影时间间隔，j＝2,3,...,n；

第三步 基于双目立体视觉求解制孔区域中各组测点的三维坐标

采用双目摄像机拍摄投影在制孔点周围的每一组点，左右两个摄像机各获得n张图像，记左摄像机拍摄的第k张图像中的四个投影点为A_lk、A_l(k+n)、A_l(k+2n)和A_l(k+3n)，右摄像机拍摄的第i张图像中的四个投影点为A_rk、A_r(k+n)、A_r(k+2n)和A_r(k+3n)，其中k＝1,2,...,n；

对图像进行处理，采用canny算子检测边缘，检索投影点轮廓包含的单连通区域，并使用灰度重心法提取每个投影点的中心图像坐标；记左摄像机拍摄图像中提取得到的投影点中心坐标为A_li(x_li,y_li)，右摄像机拍摄图像中提取得到的投影点中心坐标A_ri(x_ri,y_ri)，其中i＝1,2,...,4n；

根据提取到的左右对应投影点中心坐标A_li(x_li,y_li)和A_ri(x_ri,y_ri)进行三维重建；那么第i个投影点的三维坐标A_i(X_i,Y_i,Z_i)求解公式：

其中，f_l和f_r分别是左、右摄像机的焦距,

R＝[r₁ r₂ r₃；r₄ r₅ r₆；r₇ r₈ r₉]是左摄像机坐标系到右摄像机坐标系的旋转矩阵，T＝[t_x t_y t_z]^T是左摄像机坐标系到右摄像机坐标系的平移矩阵；

第四步 平面主元分析法快速求解每组测点的法矢量

根据前面得到的投影点三维坐标A_i(X_i,Y_i,Z_i)和制孔点的三维坐标O_P(X_P,Y_P,Z_P)，第j组投影点与制孔点O_P的构成的扩展矩阵记为

其中j＝1,2,...,n；由公式(3)计算第j组四个投影点的主元

根据公式(4)计算第j组四个投影点的法矢量

求解得到

第五步 基于归一化法矢量的椭圆锥面拟合

采用非线性拟合的方法拟合二次椭圆锥面，拟合的对象是归一化的法矢量；按公式(5)对法矢量归一化；

拟合的基本原理是最小二乘法，目标函数为：

z²+ax²+by²+cxy+dxz+eyz＝0 (6)

求解方程组

根据双目立体视觉系统的测量性质，附加约束条件：

且a和b的数值较大；根据式(7)和式(8)得到各参数值a、b、c、d、e，其中c＝0；

第六步 基于椭圆锥面轴线求解精确法矢量

前面通过拟合的方法，确定制孔点的实际法矢量在椭圆锥面f(x,y,z)＝z²+ax²+by²+dxz+eyz＝0的约束范围内；这里根据椭圆锥面在双目视觉坐标系中的性质，采用近似逼近椭圆锥轴法平面的方法求解；使用平面P₁(x₁,y₁,z₁):z₁＝-1截取椭圆锥，得到截断面椭圆方程S₁＝f(x,y,z₁)＝0：

分别令和求解该椭圆的四个顶点，分别记为相对于原点的向量形式：

由公式(10)计算平面调整角θ_x和θ_y；

让平面P₁(x₁,y₁,z₁)分别绕x和y轴旋转获得平面P₂(x₂,y₂,z₂)，公式如下：

P₂的方程为:

-cosθ_xsinθ_yx-sinθ_xy+cosθ_xcosθ_yz＝1 (13)

得到制孔点O_P(X_P,Y_P,Z_P)的精确法矢量为：

(-cosθ_xsinθ_y -sinθ_x cosθ_xcosθ_y) (14)

经过上述步骤完成制孔点法矢量的快速精确求解。