CN109373894B - 一种基于分布式单目视觉的飞机部件连接交点孔系自动定位方法 - Google Patents

Abstract

一种基于分布式单目视觉的飞机部件连接交点孔系自动定位方法，其特征是采用工业相机为主要测量工具，在连接交点孔端面安装工业相机，定位过程中，采用位姿识别算法获取各交点孔对的配合状态，通过静止部件和运动部件连接交点孔的圆心匹配，计算并获取部件连接交点孔对齐所需的定位器运动量，驱动定位器对飞机部件调姿，实现自动、快速、精确的孔系定位。本发明取代眼看手摸的方式检查连接交点孔配合状态，节省人力资源，尤其对于结构不开敞的区域，方便使用，相对激光跟踪仪等大尺寸测量引导的定位装配成本大大降低，且受温度、气流、气压影响小。

Description

一种基于分布式单目视觉的飞机部件连接交点孔系自动定位 方法

技术领域

本发明涉及一种飞机装配技术，尤其是一种工业相机测量连接交点孔配合状态的装置及定位运动量计算方法，具体地说是一种基于分布式单目视觉的飞机部件连接交点孔系自动定位方法。

背景技术

测量辅助装配广泛应用于航空制造、汽车工程等领域。以往测量辅助装配主要依赖于大尺寸测量系统，如激光跟踪仪、激光雷达、iGPS等，但这些设备一方面尺寸大、费用昂贵，另一方面受温度、气流、气压影响极大。

因此，确有必要对现有技术进行改进以解决现有技术之不足。

发明内容

本发明的目的是针对现有的大型零部件连接装配存在设备成本高，精度稳定性差的问题，发明一种基于分布式单目视觉的飞机部件连接交点孔系自动定位方法，其能够有效克服现有基于大尺寸测量辅助定位装配的缺点。

本发明的技术方案是：

一种基于分布式单目视觉的飞机部件连接交点孔系自动定位方法，其特征是：首先将运动部件(2)安装在定位器上，其次，在运动部件(2)的每个连接交点孔附近安装工业相机作为测量装置，实现分布式测量；第三，使运动部件上的连接交点孔和静止部件上的连接交点孔圆弧相交，第四，利用工业相机分别获取每个连接交点孔的图像并送入后台计算机计算得到每个支撑运行部件的定位器(8)使运动部件连接交点孔与静止部件连接交点孔圆心重合的运动量，从而引导运动部件(2)向静止部件(1)进行精确定位。

具体而言，本发明的基于分布式单目视觉的飞机部件连接交点孔系自动定位方法，其包括工业相机、工业相机-连接交点孔适配器、定位器，定位器安装平台或地面，其特征在于：所述测量装置针对连接交点孔尺寸及周边结构设计对应的适配器；所述测量装置安装在连接交点孔对上，整个测量系统为分布式结构；通过以上测量系统获取的连接交点孔配合情况，分析得到定位器运动量，从而引导运动部件向静止部件进行精确定位。

本发明的具体步骤包括：

1)将适配器(即工业相机安装架)与工业相机进行连接，而后安装在运动部件连接交点孔的正前方；

2)采集运动部件连接交点孔图像，提取连接交点孔边界坐标；

3)采集配合连接交点孔图像，提取静止部件连接交点孔边界坐标；

4)计算连接交点孔位姿，通过步骤2)和步骤3)获得的运动部件、静止部件连接交点孔边界坐标，计算其在工业相机坐标系下的位姿，其中计算方法如下：

e)建立工业相机模型

如图1所示，建立工业相机坐标系O_C-X_CY_CZ_C、像平面坐标系O_I-X_IY_I。三维点在工业相机坐标系下的坐标为p_i＝(x_i,y_i,z_i)^T(p_i三维空间中任意一点)，与其成像后的图像坐标(u_i,v_i,1)^T之间的关系由针孔成像模型描述，表示为

其中f为焦距，(u₀,v₀)为主点，d_u,d_v为两个轴上像素距离。f_u＝f/d_u，f_v＝f/d_v为焦比。

f)构建工业相机坐标系下椭圆锥面方程

连接交点孔端面圆在图像平面上的投影为椭圆,该椭圆方程可由图像处理得到,

表示为

au²+bv²+cuv+du+ev+h＝0 (2)

将公式(1)中u＝f_ux_i/z_i+u₀、v＝f_vy_i/z_i+v₀代入公式(22)，得到工业相机

坐标系中椭圆锥面方程，

Ax²+By²+Cz²+Dxy+Exz+Fyz＝0 (3)

其中：

D＝cf_uf_v，E＝2af_uu₀+cf_uv₀+df_u，F＝2bf_vv₀+cf_vu₀+ef_v，写成矩阵乘积的形式

g)连接交点孔端面圆位姿求解

已知连接交点孔端面圆半径R，求解空间圆的位置和方向即相当于寻找空间一平面，该平面截取上述椭圆锥所形成半径与之相对应的圆，只有2个平面方程可以把椭圆锥面切割成一个圆。由于公式(4)表示的工业相机坐标系下椭圆锥面的方程形式较为复杂,不利于空间圆所在平面方程的求解,因此,需要把工业相机坐标系下椭圆锥面变换到一个新的坐标系x′y′z′中,使得椭圆锥面在此坐标系下表示标准形式。x′y′z′坐标系和工业相机坐标系原点相同,这样可以保证两坐标系之间的转换是纯旋转变换。用3×3矩阵M表示这种变换。

[x y z]^T＝M[x′ y′ z′]^T (5)

将公式(5)代入公式(4)，

[x′ y′ z′]M^TNM[x′ y′ z′]^T＝0 (6)

由于N为对称矩阵，因此对矩阵N进行特征值分解,M阵为N的特征向量。经变换后的椭圆锥面方程为

其中λ₁,λ₂,λ₃为与M对应的特征值。为了满足下文的计算要求,还需要把M的列向量单位正交化,并对其顺序进行调整,使得λ₁,λ₂,λ₃满足λ₁＞λ₂＞0＞λ₃。

当求出标准空间下的椭圆锥时，可求得圆心位置为

切割平面法向量为

最后还要将所求结果转换到摄像机坐标系下：

p_o＝Mp′_o (10)

n＝Mn′ (11)

h)连接交点孔位姿二义性去除

如图2所示，连接交点孔的两个平行的空间圆，其方向的四个解分别为

潜在的组合为

分别计算各组向量夹角，理论上正确组合的夹角应该为0，图中为

然而由于测量误差、孔制造误差，实际上正确的解也不会完全相同，因此取四种组合中夹角最小的组合作为孔轴线方向。

5)定位运动量计算，通过步骤4)获得的运动部件、静止部件连接交点孔在工业相机坐标系的位姿，结合定位器在平台坐标系的坐标，计算使部件连接交点孔对齐的运动量其中计算方法如下：

c)运动部件当前坐标系与底座坐标系变换关系

运动部件当前坐标系{W}设在接头组中心。从数模中读取球心在运动部件坐标系下的坐标{^WPJ_i}，由运动控制器反馈当前球心在平台坐标系{B}的坐标{^BPJ_i}，二者进行拟合得到运动部件当前坐标系与平台坐标系变换关系

d)运动量计算

设工业相机坐标系{C_i}与运动部件坐标系{W}的变换关系为

可通过理论模型得到将工业相机坐标系坐标转换到运动部件坐标系下：

由以下推导看出，上式公式中实际上

并不起作用，即只需得到旋转关系

设当前坐标系{W}在目标坐标系{W0}下的描述为(ω_x,ω_y,ω_z,t_x,t_y,t_z)，图4中坐标均在运动部件坐标系下

由接头对1、2的y向差异，可得

由接头对1、2的x向即深度值差异，可得

同时由接头对1、2中点，以及接头对3的的z向差异，可得

通常y、z测量精度较高，因此可取

ω_y＝0.1ω_y′+0.9ω_y″(16)

由接头对1、2中点，以及接头对3的y向差异，可得

平移量计算如下：

通过以下得到

由于^W0PJ_i＝^WPJ_i，即均为球心在运动部件坐标系的理论坐标，最终运动量λ_i

所述解算方法编程至图像处理与定位控制软件后，可自动计算运动量并驱动部件完成调姿对准。

本发明的有益效果是：

1)取代眼看手摸的方式检查连接交点孔配合状态，节省人力资源，尤其对于结构不开敞的区域，方便使用。

2)相对激光跟踪仪等大尺寸测量引导的定位装配成本大大降低，且受温度、气流、气压影响小。

附图说明

图1是基于分布式单目视觉的飞机部件连接交点孔系自动定位方法总体示意图。

图2是连接交点孔位姿估计原理与二义性去除示意图。

图3是定位系统坐标系示意图。

图4是定位目标位姿计算示意图。

其中：

1-静止部件；2-运动部件；3-静止部件连接交点孔；4-工业相机-连接交点孔适配器；5-工业相机；6-运动部件连接交点孔；7-计算机(图像处理与定位控制软件)；8-数字化定位器。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步的说明。

本发明的定位系统测量系统如图1所示。

一种基于分布式单目视觉的飞机部件连接交点孔系自动定位方法，其涉及的硬件包括工业相机5、工业相机-连接交点孔适配器4(即工业相机安装架，可根据相机安装位置自行设计制造，其作用是起到工业的固定作用)、定位器8，定位器8安装在平台或地面上并能带动运动部件根据调姿值的大小分别或同步运动。其中工业相机-连接交点孔适配器4针对孔尺寸及周边结构设计；静止部件1的连接交点孔与运动部件2的连接交点孔位于可吸附光源及工业相机之间，构成单孔背光测量模块；根据实际需要还可在连接交点孔对上安装单孔背光测量模块，最终构成分布式测量结构。

下面以三组连接点(即三组连接交点)为例加以说明。

参照图2、3、4所示，本发明的基于分布式单目视觉的飞机部件连接交点孔系自动定位方法具体步骤如下：

1)将适配器与工业相机进行连接，而后安装在运动部件连接交点孔的正前方；

2)采集运动部件连接交点孔图像，提取连接交点孔边界坐标；

3)采集配合连接交点孔图像，提取静止部件连接交点孔边界坐标；

4)计算连接交点孔位姿，通过步骤2)和步骤3)获得的运动部件、静止部件连接交点孔边界坐标，计算其在工业相机坐标系下的位姿，其中计算方法如下：

i)建立工业相机模型

如图1所示，建立工业相机坐标系O_C-X_CY_CZ_C、像平面坐标系O_I-X_IY_I。三维点在工业相机坐标系下的坐标为p_i＝(x_i,y_i,z_i)^T(p_i三维空间中任意一点)，与其成像后的图像坐标(u_i,v_i,1)^T之间的关系由针孔成像模型描述，表示为

其中f为焦距，(u₀,v₀)为主点，d_u,d_v为两个轴上像素距离。f_u＝f/d_u，f_v＝f/d_v为焦比。

j)构建工业相机坐标系下椭圆锥面方程

连接交点孔端面圆在图像平面上的投影为椭圆,该椭圆方程可由图像处理得到,

表示为

au²+bv²+cuv+du+ev+h＝0 (2)

将公式(1)中u＝f_ux_i/z_i+u₀、v＝f_vy_i/z_i+v₀代入公式(2)，得到工业相机坐标系中椭圆锥面方程，

Ax²+By²+Cz²+Dxy+Exz+Fyz＝0 (3)

其中：

D＝cf_uf_v，E＝2af_uu₀+cf_uv₀+df_u，F＝2bf_vv₀+cf_vu₀+ef_v，写成矩阵乘积的形式

k)连接交点孔端面圆位姿求解

已知连接交点孔端面圆半径R，求解空间圆的位置和方向即相当于寻找空间一平面，该平面截取上述椭圆锥所形成半径与之相对应的圆，只有2个平面方程可以把椭圆锥面切割成一个圆。由于公式(4)表示的工业相机坐标系下椭圆锥面的方程形式较为复杂,不利于空间圆所在平面方程的求解,因此,需要把工业相机坐标系下椭圆锥面变换到一个新的坐标系x′y′z′中,使得椭圆锥面在此坐标系下表示标准形式。x′y′z′坐标系和工业相机坐标系原点相同,这样可以保证两坐标系之间的转换是纯旋转变换。用3×3矩阵M表示这种变换。

[x y z]^T＝M[x′ y′ z′]^T (5)

将公式(45)代入公式(44)，

[x′ y′ z′]M^TNM[x′ y′ z′]^T＝0 (6)

由于N为对称矩阵，因此对矩阵N进行特征值分解,M阵为N的特征向量。经变换后的椭圆锥面方程为

其中λ₁,λ₂,λ₃为与M对应的特征值。为了满足下文的计算要求,还需要把M的列向量单位正交化,并对其顺序进行调整,使得λ₁,λ₂,λ₃满足λ₁＞λ₂＞0＞λ₃。

当求出标准空间下的椭圆锥时，可求得圆心位置为

切割平面法向量为

最后还要将所求结果转换到摄像机坐标系下：

p_o＝Mp′_o (10)

n＝Mn′ (11)

l)连接交点孔位姿二义性去除

如图2所示，连接交点孔的两个平行的空间圆，其方向的四个解分别为

潜在的组合为

分别计算各组向量夹角，理论上正确组合的夹角应该为0，图中为

然而由于测量误差、孔制造误差，实际上正确的解也不会完全相同，因此取四种组合中夹角最小的组合作为孔轴线方向。

5)定位运动量计算，通过步骤4)获得的运动部件、静止部件连接交点孔在工业相机坐标系的位姿，结合定位器在平台坐标系的坐标，计算使部件连接交点孔对齐的运动量其中计算方法如下：

e)运动部件当前坐标系与底座坐标系变换关系

运动部件当前坐标系{W}设在接头组中心。从数模中读取球心在运动部件坐标系下的坐标{^WPJ_i}，由运动控制器反馈当前球心在平台坐标系{B}的坐标{^BPJ_i}，二者进行拟合得到运动部件当前坐标系与平台坐标系变换关系

f)运动量计算

设工业相机坐标系{C_i}与运动部件坐标系{W}的变换关系为

可通过理论模型得到将工业相机坐标系坐标转换到运动部件坐标系下：

由以下推导看出，上式公式中实际上

并不起作用，即只需得到旋转关系

设当前坐标系{W}在目标坐标系{W0}下的描述为(ω_x,ω_y,ω_z,t_x,t_y,t_z)，图4中坐标均在运动部件坐标系下：

由图4中接头对1、2的y向差异，可得

由图4中接头对1、2的x向即深度值差异，可得

同时由图4中接头对1、2中点，以及接头对3的的z向差异，可得

通常接头对y、z测量精度较高，因此可取

ω_y＝0.1ω′_y+0.9ω″_y (16)

由接头对1、2中点，以及接头对3的y向差异，可得

平移量计算如下：

通过以下得到

由于^W0PJ_i＝^WPJ_i，即均为球心在运动部件坐标系的理论坐标，最终运动量λ_i

所述解算方法可通过常规编程至图像处理与定位控制软件后，自动计算运动量并驱动部件完成调姿对准。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下还可以作出若干改进，这些改进也应视为本发明的保护范围。

本发明未涉及部分如计算方法编程等均与现有技术相同或可采用现有技术加以实现。

Claims (3)

1.一种基于分布式单目视觉的飞机部件连接交点孔系自动定位方法，其特征是：首先将运动部件(2)安装在定位器上，其次，在运动部件(2)的每个连接交点孔附近安装工业相机作为测量装置，实现分布式测量；第三，使运动部件上的连接交点孔和静止部件上的连接交点孔圆弧相交，第四，利用工业相机分别获取每个连接交点孔的图像并送入后台计算机计算得到每个支撑运行部件的定位器(8)使运动部件连接交点孔与静止部件连接交点孔圆心重合的运动量，从而引导运动部件(2)向静止部件(1)进行精确定位；具体步骤如下：

1)将工业相机安装在运动部件连接交点孔的正前方；

2)采集运动部件连接交点孔图像，提取连接交点孔边界坐标；

3)采集静止部件配合连接交点孔的图像，提取静止部件连接交点孔边界坐标；

4)计算连接交点孔位姿，通过步骤2)和步骤3)获得的运动部件、静止部件连接交点孔边界坐标，计算其在工业相机坐标系下的位姿；

运动部件、静止部件连接交点孔边界在工业相机坐标系下的位姿计算方法如下：

a)建立工业相机模型；

建立工业相机坐标系O_C-X_CY_CZ_C、像平面坐标系O_I-X_IY_I；三维点在工业相机坐标系下的坐标为p_i＝(x_i,y_i,z_i)^T，p_i为三维空间中任意一点，与其成像后的图像坐标(u_i,v_i,1)^T之间的关系由针孔成像模型描述，表示为：

其中f为焦距，(u₀,v₀)为主点，d_u,d_v为两个轴上像素距离；f_u＝f/d_u，f_v＝f/d_v为焦比；

b)构建工业相机坐标系下椭圆锥面方程；

连接交点孔端面圆在图像平面上的投影为椭圆,该椭圆方程可由图像处理得到,表示为：

au²+bv²+cuv+du+ev+h＝0 (2)

将公式(1)中u＝f_ux_i/z_i+u₀、v＝f_vy_i/z_i+v₀代入公式(2)，得到工业相机坐标系中椭圆锥面方程：

Ax²+By²+Cz²+Dxy+Exz+Fyz＝0 (3)

其中：

D＝cf_uf_v，E＝2af_uu₀+cf_uv₀+df_u，F＝2bf_vv₀+cf_vu₀+ef_v，写成矩阵乘积的形式：

c)连接交点孔端面圆位姿求解:

已知连接交点孔端面圆半径R，求解空间圆的位置和方向即相当于寻找空间一平面，该平面截取上述椭圆锥所形成半径与之相对应的圆，只有2个平面方程可以把椭圆锥面切割成一个圆；由于公式(4)表示的工业相机坐标系下椭圆锥面的方程形式较为复杂,不利于空间圆所在平面方程的求解,因此,需要把工业相机坐标系下椭圆锥面变换到一个新的坐标系x′y′z′中,使得椭圆锥面在此坐标系下表示标准形式；x′y′z′坐标系和工业相机坐标系原点相同,这样可以保证两坐标系之间的转换是纯旋转变换；用3×3矩阵M表示这种变换；

[x y z]^T＝M[x′ y′ z′]^T (5)

将公式(5)代入公式(4)，

[x′ y′ z′]M^TNM[x′ y′ z′]^T＝0 (6)

由于N为对称矩阵，因此对矩阵N进行特征值分解,M阵为N的特征向量；经变换后的椭圆锥面方程为：

其中λ₁,λ₂,λ₃为与M对应的特征值；为了满足计算要求,还需要把M的列向量单位正交化,并对其顺序进行调整,使得λ₁,λ₂,λ₃满足λ₁>λ₂>0>λ₃；

当求出标准空间下的椭圆锥时，可求得圆心位置为

切割平面法向量为

最后还要将所求结果转换到摄像机坐标系下：

p_o＝Mp′_o (10)

n＝Mn′ (11)

d)连接交点孔位姿二义性去除：

连接交点孔的两个平行的空间圆，其方向的四个解分别为

潜在的组合为

分别计算各组向量夹角，理论上正确组合的夹角应该为0，即为

然而由于测量误差、孔制造误差，实际上正确的解也不会完全相同，因此取四种组合中夹角最小的组合作为孔轴线方向；

5)定位运动量计算，通过步骤4)获得的运动部件、静止部件连接交点孔在工业相机坐标系的位姿，结合定位器在平台坐标系的坐标，计算使运动部件和静止部件连接交点孔对齐的运动量，计算方法如下：

a)运动部件当前坐标系与底座坐标系变换关系：

运动部件当前坐标系{W}设在接头组中心；从数模中读取球心在运动部件坐标系下的坐标{^WPJ_i}，由运动控制器反馈当前球心在平台坐标系{B}的坐标{^BPJ_i}，二者进行拟合得到运动部件当前坐标系与平台坐标系变换关系

b)运动量计算

设工业相机坐标系{C_i}与运动部件坐标系{W}的变换关系为

可通过理论模型得到将工业相机坐标系坐标转换到运动部件坐标系下：

由以下推导看出，上式公式中实际上

并不起作用，即只需得到旋转关系

设当前坐标系{W}在目标坐标系{W0}下的描述为(ω_x,ω_y,ω_z,t_x,t_y,t_z)；

由接头对1、2的y向差异，可得

由接头对1、2的x向即深度值差异，可得

同时由接头对1、2中点，以及接头对3的的z向差异，可得

通常y、z测量精度较高，因此取：

ω_y＝0.1ω′_y+0.9ω″_y (16)

由接头对1、2中点，以及接头对3的y向差异，可得

平移量计算如下：

通过以下得到

由于^W0PJ_i＝^WPJ_i，即均为球心在运动部件坐标系的理论坐标，最终运动量λ_i：

2.根据权利要求1所述的方法，其特征是在每个连接交点孔附近安装一台工业相机(5)、工业相机通过连接交点孔适配器(4)固定在运动部件(2)的连接交点孔附近，运动部件(2)安装在定位器(8)上；通过工业相机(5)获取运动部件和静止部件上的连接交点孔配合图像并进行处理，计算得到三个或以上的定位器(8)的运动量。

3.根据权利要求1所述的方法，其特征在于：将解算方法编程至图像处理与定位控制软件后自动计算运动量并驱动部件完成调姿对准。

Images