CN117516485B

CN117516485B - 一种飞机发动机自动引导安装的位姿视觉测量方法

Info

Publication number: CN117516485B
Application number: CN202410011595.4A
Authority: CN
Inventors: 于瑞云; 杨晓雨; 郭冰洋; 鞠博闻
Original assignee: 东北大学
Priority date: 2024-01-04
Filing date: 2024-01-04
Publication date: 2024-03-22
Anticipated expiration: 2044-01-04
Also published as: CN117516485A

Abstract

本发明设计一种飞机发动机自动引导安装的位姿视觉测量方法，属于发动机安装视觉测量技术领域；首先基于CCD摄像机建立飞机发动机视觉坐标系，并进行转换，得到飞机发动机在各个坐标系之间的转换关系；然后基于此，对发动机标靶视图进行对正变换，在经过旋转对称和径向对称后，得到标靶各点像素信息的对应矩阵；最后标定摄像机参数，得到摄像机相对于发动机世界坐标系的方位，结合坐标转换关系从而得到飞机发动机位姿；本发明通过视觉测量精确地测量发动机在安装过程中的位置和姿态，能够实时判断安装过程中飞机发动机是否偏离了安装轨迹，减少了人工测量带来的误差；实现了对飞机发动机位置和姿态的精确测量，提高了安装定位精度。

Description

一种飞机发动机自动引导安装的位姿视觉测量方法

技术领域

本发明属于发动机安装视觉测量技术领域，尤其涉及一种飞机发动机自动引导安装的位姿视觉测量方法。

背景技术

随着数控技术、计算机技术、数字化测量技术等先进的装配技术日益发展，现代飞机制造工业也在不断地发生变革。基于飞机结构设计的数字化装配成为了飞机数控加工、数字化测量技术、成形技术和装配的基础。在现代航空制造中，由于飞机零部件尺寸大、结构精密复杂、数量繁多，装配环节的自动化程度一直处于较低的水平，劳动密集且耗时耗力的装配工作已经成为提高飞机制造质量和效率、降低成本的最大障碍。

特别是在发动机位姿测量方面，人工手动安装方式使发动机位姿偏差不能量化。发动机的初始位置很难通过人眼观察对正短舱，并且由于只能通过各方向的观察人员对发动机在短舱内的位姿偏差进行观测，所以操作人员只能根据经验对发动机的偏差量进行调解，很难保证调整适度。

而现有的数字测量系统大多通过激光雷达或者激光扫描仪发射激光束，然后接收反射回来的激光束，通过时间差计算目标物体的距离和位置。这种方法的优点是测量精度高，但成本较高，且只能计算出发动机到设备的相对距离，导致装配效率偏低。

发明内容

针对现有技术存在的问题，本发明提供一种飞机发动机自动引导安装的位姿视觉测量方法。

一种飞机发动机自动引导安装的位姿视觉测量方法，具体包括以下步骤：

步骤1：基于CCD摄像机建立飞机发动机视觉坐标系，并进行转换，得到飞机发动机在各个坐标系之间的转换关系；

所述CCD摄像机获取飞机发动机图像信息后，会将各像素点的灰度值传输给计算机，这些像素信息按照规律进行排列，代表了相机镜头视野内的图像；

由于视觉测量是根据其获取的二维图像信息来推算目标在三维空间中的位置，所以分析二维图像与三维空间点的转换关系；在成像过程中，空间中存在4个坐标系，分别是世界坐标系、摄像机坐标系、成像平面坐标系和图像坐标系；

世界坐标系中存在一点P，其与光心的连线和CCD成像平面相交于p；p即为P在摄像机中所成像的点；将P转换为摄像机坐标下的坐标，二者的关系用旋转矩阵R和位移向量t进行转换：

(1)

其中，R为二者之间的旋转矩阵，是二者之间的位移向量；为P点在摄像机坐标系中的坐标；为P点在世界坐标系下的坐标。

根据光学几何原理，摄像机坐标系与成像平面坐标系的关系表示为：

(2)

其中，f为所用摄像机的焦距；为P点在成像平面坐标下的坐标。

图像坐标系中点为成像平面坐标系原点所在的坐标，CCD中每个像素的尺寸为和，则p点平面坐标与图像坐标的变换关系为： (3)

根据公式(2)和(3)得出摄像机坐标系中的点与它所对应图像坐标系中点的转换矩阵：

(4)

其中s表示非零的比例因子；为相机的内部参数矩阵。

步骤2：基于步骤1，对发动机标靶视图进行对正变换，在经过旋转对称和径向对称后，得到标靶各点像素信息的对应矩阵；

令标靶平面与世界坐标系的平面重合，标靶圆心位于世界坐标系的原点；对标靶进行两次拍摄，第一次拍摄时摄像机与标靶对正，摄像机获取的标靶具有旋转对称特性，所得图像为，此时摄像机坐标系与世界坐标系的旋转矩阵为，位移向量为，d为相对距离，并且：

=/> (5)

第二次摄像机拍摄倾斜的标靶图像为，此时摄像机坐标系与世界坐标系的旋转矩阵,位移向量表示为：

(6)

那么标靶上一点两次拍摄时，在CCD平面上的图像坐标分别为和根据式(1)~(3)分别推导出两次拍摄图像坐标点的坐标： (7)

(8)

结合上述两式7-8得到两次拍摄所成像点间的对应关系：

(9)

正对图像与倾斜图像点对应关系简写为：

(10)

其中，由第二次拍摄时摄像机内外参数构成，包括了、和；

通过上述变换，任意时刻摄像机所获的图像都复原为标靶对正时所拍摄的图像，进而再对其进行旋转对称变换，CCD摄像机获取的发动机图像信息是图像坐标系中的信息，在经过径向对称变换后，标靶各点的像素信息就对应到矩阵中；

(11)

其中，是倾斜图像的像素矩阵，为对正图像的像素矩阵，为正对图像经过径向对称变换后的矩阵。

步骤3：标定摄像机参数，得到摄像机相对于发动机世界坐标系的方位，结合步骤1坐标转换关系从而得到飞机发动机位姿；

若D为摄像机对标靶的观测矩阵，A为标靶实际的低秩矩阵，E为外界的噪声矩阵，则他们之间的关系为：

(12)

其中E是稀疏的误差矩阵；对于式11改写为：

(13)

由于是由摄像机的内外参数构成的，包括了摄像机的焦距摄像机坐标系与世界坐标系之间的旋转矩阵和位移向量，所以求取了的值就得到了两个坐标系之间的位置联系；根据式(13)的特点，若要求取转化为低秩矩阵的复原问题；将式13作为约束方程，所求问题表示为以下关系式：

(14)

其中>0，用以折中低秩矩阵与误差矩阵；此优化关系式所反映的问题是，在满足约束方程的条件下，求取使低秩矩阵的秩达到最小并且误差矩阵尽量稀疏的、E和的值；

将式14转化成具有相同解的优化问题：

(15)

其中，为核范数，/>为1-范数；

当有较小的变化时，在/>的附近对约束方程进行线性化：

(16)

经过线性化后，式16转化为以下优化问题：

(17)

对于式17这一优化问题，利用增广的拉格朗日乘子法来求取；其拉格朗日函数为：

(18)

其中，Y为拉格朗日乘子向量，为目标方程，为约束条件的方程；

其求解的迭代公式为：

(19)

其中，是单调递增的数列，>0，ρ>1；每次迭代都要通过、E和来最小化拉格朗日函数，因此对它们分别求最优解：

(20)

求得内外参数通过步骤1的坐标系转换得到发动机位姿。

本发明有益技术效果：

本发明通过视觉测量精确地测量发动机在安装过程中的位置和姿态，能够实时判断安装过程中飞机发动机是否偏离了安装轨迹，减少了人工测量带来的误差；实现了对飞机发动机位置和姿态的精确测量，提高了安装定位精度。能够实时监测发动机位置变化，提高了安装过程的可靠性。本发明适用于军机导管和其他各种类型飞机发动机的装配安装，具有较强的实用性。

附图说明

图1 本发明实施例发动机安装所在空间中摄像机成像的几何模型原理；

图2 本发明实施例图像坐标系中的点(u,v)与成像平面坐标系中的点(x,y)的位置关系；

图3 本发明实施例应用在实际安装过程中的视觉测量示意图。

具体实施方式

下面结合附图和实施例，对本发明作进一步说明；

图1为发动机数字化安装系统所在空间中摄像机成像的几何模型原理。世界坐标系中存在一点P，其与光心的连线和CCD成像平面相交于p；p即为P在摄像机中所成像的点；将P转换为摄像机坐标下的坐标，二者的关系用旋转矩阵R和位移向量t进行转换：

(1)

(2)

图像坐标系中的点与成像平面坐标系中的点的位置关系如图2所示。图像坐标系中点为成像平面坐标系原点所在的坐标，CCD中每个像素的尺寸为和，则p点平面坐标与图像坐标的变换关系为：

(3)

(4)

其中s表示非零的比例因子；为相机的内部参数矩阵。

由于发动机的形状并不规则，要通过视觉测量完整的识别出发动机的图像是比较困难的，也很难达到一定的精度；因此，将一个标靶固定在发动机前端，由于标靶与发动机的相对位置是不变的，故标靶在空间的位姿就代表发动机的位姿；由于发动机在安装的过程中位姿实时发生着变化，CCD成像平面并不与标靶面正对，所以摄像机所获得的标靶图像并不一定具有旋转对称特性；

对CCD摄像机获取的标靶的倾斜图像进行修正，得到标靶对正时的图像；

=/> (5)

(6)

(8)

结合上述两式7-8得到两次拍摄所成像点间的对应关系：

(9)

正对图像与倾斜图像点对应关系简写为：

(10)

其中，由第二次拍摄时摄像机内外参数构成，包括了、和；

(11)

确定摄像机的光学参数和摄像机相对于世界坐标系的方位。对于发动机安装系统，由于每次发动机安装之前由数控系统所确定的世界坐标系都不固定，并且受到运行条件的限制，很难通过实验而得到，需要通过数学变换进行计算而求得。

摄像机实际获取的图像并不是仅仅包含标靶的理想图像，受到照明系统和环境的影响，夹杂了很多噪声，输出的图像会发生一定的畸变。这不但要求视觉系统具有较强的图像滤波、图像特征提取和图像识别能力，还应该在获取的标靶像素矩阵中对其进行修正。

(12)

其中E是稀疏的误差矩阵；对于式11改写为：

(13)

(14)

将式14转化成具有相同解的优化问题：

(15)

其中，为核范数，/>为1-范数；

当有较小的变化时，在/>的附近对约束方程进行线性化：

(16)

经过线性化后，式16转化为以下优化问题：

(17)

(18)

其求解的迭代公式为：

(19)

(20)

求得内外参数通过步骤1的坐标系转换得到发动机位姿。

针对上述分析，总结出迭代求解、和的过程：

(1)输入倾斜的标靶图像的像素信息，设置权值λ>0，对变换矩阵τ初始化；

(2)变量初始化，令，ρ>1，，，；

(3)进行循环迭代，循环的过程为交替方向逐个求取各变量的优化值，循环结束的条件为目标函数达到收敛的条件;

(4)更新变换矩阵;

(5)输出最终解、和。

求取了也就得到了摄像机内外参数；根据式4得到任意时刻标靶中心的摄像机坐标系坐标；如果将世界坐标系的X-Y平面建立在标靶平面上，那么/>中的旋转矩阵表示了标靶平面对摄像机Z轴的偏转角度。

经过多次实验，本发明提出的方法在飞发视觉引导自动安装过程中，可以达到1mm的标定精度，装配效率提升至10分钟；应用本发明实际安装过程中的视觉测量示意图如附图3所示，多次试验结果没有太大的偏差，总体显示出一种较为稳定的状态。

Claims

1.一种飞机发动机自动引导安装的位姿视觉测量方法，其特征在于，具体包括以下步骤：

步骤1所述CCD摄像机获取飞机发动机图像信息后，会将各像素点的灰度值传输给计算机，这些像素信息按照规律进行排列，代表了相机镜头视野内的图像；

由于视觉测量是根据其获取的二维图像信息来推算目标在三维空间中的位置，所以分析二维图像与三维空间点的转换关系；在成像过程中，空间中存在4个坐标系，分别是世界坐标系、摄像机坐标系、成像平面坐标系和图像坐标系，然后对坐标系进行转换；

世界坐标系和摄像机坐标系转换关系具体为：

世界坐标系中存在一点其与光心的连线和CCD成像平面相交于p；p即为P在摄像机中所成像的点；将P转换为摄像机坐标下的坐标，二者的关系用旋转矩阵R和位移向量t进行转换：

其中，R为二者之间的旋转矩阵，t＝(t_x,t_y,t_z)是二者之间的位移向量；为P点在摄像机坐标系中的坐标；/>为P点在世界坐标系下的坐标，w和c为世界坐标系和摄像机坐标系；

摄像机坐标系和成像平面坐标系转换关系具体为：

其中，f为所用摄像机的焦距；(x，y)为P点在成像平面坐标下的坐标；

成像平面坐标系和图像坐标系、摄像机坐标系和图像坐标系的转换关系具体为：

图像坐标系中(u₀,v₀)点为成像平面坐标系原点所在的坐标，CCD中每个像素的尺寸为d_x和d_y，则p点平面坐标(x,y)与图像坐标(u,v)的变换关系为：

其中s表示非零的比例因子；为相机的内部参数矩阵；

步骤2具体为：

令标靶平面与世界坐标系的X_W-Y_W平面重合，标靶圆心位于世界坐标系的原点；对标靶进行两次拍摄，第一次拍摄时摄像机与标靶对正，摄像机获取的标靶具有旋转对称特性，所得图像为I₁，此时摄像机坐标系与世界坐标系的旋转矩阵为R₁，位移向量为t₁，d为相对距离，并且：

其中，T表示转置；

第二次摄像机拍摄倾斜的标靶图像为I₂，此时摄像机坐标系与世界坐标系的旋转矩阵R₂,位移向量t₂表示为：

那么标靶上一点(x_w,y_w,0)两次拍摄时，在CCD平面上的图像坐标分别为(u₁,v₁)和(u₂,v₂)根据式(1)～(3)分别推导出两次拍摄图像坐标点的坐标：

结合上述两式7-8得到两次拍摄所成像点间的对应关系：

正对图像与倾斜图像点对应关系简写为：

I₁＝I₂·τ (10)

其中，τ由第二次拍摄时摄像机内外参数构成，包括了f_d、R₂和t₂；

其中，I是倾斜图像的像素矩阵，I0为对正图像的像素矩阵，为正对图像I⁰经过径向对称变换后的矩阵；

步骤3具体为：

若D为摄像机对标靶的观测矩阵，A为标靶实际的低秩矩阵，E为外界的噪声矩阵，则D、A和E之间的关系为：

D＝A+E (12)

其中E是稀疏的误差矩阵；对于公式(11)改写为：

由于τ是由摄像机的内外参数构成的，包括了摄像机的焦距f_d摄像机坐标系与世界坐标系之间的旋转矩阵R₂和位移向量t₂，所以求取了τ的值就得到了两个坐标系之间的位置联系；根据公式(13)的特点，若要求取τ转化为低秩矩阵的复原问题；将公式(13)作为约束方程，所求问题表示为以下关系式：

其中λ＞0，用以折中低秩矩阵与误差矩阵；此优化关系式所反映的问题是，在满足约束方程的条件下，求取使低秩矩阵的秩达到最小并且误差矩阵尽量稀疏的/>E和τ的值；

将公式(14)转化成具有相同解的优化问题：

其中，为核范数，||E||₁为1-范数；

当τ有较小的变化时，在τ的附近对约束方程进行线性化：

经过线性化后，公式(16)转化为以下优化问题：

对于公式(17)这一优化问题，利用增广的拉格朗日乘子法来求取；其拉格朗日函数为：

其求解的迭代公式为：

其中，μ_k是单调递增的数列，μ₀>0，ρ>1；每次迭代都要通过E和Δτ来最小化拉格朗日函数，因此对它们分别求最优解：

求得内外参数通过步骤1的坐标系转换得到发动机位姿。