CN109596059A

CN109596059A - 一种基于平行线结构光的飞机蒙皮间隙与阶差测量方法

Info

Publication number: CN109596059A
Application number: CN201910044440.XA
Authority: CN
Inventors: 黄翔; 李泷杲; 李�根
Original assignee: Nanjing University of Aeronautics and Astronautics
Current assignee: Nanjing University of Aeronautics and Astronautics
Priority date: 2019-01-07
Filing date: 2019-01-17
Publication date: 2019-04-09
Anticipated expiration: 2039-01-17
Also published as: CN109596059B

Abstract

一种基于平行线结构光的飞机蒙皮间隙与阶差测量方法，其特征是它包括以下步骤：1）标定相机内参数与结构光平面参数；2）相机采集结构光图像，提取结构光条纹图像中飞机蒙皮的间隙阶差特征点，并记录特征点8邻域灰度信息；3）利用相机标定和结构光平面标定结果将特征点二维坐标转换成三维坐标；4）最后根据间隙阶差特征点8邻域灰度信息使用不同方法计算间隙与阶差值。本发明的优点在于：1）采用新的标定板以实现相机与结构光平面同步标定，提高结构光测量系统标定效率；2）计算间隙与阶差时考虑结构光光条局部几何特征，提高线结构光测量系统的适用范围，减小在应用于复杂轮廓间隙阶差时的测量误差。

Description

一种基于平行线结构光的飞机蒙皮间隙与阶差测量方法

技术领域

本发明涉及一种图像处理技术，尤其是一种二维图像处理或三维图形产生技术，具体地说是一种基于平行线结构光的飞机蒙皮间隙与阶差测量方法。

背景技术

在飞机装配相关工艺中，蒙皮对缝(飞机外表面蒙皮与蒙皮、蒙皮与结构、口盖与结构等之间形成的阶差和间隙)，对飞机的气动性能、隐身性能有直接的影响，因此装配时需进行控制和检测。

随着对飞机气动性能要求越来越高，对蒙皮对缝的间隙和阶差要求也随之提高。以飞机蒙皮为例，其对缝的间隙和阶差精度要求往往在0.3mm左右，在某些逆航向处阶差的精度要求甚至达到0.1mm。目前航空航天领域广泛使用传统的塞尺或塞规，测量精度与效率较低；虽然在部分工厂车间开始使用单线结构光测量工具，但是其可靠性较差。

部分研究者根据线结构光检测的原理，针对单线结构光测量阶差和间隙的几何尺寸时出现的精度和稳定性的不足，围绕双线结构光三维检测技术进行了研究。其中阶差和间隙模型的构建方法为：对于阶差，通过在阶差平面上的两条激光线可以拟合一个平面，求平面之间的距离即为阶差高度；对于间隙，通过细化后的图像，找到间隙的断点，同侧的断点连接成一条直线，另一侧的两个点到该直线的距离的平均值即为间隙宽度。这种方法只适用于平面阶差和间隙，不适合弯曲蒙皮和带倒角蒙皮对缝的测量，应用范围极其有限。

部分研究者对间隙测量模型进行了改进，采用两个光条与对缝边缘的四个交点进行间隙构建：基于最小二乘法用四个交点拟合特征平面；求四个交点在特征平面上的投影点；依靠四个投影点构造辅助三角形，计算间隙。这种方法只适用于测量阶差较小的对缝，当阶差较大时，最终结果会受到拟合平面及投影带来的误差影响。

发明内容

本发明的目的是针对现有双结构光测量中应用范围狭窄、测量误差较高，且只能解决平面型零件间隙和阶差测量的问题，发明一种适用于弯曲蒙皮和带倒角蒙皮对缝测量的基于平行线结构光的飞机蒙皮间隙与阶差测量方法，它不仅拓宽了双结构光测量模型的应用范围，而且提高了测量精度。

本发明的技术方案是：

一种基于平行线结构光的飞机蒙皮间隙与阶差测量方法，其特征是它包括以下步骤：

(1)结构光测量系统标定，包括相机标定与结构光平面标定：

(1-1)固定相机、平行线结构光发射器和标定板位置，采集标定板图像，提取标定板角点图像，角点构成两对相互正交与三条相互平行直线；

(1-2)打开平行线结构光发射器，投射结构光条纹于标定板，提取结构光条纹中心，计算三条平行直线与结构光条纹中心线交点坐标；

(1-3)移动标定板至少三次，保证其在相机视场范围内，重复上述步骤(1-1)至(1-2)；

(1-4)利用两对相互正交直线构建相机的绝对二次曲线方程，计算相机内参数；

(1-5)利用步骤(1-4)的相机内参数将三条平行直线与结构光条纹中心线的交点坐标转换成相机坐标系下的三维坐标，并拟合结构光平面方程。

(2)间隙与阶差测量：

(2-1)固定相机与平行线结构光发射器相对位置，与待测物体保持一定距离，打开结构光发射器，投射结构光条纹于待测物体表面，结构光与物体表面干涉后会形成数个间隙与阶差特征点；

(2-2)采集结构光条纹图像，提取条纹中心线与特征点图像坐标，将特征点按照条纹方向进行排序，计算特征点8邻域灰度信息；

(2-3)利用相机标定和光平面标定结果将步骤(2-2)的特征点图像二维坐标转换成三维坐标。

(2-4)利用步骤(2-3)中特征点三维坐标计算对缝间隙与阶差值。

本发明的原理是基于结构光测量原理，投射平行线结构光于待测物体表面，同时标定相机与结构光平面参数，计算相机内参数与光平面方程；采集被待测物表面干涉后的条纹图像，提取细化后的条纹特征点，利用标定参数计算特征点三维坐标，并根据使用特征点坐标计算对缝间隙与阶差值。

本发明的有益效果是：

与现有技术相比，本发明具有的有益效果是：采用新的标定板以实现相机与结构光平面同步标定，提高结构光测量系统标定效率；能够有效地适用弯曲和带倒角或圆角蒙皮对缝，同时不要求线结构光与对缝垂直，操作更加简单、应用范围更加广泛；使用三个互相平行的结构光进行测量，条纹中包含的三维信息更加丰富，测量误差更低，从而更好地满足汽车和飞机测量需求。

附图说明

图1为标定板示意图。

图2.1为间隙与阶差测量模型示意图(16角点)。

图2.2为间隙与阶差测量模型示意图(12角点)。

图3.1为结构光角点示意图(16角点)。

图3.2为结构光角点示意图(12角点)。

图4为阶差辅助模型示意图。

图5.1为不平行对缝边缘示意图。

图5.2不平行边缘角点投影示意图。

图5.3为间隙辅助模型示意图。

图6为阶差模型示意图。

图7为间隙模型示意图。

图8是本发明的测量系统结构示意图。

图中：1-图像画幅边界；2-结构光光条；3-结构光平面；4-结构光角点；5-圆角区域；直角区域。11-结构光发射器，12-相机，13-结构光平面，14-间隙阶差模拟间。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细说明。

如图1-8所示。

一种基于平行线结构光的飞机蒙皮间隙与阶差测量方法，它包括以下步骤：

(1)结构光测量系统标定：

(1-1)固定相机、平行线结构光发射器和标定板位置，采集标定板图像(图1)，提取标定板角点图像，角点构成两对相互正交与三条相互平行直线；

(2)间隙与阶差测量：

(2-1)固定相机与平行线结构光发射器相对位置，与待测物体保持一定距离，打开结构光发射器，投射结构光条纹于待测物体表面，结构光与物体表面干涉后会形成数个特征点；

由于飞机蒙皮在各处厚度并非完全一致，部位不同受力状况不同，蒙皮厚度因而有差异，一般分布在1-3毫米之间。当采用结构光方法对其进行测量时，光条在蒙皮对缝处调制结果不尽相同，对不同厚度蒙皮采集得到的图像结果也不相同。采用高精度工业相机拍摄获得结构光平面与蒙皮表面及对缝相交后的图像，对图像进行去噪、光条细化和特征点提取等相关处理后获得间隙与阶差处特征点三维坐标。对于厚蒙皮对缝，如图 2.1，不管相机拍照角度如何，特征点个数都是8×2个，其中光条末端特征点2×2个，蒙皮倒角处特征点2×2个，对缝间隙处靠近圆角区域特征点2×2个，对缝底部特征点2×2 个；对于薄蒙皮对缝，如图2.2，不管相机拍照角度如何，最终获得的特征点都是6×2个 (×2表示两根光条，下同)，其中光条末端特征点2×2个，蒙皮倒角处特征点2×2个，对缝间隙处特征点2×2个。

所述步骤(2-1)中的激光器发出的两根光条与蒙皮表面相交后形成的线结构光特征点数目有12和16两种类型，分别对应两种测量条件：

(1)纵向深度不超过蒙皮圆角或倒角大小的对缝，此时有16个结构光角点，如图2.1所示；

(2)纵向深度超过蒙皮圆角或倒角大小的对缝，此时有12个结构光角点，如图2.2所示；

所述纵向与测量位置蒙皮法向方向平行；所述深度为从测量位置蒙皮表面至对缝间最低位置距离。

所述步骤(2-2)中特征点坐标以(u,v)形式存储，初始按照v值由小到大顺序存储，其中u,v分别表示图像横轴分量和纵轴分量。

对所述步骤(2-2)特征点按照像素坐标的横轴分量由小到大进行排序，并对角点按照隶属光条进行编号，以p_1x和p_2x分别表示两根光条角点编号，其中x从1开始，如图 3.1和图3.2所示。基于排序结果，根据不同角点个数筛选出阶差角点和间隙角点。筛选方法具体为：

对于有16个角点的：阶差点编号为p₁₂、p₁₅、p₂₂、p₂₅；间隙点编号为p₁₃、p₁₄、 p₂₃、p₂₄，如图3.1所示；对于16角点的情况，在单根光条上第3点和第4点、第5点和第6点可能发生错位，可以根据光条外形特征通过一个3×3的模板进行判断，模板如图 3.1所示。

对于有12个角点的：阶差点编号为p₁₂、p₁₇、p₂₂、p₂₇；间隙点编号为p₁₃、p₁₆、 p₂₃、p₂₆，如图3.2所示；

在测量之前，已进行相机标定和两个结构光发生器的光平面标定(如图8)，分别获得相机内参数和光平面方程：

相机标定结果式一：

式中(u v 1)^T为图像二维坐标；(x y z)^T为空间三维坐标；S_x和S_y分别为相机在图像横、纵两个方向上的等效焦距；(u₀ v₀)为图像主点坐标。

光平面标定结果式二：A₁x+B₁y+C₁z+D₁＝0，A₂x+B₂y+C₂z+D₂＝0，式中A₁,B₁, C₁,D₁和A₂,B₂,C₂,D₂均为常数。

联立式一和式二，代入步骤(2-2)筛选出的阶差和角点坐标，即可求得所有与对缝模型相关角点的三维空间坐标。

以下三维坐标均以P_x表示。

(2-4)利用步骤(2-3)中特征点三维坐标计算对缝间隙与阶差值。

所述步骤(2-4)具体包括：

(2-4-1)构建辅助模型，包括阶差辅助角点和间隙辅助直线，其具体步骤包括：

(2-4-2)阶差辅助模型构建：以16角点为例，如图4，用最小二乘法将P₁₄、P₁₅、 P₂₄、P₂₅四点拟合平面π，在后续阶差模型构建过程中将以平面π作为参考平面。

(2-4-3)间隙辅助模型构建：以16角点为例，如图5.1，分别连接P₁₃、P₂₃和P₁₆、 P₂₆得直线l₁和l₂。理想情况下直线l₁和l₂互相平行，此时直接求解两条直线间距离即可。但是在飞机装配中，蒙皮对缝边界不可能保持完全平行。为了解决对缝边界不平行的问题，可以采取如下方法：

(2-4-3-1)将四个间隙点P₁₃、P₂₃、P₁₆、P₂₆用最小二乘法拟合平面β；

(2-4-3-2)分别求取四个间隙点P₁₃、P₂₃、P₁₆、P₂₆在平面β上的对应投影点P₁₃'、P₂₃'、P₁₆'、P₂₆'。假设投影获得的四点坐标分别为(x₁ y₁ z₁)、(x₂ y₂ z₂)、 (x₃ y₃ z₃)、(x₄ y₄z₄)。如图5.2。

(2-4-3-3)利用公式计算P₁₃'、P₁₆'两点之间距离d₁，同理计算P₂₃'、P₂₆'两点，P₁₃'、P₂₃'两点，P₁₆'、P₂₆'两点及P₁₃'、P₂₆'两点之间距离，分别记为d₂、d₃、d₄、d₅。

(2-4-3-4)利用三角形面积公式：求得h₁。

(2-4-3-5)按照相同的方法求得h₂；如图5.3。

(2-4-3-6)计算完成间隙辅助模型构建。

(2-4-4)分别采用阶差角点及其辅助角点和间隙角点建立对缝模型，该步骤具体包括：

(2-4-4-1)阶差模型构建：采用步骤2-2筛选出的阶差角点和2-4-2构建的阶差辅助平面π构建模型。以16角点为例，如图6所示，P₁₂、P₂₂为对缝左侧结构光阶差角点， P₁₇、P₂₇为对缝右侧结构光阶差角点，分别计算四个阶差点到平面π的距离：H₁、H₂、 H₃和H₄。令则阶差值为：

Flush＝|d₁-d₂|

(2-4-4-2)间隙模型构建：采用步骤(2-4-3-6)计算得出的中间值d和(2-4-4-1)得出的阶差值Flush构建间隙模型。同样以16角点为例，构建一辅助直角三角形，其中阶差Flush为一条直角边，(2-4-3-6)得出的d为直角三角形斜边，由图7可知间隙即直角三角形另一直角边，故间隙值为：

本发明所提供的一种基于平行线结构光的飞机蒙皮间隙与阶差测量方法，巧妙的利用实际飞机和汽车蒙皮对缝的几何特点，通过构造阶差和间隙辅助模型，使得对飞机和汽车蒙皮对缝的间隙与阶差测量可准确、真实的反映问题。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

本发明未涉及部分与现有技术相同或可采用现有技术加以实现。

Claims

1.一种基于平行线结构光的飞机蒙皮间隙与阶差测量方法，其特征在于包括以下步骤：

(1)结构光测量系统标定，包括相机内参数标定与结构光平面标定：

(1-5)利用步骤(1-4)的相机内参数将三条平行直线与结构光条纹中心线的交点坐标转换成相机坐标系下的三维坐标，并拟合结构光平面方程；

(2)间隙与阶差测量：

(2-1)固定相机与平行线结构光发射器相对位置，与待测物体保持一定距离，打开结构光发射器，投射结构光条纹于待测物体表面，结构光与物体表面干涉后会形成数个间隙阶差特征点；

(2-2)采集结构光条纹图像，提取条纹中心线与间隙阶差特征点图像坐标，将间隙阶差特征点按照条纹方向进行排序，并计算间隙阶差特征点8邻域灰度信息；

(2-3)利用相机标定和光平面标定结果将步骤(2-2)的间隙阶差特征点图像二维坐标转换成三维坐标；

(2-4)利用步骤(2-3)中间隙阶差特征点三维坐标计算对缝间隙与阶差值。

2.如权利要求1所述的基于平行线结构光的飞机蒙皮间隙与阶差测量方法，其特征在于，所述步骤(1-1)中相机光轴与结构光平面夹角为45°±5°。

3.如权利要求1所述的基于平行线结构光的飞机蒙皮间隙与阶差测量方法，其特征在于，所述步骤(2-1)中线结构光发射器与待测物体距离为100mm。

4.根据权利要求1所述的基于平行线结构光的对缝测量方法，其特征在于：所述平行线结构光发射器能够同时投射出两条平行结构光条纹；所述平行线结构光发射器在100mm距离向平面垂直投射时，条纹边缘间距为2mm。

5.如权利要求1所述的基于平行线结构光的飞机蒙皮间隙与阶差测量方法，其特征在于，所述步骤(2-1)中所述间隙阶差特征点个数有12和16两种。