CN114627177A - 一种基于图像分割的飞机蒙皮间隙与阶差测量方法 - Google Patents

Abstract

本发明公开一种基于图像分割的飞机蒙皮间隙与阶差测量方法，包括步骤：采集待测区域的图像；将采集的图像输入到训练完成的缝隙分割神经网络中，获取缝隙像素区域；将缝隙像素区域中的缝隙像素点映射到对应的点云模型中；对缝隙的点云数据点进行曲线拟合；将拟合曲线分为若干分段，分别计算各分段端点的法平面；提取点云模型中距该法平面一定距离内的所有点云数据点，组成点集；将点集投影到对应的法平面上，得到二维坐标系下的点云集合，并将该点云集合拟合出的两条直线作为蒙皮缝隙两边平面在对应分段端点处的投影，进而获取蒙皮缝隙在该分段端点处的阶差高度和缝隙宽度。本发明方法能够实时精确地提取待测飞机蒙皮的缝隙宽度与阶差高度。

Description

一种基于图像分割的飞机蒙皮间隙与阶差测量方法

技术领域

本发明属于飞机蒙皮对缝测量领域，具体涉及一种基于图像分割的飞机蒙皮间隙与阶差测量方法。

背景技术

在飞机的整机装配过程中，飞机蒙皮的外形测量工作通常包含大量对缝结构的测量。飞机蒙皮对缝测量精度要求较高，其质量保证不仅保障了飞机气动外形及密闭性，对新一代战机隐身性能也起着重要的作用。在对缝测量任务繁重的情况下，高效准确地提取对缝结构的间隙阶差值在飞机的整机测量中起着重要的作用。目前航空制造产业中的数字化对缝测量技术已经得到了极大的发展，一般都是采用非接触式的数字化测量仪器采集数据，开发相应的算法，组建测量系统。激光测量技术因其速度快、精度高、效率高、适应性强等优点广泛应用于对缝测量之中。国内南京航空航天大学，北京航空航天大学提出过基于结构光或激光的点云对缝间隙与阶差测量方法，但都只针对的是直线缝隙，对飞机蒙皮存在的曲线缝隙还不能检测间隙和阶差。

在逆向工程中通过测量仪器得到的产品外观表面的点数据集合称之为点云，通常使用三维坐标测量机所得到的点数量比较少，点与点的间距也比较大，叫稀疏点云；而使用三维激光扫描仪或照相式扫描仪得到的点云，点数量比较大并且比较密集，叫密集点云。

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于神经网络的分割方法等。其中基于神经网络的图像分割算法表现良好。

传统的对整机蒙皮的缝隙间隙和阶差检测依靠手工测量或人工视觉检查的方法，这样不仅检测过程慢，耗费大量的人力，而且检测精度低，这就影响了飞机的整机装配质量。随着计算机视觉测量的发展，各高校提出了基于飞机蒙皮扫描点云的对缝测量方案，但都只针对于直线形状的缝隙，对曲线形状的缝隙不能进行良好地测量，或者测量精度低，不能满足实际要求。

发明内容

本发明针对现有技术中的不足，提供一种基于图像分割的飞机蒙皮间隙与阶差测量方法，由于分割的缝隙像素可组成直线或曲线形状的，因此可以进行飞机蒙皮曲线缝隙测量。

为实现上述目的，本发明采用以下技术方案：

一种基于图像分割的飞机蒙皮间隙与阶差测量方法，包括以下步骤：

S1、将红外激光发射器与红外相机以一定角度架设，红外激光发射器将具有结构特征的光线投射到待测区域上，由红外相机采集待测区域的图像；

S2、将待测区域的图像输入到训练完成的缝隙分割神经网络中，获取待测区域中的缝隙像素区域；

S3、将缝隙像素区域中的缝隙像素点映射到对应的点云模型中，得到缝隙的点云数据点；

S4、对缝隙的点云数据点进行曲线拟合，得到拟合曲线；

S5、将拟合曲线分为具有一定弧长的若干分段，分别计算各分段端点的法平面；

S6、对于每个分段端点的法平面，提取点云模型中距该法平面一定距离内的所有点云数据点，组成点集；

S7、将点集投影到对应的法平面上，得到二维坐标系下的点云集合，并将该点云集合拟合出的两条直线作为蒙皮缝隙两边平面在对应分段端点处的投影，利用拟合出的两条直线的方程获取蒙皮缝隙在对应分段端点处的阶差高度和缝隙宽度。

进一步地，步骤S2中所述缝隙分割神经网络采用FCN网络，其输入是灰度化处理后的图像，输出为缝隙像素区域图；为保证缝隙像素区域的连续性，对FCN网络的输出进行形态学开处理，将处理结果作为最终的缝隙像素区域。

进一步地，步骤S3中，若缝隙像素点的图像坐标为[u,v,d]，u为横坐标，v为纵坐标，d为深度，则其在点云模型中对应的点云数据点的坐标为[x,y,z]，且

x＝(u-c_x)·z/f_x

y＝(v-c_y)·z/f_y

z＝d/s

其中，(f_x,f_y)为红外相机的焦点坐标，(c_x,c_y)为红外相机的光圈中心，s为深度图的缩放因子。

进一步地，步骤S4中采用B样条曲线对缝隙的点云数据点进行曲线拟合，具体为：

S401、先随机初始化一条均匀的三次B样条曲线，其曲线方程P(t)表示为：

其中，P_i是样条曲线的控制点，F_i,k(t)则是K阶B样条基函数；

S402、以样条曲线上的一点O为原点，以点O处的切向量与法向量为坐标轴构建坐标系，定义缝隙点云数据点到样条曲线的距离公式为：

其中，d为缝隙点云数据点X_k到样条曲线上对应垂足点P₊(t_k)的距离，ρ为垂足点处的曲率，T_k和N_k分别为垂足点P₊(t_k)处的单位切向量与单位法向量；

S403、固定样条曲线控制点的两端点与尖点，调整其它控制点的位置，最小化目标函数f_SD＝∑_ke_SD,k；

S404、重复S403，直到目标函数值小于误差阈值或迭代次数超过固定数值，将迭代优化后的三次B样条曲线作为最终的拟合曲线。

进一步地，步骤S5中，对于端点(x(t_i),y(t_i),z(t_i))，其法平面方程为：

a(x-x(t_i))+b(y-y(t_i))+c(z-z(t_i))＝0

其中(a,b,c)为拟合曲线在该端点的切向量。

进一步地，步骤S7中，采用RANSAC拟合的方法将点云集合拟合为两条直线l₁:

和l₂:

直线l₁与l₂的距离

即为阶差高度，v_k为向量(x₁-x₂,y₁-y₂,z₁-z₂,)，n_l为拟合直线的方向向量(a′,b′,c′)。

进一步地，步骤S7中，分别计算点集中每个点到对应的拟合直线的距离，取距离最大的两个点作为计算缝隙宽度的关键点，连接关键点得到向量v_g，则缝隙的宽度为

本发明的有益效果是：

传统的对缝间隙和阶差检测方法检测速度缓慢，而且对曲线缝隙做不到精确检测，不能满足工程要求，而本发明可以仅用双目相机拍摄一帧RGBD图片，即可在30s内实时、快速、精确地提取待测飞机蒙皮位置的缝隙宽度与阶差高度。本发明方法可以部署到飞机整机测量系统上，即将RGBD深度相机和处理软件安装到整机测量检测生产线上，实时在线地监测飞机蒙皮对缝的间隙和阶差，对飞机蒙皮装配过程中的质量监测发挥重要作用。

附图说明

图1为本发明方法的流程图；

图2是基于结构光的双目深度相机拍摄原理图；

图3为缝隙图像分割网络的框架示意图；

图4为图像分割后得到的缝隙区域图；

图5是对分割的点云进行曲线拟合的结果图；

图6为飞机蒙皮点云间隙与阶差的计算模型图；

图7为飞机蒙皮缝隙的间隙与阶差检测结果图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

如图1所示，本发明提出的一种基于图像分割的飞机蒙皮间隙与阶差测量方法，主要包括以下步骤：

步骤S1、将一台可以发射结构光的红外激光发射器与一台红外相机按照它们的光轴以一定角度进行安装，通过红外激光发射器将具有一定结构特征的光线投射到待测物体上，再由红外相机进行图像采集，如图2所示。假设世界坐标系与相机坐标系重合，O为相机的光心，P点为空间中的被测点，其在相机拍摄图片上的成像点坐标为P(u,v,d)，记录下相机的各种参数，包括相机的焦点(f_x,f_y)，光圈中心(c_x,c_y)，深度图的缩放因子s。

步骤S2、对不同机型、不同飞机蒙皮区域中不同形状的蒙皮缝隙进行拍照，要求拍摄获取的图片质量清晰，不能有污渍。分别对获取的图片进行缝隙像素标注，得到每张图片对应的标签，形成一个飞机蒙皮缝隙数据集。然后将数据集分为训练集和测试集，用来训练缝隙图像分割神经网络模型，本实施例采用FCN(Fully Convolutional Networks)网络，其网络结构如图3所示。图片输入到FCN网络之前先对其进行灰度化处理，每张图片对应的标签为标注好缝隙像素区域的图片。

步骤S3、如图4所示，获取待测区域的图像(RGBD图像)x，进行灰度图处理后为x*，之后再输入已经训练好的缝隙分割神经网络中，获取对应的蒙皮缝隙区域y，对于输出的结果，缝隙像素区域要求连续，因此对输出结果进行形态学中的开处理，即先腐蚀后膨胀，过滤掉离群的缝隙像素点，得到最终结果，缝隙像素区域为：

y^*＝OPEN(y)＝D(E(y))

步骤S4、得到RGBD图像的缝隙像素区域后，将缝隙像素点映射到对应的点云位置，得到缝隙点云数据点。

设某一个缝隙像素点在图像中的像素坐标为[u,v,d](u指横坐标，v指纵坐标，d指深度)，对应的点云坐标为[x,y,z]，则有如下对应关系式：

x＝(u-c_x)·z/f_x

y＝(v-c_y)·z/f_y

z＝d/s

步骤S5、采用三次B样条曲线拟合步骤S4得到的缝隙点云数据点，具体步骤为：

步骤S501、先随机初始化一条均匀三次B样条曲线，B样条曲线的总方程为：

其中，P_i是控制曲线的特征点，F_i,k(t)则是K阶B样条基函数。

步骤S502、定义缝隙点云数据点到样条曲线的距离度量方法为平方距离最小化法(SDM,squared distance minimization)，使用Frenet标架，即以样条曲线上的一点O为原点，以点O处的切向量与法向量为坐标轴所构建的坐标系，缝隙点云数据点到样条曲线的平方距离度量函数定义为：

其中，d为缝隙点云数据点X_k到样条曲线上对应垂足点P₊(t_k)的距离，ρ为垂足点处的曲率，T_k和N_k分别为垂足点P₊(t_k)处的单位切向量与单位法向量。

步骤S503、固定B样条曲线控制点的两端点与尖点，调整其它控制点的位置，最小化目标函数：

步骤S504、重复步骤S503，直到目标函数值小于误差阈值ε或迭代次数超过固定数值m，最终得到迭代优化后的三次B样条曲线，及其参数方程x＝x(t),y＝y(t),z＝z(t)。

步骤S6、对步骤S5得到的三次B样条曲线先按弧长分段后求法平面：

曲线弧长的计算公式为：

设分段后共有w个端点，分别计算各端点的法平面，设某端点为(x(t_i),y(t_i),z(t_i))，则该端点的法平面方程为：

a(x-x(t_i))+b(y-y(t_i))+c(z-z(t_i))＝0

其中(a,b,v)为样条曲线在(x(t_i),y(t_i),z(t_i))点的切向量。

然后分别计算点云上的数据点到该法平面的距离，并设置一个距离阈值c，如图5所示，提取出原始蒙皮点云在该法平面附近的点集P_i{i＝1,2,3…w}。

步骤S7、对步骤S6得到的点集按照图6所示的模型计算间隙与阶差数值，具体为：

步骤S701、将点集P_i投影到对应的法平面上，得到一个二维坐标系下的点云集合；

步骤S702、对得到的点云集合采用RANSAC拟合的方法拟合出两条直线l₁:

l₂:

即为缝隙两边平面投影的点云，直接计算两条直线的距离

即为阶差高度，v_k为向量(x₁-x₂,y₁-y₂,z₁-z₂,)，n_l为拟合的直线的方向向量(a′,b′,c′)；

步骤S703、分别计算点集P_i中每个点到对应的拟合出来的直线的距离并排序，取距离最大的两个点作为计算间隙的关键点g₁和g₂，连接两个点得到向量v_g，则间隙的宽度为

最终计算的各端点处的缝隙间隙宽度与阶差高度的数值如图7所示。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.一种基于图像分割的飞机蒙皮间隙与阶差测量方法，其特征在于，包括以下步骤：

S1、将红外激光发射器与红外相机以一定角度架设，红外激光发射器将具有结构特征的光线投射到待测区域上，由红外相机采集待测区域的图像；

S2、将待测区域的图像输入到训练完成的缝隙分割神经网络中，获取待测区域中的缝隙像素区域；

S3、将缝隙像素区域中的缝隙像素点映射到对应的点云模型中，得到缝隙的点云数据点；

S4、对缝隙的点云数据点进行曲线拟合，得到拟合曲线；

S5、将拟合曲线分为具有一定弧长的若干分段，分别计算各分段端点的法平面；

S6、对于每个分段端点的法平面，提取点云模型中距该法平面一定距离内的所有点云数据点，组成点集；

S7、将点集投影到对应的法平面上，得到二维坐标系下的点云集合，并将该点云集合拟合出的两条直线作为蒙皮缝隙两边平面在对应分段端点处的投影，利用拟合出的两条直线的方程获取蒙皮缝隙在对应分段端点处的阶差高度和缝隙宽度。

2.如权利要求1所述的一种基于图像分割的飞机蒙皮间隙与阶差测量方法，其特征在于，步骤S2中所述缝隙分割神经网络采用FCN网络，其输入是灰度化处理后的图像，输出为缝隙像素区域图；为保证缝隙像素区域的连续性，对FCN网络的输出进行形态学开处理，将处理结果作为最终的缝隙像素区域。

3.如权利要求1所述的一种基于图像分割的飞机蒙皮间隙与阶差测量方法，其特征在于，步骤S3中，若缝隙像素点的图像坐标为[u，v，d]，u为横坐标，v为纵坐标，d为深度，则其在点云模型中对应的点云数据点的坐标为[x，y，z]，且

x＝(u-c_x)·z/f_x

y＝(v-c_y)·z/f_y

z＝d/s

其中，(f_x，f_y)为红外相机的焦点坐标，(c_x，c_y)为红外相机的光圈中心，s为深度图的缩放因子。

4.如权利要求1所述的一种基于图像分割的飞机蒙皮间隙与阶差测量方法，其特征在于，步骤S4中采用B样条曲线对缝隙的点云数据点进行曲线拟合，具体为：

S401、先随机初始化一条均匀的三次B样条曲线，其曲线方程P(t)表示为：

其中，P_i是样条曲线的控制点，F_i，k(t)则是K阶B样条基函数；

S402、以样条曲线上的一点O为原点，以点O处的切向量与法向量为坐标轴构建坐标系，定义缝隙点云数据点到样条曲线的距离公式为：

其中，d为缝隙点云数据点X_k到样条曲线上对应垂足点P₊(t_k)的距离，ρ为垂足点处的曲率，T_k和N_k分别为垂足点P₊(t_k)处的单位切向量与单位法向量；

S403、固定样条曲线控制点的两端点与尖点，调整其它控制点的位置，最小化目标函数f_SD＝∑_ke_SD，k；

S404、重复S403，直到目标函数值小于误差阈值或迭代次数超过固定数值，将迭代优化后的三次B样条曲线作为最终的拟合曲线。

5.如权利要求4所述的一种基于图像分割的飞机蒙皮间隙与阶差测量方法，其特征在于，步骤S5中，对于端点(x(t_i)，y(t_i)，z(t_i))，其法平面方程为：

a(x-x(t_i))+b(y-y(t_i))+c(z-z(t_i))＝0

其中(a，b，c)为拟合曲线在该端点的切向量。

6.如权利要求5所述的一种基于图像分割的飞机蒙皮间隙与阶差测量方法，其特征在于，步骤S7中，采用RANSAC拟合的方法将点云集合拟合为两条直线l₁：

和l₂：

直线l₁与l₂的距离

即为阶差高度，v_k为向量(x₁-x₂，y₁-y₂，z₁-z₂，)，n_l为拟合直线的方向向量(a′，b′，c′)。

7.如权利要求6所述的一种基于图像分割的飞机蒙皮间隙与阶差测量方法，其特征在于，步骤S7中，分别计算点集中每个点到对应的拟合直线的距离，取距离最大的两个点作为计算缝隙宽度的关键点，连接关键点得到向量v_g，则缝隙的宽度为

Images