CN113343355A - 基于深度学习的飞机蒙皮型面检测路径规划方法 - Google Patents

Abstract

本发明提供基于深度学习的飞机蒙皮型面检测路径规划方法，包括S1，对飞机蒙皮特征进行样本采集，通过基于Yo l o V3架构的深度学习方法完成模型训练并验证；S2，进入特征信息获取阶段：(1).对蒙皮零件整体图像采集获得初始图像，判断蒙皮零件整体轮廓完整度，不完整则需要图像矢量拼接并进行拼接质量检验，随后输入到深度学习模型，完整则直接输入到深度学习模型；(2).对输出特征的法向量进行突变检验，检验不通过则进行可修复性判断，可以则修复，不可以则舍弃特征信息。(3).通过运动结构调整相机采集位姿，重复过程(1)‑(2)，完成一组图像特征信息采集。本发明通过深度学习获得路径规划，不需要数字模型即可实现蒙皮扫描检测的路径规划。

Description

基于深度学习的飞机蒙皮型面检测路径规划方法

技术领域

本发明属于大尺寸飞机零部件检测领域，尤其涉及基于深度学习的飞机蒙皮型面检测路径规划方法。

背景技术

飞机蒙皮是构建飞机气动外形的重要组成部分，具有尺寸大、种类多、易变形、待测特征复杂等特点。由于直接承受空气动力，蒙皮零件的设计、制造和质量检测在飞机生产制造过程中至关重要。随着我国航空制造领域的发展，依靠胎模固定蒙皮配合人工经验的传统方法已经无法满足飞机检测中高精度、高可靠性要求，相应的数字化检测技术需求愈加迫切。

目前，针对飞机蒙皮零件特征的测量主要使用三坐标测量机和光学测量设备等，其中三坐标测量机可以获得高精度测量数据，但测量时间过长导致生产周期大幅增加，并且测头与蒙皮接触易产生划痕从而影响蒙皮零件测量质量。非接触式光学测量目前主要应用在缺陷检测，面对蒙皮整体型面测量实际应用尚不成熟。其中，基于结构光的双目视觉为非接触式测量的主要方式，其测量范围与测量精度成反比，因此为保证其精度需进行局部测量，结合运动机构完成蒙皮整体测量。

运动机构根据规划的路径携带测量设备进行测量，在此过程中，规划路径将会直接影响测量的精度和零件测量效率。传统路径规划方法往往只考虑测量设备沿路径能否覆盖飞机蒙皮，在此基础上实现路径最短。

现有技术一的技术方案

针对大尺寸件机翼壁板的扫描，浙江大学方强团队，选择了行切法作为总的扫描方式。首先利用自动化制孔离线编程软件对壁板蒙皮进行了数字化离散得到代表蒙皮信息的样点，然后根据最小二乘法对样点进行分组并生成初始扫描路径，最后采用遗传算法进行总体路径优化，如图1所示。(艾小祥.飞机机翼装配中的扫描路径规划研究[D]).浙江大学，2014。

现有技术一的缺点

1.该方案实现了路径的负载蒙皮表面的功能，但是没有考虑表面特征等关键信息的采集。

2.该方案需要首先具备数字模型，对在此基础上生成离散点，随后进行规划，实际操作将花费较多时间。

发明内容

本发明的目的在于解决上述现有技术存在的缺陷，提供基于深度学习的飞机蒙皮型面检测路径规划方法，通过深度学习获得路径规划，不需要数字模型即可实现蒙皮的路径规划。

本发明采用如下技术方案：

基于深度学习的飞机蒙皮型面检测路径规划方法，包括如下步骤：

S1，对飞机蒙皮特征进行样本采集，通过基于Yolo V3架构的深度学习方法完成模型训练并验证。

S2，进入特征信息获取阶段：

(1).对蒙皮零件整体图像采集获得初始图像，判断蒙皮零件整体轮廓完整度，不完整则需要图像矢量拼接并进行拼接质量检验，随后输入到深度学习模型，完整则直接输入到深度学习模型；

(2).对输出特征的法向量进行突变检验，检验不通过则进行可修复性判断，可以则修复，不可以则舍弃特征信息；

(3).通过运动结构调整相机采集位姿，重复过程(1)-(2)，完成一组图像特征信息采集；

(4).通过同一蒙皮零件的一组图像采集，可以提取一组有效特征向量信息，对其进行一致性检验，保证测量准确性。

进一步的技术方案是，(1)中完整性判断通过对初始图像进行二值化处理，判断背景环境是否完整包围蒙皮零件，特征法向量定义为将单位特征圆正交八等分，法向量在每个分区内简化为统一向量表示，可以满足法向向量说明并简化计算难度。

进一步的技术方案是，(2)中法向量突变检测实现方法是将采集的特征进行二维数组排列，分别提取行列，对法向量是否完全存在于某剖面一侧进行判断，如果位于同一侧则认为未发生突变，否则认为发生突变。

进一步的技术方案是，(2)中根据突变次数进行判断，若在所有行列方向每相邻四个特征均小于1次则进行修复，对突变位置进行特征向量调整为所在行或列相邻向量，若大于1次则认为深度学习模型判断有误，舍弃此次图像信息。

进一步的技术方案是，(3)中一次图像采集的特征向量可能存在误差，因此通过多次采集获得一组有效信息，通过计算对应位置概率，确定最终特征向量信息。

进一步的技术方案，(4)步骤具体包括：根据(1)-(3)步获得的全局信息(全局信息包括特征坐标和特征向量)坐标，构造空间信息坐标，由此路径规划问题转化为旅行商问题，其中，每条扫描路径经过所有特征坐标的顺序编码为一个个体，每个种群有K个个体，特征点数量为j，则每个个体有j-1个染色体，通过每一代演化，对粒子群进行位置、速度更新操作，选择合适路径；

位置编码采用符号编码，速度编码：定义为交换子序列，单个交换子si＝{n,m}对个体的第n个和第m个元素进行交换，则速度表示为交换子序列ss＝{s1,s2,...,sm}由m个交换子组成，同时交换子序列有顺序，从第一个交换子操作；

适应度高的个体应当保存，个体适应度定义为：

fitvalue＝1/(distance+1)

其中distance为每条路径距离，可见，距离越短则适应度越高，利用遗传给后代；

速度更新定义为：

v_id＝ωv_id+c₁r₁(p_id-x_id)+c₂r₂(p_gd-x_id)

其中w为权重系数，v_id为速度，c₁、c₂为学习因子，p_id、p_gd为个体最优位置和全局最优位置，x_id为当前位置，r₁、r₂为随机数；

位置更新定义为：

x_id＝x_id+v_id

其中，x_id为位置，v_id为速度，“+”定义为对序列进行交换子操作。

本发明的有益效果：

1.本发明提出的路径规划不需要对蒙皮零件的数字模型匹配，通过深度学习可以直接获取蒙皮零件表面特征信息。

2.本发明提出的路径规划对蒙皮零件的位姿和测量设备的位姿调整进行了简化，不需要严格的相对位置或工装要求。

3.基于特征的路径规划将提高扫描设备的扫描质量，保证关键位置信息完整、准确。

4.缩短了路径规划的时间成本，通过基于深度学习获取特征降低了蒙皮零件和扫描设备的匹配要求，整体提升了检测效率。

附图说明

图1为背景技术中飞机机翼装配中的扫描路径规划示意图；

图2为本发明的特征信息采集步骤流程图；

图3为基于粒子群算法的特征路径规划流程图；

图4为实施例1中扫描路径图；

图5为实施例1中演化过程最大适应度趋势图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的在于通过深度学习对蒙皮零件的三维重构进行路径规划。可分为两个部分，第一个部分内容为建立深度学习模型，并对飞机蒙皮表面特征信息进行空间坐标建立；第二部分工作内容为将零件特征信息转化为约束点，基于粒子群算法完成扫描路径规划。

本发明解决了如下问题：

1.传统路径规划只解决了飞机蒙皮全覆盖的问题，其内部特征精度没有纳入考虑；

2.传统路径规划需要对所检测的零件手动设置，本方法通过基于深度学习的视觉系统可以实现不同零件的自动规划；

3.传统路径规划要求蒙皮零件位姿和检测设备位姿相契合，需要设计特定的生产线或工装，本发明具有普适性，无需对零件和设备的初始位置特殊规定。

如图2-3所示，本发明的基于深度学习的飞机蒙皮型面检测路径规划方法，包括如下步骤：

首先，对飞机蒙皮特征进行样本采集，通过基于Yolo V3架构的深度学习方法完成模型训练并验证，(即YoloV3的one-step模型)，或者使用RCNN、Two-step的模型训练并验证。

其次，随后进入特征信息获取阶段：

1.对蒙皮零件整体图像采集获得初始图像，判断蒙皮零件整体轮廓完整度，不完整则需要图像矢量拼接并进行拼接质量检验，随后输入到深度学习模型，完整则直接输入到深度学习模型。

2.对输出特征的法向量进行突变检验，检验不通过则进行可修复性判断，可以则修复，不可以则舍弃特征信息。

3.通过运动结构调整相机采集位姿，重复过程1-2，完成一组图像特征信息采集。

4.通过同一蒙皮零件的一组图像采集，可以提取一组有效特征向量信息，对其进行一致性检验，保证测量准确性。

进一步的技术方案是，1中完整性判断通过对初始图像进行二值化处理，判断背景环境是否完整包围蒙皮零件。特征法向量定义为将单位特征圆正交八等分，法向量在每个分区内简化为统一向量表示，可以满足法向向量说明并简化计算难度。

进一步的技术方案是，2中法向量突变检测实现方法是将采集的特征进行二维数组排列，分别提取行列，对法向量是否完全存在于某剖面一侧进行判断，如果位于同一侧则认为未发生突变，否则认为发生突变。

进一步的技术方案是，2中根据突变次数进行判断，若在所有行列方向每相邻四个特征均小于1次则进行修复，对突变位置进行特征向量调整为所在行或列相邻向量，若大于1次则认为深度学习模型判断有误，舍弃此次图像信息。

进一步的技术方案是，3中一次图像采集的特征向量可能存在误差，因此通过多次采集获得一组有效信息，通过计算对应位置概率，确定最终特征向量信息。

进一步的技术方案，4步骤具体包括，根据1-3步获得的全局信息坐标，构造空间信息坐标。由此路径规划问题可以转化为旅行商问题(Traveling Salesman Problem，TSP)，其中，每条扫描路径(经过所有特征坐标的顺序编码)为一个个体，每个种群有K个个体，特征点数量为j，则每个个体有j-1个染色体。通过每一代演化，对粒子群进行位置、速度更新操作，选择合适路径，或者采用蚁群算法等启发式算法进行位置、速度更新操作，选择出合适路径。

位置编码采用符号编码。速度编码：定义为交换子序列。单个交换子si＝{n,m}对个体的第n个和第m个元素(即组成个体路径的第m个特征坐标)进行交换(交换子功能是交换组成路径的特征坐标顺序)，则速度表示为交换子序列ss＝{s1,s2,...,sm}由m个交换子组成，同时交换子序列有顺序，从第一个交换子操作。

适应度高的个体应当保存，个体适应度fitvalue定义为：

fitvalue＝1/(distance+1)

其中distance为每条路径距离，可见，距离越短则适应度越高，利用遗传给后代。

速度更新定义为：

v_id＝ωv_id+c₁r₁(p_id-x_id)+c₂r₂(p_gd-x_id)

其中w为权重系数，v_id为速度，c₁、c₂为学习因子，p_id、p_gd为个体最优位置和全局最优位置，x_id为当前位置，r₁、r₂为随机数。

位置更新定义为：

x_id＝x_id+v_id

其中，x_id为位置，v_id为速度，“+”定义为对序列进行交换子操作。

实施例1

本发明操作过程包括YoloV3模型训练、蒙皮零件特征识别、基于粒子群算法的特征路径规划。

对蒙皮零件表面特征进行图像采集，采集过程要求随机性以保证样本多样性，有效图像数量应满足训练规模，每类型特征图像应不低于100张。通过双三次卷积插值法对样本图像进行降采样处理，标准为400×400×3。

选取舱门蒙皮作为实施对象，其表面包括5种特征。共采集600张样本图像，其中按照6：3：1分配为训练集、测试集和验证集完成模型训练工作。

路径规划阶段由CCD相机采集蒙皮零件整体图像，由于蒙皮零件与背景对比度较大，因此通过最大类间差法将图像二值化，其中蒙皮零件转化为黑色即灰度值为0，背景为白色即灰度值为255，通过检测黑色像素数目占图像每行、每列像素的比例，判断是否采集图像包括全部蒙皮零件。本实施例所采集图像像素为5488×3672，分别设置行、列首位各5％的行、列数目作为判断部位，即第1至183行和3488至3672行作为行检测部位，若灰度值为0的像素数目占每行像素数目比例超过30％则认为轮廓未被完全采集，列像素同理。任意方向不满足以上判断条件则移动CCD相机位置进行重新采集。

将通过轮廓完整性判断的图像送入深度学习模型，输出识别特征的类型、法向量类型和特征中心坐标，分别存储与对应的二维数组中。

对特征法向量类型进行突变检验，以本实施例所用特征数量3×4蒙皮零件为例，该蒙皮零件属于抛物柱曲面，因此通过判断相邻标准化法向量是否相邻来检验是否发生突变，若完全相邻则保存特征信息，若存在单一完全不相邻，则将不相邻位置进行修复，修改为完全相邻，若存在两处及以上则认为模型识别错误，舍弃此次特征信息。通过移动CCD相机位置多次采集，计算同位置标准法向量表现概率，保证特征信息准确性。

根据以上步骤确定蒙皮零件特征的全局坐标信息。将每个特征中心坐标作为路径规划中的必经点，由此转化为旅行商问题，采用粒子群算法完成路径规划。其中，针对本实施例设置演化代数为2000，粒子数目为73。通过适应度计算、更新个体最优和全局最优、位置速度更新等过程不断迭代最终得到最优路径，由本方法得到的最短路径为5202.31mm，图4展示了蒙皮零件所采集的特征的相对位置和扫描起始位置以及由本方法的得到的扫描路径。图5为演化过程中，适应度随迭代次数变化趋势，其在约1000代趋于稳定，在本实施例中运算速度较快。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.基于深度学习的飞机蒙皮型面检测路径规划方法，其特征在于,包括如下步骤：

S1，对飞机蒙皮零件特征进行样本采集，通过基于Yolo V3架构的深度学习方法完成模型训练并验证；

S2，进入特征信息获取阶段：

(1).对蒙皮零件整体图像采集获得初始图像，判断蒙皮零件整体图像轮廓完整度，不完整则需要图像矢量拼接并进行拼接质量检验，随后输入到深度学习模型，完整则直接输入到深度学习模型；

(2).对输出特征的法向量进行突变检验，检验不通过则进行修复性判断，修复通过则保留，不通过则舍弃特征信息；

(3).通过运动结构调整相机采集位姿，重复过程(1)-(2)，完成一组图像特征信息采集；

(4).通过同一蒙皮零件的一组图像采集，提取一组有效图像特征向量信息，对其进行一致性检验，保证测量准确性。

2.根据权利要求1所述的基于深度学习的飞机蒙皮型面检测路径规划方法，其特征在于，(1)中完整性判断通过对初始图像进行二值化处理，判断背景环境是否完整包围蒙皮零件，特征法向量定义为将单位特征圆正交八等分，法向量在每个分区内简化为统一向量表示，满足法向向量说明并简化计算难度。

3.根据权利要求2所述的基于深度学习的飞机蒙皮型面检测路径规划方法，其特征在于，(2)中法向量突变检验实现方法是将采集的蒙皮零件表面特征进行二维数组排列，分别提取行列，对法向量是否完全存在于某剖面一侧进行判断，如果位于同一侧则认为未发生突变，否则认为发生突变。

4.根据权利要求3所述的基于深度学习的飞机蒙皮型面检测路径规划方法，其特征在于，(2)中根据突变次数进行判断，若在所有行列方向每相邻四个特征均小于1次则进行修复，对突变位置处该特征的向量进行特征向量调整为所在行或列相邻向量，若大于1次则认为深度学习模型判断有误，舍弃此次图像信息。

5.根据权利要求2所述的基于深度学习的飞机蒙皮型面检测路径规划方法，其特征在于，(3)中一次图像采集的特征向量存在误差，因此通过多次图像采集获得一组有效信息，通过计算对应位置概率，确定最终图像特征向量信息。

6.根据权利要求2所述的基于深度学习的飞机蒙皮型面检测路径规划方法，其特征在于，(4)步骤具体包括：根据(1)-(3)步获得的全局信息坐标，构造空间信息坐标，由此路径规划问题转化为旅行商问题，其中，每条扫描路径经过所有特征坐标的顺序编码为一个个体，每个种群有K个个体，特征点数量为j，则每个个体有j-1个染色体，通过每一代演化，对粒子群进行位置、速度更新操作，选择合适路径；

位置编码采用符号编码，速度编码：定义为交换子序列，单个交换子si＝{n,m}对个体的第n个和第m个元素进行交换，则速度表示为交换子序列ss＝{s1,s2,...,sm}由m个交换子组成，同时交换子序列有顺序，从第一个交换子操作；

适应度高的个体应当保存，个体适应度定义为：

fitvalue＝1/(distance+1)

其中distance为每条路径距离，距离越短则适应度越高，利用遗传给后代；

速度更新定义为：

v_id＝ωv_id+c₁r₁(p_id-x_id)+c₂r₂(p_gd-x_id)

其中w为权重系数，v_id为速度，c₁、c₂为学习因子，p_id、p_gd为个体最优位置和全局最优位置，x_id为当前位置，r₁、r₂为随机数；

位置更新定义为：

x_id＝x_id+v_id

其中，x_id为位置，v_id为速度，“+”定义为对序列进行交换子操作。

Images