CN115599844A - 一种飞机翼面连接件错装漏装可视化检测方法 - Google Patents

Abstract

一种飞机翼面连接件错装漏装可视化检测方法，先进行基于深度学习的零件识别定位，再进行基于图像分割的零件测量算法构建，然后进行算法集成与验证，再进行基于透射变换的图像归一化处理，然后进行基于数据匹配的装配错误识别算法处理，最后进行装配体位姿估计；本发明实现对零件的精准识别和测量、装配错误的高效定位与检测以及算法的性能验证测试，提高装配检测效率的同时，还提高装配检测的准确率。

Description

一种飞机翼面连接件错装漏装可视化检测方法

技术领域

本发明涉及小零件错装漏装检测技术领域，具体涉及一种飞机翼面连接件错装漏装可视化检测方法。

背景技术

先进航空装备作为现代国防的重要组成部分，先进航空装备装配周期占制造总周期的65％左右，现阶段成为产能不足的重要原因，其中装配质量检测作为装配过程必不可少的环节，其现有模式主要是手工检测。例如，飞机翼面上连接件多达上万个，故障拒收单约30％与其错装漏装有关；再如，飞机上各种角片约150种，单机平均错装60例。目前检测方式主要是工人运用手工工具进行逐一检测，不仅效率低、对工人技术水平要求高，且引入了人为因素，易导致人为错误的产生。因此，切实提高飞机上小零件的错装漏装检测效率可以促进先进航空装备的产能。

提高零件错装漏装检测思路可以由原来的手工逐一检测向批量检测方法转变，而视觉与图像算法可以提取零件与装配体的视觉特征，并对特征进行处理、分类、组合等操作，最终实现零件的分类、识别、测量、定位等。其中，基于深度学习的目标检测算法可以实现零件的定位与识别，而图像处理算法可以通过边缘检测与图像分割等方式测量零件的尺寸，两者进行结合可以在一次输入中同时测量零件的多维信息，从而实现零件的错装漏装检测，在极大得提高装配检测效率的同时，还可以提高装配检测的准确率。目前还没有相应的文献公开。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供了一种飞机翼面连接件错装漏装可视化检测方法，实现对零件的精准识别和测量、装配错误的高效定位与检测以及算法的性能验证测试，提高装配检测效率的同时，还提高装配检测的准确率。

为了达到上述目的，本发明采取的技术方案为：

一种飞机翼面连接件错装漏装可视化检测方法，包括以下步骤：

步骤1)，基于深度学习的零件识别定位：搭建深度学习网络框架，采用公开数据集训练模型作为预训练权重；采集零件数据集并进行标注，采用图像增强方式丰富零件数据集；采用迁移学习方式在预训练权重上对深度学习网络进行训练与测试，识别零件的像素坐标、种类信息；

步骤2)，基于图像分割的零件测量算法构建：对图像进行预处理，采用深度优先搜索算法进行连通区域分析，并对零件和背景进行标记；对每个标记采用图像分割算法，获取零件实例分割区域；对每个零件实例分割区域计算最小外接圆，以最小外接圆半径作为尺度特征描述子；

步骤3)，算法集成与验证：将步骤1)与步骤2)所述两种算法进行集成，形成零件识别定位测量一体化算法，一次输入同时得到零件的像素坐标、类别信息、最小外接圆尺寸；并进行实验分别验证零件种类识别率与召回率、尺寸测量精确度区间的指标；

步骤4)，基于透射变换的图像归一化处理：对步骤3)的零件识别定位测量一体化算法得到零件的像素坐标，通过透射投影变换方式实现坐标转换；对装配体区域进行分割，分割出区域进行四边形拟合，利用拟合四边形的角点信息求解透射变换矩阵的参数；利用透射变换矩阵进行运算实现图像归一化处理，同时实现像素坐标系与物体坐标系的转换；

步骤5)，基于数据匹配的装配错误识别算法：建立数据库，定义零件信息，并在数据库中预存正确装配零件信息模板；开发算法与数据库的信息传输接口，实现算法与数据库实时数据交互；将步骤4)测量得到的零件信息实时存储至数据库中，与数据库中模板信息进行匹配，将匹配失败的零件信息返回，定义装配错误信息；

步骤6)，装配体位姿估计：对薄壁状弱纹理目标进行位姿估计，采用端到端深度学习的方式，利用图像的RGB-D信息进行直接位姿估计。

本发明的有益效果为：

(1)本发明提出一种基于图像分割的图像测量算法，从而解决了深度学习无法对目标进行高精度测量的缺陷，并与深度学习算法进行集成，形成一种一体化算法，再一次输入中可以计算零件多维度信息；

(2)本发明提出基于透射变换的坐标转化方法，从而实现零件像素坐标与装配体物体坐标系之间的转换，有利于结合装配体模型快速定位零件的真实位置，并一定程度上实现输入图像的归一化处理；

(3)本发明采用数据库模板匹配的方式，准确获取装配错误的位置信息，并可通过调节匹配算法中的参数值，自适应选择匹配精度，适应多种场景。

(4)本发明分两步法分别计算装配错误相对装配体位置以及装配体相对相机位姿，可以间接并准确定位装配错误的空间位置。

附图说明

图1为本发明的流程示意图。

图2为本发明基于数据库模板匹配方法的流程示意图；

图3为零件识别定位测量一体化算法的输入输出图；(a)为输入图像，(b)为YOLO_v5算法输出图，(c)为零件测量算法输出图，(d)为集成算法输出图。

图4为基于透射变换的图像归一化处理变换过程图；(a)为输入图像；(b)为四边形拟合结果图；(c)为角点选取图；(d)为透射变换图。

具体实施方式

下面结合实施例和附图对本发明做详细说明，本发明可以以许多不同的形式实现，而不应当认为限于这里所述的实施例。相反，提供这些实施例以便使本发明公开透彻且完整，并且将向本领域技术人员充分表达本发明的范围。

如图1所示，一种飞机翼面连接件错装漏装可视化检测方法，包括以下步骤(装配体为飞机翼面部分，零件种类选取7种，每种有多种尺寸规格，共有32个连接孔)：

步骤1)，基于深度学习的零件识别定位：基于深度学习的零件识别定位：搭建深度学习网络框架，采用公开数据集训练模型作为预训练权重；采集零件数据集并进行标注，采用图像增强方式丰富零件数据集；采用迁移学习方式在预训练权重上对深度学习网络进行训练与测试，识别零件的像素坐标、种类信息；具体步骤如下：

步骤1.1)，构建YOLO_v5算法框架，基于公开数据集训练模型进行训练，获取预训练权重，采用迁移学习方式将公开数据集训练模型移植到本场景；采集不同角度、不同光照条件下的照片作为零件数据集，采用LabelImg开源图像标注工具进行标注；标注信息包括目标种类和位置信息；

步骤1.2)，零件数据集种类信息包括8种：hole(孔)、black1、black2、red1、red2、yellow1、yellow2、blue，若算法识别结果为hole，表示此处零件没有装配，即为漏装状态；若算法识别结果为其他，表示该处装有零件；

步骤1.3)，将采集到的旧机械零件图片制作txt类的标签并储存；为了解决训练样本数量不足的问题，采用翻转、旋转、裁剪、遮挡、色调变换、亮度变换等图像增强方式丰富零件数据集，对深度学习网络进行再训练，最终实现零件像素坐标、种类的识别；

步骤2)，基于图像分割的零件测量算法构建：为了解决深度学习尺度不变性的共性造成同类型不同尺度的零件难以识别的难题，对图像进行预处理，采用深度优先搜索算法进行连通区域分析，并对零件和背景进行标记；对每个标记采用图像分割算法，获取零件实例分割区域；对每个零件实例分割区域计算最小外接圆，以最小外接圆半径作为尺度特征描述子；具体步骤如下：

步骤2.1)，基于Open CV开源库函数，对预处理滤波去噪后的图像进行阈值分割，得到二值化图像，采用多次腐蚀膨胀迭代操作消除零件内部的像素空洞以及边界干扰；

步骤2.2)，对步骤2.1)处理后的图像首先采用深度优先搜索算法，对背景和不同零件个体进行标记并排序；对每个标记采用图像分水岭算法进行分割，得到各零件实例分割区域；

步骤2.3)，用以下公式对上述零件实例分割区域边界进行修正：

其中，i是当前整数坐标边缘点横坐标，j是当前整数坐标边缘点纵坐标，R_左是边缘点左边梯度值，R_右是边缘点右边梯度值，R₀是边缘点梯度值，ω是相邻像素到边缘点的距离，θ是梯度的方向；

步骤2.4)，修正结果获取闭合的轮廓，提取各轮廓的最小外接圆，以最小外接圆半径作为零件的尺度特征描述子，实现零件的尺寸测量与排序；

步骤3)，算法集成与验证：将步骤1)与步骤2)所述两种算法进行集成，形成零件识别定位测量一体化算法，一次输入同时得到零件的像素坐标、类别信息、最小外接圆尺寸；并以不同光照等复杂环境下进行多次实验，分别验证零件种类识别率与召回率、尺寸测量精确度区间等指标；具体步骤如下：

步骤3.1)，将步骤1)设计的零件种类识别定位算法，以及步骤2)设计的零件测量算法进行集成，采用并联集成的方式，输入图像首先经过YOLO_v5深度学习算法进行计算，在输出层送入步骤2)的零件测量算法进行计算与排序，并对排序后的零件进行标记；

步骤3.2)，对标记到的第一个零件，根据其真实尺寸与算法测量到的尺寸求取真实尺寸和像素尺寸之间的换算比例：

其中r_真实为真实零件的最小外接圆半径，r_测量为算法测量得到的零件的最小外接圆半径；根据此比例，利用公式r_真实＝r_测量·ratio得到其余零件的真实最小外接圆半径，最终形成零件识别定位测量一体化算法；

步骤3.3)，对种类识别定位模块采用精确率P和召回率R来评估算法性能，计算公式如下对零件测量模块采用多次测量的重复精度来评估算法性能：

其中，TP是检索到的正确的结果，FN是未检索到的正确的结果；FP是检索到但结果错误，TN是未检索到且结果错误；

步骤4)，基于透射变换的图像归一化处理：对步骤3)的零件识别定位测量一体化算法得到零件的像素坐标，通过透射投影变换方式实现坐标转换；对装配体区域进行分割，分割出区域进行四边形拟合，利用拟合四边形的角点信息求解透射变换矩阵的参数；利用透射变换矩阵进行运算实现图像归一化处理，同时实现像素坐标系与物体坐标系的转换；具体步骤如下：

步骤4.1)，求解投射变化矩阵，具体如下：

①求解目标：透射变换矩阵M(3×3)的8个参数；

②求解条件分析：8个参数求解需要8个已知条件构建8个方程，因此需要图中已知的四个点坐标；

③求解过程：对输入图像采用Mask_rcnn对装配体区域分割，分割出来区域使用Open CV库函数进行四边形拟合，分别求解四边形四个角点的坐标；其余已知条件为变换后的图片的长(width)和宽(height)；根据上述已知条件完成透射变换矩阵求解；

步骤4.2)，利用已求解透射变化矩阵完成变换，具体如下：

先将二维的图片投影到一个三维视平面上，然后再转换到二维坐标下；设变换矩阵为M：

其中x₂、y₂、z₂是透射变换后的三个坐标，x₁、y₁是透射变换前的二维坐标，M是透射变换矩阵，a₁、a₂、a₃、b₁、b₂、b₃、c₁、c₂、c₃是透射变换矩阵的9个参数；可以得到如下公式：

x₂＝a₁x₁+b₁y₁+c₁

y₂＝a₂x₁+b₂y₁+c₂

z₂＝a₃x₁+b₃y₁+c₃

因为计算结果是一个三维坐标，所以要将得到的三维坐标值转换到二维坐标中，利用如下公式：

在计算中，通常设c₃＝1，因此，供需求解8个参数，因此上述步骤得到四个点的坐标，构建方程组，采用克拉默法则计算出相应参数，最终完成变换，实现像素坐标系和物体坐标系之间的转换，同时实现图像的归一化处理；

步骤5)，基于数据匹配的装配错误识别算法：建立数据库，定义零件信息，并在数据库中预存正确装配零件信息模板；开发算法与数据库的信息传输接口，实现算法与数据库实时数据交互；将步骤4)测量得到的零件信息实时存储至数据库中，与数据库中模板信息进行匹配，将匹配失败的零件信息返回，即可定义装配错误信息；具体步骤如下：

步骤5.1)，建立MySQL数据库，定义零件信息，其中零件信息定义为：每个零件用五个属性进行描述，分别为序号(No)、中心点x方向坐标(x_coor)、中心点y方向坐标(y_coor)、种类(kind)、大小(size)；设定零件属性后在MySQL数据库中建立存储各零件的数据库模型；

步骤5.2)，采用PyMySQL第三方库来建立算法和数据库接口；首先连接数据库，创建程序与数据库的实时交互接口，在步骤2)、步骤3)算法的运行过程中，将数据实时地存储至数据表中；

步骤5.3)，数据库模板匹配的流程为：如图2所示，按数据表的顺序从头到尾依次运行，每一个零件首先对比其与模板信息的种类(kind)，若种类不一样，直接返回该零件的信息；若种类一致，对比两者的尺寸信息(size)；经测试，算法测量的像素尺寸与实际尺寸的比例约为9：1，考虑到实际尺寸的最小差值为1mm，为使算法的分辨率足够区分零件，选择上下波动0.2mm为模板匹配的阈值，若两者尺寸差超过0.2mm，则视为不同零件，即定义此处为装配错误，返回该零件的信息；

步骤6)，装配体位姿估计：对薄壁状弱纹理目标进行位姿估计，采用端到端深度学习的方式，利用图像的RGB-D信息进行直接位姿估计；具体步骤如下：

步骤6.1)，构建EfficientPose网络结构，搭建EfficientPose算法运行环境；

步骤6.2)，制作Linemod数据集，采用视频流方式，首帧目标位姿利用aruco码确定，之后每一帧采用和前一帧进行ICP配准方式获得；

步骤6.3)，训练EfficientPose网络，并对该算法的位姿估计准确度进行量化评估；

步骤6.4)，根据计算出的位姿矩阵定位装配体相对相机的位置，并结合步骤5)确定的装配错误相对装配体的位置，间接得到装配错误的空间位置。

综上，本发明公开一种飞机翼面连接件错装漏装可视化检测方法，此方法主要包括基于深度学习的零件识别定位、基于图像分割的零件测量、算法集成与验证、基于透射变换的图像归一化、基于数据匹配的装配错误识别、装配体位姿估计6个步骤；本发明首先提出一种基于图像分割的图像测量算法，从而解决了深度学习无法对目标进行高精度测量的缺陷，并与深度学习算法进行集成，形成零件识别定位测量一体化算法，在一次输入中可以计算零件多维度信息；提出基于透射变换的坐标转化方法，从而实现零件像素坐标与装配体物体坐标系之间的转换，有利于结合装配体模型快速定位零件的真实位置，并一定程度上实现输入图像的归一化处理；采用数据库模板匹配的方式，准确获取装配错误的位置信息，并可通过调节匹配算法中的参数值，自适应选择匹配精度，适应多种场景。

为了验证本发明方法的可行性与有效性，对一个典型场景进行实验验证，并对该方法的准确率进行评估。

如图3所示，图3为基于深度学习与图像分割的零件识别定位测量一体化算法，输入图像中共有32个目标，共分为8类目标；经检验，深度学习目标检测在本场景所有零件识别的准确率和召回率普遍达到了95％左右；而零件测量算法的零件测量误差范围在0.5mm以内。

如图4所示，图4为基于透射变换的图像归一化处理，通过透射变换完成像素坐标系与物体坐标系之间的转换。

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种飞机翼面连接件错装漏装可视化检测方法，其特征在于，包括以下步骤：

步骤1)，基于深度学习的零件识别定位：搭建深度学习网络框架，采用公开数据集训练模型作为预训练权重；采集零件数据集并进行标注，采用图像增强方式丰富零件数据集；采用迁移学习方式在预训练权重上对深度学习网络进行训练与测试，识别零件的像素坐标、种类信息；

步骤2)，基于图像分割的零件测量算法构建：对图像进行预处理，采用深度优先搜索算法进行连通区域分析，并对零件和背景进行标记；对每个标记采用图像分割算法，获取零件实例分割区域；对每个零件实例分割区域计算最小外接圆，以最小外接圆半径作为尺度特征描述子；

步骤3)，算法集成与验证：将步骤1)与步骤2)所述两种算法进行集成，形成零件识别定位测量一体化算法，一次输入同时得到零件的像素坐标、类别信息、最小外接圆尺寸；并进行实验分别验证零件种类识别率与召回率、尺寸测量精确度区间的指标；

步骤4)，基于透射变换的图像归一化处理：对步骤3)的零件识别定位测量一体化算法得到零件的像素坐标，通过透射投影变换方式实现坐标转换；对装配体区域进行分割，分割出区域进行四边形拟合，利用拟合四边形的角点信息求解透射变换矩阵的参数；利用透射变换矩阵进行运算实现图像归一化处理，同时实现像素坐标系与物体坐标系的转换；

步骤5)，基于数据匹配的装配错误识别算法：建立数据库，定义零件信息，并在数据库中预存正确装配零件信息模板；开发算法与数据库的信息传输接口，实现算法与数据库实时数据交互；将步骤4)测量得到的零件信息实时存储至数据库中，与数据库中模板信息进行匹配，将匹配失败的零件信息返回，定义装配错误信息；

步骤6)，装配体位姿估计：对薄壁状弱纹理目标进行位姿估计，采用端到端深度学习的方式，利用图像的RGB-D信息进行直接位姿估计。

2.根据权利要求1所述的方法，其特征在于，步骤1)具体为：

步骤1.1)，构建YOLO_v5算法框架，基于公开数据集训练模型进行训练，获取预训练权重，采用迁移学习方式将公开数据集训练模型移植到本场景；采集不同角度、不同光照条件下的照片作为零件数据集，采用LabelImg开源图像标注工具进行标注；标注信息包括目标种类和位置信息；

步骤1.2)，零件数据集种类信息包括8种：hole(孔)、black1、black2、red1、red2、yellow1、yellow2、blue，若算法识别结果为hole，表示此处零件没有装配，即为漏装状态；若算法识别结果为其他，表示该处装有零件；

步骤1.3)，将采集到的旧机械零件图片制作txt类的标签并储存，采用翻转、旋转、裁剪、遮挡、色调变换、亮度变换的图像增强方式丰富零件数据集，对深度学习网络进行再训练，最终实现零件像素坐标、种类的识别。

3.根据权利要求1所述的方法，其特征在于，步骤2)具体为：

步骤2.1)，基于Open CV开源库函数，对预处理滤波去噪后的图像进行阈值分割，得到二值化图像，采用多次腐蚀膨胀迭代操作消除零件内部的像素空洞以及边界干扰；

步骤2.2)，对步骤2.1)处理后的图像首先采用深度优先搜索算法，对背景和不同零件个体进行标记并排序；对每个标记采用图像分水岭算法进行分割，得到各零件实例分割区域；

步骤2.3)，用以下公式对上述零件实例分割区域边界进行修正：

其中，i是当前整数坐标边缘点横坐标，j是当前整数坐标边缘点纵坐标，R_左是边缘点左边梯度值，R_右是边缘点右边梯度值，R₀是边缘点梯度值，ω是相邻像素到边缘点的距离，θ是梯度的方向；

步骤2.4)，修正结果获取闭合的轮廓，提取各轮廓的最小外接圆，以最小外接圆半径作为零件的尺度特征描述子，实现零件的尺寸测量与排序。

4.根据权利要求1所述的方法，其特征在于，步骤3)具体为：

步骤3.1)，将步骤1)设计的零件种类识别定位算法，以及步骤2)设计的零件测量算法进行集成，采用并联集成的方式，输入图像首先经过YOLO_v5深度学习算法进行计算，在输出层送入步骤2)的零件测量算法进行计算与排序，并对排序后的零件进行标记；

步骤3.2)，对标记到的第一个零件，根据其真实尺寸与算法测量到的尺寸求取真实尺寸和像素尺寸之间的换算比例：

其中r_真实为真实零件的最小外接圆半径，r_测量为算法测量得到的零件的最小外接圆半径；根据此比例，利用公式r_真实＝r_测量·ratio得到其余零件的真实最小外接圆半径，最终形成零件识别定位测量一体化算法；

步骤3.3)，对种类识别定位模块采用精确率P和召回率R来评估算法性能，计算公式如下对零件测量模块采用多次测量的重复精度来评估算法性能：

其中，TP是检索到的正确的结果，FN是未检索到的正确的结果；FP是检索到但结果错误，TN是未检索到且结果错误。

5.根据权利要求1所述的方法，其特征在于，步骤4)具体为：

步骤4.1)，求解投射变化矩阵，具体如下：

①求解目标：透射变换矩阵M(3×3)的8个参数；

②求解条件分析：8个参数求解需要8个已知条件构建8个方程，因此需要图中已知的四个点坐标；

③求解过程：对输入图像采用Mask_rcnn对装配体区域分割，分割出来区域使用OpenCV库函数进行四边形拟合，分别求解四边形四个角点的坐标；其余已知条件为变换后的图片的长(width)和宽(height)；根据已知条件完成透射变换矩阵求解；

步骤4.2)，利用已求解透射变化矩阵完成变换，具体如下：

先将二维的图片投影到一个三维视平面上，然后再转换到二维坐标下；设变换矩阵为M：

其中x₂、y₂、z₂是透射变换后的三个坐标，x₁、y₁是透射变换前的二维坐标，M是透射变换矩阵，a₁、a₂、a₃、b₁、b₂、b₃、c₁、c₂、c₃是透射变换矩阵的9个参数；得到如下公式：

x₂＝a₁x₁+b₁y₁+c₁

y₂＝a₂x₁+b₂y₁+c₂

z₂＝a₃x₁+b₃y₁+c₃

因为计算结果是一个三维坐标，所以要将得到的三维坐标值转换到二维坐标中，利用如下公式：

在计算中，设c₃＝1，需求解8个参数，因此得到四个点的坐标，构建方程组，采用克拉默法则计算出相应参数，最终完成变换，实现像素坐标系和物体坐标系之间的转换，同时实现图像的归一化处理。

6.根据权利要求1所述的方法，其特征在于，步骤5)具体为：

步骤5.1)，建立MySQL数据库，定义零件信息，其中零件信息定义为：每个零件用五个属性进行描述，分别为序号(No)、中心点x方向坐标(x_coor)、中心点y方向坐标(y_coor)、种类(kind)、大小(size)；设定零件属性后在MySQL数据库中建立存储各零件的数据库模型；

步骤5.2)，采用PyMySQL第三方库来建立算法和数据库接口；首先连接数据库，创建程序与数据库的实时交互接口，在步骤2)、步骤3)算法的运行过程中，将数据实时地存储至数据表中；

步骤5.3)，数据库模板匹配的流程为：按数据表的顺序从头到尾依次运行，每一个零件首先对比其与模板信息的种类(kind)，若种类不一样，直接返回该零件的信息；若种类一致，对比两者的尺寸信息(size)；选择上下波动0.2mm为模板匹配的阈值，若两者尺寸差超过0.2mm，则视为不同零件，即定义此处为装配错误，返回该零件的信息。

7.根据权利要求1所述的方法，其特征在于，步骤6)具体为：

步骤6.1)，构建EfficientPose网络结构，搭建EfficientPose算法运行环境；

步骤6.2)，制作Linemod数据集，采用视频流方式，首帧目标位姿利用aruco码确定，之后每一帧采用和前一帧进行ICP配准方式获得；

步骤6.3)，训练EfficientPose网络，并对该算法的位姿估计准确度进行量化评估；

步骤6.4)，根据计算出的位姿矩阵定位装配体相对相机的位置，并结合步骤5)确定的装配错误相对装配体的位置，间接得到装配错误的空间位置。

Images