CN114937134A - 基于无人机和多视角几何的飞机蒙皮缺陷识别与定位方法 - Google Patents

Abstract

本发明公开了一种基于无人机和多视角几何的飞机蒙皮缺陷识别与定位方法，使用无人机携带相机拍摄飞机蒙皮图像和视频，获取飞机蒙皮缺陷数据；采用ROS系统进行多进程管理，包含PCL点云库和用TensorRT部署的YOLOv5深度学习目标检测模型；使用无人机携带相机环绕飞机进行拍摄，并利用拍摄的图像通过多视角三维重建方法建立三维点云模型；用重建时得到的相机空间参数还原成像过程，将二维数字图像中识别的缺陷与三维模型上的位置匹配，将缺陷标记并还原于三维模型中。本发明避免了检测过程中与飞机蒙皮表面的接触，极大降低了维护成本和检测过程中对飞机不必要的损伤；且使缺陷更加直观清晰，便于工作人员分析。

Description

基于无人机和多视角几何的飞机蒙皮缺陷识别与定位方法

技术领域

本发明涉及深度学习和基于多视角几何的三维点云重建技术，具体涉及一种基于无人机和多视角几何的飞机蒙皮缺陷识别与定位方法。

背景技术

飞机蒙皮表面的损伤会破坏飞机健康结构的完整性，引起结构强度下降，是造成飞行事故的主要原因之一。机身检查是飞机维护中的重要环节，然而，传统采用人工目视检查方法的检查通常存在劳动强度大、检测周期长、漏检率高等问题。

随着国内外航空安全需求的快速发展，利用爬壁机器人等对飞机蒙皮检测已难以满足飞机机身检测快速、高效、高精度的要求。因此，亟需解决飞机机身快速检测问题，提高检测的效率和准确度。

针对飞机蒙皮损伤检测问题，单纯基于二维图像进行检测已有很多较为成熟的研究。国内外也使用了不同的目标检测模型如Faster R-CNN、YOLO及SSD等对数据集进行测试，从而进行不同检测模型的比较和改进，但仍只停留在实验室检测阶段，而无法很好的和实际应用结合起来。若是可以将整个飞机进行三维重建并将损伤精准的标注在重建后的模型上，即可更加直观便捷的进行飞机蒙皮的损伤检测。

另一方面，损伤识别精度与损伤定位的矛盾影响飞机蒙皮缺陷检测的应用效率。当缺陷识别精度要求较高时，通常采用近距离拍摄或使用长焦镜头，图像场景变小，难以定位损伤；当希望在全景图像或整体结构中定位损伤，又需要远距离拍摄或使用广角镜头，图像场景变大，但对损伤的分辨率降低、细微损伤无法识别。因而后期处理很难生成准确的损伤分布图，单纯基于二维图像的损伤识别失去意义。

目前我国已经引进部分数字化测量设备用于飞机蒙皮表面缺陷检测与重构，如激光雷达、激光跟踪仪、全站仪等，正在逐步摆脱过去依靠模线、样板等工艺装备的检测方法，但仍以技术人员人工检测为主。人工检测和技术人员的经验、责任心等密切相关，存在很大的局限性，容易发生丢、错、漏等问题，急需采用高效可靠的自动检测代替人工检测。

发明内容

发明目的：本发明的目的是提供一种基于无人机和多视角几何的飞机蒙皮缺陷识别与定位方法，解决了飞机机身快速检测问题，提高检测的效率和准确度，提高了深度学习在飞机损伤检测上的实用性，并且避免了检测过程中对飞机不必要的损伤。

技术方案：本发明提供了一种基于无人机和多视角几何的飞机蒙皮缺陷识别与定位方法，包括以下步骤：

(1)使用无人机携带相机拍摄飞机蒙皮图像和视频，获取飞机蒙皮缺陷数据；

(2)采用ROS系统进行多进程管理，包含PCL点云库和用TensorRT部署的YOLOv5深度学习目标检测模型；

(3)使用无人机携带相机环绕飞机进行拍摄，并利用拍摄的图像通过多视角三维重建方法建立三维点云模型；

(4)用重建时得到的相机空间参数还原成像过程，将二维数字图像中识别的缺陷与三维模型上的位置匹配，将缺陷标记并还原于三维模型中。

进一步地，所述步骤(1)实现过程如下：

采用配备相机的无人机对保养状态不一的各种机型表面进行拍摄，获得原始飞机蒙皮表面图像，并进一步获取了飞机蒙皮表面的损伤图像；从中挑选出飞机蒙皮原始图片，使用LabelImage软件对采集到的飞机蒙皮表面原始图像的损伤部分进行标注，并按照7比3的比例将数据集图像分为训练集和测试集；将所有的图像大小归一化为64pix*64pix输入检测网络中。

进一步地，所述步骤(2)实现过程如下：

建立多个ROS节点，包括损伤标定主节点、三维重建节点、神经网络节点和UI节点；三维重建节点接收双目相机拍摄的图像，并使用MVS方法将其转化为点云并进行飞机的三维重建；神经网络节点接收2D图像后使用之前训练好的YOLOv5模型对图像上的蒙皮损伤进行识别检测；在推断过程中使用了TensorRT进行加速，程序直接读取序列化后的引擎进行推断，减少了程序运行时间；损伤标定主节点用重建时得到的相机空间参数还原成像过程，将缺陷标记并还原于三维模型中；UI节点控制程序整体的运行阶段和运行状态，同时显示识别结果并将最终结果写入文件。

进一步地，所述步骤(3)实现过程如下：

采用多视角几何三维重建方法，进行数据采集、稀疏重建、深度图估计和稠密重建过程完成结构表面的三维重建，获得三维点云模型，拟合形成结构表面连续模型；数据采集使用无人机携带相机环绕飞机进行拍摄；稀疏重建采用增量式SfM，得到场景中的相机姿态和表示场景结构的稀疏点云；稠密重建利用深度图配准原理融合深度图，恢复稠密点云。

进一步地，所述步骤(4)实现过程如下：

在得到YOLOv5模型对二维图片上飞机蒙皮缺陷的检测结果和飞机的三维结构表面连续模型后，利用多视角三维重建过程中得到的相机空间参数还原成像过程，将二维数字图像中识别得到的缺陷投影至结构表面连续模型上，从而将缺陷还原、标记于三维模型中，完成缺陷在三维重建模型上的定位。

有益效果：与现有技术相比，本发明的有益效果：本发明结合基于卷积神经网络的目标检测技术、多视角几何三维重建技术实现了精准的全局精密三维点云重建、飞机蒙皮表面二维缺陷视觉检测识别、飞机蒙皮表面缺陷在三维空间上的定位等功能的智能化无损飞机蒙皮表面缺陷检测系统，满足飞机蒙皮表面缺陷智能化、自动化、高精度三维测量应用需求。

附图说明

图1为本发明的流程图；

图2为飞机蒙皮表面缺陷无损检测机器人系统模块框图；

图3为本发明基于MVS的三维重建流程图；

图4为本发明中无人机环绕飞机采集基于多视角几何进行三维重建的数据示意图；

图5为本发明基于多视角几何的损伤投影过程示意图；

图6为本发明ROS节点示意图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

本发明提出一种基于无人机和多视角几何的飞机蒙皮缺陷识别与定位方法，如图1所示，本发明定义飞机蒙皮表面缺陷包括凹坑、划痕、撞击、腐蚀、裂纹和紧固件的损伤腐蚀等。采用ROS进行多进程管理，包含PCL(Point Cloud Library)点云库和用TensorRT部署的YOLOv5深度学习目标检测模型。首先使用无人机上携带的相机拍摄飞机蒙皮图像和视频，经过筛选和预处理建立飞机蒙皮损伤图像数据集，以此得到检测模型参数。然后使用无人机上的双目相机环绕飞机进行拍摄，并将拍摄的图像回传到地面站，地面站通过之前训练得到的模型对二维图像中的缺陷进行判断和定位。随后运用机器视觉技术和PCL点云库处理获得的飞机蒙皮图像信息，采用MVS(多视角几何三维重建)方法来完成结构表面的三维重建。同时利用重建时得到的相机空间参数还原成像过程。以此将二维数字图像中识别的损伤与三维模型上的位置匹配，并逆向投影，将缺陷标记并还原于三维模型中，最终得到诊断结果。本发明具有避免了检测过程中与飞机蒙皮表面的接触，极大降低了维护成本和检测过程中对飞机不必要的损伤；且使缺陷更加直观清晰，便于工作人员分析。具体过程如下：

步骤1：使用无人机携带相机拍摄飞机蒙皮图像和视频，获取飞机蒙皮缺陷数据。

采用配备相机的无人机对保养状态不一的各种机型表面进行拍摄，获得原始飞机蒙皮表面图像，并在此基础上进一步获取了飞机蒙皮表面的损伤图像。从中挑选出足够的飞机蒙皮原始图片，使用LabelImage软件对采集到的飞机蒙皮表面原始图像的损伤部分进行标注，并按照7比3的比例将数据集图像分为训练集和测试集。最终将所有的图像大小归一化为64pix*64pix输入检测网络中。

步骤2：采用ROS系统进行多进程管理，包含PCL点云库和用TensorRT部署的YOLOv5深度学习目标检测模型。

建立多个ROS节点，包括损伤标定主节点、三维重建节点、神经网络节点和UI节点。三维重建节点接收双目相机拍摄的图像，并使用MVS方法将其转化为点云并进行飞机的三维重建；神经网络节点接收2D图像后使用之前训练好的YOLOv5模型对图像上的蒙皮损伤进行识别检测。在推断过程中使用了TensorRT进行加速，程序直接读取序列化后的引擎进行推断，减少了程序运行时间；损伤标定主节点用重建时得到的相机空间参数还原成像过程，将缺陷标记并还原于三维模型中；UI节点控制程序整体的运行阶段和运行状态，同时显示识别结果并将最终结果写入文件。ROS使得软件框架能够更加方便迅速地搭建且方便调试。

使用TensorRT对深度学习模型进行部署过程中，TensorRT是一个高性能的深度学习推理优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。将YOLOv5神经网络模型移植到TensorRT上，加载权重文件后即可实现TensorRT加速推理。在TensorRT加速过程中程序会首先将神经网络模型简化与合并，之后序列化为引擎。引擎中保存了模型在推理时具体的运算执行流程。在视觉测试软件的神经网络节点中直接读取序列化引擎并将其反序列化，之后就可以直接对图片进行识别，YOLOv5的TensorRT加速最高可实现49FPS，且准确率极高。

YOLOv5模型主要包括主干特征提取网络(CSPDarknet)、加强特征提取网络(FPN)、和分类回归器(Yolo Head)三部分。其中，主干网络主要用于对输入图像进行特征提取，获得目标的更多空间位置和语义信息；加强特征提取网络主要用于使主干部分获得的有效特征层进行特征融合，结合不同尺度的特征信息；分类回归器则是对特征点进行判断，最终确定目标在图像中的最终位置。

如图2所示，飞机蒙皮表面缺陷无损检测机器人系统，包括搭载相机的无人机作为图像采集模块、进行二维图像检测的目标检测模块、基于PCL和多视角几何技术进行飞机的三维模型重建模块、将二维图像中检测到的飞机蒙皮缺陷在三维模型上重新标记的损伤标定模块。其中软件模块均搭建于ROS系统中。

步骤3：使用无人机携带相机环绕飞机进行拍摄，并利用拍摄的图像通过多视角三维重建方法建立三维点云模型。

如图3所示，基于多视角几何的三维重建技术流程包括进行数据采集、稀疏重建、深度图估计和稠密重建过程完成结构表面的三维重建，获得三维点云模型，进一步拟合形成结构表面连续模型。

对于稀疏重建，本发明主要以增量式SfM进行稀疏重建。SfM，(Structure FromMotion，从运动中恢复结构)，是一种从一组不同视角下拍摄的无序或有序影像中，同时恢复场景三维结构和相机姿态的技术。目的是得到场景中的相机姿态和表示场景结构的稀疏点云。增量式SfM选择无序影像进行特征匹配，并进行几何纠正、三角测量恢复稀疏点云结构，通过已有点云重新估计相对姿态，再进行局部和全局的BA优化。之后逐步向已有的结构中增加视角或影像，进行三角测量和姿态估计，再进行BA优化修正结构数据，最后输出全部的相机参数和稀疏三维点云。

对于深度图估计，目的是恢复参考影像的深度信息。基于MVS的深度图估计，主流传统方法的流程是：首先，对一个参考影像，筛选用于和参考影像配对计算视差的原始影像。其次，参考视差计算的经典框架，计算参考影像上特征对应的匹配代价，在通过代价聚合，计算深度值，最后进行深度过滤，优化初始深度图。

稠密重建利用深度图配准原理融合深度图，恢复稠密点云。

步骤4：用重建时得到的相机空间参数还原成像过程，将二维数字图像中识别的缺陷与三维模型上的位置匹配，将缺陷标记并还原于三维模型中。

如图4所示，无人机进行多视角几何重建过程中的数据采集时，需环绕飞机进行拍摄；且考虑到无人机航摄时的俯仰、侧倾影响，图像航向重叠度和旁向重叠度应不低于70％；同时无人机必须从待测飞机上空飞过，以防采集数据不足造成飞机模型几何结构的粘连。影像重叠度与影像数据量密切相关，影像重叠度越高，相同区域数据量就越大，数据处理的效率就越低。所以在进行航线设计时还要兼顾二者之间的平衡。

如图5所示，在得到神经网络对二维图片上飞机蒙皮缺陷的检测结果和飞机的三维结构表面连续模型后，利用多视角三维重建过程中得到的相机空间参数(相机位置与朝向)还原成像过程，将二维数字图像中识别得到的缺陷投影至结构表面连续模型上，从而将缺陷还原、标记于三维模型中，从而完成缺陷在三维重建模型上的定位。此方法可以实现损伤在整体模型中的准确定位，化解损伤识别精度与损伤定位的矛盾。

本发明在ROS系统中各节点及节点间的话题订阅和发布的关系如图6所示。在此话题关系图上，主要涉及损伤标定主节点三维重建节点、神经网络节点和UI节点。图6中假定神经网络节点的目标检测模型已使用初始数据集训练完毕。

具体的飞机蒙皮表面缺陷无损检测方法，包括以下步骤：

(1)采集飞机蒙皮缺陷数据集，使用无人机配备的相机对保养状态不一的各种机型表面进行拍摄，获得原始飞机蒙皮表面图像，并在此基础上进一步获取飞机蒙皮表面的损伤图像，对图像进行裁剪分类获得不同类别的蒙皮损伤数据集。

(2)搭建软件结构，在ROS系统上搭建用TensorRT部署的YOLOv5目标检测网络与PCL构建的三维重建模块和损伤定位模块。将步骤(1)获得的数据集输入目标检测网络模型进行训练，得到模型参数。

(3)采集待检飞机图像，使用无人机携带相机环绕待检飞机飞行，采集完整飞机蒙皮图像。

(4)数据处理，包括：

1)进行二维图像损伤检测处理，通过之前YOLOv5卷积神经网络算法构建检测模型和训练得到的检测模型参数，对二维的蒙皮损伤图像进行判断和定位。

2)采用多视角几何三维重建方法，进行稀疏重建、深度图估计和稠密重建过程完成结构表面的三维重建。获得三维点云模型，进一步拟合形成结构表面连续模型。同时利用多视角几何三维重建得到的相机位置与朝向还原成像过程并逆向投影，为下一步在三维模型上的损伤做准备。在获取到稀疏或密集三维点云的基础上，进一步地对点云执行降噪、抽稀操作，生成密度适中、精度高的精细点云模型之后，可进行三角形表面网格化建模以得到三角形表面网格模型。从而将离散的点云模型转化为连续的表面模型获得三维点云模型，进一步拟合形成结构表面连续模型。

3)进行三维模型上的损伤标定，使用步骤2)中得到的各个图片拍摄时的相机空间参数，将步骤1)中识别得到的缺陷检测结果投影至步骤2)中形成的结构表面连续模型中，从而实现二维图像中所识别到的损伤在三维模型上的标记与还原，实现了损伤在整体模型中的准确定位。

(5)生成报告，进行缺陷评估，生成检测报告，并将检测模型和检测结果添加到检测实例库。

本发明实现了精准的全局精密三维点云重建、飞机蒙皮表面二维缺陷视觉检测识别、飞机蒙皮表面缺陷在三维空间上的定位等功能的智能化无损飞机蒙皮表面缺陷检测系统，满足飞机蒙皮表面缺陷智能化、自动化、高精度三维测量应用需求。

Claims (5)

1.一种基于无人机和多视角几何的飞机蒙皮缺陷识别与定位方法，其特征在于，包括以下步骤：

(1)使用无人机携带相机拍摄飞机蒙皮图像和视频，获取飞机蒙皮缺陷数据；

(2)采用ROS系统进行多进程管理，包含PCL点云库和用TensorRT部署的YOLOv5深度学习目标检测模型；

(3)使用无人机携带相机环绕飞机进行拍摄，并利用拍摄的图像通过多视角三维重建方法建立三维点云模型；

(4)用重建时得到的相机空间参数还原成像过程，将二维数字图像中识别的缺陷与三维模型上的位置匹配，将缺陷标记并还原于三维模型中。

2.根据权利要求1所述的基于无人机和多视角几何的飞机蒙皮缺陷识别与定位方法，其特征在于，所述步骤(1)实现过程如下：

采用配备相机的无人机对保养状态不一的各种机型表面进行拍摄，获得原始飞机蒙皮表面图像，并进一步获取了飞机蒙皮表面的损伤图像；从中挑选出飞机蒙皮原始图片，使用LabelImage软件对采集到的飞机蒙皮表面原始图像的损伤部分进行标注，并按照7比3的比例将数据集图像分为训练集和测试集；将所有的图像大小归一化为64pix*64pix输入检测网络中。

3.根据权利要求1所述的基于无人机和多视角几何的飞机蒙皮缺陷识别与定位方法，其特征在于，所述步骤(2)实现过程如下：

建立多个ROS节点，包括损伤标定主节点、三维重建节点、神经网络节点和UI节点；三维重建节点接收双目相机拍摄的图像，并使用MVS方法将其转化为点云并进行飞机的三维重建；神经网络节点接收2D图像后使用之前训练好的YOLOv5模型对图像上的蒙皮损伤进行识别检测；在推断过程中使用了TensorRT进行加速，程序直接读取序列化后的引擎进行推断，减少了程序运行时间；损伤标定主节点用重建时得到的相机空间参数还原成像过程，将缺陷标记并还原于三维模型中；UI节点控制程序整体的运行阶段和运行状态，同时显示识别结果并将最终结果写入文件。

4.根据权利要求1所述的基于无人机和多视角几何的飞机蒙皮缺陷识别与定位方法，其特征在于，所述步骤(3)实现过程如下：

采用多视角几何三维重建方法，进行数据采集、稀疏重建、深度图估计和稠密重建过程完成结构表面的三维重建，获得三维点云模型，拟合形成结构表面连续模型；数据采集使用无人机携带相机环绕飞机进行拍摄；稀疏重建采用增量式SfM，得到场景中的相机姿态和表示场景结构的稀疏点云；稠密重建利用深度图配准原理融合深度图，恢复稠密点云。

5.根据权利要求1所述的基于无人机和多视角几何的飞机蒙皮缺陷识别与定位方法，其特征在于，所述步骤(4)实现过程如下：

在得到YOLOv5模型对二维图片上飞机蒙皮缺陷的检测结果和飞机的三维结构表面连续模型后，利用多视角三维重建过程中得到的相机空间参数还原成像过程，将二维数字图像中识别得到的缺陷投影至结构表面连续模型上，从而将缺陷还原、标记于三维模型中，完成缺陷在三维重建模型上的定位。

Images