CN112505065B - 一种实现室内无人机对大部件表面缺陷进行检测的方法 - Google Patents

Abstract

本发明公开了一种实现室内无人机对大部件表面缺陷进行检测的方法，包括如下步骤：S1、基于无人机的多传感器数据采集；S2、视频图像编码与实时传输；S3、基于三维重建的缺陷检测。本发明提供的实现室内无人机对大部件表面缺陷进行检测的方法，不仅有效提高了对大部件表面缺陷检测的准确率和灵活性，而且有效降低了检测成本。

Description

一种实现室内无人机对大部件表面缺陷进行检测的方法

技术领域

本发明是涉及一种实现室内无人机对大部件表面缺陷进行检测的方法，属于大部件表面缺陷检测技术领域。

背景技术

大飞机重大专项是党中央、国务院建设创新型国家，提高我国自主创新能力和增强国家核心竞争力的重大战略决策，是《国家中长期科学与技术发展规划纲要(2006-2020)》确定的16个重大专项之一。随着国产C919大飞机的成功首飞，对航空部件的制造、安装和维修的精度提出了更高要求，检测精度的高低在很大程度上决定了航空部件的最终质量。特别是大部件这类现代化、精细化制造的流水线和自动线中，检测的重要性更是毋庸置疑，检测可以发现大部件在制造和维修中的不足，客观真实地反应出部件质量的好坏，通过检测分析可能影响大部件质量的原因，进而针对性地采取改进措施，可更好地提高大部件的制造质量。大部件需要对内部及表面进行检测，内部检测往往需要X光等辅助成像设备；而表面缺陷检测主要借助于可见光检测，大部件表面缺陷，包括橘皮、流淌、流挂、鱼眼、针孔与漏刷等，可导致表面接触空气、水分等引起内部逐步腐蚀扩散而外观看起来无恙的安全隐患。因此，对大部件表面缺陷的日常检测将为飞行安全提供重要保障。

目前，对大部件表面缺陷的检测主要有传统工艺方法和数字化检测技术两大类。传统工艺方法是依靠工装和工艺补偿来保证零部件之间的协调，依靠模式样板、光学仪器等检测装备来保证检测精度和质量。但是，由于大部件具有结构复杂、外形尺寸大的特点，传统工艺方法精度较差、效率偏低，已不能适应现代航空发展需求。而数字化检测技术是以上位机检测软件为核心，以数字化检测设备为检测工具，对待测对象实施精确、快速、智能和自动检测，以获取待测物体精确的三维形状或位姿信息，并对测量结果进行分析评估的一整套检测系统。数字化检测技术的手段有激光跟踪仪、电子经纬仪、电子全站仪、室内GPS(iGPS)、激光雷达和照相测量等技术，其中，以激光跟踪仪、激光雷达和GPS为代表的大尺寸测量设备，以其大范围、高精度、高效率等优势，已成为国内外航空数字化检测领域的重要检测手段。国内外航空制造公司已开始大规模将数字化检测系统引入大部件的检测过程中，利用数字化检测系统的高精度测量、控制和分析，以提升检测精度。

数字化检测设备在国内航空制造企业使用多年，已逐步应用于大部件缺陷检测中，但仍存在许多问题，主要表现在：(1)检测仪器无法保证一次站位就能扫描测量全部特征：大部件的检修需要的特征较多，如蒙皮气动外缘型值偏差检查、部件相对位置准确度检查、间隙检查等，所选择的测量仪器很难保证一次能完成全部特征的扫描测量；(2)检测仪器的部署与实施复杂，因为大部件的检修一般是在人员较多、场景复杂的检修现场进行，因此各种检修仪器和测量设备接线繁琐，检测光路可能受到工架和大部件遮挡，需要不断调试和转站操作，耗时耗力；(3)依赖于人工协助检测，操作人员通常依靠经验和仪器的使用条件，采取手动操作方式进行检测，不仅检测过程繁琐、测量可控性弱、检测效率低且易少检或漏检，检测所用的时间成本和人力成本居高不下。

发明内容

针对现有技术存在的上述问题，本发明的目的是提供一种实现室内无人机对大部件表面缺陷进行检测的方法，以提高对大部件表面缺陷检测的准确率，提高检测灵活性和降低检测成本。

为实现上述发明目的，本发明采用的技术方案如下：

一种实现室内无人机对大部件表面缺陷进行检测的方法，包括如下步骤：

S1、基于无人机的多传感器数据采集：首先对无人机的实际飞行路径进行路径规划，通过融合无人机机载的多传感器数据实现无人机的自主定位，数据采集过程中，通过自适应姿态调整算法调整无人机的数据采集姿态，从而通过无人机采集到被检测大部件表面的视频图像数据；

S2、视频图像编码与实时传输：建立机器视觉感知模型，基于机器视觉感知模型对步骤S1中由无人机采集的视频图像数据进行压缩编码，并通过链路自适应传输技术对压缩编码后的视频图像数据进行实时传输；

S3、基于三维重建的缺陷检测：接收步骤S2传输的视频图像数据，并对接收的视频图像数据进行弱纹理视觉特征提取与匹配，根据提取与匹配结果进行三维曲面重建，构建被检测大部件的三维模型，然后基于三维模型实现对被检测大部件表面缺陷的检测与定位。

优选的，步骤S1中，采用基于深度Q网络的路径规划算法，对无人机的实际飞行路径进行路径规划。

优选的，步骤S1中，基于无人机的多传感器数据采集，包括如下步骤：

S11、基于多状态约束的机库无人机自主定位：通过无人机机载的多个传感器以分别获取无人机的定位信息，基于多状态约束扩展卡尔曼滤波的松耦合机制，对多个传感器所获取的信息进行融合处理，实现无人机的三维位姿的自主定位；

S12、面向高精度视觉数据采集的路径规划：采用基于深度Q网络的路径规划算法，对无人机的实际飞行路径进行路径规划，以使得无人机能对被检测大部件表面进行高精度视觉数据采集；

S13、复杂环境下自适应数据采集：通过自适应姿态调整算法调整无人机的数据采集姿态，使得无人机能在复杂环境下对被检测大部件表面进行自适应数据采集，从而通过无人机采集到被检测大部件表面的超高清视频图像数据。

进一步优选的，步骤S11中，无人机机载的多个传感器包括双目相机、IMU、激光雷达，通过无人机机载的双目相机、IMU、激光雷达以分别获取无人机的定位信息；基于多状态约束扩展卡尔曼滤波的松耦合机制，对双目相机、IMU、激光雷达所获取的信息进行融合处理，实现无人机的自主定位。

进一步优选的，步骤S11中，基于多状态约束的机库无人机自主定位，是先通过无人机机载的双目相机、激光雷达和IMU分别进行视觉SLAM定位、激光雷达SLAM定位和IMU姿态估计，然后基于多状态约束扩展卡尔曼滤波的松耦合机制，对视觉SLAM定位、激光雷达SLAM定位和IMU姿态估计得到的信息进行融合处理，得到无人机的六自由度位姿信息，实现无人机的自主定位；具体的，包括如下步骤：

S111、视觉SLAM定位：

通过双目相机进行图像采集，基于ORB算法对双目相机采集的图像进行处理，根据处理得到的视差估计地面离相机的距离，从而得到无人机的Z轴信息；

S112、激光雷达SLAM定位：

通过激光雷达进行点云数据采集，基于Cartographer算法对激光雷达采集的点云数据进行处理，激光雷达通过扫描周围物体，从而确定自身位置，即无人机位置，得到无人机的二维信息；

S113、IMU姿态估计：

通过IMU进行惯性数据采集，根据IMU的运动方程对采集的数据进行惯导解算，得到无人机的位姿信息；

S114、多传感器融合的无人机室内定位：

基于多状态约束扩展卡尔曼滤波的松耦合机制，对步骤S111、S112、S113所获取的信息进行融合处理，得到无人机的六自由度位姿信息，实现无人机的三维位姿的自主定位。

进一步优选的，步骤S114中，信息融合时采用的扩展卡尔曼滤波融合算法公式如下所示：

P_t+Δt＝FP_tF^T+Q；

其中，

表示对无人机位姿状态和不确定性的先验估计更新过程，

表示无人机更新后状态，F表示状态转移矩阵，B表示控制矩阵，u_t表示系统输入量，x_t表示无人机更新前状态；

P_t+Δt＝FP_tF^T+Q表示对预测状态协方差值的先验估计更新过程；P_t+Δt表示更新后的状态协方差值，P_t表示更新前的状态协方差值，Q表示状态转移矩阵的协方差矩阵；

表示卡尔曼增益系数的计算过程，K_t+Δt表示卡尔曼增益系数，

表示更新后的先验估计协方差，R表示测量噪声协方差；

表示根据观测量进行更新后的后验状态估计值的计算；x_t+Δt表示更新后的后验状态估计值，Z_t+Δt表示测量值；

表示根据观测量进行更新后的后验估计协方差，I表示单位矩阵。

进一步优选的，步骤S12中，面向高精度视觉数据采集的路径规划，是通过无人机对待检测大部件的表面进行视觉数据采集，计算出检测范围所需要的三维飞行区域并生成点云地图，再采用模仿学习的方法，建立专家样本作为深度Q网络的输入，通过深度强化学习的方法对无人机的实际飞行路径进行规划，以使得无人机能对被检测大部件表面进行高精度视觉数据采集，具体的，包括如下步骤：

S121、三维场景感知：通过无人机对待检测大部件表面进行视觉数据采集，计算出大部件检测区域所需要的三维飞行区域并生成点云地图；

S122、优化目标构建：首先定义点云地图模型S＝{s₁，s₂，…，s_n}为路径规划的状态空间，s_i(i∈(1,n))表示无人机在三维空间中的坐标点定义动作空间A＝{a₁,a₂,…,a_n}，a_i(i∈(1,n))表示无人机的飞行速度以及飞行方向；

S123、深度强化学习的路径规划：采用模仿学习的方法，建立专家样本作为深度Q网络的输入，通过深度强化学习的方法对无人机的实际飞行路径进行规划。

进一步优选的，步骤S13中，复杂环境下自适应数据采集，包括如下步骤：

S131、相机姿态调整：基于三维形状先验的自适应姿态调整算法，调整无人机的数据采集姿态，使得无人机能在复杂环境下对被检测大部件表面进行自适应数据采集，具体是：通过观测拍照时无人机机身姿态及高度变化，结合先验大部件三维形状，自动调整三维姿态调整装置(即自适应相机姿态调节装置)，进而调整无人机的数据采集姿态，使无人机上的用于固定双目相机的相机云台的镜头视角保持与被检测大部件表面相垂直，以确保所采集的视频图像的质量；

S132、构建图像抖动模型：构建图像抖动模型并基于图像抖动模型对无人机采集的图像进行去除抖动模糊处理，具体是：基于深度学习的非盲去模糊算法，构建图像抖动模型，通过深度学习来处理非盲运动去模糊中的核不确定性，将运动估计矩阵建模为模糊核进行非盲去模糊，从而对无人机采集的图像进行去除抖动模糊处理；

S133、多视角图像增强：对无人机采集的图像进行光照一致性处理，具体是：采用光照一致性检测模型，并基于深度与位姿估计的同区域映射变换融合相邻帧中光照良好的区域，从而使得无人机采集的图像光照一致性。

优选的，步骤S2中，视频图像编码与实时传输，包括如下步骤：

S21、建立机器视觉感知模型(即面向机器视觉的视频图像感知模型)：先分别建立基于纹理的机器视觉感知模型和基于亮度的机器视觉感知模型；然后结合基于纹理的机器视觉感知模型和基于亮度的机器视觉感知模型并引入量化参数调节模型，建立面向缺陷检测的机器视觉感知模型，即完成机器视觉感知模型的建立；

S22、弱纹理高冗余视频图像编码：基于步骤S21的机器视觉感知模型，采用AVS3的快速及高效压缩编码方法，对无人机采集的视频图像数据进行快速压缩编码；通过机器视觉感知模型+AVS3技术，能对弱纹理高冗余视频图像进行快速压缩编码；

S23、强干扰低延时超高清视频传输：通过基于RCM的链路自适应传输技术对步骤S22压缩编码后的视频图像数据进行实时传输；通过RCM的链路能获得强鲁棒高质量的链路自适应视频传输，实现强干扰低延时超高清视频传输。

优选的，步骤S3中，基于三维重建的缺陷检测，包括如下步骤：

S31、弱纹理视觉特征提取与匹配：接收步骤S2传输的视频图像数据，采用大尺度弱纹理场景的视觉特征提取与匹配优化技术，对接收的视频图像数据进行弱纹理视觉特征提取，并对提取的特征点进行匹配；

S32、大场景高精度三维曲面重建：先基于几何的三维重建，然后基于语义信息的局部BA优化，从而构建出大场景高精度三维曲面；

S33、基于物理模型的表面缺陷定位与检测：基于反光表面物理模型的多曝光图像融合反光消除方法对步骤S32构建的三维曲面中的表面图像进行缺陷定位与检测，从而实现对待检测大部件表面缺陷的定位与检测。

进一步优选的，步骤S31中，所述视觉特征提取与匹配优化包括：先基于传统与深度学习进行特征提取、融合，然后基于超像素词袋方法进行最优特征匹配。

与现有技术相比，本发明具有如下显著性有益效果：

本发明提供的实现室内无人机对大部件表面缺陷进行检测的方法，包括基于无人机的多传感器数据采集、视频图像编码与实时传输和基于三维重建的缺陷检测，不仅有效提高了室内无人机对大部件表面缺陷检测的准确率和灵活性，而且有效降低了检测成本，相较于现有技术，取得了显著性进步和出乎意料的效果。

附图说明

图1是本发明实现室内无人机对大部件表面缺陷进行检测的方法的整体流程图；

图2是本发明实现无人机自主定位的流程图；

图3是本发明实现无人机航路规划的流程图；

图4是本发明实现对大部件表面图像采集和预处理的流程图；

图5是本发明中面向缺陷检测的机器视觉感知模型；

图6是本发明实现对弱纹理高冗余视频图像进行编码的原理图；

图7是本发明中实现面向缺陷检测高效压缩的原理图；

图8是本发明中实现链路自适应传输的原理图；

图9是本发明中实现弱纹理视觉特征提取与匹配的原理图；

图10是本发明中光束平差法(Bundle Adjustment，BA)重建流程图；

图11是本发明基于物理模型对表面缺陷定位与检测的流程图；

图12是本发明中基于反光表面模型的多图像融合反光消除方法的原理图；

图13是本发明中基于高斯混合模型的缺陷参数化表达下的CGAN的结构示意图；

图14是本发明中结合三维信息的深度学习对表面缺陷进行检测的流程图。

具体实施方式

下面结合具体的实施例对本发明技术方案做进一步详细、完整地说明。

实施例

请结合图1至图14所示，本发明提供的一种实现室内无人机对大部件(本实施例中所检测的大部件为大型民航机)表面缺陷进行检测的方法，包括如下步骤：

S1、基于无人机的多传感器数据采集：首先对无人机的实际飞行路径进行路径规划，通过融合无人机机载的多传感器数据实现无人机的自主定位，数据采集过程中，通过自适应姿态调整算法调整无人机的数据采集姿态，从而通过无人机采集到被检测大部件表面的超高清视频图像数据；

具体的，包括如下步骤：

S11、基于多状态约束的机库无人机自主定位：先通过无人机机载的双目相机、激光雷达和IMU分别进行视觉SLAM定位、激光雷达SLAM定位和IMU姿态估计，然后基于多状态约束扩展卡尔曼滤波的松耦合机制，对视觉SLAM定位、激光雷达SLAM定位和IMU姿态估计得到的信息进行融合处理，得到无人机的六自由度位姿信息，实现无人机的自主定位，具体的，如图2所示，包括如下步骤：

S111、视觉SLAM定位：

通过双目相机进行图像采集，基于ORB算法对双目相机采集的图像进行处理，根据处理得到的视差估计地面离相机的距离，从而得到无人机的Z轴信息：

采用ORB(Oriented FAST and Rotated BRIEF)算法获取双目相机采集的图像中的特征点，并对其进行匹配，得到若干组特征点的匹配对，然后利用直接线性变化来计算每组匹配对之间的对应关系，该对应关系由二维单应矩阵H表示，本实施例中，设四组匹配对为：

i＝1，2，3，4，则每组匹配对之间的对应关系由3*3的二维单应矩阵H描述，具体如公式(1)所示：

x’_i×Hx_i＝0 (1)；

计算得到二维单应矩阵H后，先使用Faugeras和Lustman方法来恢复出八种可能的旋转和平移矩阵；然后根据相机的运动来对成功匹配的特征点进行三角化，进而得到无人机在世界坐标系Z_w轴下的坐标。

本实施例中，所采用的三角化操作的原理与双目视觉通过视差来得到深度信息的原理类似，两个点(三角化之前匹配成功的两个特征点)的像素距离根据相机内参可以换算到相机坐标下的实际距离，然后根据相似三角形关系，可以通过基线长度B和共视点(三角化之前匹配成功的两个特征点)在两帧中的视差d恢复出该点的深度信息，即在世界坐标系Z_w轴下的坐标：

S112、激光雷达SLAM定位：

通过激光雷达进行点云数据采集，基于Cartographer算法对激光雷达采集的点云数据进行处理，激光雷达通过扫描周围物体，从而确定自身位置，即无人机位置，得到无人机的二维信息：

使用Cartographer算法，对激光雷达的点云进行预处理：先对雷达点云数据进行倾斜补偿，若激光雷达在工作时存在小角度的倾斜，则通过和激光雷达安装板刚性连接的IMU来解算出雷达的姿态，根据该帧的姿态角度对点云数据进行补偿，调整每个点云的测量距离，使其恢复为水平时的测量距离；接着对测量到的点云数据进行体素滤波(Voxelfilter)，对点云进行体素滤波使点云的密度趋于一致。

S113、IMU姿态估计：

通过IMU进行惯性数据采集，根据IMU的运动方程对采集的数据进行惯导解算，得到无人机的位姿信息：

IMU系统测得的状态量包括IMU的位置

姿态

速度

以及加速度计和陀螺仪的零漂b_a，b_g，因此IMU系统的状态量整体定义为16维的列向量：

然后根据定义的状态量可以得到IMU的运动方程：

公式(3)中，

表示无人机位置，

表示无人机姿态，Ω表示斜对称矩阵，W_b表示角速度，n_g表示噪声角速度，

表示速度，

代表由当前IMU体坐标系到世界坐标系的旋转矩阵，a_m表示加速度，n_a表示噪声加速度，g表示重力加速度，

表示加速度计零漂，

表示噪声加速度计零漂，

表示陀螺仪零漂，

表示噪声陀螺仪零漂；

根据上述运动方程进行惯导解算，得到无人机的位姿信息。

S114、多传感器融合的无人机室内定位：

基于多状态约束扩展卡尔曼滤波的松耦合机制，对步骤S111、S112、S113所获取的信息进行融合处理，得到无人机的六自由度位姿信息，实现无人机的三维位姿的自主定位：

设定状态转移矩阵为F，控制矩阵为B，观测矩阵为H，观测量为Z，观测量的协方差矩阵为R，状态转移矩阵的协方差矩阵为Q，状态转移后和经过观测值修正的系统协方差矩阵分别为

和P，卡尔曼增益为K，状态转移后和经过观测值修正后的系统状态估计矢量分别为

和x，系统输入量为u_t，则采用卡尔曼滤波器信息融合时所采用的扩展卡尔曼滤波融合算法可以用公式(4-8)表示：

P_t+Δt＝FP_tF^T+Q (5)；

其中，公式(4)表示对无人机位姿状态和不确定性的先验估计更新过程，

表示无人机更新后状态，F表示状态转移矩阵，B表示控制矩阵，u_t表示系统输入量，x_t表示无人机更新前状态；

公式(5)表示对预测状态协方差值的先验估计更新过程；P_t+Δt表示更新后的状态协方差值，P_t表示更新前的状态协方差值，Q表示状态转移矩阵的协方差矩阵；

公式(6)表示卡尔曼增益系数的计算过程，K_t+Δt表示卡尔曼增益系数，

表示更新后的先验估计协方差，R表示测量噪声协方差；

公式(7)表示根据观测量进行更新后的后验状态估计值的计算；x_t+Δt表示更新后的后验状态估计值，Z_t+Δt表示测量值；

公式(8)表示根据观测量进行更新后的后验估计协方差，I表示单位矩阵；

将基于扩展卡尔曼滤波的多传感器融合系统的状态向量定义为S_t：

S_t＝[x_t y_t u_t v_t θ_t ω_t] (9)；

公式(9)中，(x_t，y_t)为无人机在世界坐标下的二维位置，(u_t，v_t)为无人机在世界坐标下的运动速度，(θ_t，ω_t)则为无人机的方向角和角速度。

然后根据公式(9)，定义系统的误差状态为

其中

为误差状态向量，

为状态向量期望值：

公式(10)中，δ表示误差；

表示位置误差，

表示姿态误差，

表示速度；公式(11)中，^表示期望值。

然后根据误差状态的定义

经过一系列的线性化处理后即可以得到新的误差状态方程，如式(12)所示：

公式(12)中，n为噪声状态，可表示为

F为状态转移矩阵，G为噪声矩阵；

然后对状态转移矩阵F进行离散化得到离散化的状态转移矩阵

进而求取离散化的系统噪声协方差矩阵Q_d，然后通过求得的Q_d和

进行卡尔曼滤波的预测过程，得公式(13)：

公式(13)中，X_k+1|k表示误差状态的预测值、P_k+1|k表示系统状态协方差矩阵的预测值，X_k|k、P_k|k则分别代表误差状态、系统状态协方差矩阵上一时刻的最优估计值。

卡尔曼滤波的预测过程得到的无人机状态值需进一步进行更新，通过观测值更新得到更加精准的状态值，定义系统的观测值为：

然后计算出观测方程的误差状态表达式(14)：

公式(14)中，

表示无人机位置误差，

表示IMU体坐标系到世界坐标系的旋转矩阵，

表示协方差矩阵，

表示无人机姿态误差；

设定

则可以得到观测矩阵C的表示如式(15)：

公式(15)中，I₃表示单位矩阵，O₃表示零矩阵；

然后观测矩阵和观测噪声协方差矩阵就可以得到卡尔曼滤波的更新过程，步骤如式(16)～(18)：

首先计算系统的增益矩阵K：

K＝P_k+1|kC^T(CP_k+1|kC^T+R)^-1 (16)；

然后对系统状态向量进行更新：

最后对系统状态协方差矩阵进行更新：

P_k+1|k+1＝(I₁₅-KC)P_k+1|k(I₁₅-KC)^T+KRK^T (18)；

公式(18)中，I₁₅表示单位矩阵；

然后即可更新扩展卡尔曼滤波融合算法，通过更新的扩展卡尔曼滤波融合算法实现视觉SLAM定位、激光雷达SLAM定位和IMU姿态估计得到的信息进行融合处理，得到无人机的六自由度位姿信息。

本发明在无人机的自主定位过程中，在进行卡尔曼滤波融合前，运用带尺度的ORB_SLAM算法对激光雷达采集到的数据与双目相机采集到的数据进行六自由度的位姿尺度估计，而对IMU采集的数据进行利用惯导解算，将三种数据共同输入到扩展的卡尔曼滤波融合算法中，最终得到无人机的六自由度的位姿信息，相较于传统的无人机定位，本发明无人机的自主定位更为精确。

S12、面向高精度视觉数据采集的路径规划：通过无人机对待检测大部件的表面进行视觉数据采集，计算出检测范围所需要的三维飞行区域并生成点云地图，再采用模仿学习的方法，建立专家样本作为深度Q网络的输入，通过深度强化学习的方法对无人机的实际飞行路径进行规划，以使得无人机能对被检测大部件表面进行高精度视觉数据采集(本发明主要用于空旷的室内环境，相对于传统室内检测关注躲避障碍物，本发明更注重如何最大限度地捕捉到有效的高清画面)；具体的，如图4所示：

本发明中定义点云地图模型S＝{s₁，s₂，…，s_n}为路径规划的状态空间，s_i(i∈(1，n))表示无人机在三维空间中的坐标点，定义动作空间A＝{a₁，a₂，…，a_n}，a_i(i∈(1，n))表示无人机的飞行速度以及飞行方向；

然后通过强化学习的方法，将无人机采集大部件表面最大面积设为奖励值，使无人机在上述定义的点云地图中寻找最优路径。

本实施例中，采用的强化学习的方法为Q-学习(Q-learning)法，Q-学习(Q-learning)是目前应用最广泛的一种无模型的强化学习算法，其智能体使用表格来存储并通过与环境的交互来更新状态-动作对(s，a)：

公式(19)中，Q^π(s，a)为智能体从某个状态s开始，按照策略π并执行动作a所得到的奖励值的期望值。

设定最优的路径规划对应着智能体采取最优策略π^*，其对应的Q值记为

最优动作价值函数(Q函数)遵从Bellman公式，即对于所有可能的动作a′、序列s′在下一时刻的最优Q值Q_*(s′，a′)都是已知的，那么最优策略π^*就是选择最大化r+γQ_*(s′，a′)期望的动作a′，具体的如公式(20)所示：

公式(20)中，γ∈[0，1]为计算累计奖励对于未来奖励的折扣因子；

设定在任意时刻t，智能体(即无人机)处于状态s_t，并且执行了动作a_t，则会相应地更新Q值Q(s，a)，并将t+1时刻到∞时刻的累计奖励近似表示为

即未来状态s_t+1对应的最优Q值，Q-学习在每一时刻的具体更新步骤如公式(21)所示：

公式(21)中，α∈[0，1]为决定了算法的收敛性和收敛速度的学习速率。

由于Q-学习算法无法适应高维状态空间，因此本发明创造性的采用基于深度Q网络的路径规划算法，深度Q网络(DQN)的核心思想是用神经网络近似Q-学习中的动作价值函数(Q函数)，从而使用贪心策略进行一系列决策，采用DQN的优势在于DQN中的深度神经网络模型能根据已有的状态动作对实现对未知的状态动作对进行近似和预测，从而可以解决Q-学习算法中无法适应高维状态空间的问题，具体而言，本发明使用深度神经网络对动作价值函数Q函数Q(s，a)进行近似拟合，并在参数中增加模型参数θ这一项表示模型的泛化能力，即：

Q(s，a；θ)≈Q(s，a) (22)；

设定神经网络的权值为模型参数θ，数据集为D，模型的损失函数可定义为：

公式(23)中，L_i(θ_i)表示网络的总损失量，E_{(s，a，r，s′)～U(D)}表示误差，

表示最大期望估计值；

如此，即可采用基于深度Q网络的路径规划算法，对无人机的实际飞行路径进行路径规划。

S13、复杂环境下自适应数据采集：通过自适应姿态调整算法调整无人机的数据采集姿态，使得无人机能在复杂环境下对被检测大部件表面进行自适应数据采集，从而通过无人机采集到被检测大部件表面的超高清视频图像数据，具体如附图5所示，包括如下步骤：

S131、相机姿态调整：基于三维形状先验的自适应姿态调整算法，调整无人机的数据采集姿态，使得无人机能在复杂环境下对被检测大部件表面进行自适应数据采集，具体是：通过观测拍照时无人机机身姿态及高度变化，结合先验大部件三维形状，自动调整三维姿态调整装置(即自适应相机姿态调节装置)，进而调整无人机的数据采集姿态，使无人机上的用于固定双目相机的相机云台的镜头视角保持与被检测大部件表面相垂直，以确保所采集的视频图像的质量；

S132、构建图像抖动模型：基于深度学习的非盲去模糊算法，构建图像抖动模型，通过深度学习来处理非盲运动去模糊中的核不确定性，将运动估计矩阵建模为模糊核进行非盲去模糊，从而对无人机采集的图像进行去除抖动模糊处理：

通过将相邻序列图像输入卷积神经网络，得到相邻帧间的6自由度运动估计，该运动估计即为实际的抖动轨迹，然后将运动估计矩阵建模为模糊核，进行非盲去模糊运算，为了利用这些输入的互补性来改善学习，同时提供了多个潜在图像估计，以对应于从一个给定的模糊观测中获得的不同先验强度。

在卷积神经网络模型中，原始图像1通过模糊核k与模糊图像b相关：

b＝l*k+n (24)；

公式(24)中，*为卷积操作，n为加法高斯白噪声；

然后采用最大后验概率估计(Maximum a-posteriori，MAP)，通过求解该公式(24)的优化框架，从模糊核k中得到原始图像的估计：

公式(25)中，P(1)决定原始图像的先验，λ是基于先验项的代价权重，

是估计值，

是

估计值对应的模糊核；

然后将全局先验强制为：

公式(26)中，P(l)是先验概率，

为图像梯度，α为超拉普拉斯算子；

然后采用超拉普拉斯算子(hyper-Laplacian)(0.5＜α＜0.8)对自然图像梯度的分布进行建模。

为了获得真实的噪声核，可以使用传统BD算法返回的模糊核。然而，存在如下几个问题：首先，BD算法返回的核估计值的质心可能与真值核心的质心不一致，这将导致去模糊图像与相应的原始图像随机不对齐，从而影响网络的学习能力；其次，由于实核的生成是非常耗时的，因此不可能获得大量的实核噪声。

为了解决这些问题，我们拟尝试两种不同的策略来使用噪声内核进行训练：第一种方法是使用真实的核进行训练，并通过对估计的图像与真值图像进行仿射配准来调整核噪声带来的任何偏差；第二种方法是合成噪声核；对于第二种方法，使用一个优化框架来生成合成的噪声核。

为了使网络能够很好地泛化用来处理真实的核，所生成的合成噪声核必须模拟实际噪声的特征。BD方法(内核上的L2或L1范数)使用的典型内核先验往往能够平稳地传递变化的内核估计。在合成内核生成方案中尝试分析建模并遵循这些特性。为了解决真值核与噪声核质心变化的问题，进行噪声相加，即首先对齐真值核，使其质心为零。然后，使用优化框架生成合成的零质心核噪声(n)，并将其添加到真值核中以得到所需的噪声核，这确保恢复的图像和地面真值图像是完全对齐的，拟通过生成

解决优化问题：

公式(27)中，m_i是使用随机数发生器获得的内核噪声的初始估计；当β₁决定噪声的深度时，H_z是仅在真实数据核邻域上选择有效区域的掩码；K_c是质心计算矩阵，β_c是质心执行项的权重；P_u和P_v是沿u和v的梯度计算的矩阵，β_p是核噪声梯度的平滑度权重。并且对核噪声强制了一个额外的非负性约束条件。在等式(27)中，第一项通过约束使噪声更接近m_i来确保产生噪声的随机性。最后的合成噪声核

是通过在真实核中加入

然后再加上高斯低通滤波(方差z_g)形成的：

公式(28)中，

表示方差，T_gt表示真实核；

同时利用低通滤波增强所需的平滑效果，拟选择β_c＝1e³和β_p＝1作为实验对象，利用6≤β₁≤9和0.5≤z_g≤0.7获得的合成噪声核进行训练。

S133、多视角图像增强：经过去除抖动模糊的图片由于室内灯光下会存在光照差距，因此，本步骤采用光照一致性检测模型，并基于深度与位姿估计的同区域映射变换融合相邻帧中光照良好的区域，从而使得无人机采集的图像光照一致性，实现图像增强：

对于指定图像L_t中的光照阴影区域，根据深度、法线联合预测网络预测得到的视图深度信息D_t，姿态估计网络预测的周围帧相对位姿变化T_t→t+1和周围帧视图L_t+1为输入，经由公式(25)得到原视图光照阴影区域像素坐标p_t映射在周围帧视图上的位置坐标p′_t，用于反向映射(inverse warping)周围帧视图L_t+1来重建视图L_t中的光照阴影区域，得到L′_t；

其中，反向映射具体过程为：对于原视图中的每一个像素点p_t，首先根据预测的深度和摄像机的姿态将其投影(映射)到相邻视图上，然后使用双线性插值来获得在位置p_t上重建图像的像素点p′_t的值：

p′_t～KT_t→t+1D_Lt(p_t)K^-1p_t (29)；

公式(29)中，p_t表示原视图中像素，K表示相机的内参矩阵；从而即可得到p_t投影到相邻视图p′_t上的坐标。

本发明从L_t出发，寻找相对应的周围帧中的点，这样能够确保通过反向映射得到的重建视图L′_t中的每一个点都有赋值，如果得到的相邻帧的点不属于(整数)像素点，可以通过插值的方法求得所对应非像素点的位置，由此得到整幅光照一致的图像数据，再经过处理解决抖动模糊和光照分布不均匀的问题，得到具有相同图像属性的一系列相邻图像序列，即为最终需求数据。

S2、视频图像编码与实时传输：建立机器视觉感知模型，基于机器视觉感知模型对步骤S1中由无人机采集的视频图像数据进行压缩编码，并通过链路自适应传输技术对压缩编码后的视频图像数据进行实时传输；包括如下步骤：

S21、建立机器视觉感知模型：如附图5所示，先分别建立基于纹理的机器视觉感知模型和基于亮度的机器视觉感知模型；然后结合基于纹理的机器视觉感知模型和基于亮度的机器视觉感知模型并引入量化参数调节模型，建立面向缺陷检测的机器视觉感知模型，即完成机器视觉感知模型的建立；

具体如下：

S211、建立基于纹理的机器视觉感知模型：

根据像素灰度的空间相关性定义多个纹理特征，利用区域划分将合并的全景视频图像帧划分成不同区域：具体地，首先从两视频帧拼接入手，提取SIFT特征点进行快速匹配，由于SIFT特征点在提取过程中数量众多，在匹配过程中存在消耗时间过长和冗余错误，采用BBF(Best Bin First)搜索算法代替传统的KD-tree(K-dimension tree)算法以提高匹配效率，再通过RANSAC算法减少误匹配等策略进行改进；生成全景图像后，依据像素灰度的空间相关性定义多个纹理特征，然后利用区域划分将图像域划分成不同子区域，待分割同质区域由这些子区域拟合而成。通过定义多个特征图像的同质区域之间的异质势能函数和刻画子区邻域关系势能函数定义全局势能函数，建立非约束吉布斯概率模型，从而生成纹理分类模型。在纹理分类模型基础上，逐渐改变缺陷区域的像素值，并用缺陷检测算法检测。用多项式函数拟合基于纹理的机器视觉感知模型。

S212、建立基于亮度的机器视觉感知模型：无人机拍摄过程中由于光照不均匀的影响将导致部分区域亮度过亮或较暗，因此，需要考虑不同亮度情况下，保证缺陷检测算法定位精度前提下，缺陷区域的最大失真度阈值，并结合缺陷特性，探究亮度因子下的最小分析块大小，而本发明则采用缩放搜索策略，即粗放定范围，细化定精度的策略构建出基于亮度的机器视觉感知模型来克服上述问题。

具体的，对无人机采集的图像先采用大步长块分析亮度变化对缺陷检测的影响，进行亮度范围分析；然后在改范围内进行粗发搜索尺寸，找到最佳大步长块尺寸；接着进一步在改范围内细化块尺寸，搜寻最佳块尺寸大小并调节块内像素亮度值，观察并记录不影响缺陷检测的亮度变化阈值临界点；最后根据亮度值与阈值之间的二维曲线变化形式，拟合出基于亮度的机器视觉感知模型。

S123、建立面向缺陷检测的机器视觉感知模型：采样后的数据传输到编码系统后，会产生编码失真，这会对缺陷检测精度产生影响，本发明提出结合纹理和亮度模型，探究在不同编码环境下，机器视觉能够判决缺陷的最大容忍失真度，具体操作如下：

结合基于纹理的机器视觉感知模型和基于亮度的机器视觉感知模型，建立非线性模型以拟合纹理与亮度之间关系，其表达式如公式(30)所示：

T(x，y)＝T_t(x，y)+T_l(x，y)-p·min{T_t(x，y)，T_l(x，y)} (30)；

公式(30)中，T_t(x，y)和T_l(x，y)分别表示基于纹理和亮度的机器视觉感知模型，p表示二者感知模型的重叠效应；

向公式(30)中所示的非线性模型中引入量化参数调节模型：这是由于在视频编码过程中，编码失真的类型主要集中在量化参数上，本实施例中，由于视频编码中最小编码单元为8*8，因此观测8*8量化参数变化情况下，缺陷检测精度变化情况，建立量化参数调节模型γ(QP)，并将γ(QP)引入公式(30)所示的非线性模型中，最终，得到面向缺陷检测的机器视觉感知模型如下式：

T(x，y，QP)＝α·(T_t(x，y)+T_l(x，y)-p·min{T_t(x，y)，T_l(x，y)})·γ(QP) (31)；

公式(30)中，α为调节因子，通过最小二乘法计算出来。

S22、弱纹理高冗余视频图像编码：如图6所示，基于步骤S21的机器视觉感知模型(即步骤S123的面向缺陷检测的机器视觉感知模型)，采用AVS3的快速及高效压缩编码方法，对无人机采集的视频图像数据进行快速压缩编码；通过机器视觉感知模型+AVS3技术，能对弱纹理高冗余视频图像进行快速压缩编码。

S221、基于AVS3的快速编码

本发明采用的AVS3编码的压缩效率相对于传统AVS2或H.265/HEVC再提高约30％，此外，由于步骤S21的机器视觉感知模型(即：面向缺陷检测的机器视觉感知模型)能够反映当前编码内容的特性，因此，本发明利用步骤S21的机器视觉感知模型进行AVS3的快速编码，可以进一步优化AVS3编码标准，提高AVS3编码速度。

具体操作如附图6所示：

首先，通过对多叉树快速分割并分析多叉树下的编码块尺寸分布规律，建立深度值模型。其次，根据相邻编码块深度值大小，搭建如卷积神经网络预测当前块深度值，从而提前预测多叉树结构，进行快速帧内预测。最后，快速帧间预测。

S222、基于AVS3的高效压缩

先对步骤S221中产生的预测残差进行滤波处理：利用步骤S21的机器视觉感知模型(即：面向缺陷检测的机器视觉感知模型)，去除面向视觉的感知冗余，将步骤S221中帧内帧间预测过程中产生的残差与模型阈值进行对比，朝着残差为零的方向进行缩放，从而达到减小数据量的目的，其中缩放因子采用逻辑回归算法推导，预测残差滤波过程如公式(32)所示：

公式(32)中，R(x，y)和R′(x，y)分别表示滤波前和滤波后的残差系数，R_avg为残差系数的均值，γ.T(x，y)为缩放因子。

由于在编码过程中，除了残差部分会产生冗余，在率失真过程中也会存在冗余，其去除冗余方法如公式(33)所示：

公式(33)中，R_c(x，y)和R_c′(x，y)分别表示经过面向机器视觉的视频图像感知模型滤波前和滤波后的重建帧的失真系数，

为重建帧的失真系数的均值γ.TH_J(x，y)为缩放因子。

由于在失真过程中，将原始重建失真转换为面向机器视觉的视频图像感知模型失真，会影响整个率失真代价模型，因此，需要建立新的率失真代价模型，若感知失真值为D_M(M|Q)，设原始的率失真代价方程为：

J_M(M|Q，λ_M)＝D_M(M|Q)+λ_MR_M(M|Q) (34)；

公式(34)中，J_M、D_M、R_M分别为率失真代价、失真值以及比特率，J_M(M|Q，λ_M)为率失真代价，D_M(M|Q)为失真值，λ_MR_M(M|Q)为比特率，λ_M为拉格朗日因子；

若感知失真值为D′_m(M|Q)，为保持率失真代价最优，需要开发出新的拉格朗日因子λ′_m，由于J_M(M|Q，λ_M)为凸函数，因此通过求导求得最小拉格朗日代价函数如下：

即

其中，J′_m(M|Q，λ_M)为率失真代价，R_M(M|Q)_M为比特率，

在该率失真模型(34)指导下，进行相应的模式预测，如附图7所示。

S23、强干扰低延时超高清视频传输：通过基于RCM的链路自适应传输技术对步骤S22压缩编码后的视频图像数据进行实时传输；通过RCM的链路可以获得强鲁棒高质量的链路自适应视频传输，实现强干扰低延时超高清视频传输；具体如附图8所示：包括以下几个过程：

a)u＝(u₁，u₂，...，u_k)表示视频流比特信息，使用LDPC系统信道编码矩阵进行编码后得到编码序列x＝(x₁，x₂，...，x_n)，其中n≥k；

b)x经过RCM映射得到调制符号y＝(y₁，y₂，...，y_m)，其中y_i∈R(1≤I≤m)，随后，将每两个y_i组成一个复IQ信号y_2i-1+j·y_2i在无线信道中传输；

c)服务器接收端根据接收到的IQ复信号正确分离出两个调制符号，并进行并串变换得到接收符号y＝(y₁，y₂，...，y_m)；

d)由于RCM映射不是一一对应的，因此，对所有的接收符号需要进行联合解码/解映射；

e)解码/解映射后再经过LDPC解码，接收端就可以得到原始的比特信息。

本发明设计一个传输协议，该协议允许发送端不断的产生调制符号并发送出去，直到接收端成功解映射/解码出源比特信息，并反馈给发送端一个确认信号。假设一个包含有N个比特的数据块，在接收端接收到M个含有噪声的调制符号(M/2个复数符号)后解码成功，则此时的传输率定义为：

S3、基于三维重建的缺陷检测：如图9至图14所示，接收步骤S2的视频图像数据，对接收的视频图像数据进行弱纹理视觉特征提取与匹配，根据提取与匹配结果进行三维曲面重建，构建被检测大部件的三维模型，然后基于三维模型实现被检测大部件的表面缺陷检测与定位。

具体如下：

S31、弱纹理视觉特征提取与匹配：接收步骤S2的视频图像数据，采用大尺度弱纹理场景的视觉特征提取与匹配优化技术，对接收的视频图像数据进行弱纹理视觉特征提取，并对提取的特征点进行匹配；具体如附图9所示：

先建立自适应的分数阶微分掩膜算子，根据步骤S2的视频图像的局部纹理特征自适应地构造局部不规则的分数阶微分掩膜算子，在保持图像高频边缘的同时，更好地增强图像平滑区域中的复杂纹理细节，其中，分数阶微分的定义是从研究连续函数整数阶导数的定义出发，将微分由整数阶推衍至分数阶而来，其差值表达式为：

公式(38)中，v∈(0，1)是导数的阶数，Γ(·)是Gamma函数；

本发明在特征点提取步骤方面提出在角点提取的基础上结合LSD线特征的提取思想，结合几何约束，弱化后续特征匹配对单一特征提取性能的依赖，使得算法对于不同场景都具有较好的容错性。

本发明借鉴LIFT特征提取方法，针对特征点提取、特征点方向计算和特征描述子计算分别训练三个神经网络首先训练特征描述子网络，取三个图像块p₁，p₂，p₃，其中，p₁，p₂是同一个特征点在不同视角下的图像块，作为一组正面输入对，p₁，p₃是不同特征点的图像块，作为一组负面输入对，损失函数定义为在不同视角下最小化相同特征的描述子且最大化不同特征的描述子：

公式(40)中，

是描述子，h_ρ(·)是特征描述子网络，

是

特征描述子网络，

是

特征描述子网络，C是常数；

然后训练特征方向网络，取同一个特征点在两个不同视角下的图像块，损失函数定义为最小化同一特征点在不同视角下的描述符差异：

L_orientation(P₁，x₁，P₂，x₂)＝||h_ρ(G(p₁，x₁))-h_ρ(G(p₂，x₂))||₂ (41)；

公式(41)中，L_orientatio(P₁，x₁，P₂，x₂)是特征方向，G(p，x)是以x点为中心的图像块经过旋转后的图像块；

最后结合已经训练好的特征描述子网络和特征方向网络训练特征检测网络，损失函数定义为最小化相同特征点的描述子，同时最大化不同特征点的分类得分。

S32、大场景高精度三维曲面重建：先基于几何的三维重建，然后基于语义信息的局部BA优化，从而构建出大场景高精度三维曲面，其中基于语义信息的局部BA优化如附图10所示。

首先判断图像是否为关键帧，若是关键帧则进入LBA阶段以及使用约束表示的LBA阶段，共同完成三维地图的构建，若不是关键帧则输入下一帧图像，进行位姿估计以及场景检测，若是新场景，则进入GBA阶段并利用输出构建三维地图，若不是新场景，则继续输入下一帧图像。

其中在LBA阶段，本发明通过目标识别，图像分类等方法，提取出图像中的语义信息，主要包括三类：1)物体的3D网格模型(3D Mesh)，在特定的场景中，尤其在工业场景，真实物体对应着计算机3D模型，通常表现为3D网格的形式，并且两者在外形上相似。通过识别物体的类别和摄像机位姿，可以找到对应的3D网格并进行渲染，并使用边缘集合作为形状相似性约束；2)更进一步，如果3D模型中包含曲面信息，则可以对LBA重建的坐标点形成更强的约束；3)物体类别(Label)和表面法向量(Surface Normal)，结合图像中区域的类别信息，对于某些具有固定形状的物体，尤其是在大场景环境下容易出现的，如房屋，道路，广告牌等类别，其表面具有稳定的曲面性质。

在GBA阶段，本发明提出采用分场景的GBA方法降低优化问题的复杂度。经过受约束的LBA优化调整之后，在每一个局部的连续子序列内部，相对误差往往较小。因此，可以将一小段连续的关键帧图像序列认为是一个子场景，整个运动过程分为若干段子场景，优化的主要目标变为多个场景切换造成的累积误差。

S33、基于物理模型的表面缺陷定位与检测(如图11所示)：基于反光表面物理模型的多曝光图像融合反光消除方法对步骤S32构建的三维曲面中的表面图像进行缺陷定位与检测，从而实现待检测大部件的表面缺陷的定位与检测。

具体包括如下步骤：

S331、基于反光表面模型的多图像融合反光消除(如附图12所示)：

首先，采用多次曝光技术以获取高动态范围图像：即对同一目标(本实施例中目标所检测的大部件为大型民航机))进行多次曝光拍摄，以获得不同曝光时间下的多幅序列图像，进而将其进行融合生成光强分布均匀并包含丰富细节的高动态范围图像；然后将各图像中的有效信息提取出来，从而对不同曝光时间的图像进行直接像素级融合，从而获得反光反光消除后融合图像。

S332、基于缺陷物理模型的对抗神经网络的缺陷图像生成(如附图13所示)：

本发明采用基于缺陷物理模型的CGAN对抗网络生成表面缺陷图像，用于后续的表面缺陷检测网络的训练，具体是指：将待检测大部件的表面缺陷的类型、外观、结构、纹理、形成机理等物理模型进行参数化建模，并以此作为CGAN的条件，从而生成具有多样性的接近真实图像的缺陷样本，从而达到样本数据集增强的目的。

S333、结合三维信息的深度学习表面缺陷检测(如附图14所示)：

建立缺陷检测和定位的算法，所述算法基于Faster R-CNN算法，包括区域建议网络(Region Proposal Networks，RPN)候选区域检测模块和融合三维信息的CNN检测模块，图像先经过ResNet提取特征，然后经过RPN网络提取的候选框送入融合三维信息的深度网络进行目标的分类和精准定位，实现表面缺陷的定位和检测；通过RPN获得候选区域后，后续网络利用深度卷积神经网络(DCNN)融合三维信息进行表面缺陷检测。

RPN与DCNN共享部分参数，大大降低训练成本，加上在RPN提供的高质量区域建议网络的基础上进行识别，进一步使得检测速度得到了大幅提高，而三维信息的加入，不仅使得几何位置信息得到利用，而且一定程度提高了检测的精度，能够对不同缺陷进行更好的分类，方便后续工作的开展。

综上所述，本发明提出的实现室内无人机对大部件表面缺陷进行检测的方法，是通过自我定位实现路径规划的无人机采集超高精度视频图像进行智能分析，可以自动识别大部件的表面缺陷；相比其他检测手段，无人机成本低，无需额外安装和部署大型硬件，对大部件的停放位置没有要求，检测实施灵活方便，且不需要大量的人力资源；同时，无人机的飞行速度可控，能大大提高检测效率；

此外，通常而言室内GPS信号较弱，无法满足无人机实时定位导航的需求，而本发明通过融合无人机机载的多传感器数据实现无人机的自主定位，能够使得无人机在室内复杂弱纹理环境进行自主定位、让无人机根据大部件表面自主规划路径、在无人机运动情况下实时全覆盖地采集到大部件表面的超高清视频图像；

此外，目前基于无人机的视频图像采集，通常需要采用4000万像素左右分辨率的相机才能满足检测需求，而本发明通过高效视频压缩编码对视频图像编码可以将无人机采集的超高清视频图像传输到地面基站进行检测分析；

此外，本发明是基于三维重建对待检测大部件的表面进行缺陷检测，所采用的检测系统通过深度学习RPN网络提取的候选框送入融合三维信息的深度网络进行目标的分类和精准定位，实现表面缺陷的定位和检测，并且通过RPN获得候选区域后，后续网络利用深度卷积神经网络(DCNN)融合三维信息进行表面缺陷检测，尤其是，三维信息的加入，使得几何位置信息得到利用，一定程度提高了检测的精度，能够对不同缺陷进行更好的分类；

总之，本发明提供的实现室内无人机对大部件表面缺陷进行检测的方法，不仅有效提高了对大部件表面缺陷检测的准确率和灵活性，而且有效降低了检测成本，相较于现有技术，取得了显著性进步和出乎意料的效果。

最后需要在此指出的是：以上仅是本发明的部分优选实施例，不能理解为对本发明保护范围的限制，本领域的技术人员根据本发明的上述内容做出的一些非本质的改进和调整均属于本发明的保护范围。

Claims (1)

1.一种实现室内无人机对大部件表面缺陷进行检测的方法，其特征在于，包括如下步骤：

S1、基于无人机的多传感器数据采集：首先对无人机的实际飞行路径进行路径规划，通过融合无人机机载的多传感器数据实现无人机的自主定位，数据采集过程中，通过自适应姿态调整算法调整无人机的数据采集姿态，从而通过无人机采集到被检测大部件表面的视频图像数据；包括如下步骤：

S11、基于多状态约束的机库无人机自主定位：通过无人机机载的多个传感器数据以分别获取无人机的定位信息，基于多状态约束扩展卡尔曼滤波的松耦合机制，对多个传感器所获取的信息进行融合处理，实现无人机的三维位姿的自主定位；步骤S11中，无人机机载的多个传感器包括双目相机、IMU、激光雷达，通过无人机机载的双目相机、IMU、激光雷达以分别获取无人机的定位信息；基于多状态约束扩展卡尔曼滤波的松耦合机制，对双目相机、IMU、激光雷达所获取的信息进行融合处理，实现无人机的自主定位；

S12、面向高精度视觉数据采集的路径规划：采用基于深度Q网络的路径规划算法，对无人机的实际飞行路径进行路径规划，以使得无人机能对被检测大部件表面进行高精度视觉数据采集；具体为：是通过无人机对待检测大部件表面进行视觉数据采集，计算出检测范围所需要的三维飞行区域并生成点云地图，再采用模仿学习的方法，建立专家样本作为深度Q网络的输入，通过深度强化学习的方法对无人机的实际飞行路径进行规划，以使得无人机能对被检测大部件表面进行高精度视觉数据采集；

S13、复杂环境下自适应数据采集：通过自适应姿态调整算法调整无人机的数据采集姿态，使得无人机能在复杂环境下对被检测大部件表面进行自适应数据采集，从而通过无人机采集到被检测大部件表面的超高清视频图像数据；包括如下步骤：

S131、相机姿态调整：基于三维形状先验的自适应姿态调整算法，调整无人机的数据采集姿态，使得无人机能在复杂环境下对被检测大部件表面进行自适应数据采集；

S132、构建图像抖动模型：构建图像抖动模型并基于图像抖动模型对无人机采集的图像进行去除抖动模糊处理；

S133、多视角图像增强：对无人机采集的图像进行光照一致性处理；

S2、视频图像编码与实时传输：建立机器视觉感知模型，基于机器视觉感知模型对步骤S1中由无人机采集的视频图像数据进行压缩编码，并通过链路自适应传输技术对压缩编码后的视频图像数据进行实时传输；包括如下步骤：

S21、建立机器视觉感知模型：先分别建立基于纹理的机器视觉感知模型和基于亮度的机器视觉感知模型；然后结合基于纹理的机器视觉感知模型和基于亮度的机器视觉感知模型并引入量化参数调节模型，建立面向缺陷检测的机器视觉感知模型，即完成机器视觉感知模型的建立；

S22、弱纹理高冗余视频图像编码：基于步骤S21的机器视觉感知模型，采用AVS3的快速及高效压缩编码方法，对无人机采集的视频图像数据进行快速压缩编码；

S23、强干扰低延时超高清视频传输：通过基于RCM的链路自适应传输技术对步骤S22压缩编码后的视频图像数据进行实时传输；

S3、基于三维重建的缺陷检测：接收步骤S2传输的视频图像数据，并对接收的视频图像数据进行弱纹理视觉特征提取与匹配，根据提取与匹配结果进行三维曲面重建，构建被检测大部件的三维模型，然后基于三维模型实现对被检测大部件表面缺陷的检测与定位；包括如下步骤：

S31、弱纹理视觉特征提取与匹配：接收步骤S2传输的视频图像数据，采用大尺度弱纹理场景的视觉特征提取与匹配优化技术，对接收的视频图像数据进行弱纹理视觉特征提取，并对提取的特征点进行匹配；

S32、大场景高精度三维曲面重建：先基于几何的三维重建，然后基于语义信息的局部BA优化，从而构建出大场景高精度三维曲面；

S33、基于物理模型的表面缺陷定位与检测：基于反光表面物理模型的多曝光图像融合反光消除方法对步骤S32构建的三维曲面中的表面图像进行缺陷定位与检测，从而实现对待检测大部件表面缺陷的定位与检测。

Images