CN114841923A - 一种基于无人机的高精度实时裂缝检测方法 - Google Patents

Abstract

本发明属于建筑物损伤检测领域，具体涉及一种基于无人机的高精度实时裂缝检测方法。使用轻量级裂缝分类算法和轻量级裂缝分割算法检测提取出相机采集的图像中的裂缝位置信息，使用裂缝位置信息提取算法通过双目相机或雷达采集的数据结合图像中裂缝的位置信息计算出裂缝与无人机的相对位置信息，通过裂缝信息辅助的无人机飞行控制算法使无人机平稳飞行至裂缝表面附近，使用高精度裂缝分割算法和裂缝几何信息提取算法实现高精度的裂缝几何信息提取。由于相机拍摄时相机与裂缝之间的距离较小，因此实现更高精度且实时的自动化裂缝检测。本发明所提出的方法可以实时提供裂缝检测的分析结果，并大幅度提升裂缝几何信息提取的精度。

Description

一种基于无人机的高精度实时裂缝检测方法

技术领域

本发明涉及一种基于无人机的高精度实时裂缝检测方法，属于建筑物损伤检测领域。

背景技术

在建筑业的发展过程中，混凝土因为低成本的材料、良好的抗压性能和较高的耐久性在土木工程施工中占据了主导地位，在工程项目中广泛应用。近代科学对混凝土的细观研究和大量的工程实践经验表明：钢筋混凝土结构中的裂缝不可避免。但当钢筋混凝土结构中的裂缝发展程度过大时，一方面，裂缝的存在会影响整个结构的美观性，另一方面，裂缝的出现会降低结构的整体性和刚度，进而影响到整个结构的安全性，有可能造成巨大的生命财产损失。因此，测量裂缝的状态用于检查裂缝的形态变化发展及稳定性，据此来分析判断裂缝对结构的影响程度，对建筑物的正常使用和避免人民生命财产损失有着十分重要的意义。

为了实现裂缝检测的自动化，有必要在硬件设备上部署裂缝检测算法。此外，由于难以手动收集高层结构和桥梁等基础设施的图像信息，因此使用大型检查设备进行图像采集在效率和安全性方面更为有利。由于其良好的机动性和较宽的检测范围，无人机已成为裂缝检测问题的良好硬件设备。

由于模型参数的限制和巨大的计算成本，多数裂缝检测算法虽然精度较高，但不适合部署在无人机上进行实时裂缝检测。此外，在对建筑物进行结构健康监测中，裂缝宽度测量需要达到毫米级。因此，使用远离建筑物的无人机摄像头进行裂缝几何信息提取时，很难达到毫米级检测精度。此外，基于无人机的自动化裂缝检测未将无人机路径规划与裂缝检测结果相结合。因此，无人机无法实现自动接近建筑物的表面裂缝，这使得机载相机无法靠近裂缝以实现高精度的毫米级裂缝检测。

发明内容

本发明的目的是为了解决上述现有技术存在的缺陷而提供一种基于无人机的高精度实时裂缝检测方法，使用轻量级裂缝分类算法和轻量级裂缝分割算法检测提取出相机采集的图像中的裂缝位置信息，使用裂缝位置信息提取算法通过双目相机或雷达采集的数据结合图像中裂缝的位置信息计算出裂缝与无人机的相对位置信息，通过裂缝信息辅助的无人机飞行控制算法使无人机平稳飞行至裂缝表面附近，使用高精度裂缝分割算法和裂缝几何信息提取算法实现高精度的裂缝几何信息提取。由于相机拍摄时相机与裂缝之间的距离较小，因此实现更高精度且实时的自动化裂缝检测。

为了实现上述目标，本发明提供了如下技术方案：

一种基于无人机的高精度实时裂缝检测方法，所述无人机上搭载有单目或双目相机、惯性测量单元IMU、机载电脑和机载雷达，其特征在于，包括以下步骤：

S1：设单目相机或双目相机图像的采样间隔为t；从单目相机或双目相机获取目标当前时刻T的一帧图像I_T；提供给S2；

S2：若上一帧不是关键帧，则将图像降采样后输入到S3中；若上一帧是关键帧，则将图像输入到S8中；

所述关键帧表示利用轻量级裂缝分割算法结合双目相机的深度图计算出裂缝与无人机相对位置关系，且两者之间的距离小于预设阈值,并满足无人机稳定在该区域达到预设帧数条件的视频帧；

S3：利用轻量级裂缝分类算法，判断图像中是否存在裂缝，若图像中存在裂缝，则将图像输入到S4中，否则转至S7；

所述轻量级裂缝分类算法利用卷积神经网络算法，并通过在神经网络中加入通道洗牌、逐点分组卷积和深度可分离卷积实现计算量的大幅降低，从而实现实时的裂缝检测；

S4：利用轻量级裂缝分割算法，识别图像中裂缝的几何边缘；提供给S5和S6；

所述轻量化裂缝分割算法的输入为降采样后的由单目或双目相机采集的原始图像，输出结果为一张二值化的图像，用以表示图像中裂缝所在的区域。

所述轻量化裂缝分割算法利用卷积神经网络算法，具有一个细节分支和一个语义分支，其中细节分支具有较多的通道数和较少的网络层数，用于捕获低层细节并生成高分辨率的特征图，语义分支具有较少的通道数和较多的网络层数，获取高层次语义信息。此外，在细节分支和语义分支后具有一个特征融合算法以融合两个分支的特征图。通过这种方式建立的轻量化裂缝检测模型可以在保证精度的情况下实现高速的裂缝几何边缘提取，从而结合裂缝位置信息计算算法为裂缝信息辅助的无人机飞行控制算法实时地提供裂缝位置信息。

S5：利用双目相机或雷达获得目标深度图，并输入到裂缝位置信息计算算法中，得到裂缝的位置信息；

所述的裂缝位置信息计算算法的输入为双目相机的双目图像或雷达的点云数据以及轻量级裂缝分割算法的识别结果；通过双目立体匹配算法计算得到深度图并与原始图像进行图像匹配，结合轻量级裂缝分割算法的识别结果可以计算出裂缝与无人机在世界坐标系下的相对位置关系；此外，也可以通过雷达获得的点云数据与原始图像进行匹配，并结合轻量级裂缝分割算法的识别结果计算出裂缝与无人机在世界坐标系下的相对位置关系。

S6：将裂缝的几何边缘和裂缝的位置信息输入到裂缝信息辅助的无人机飞行控制算法中，控制无人机进行移动；若无人机平稳飞行至目的地，则将这一帧设置为关键帧并转至S7，否则直接转至S7；

所述的裂缝信息辅助的无人机飞行控制算法的输入为每一时刻裂缝和无人机的相对位置信息。通过限制无人机的最大飞行速度并在每两个关键帧之间结合IMU传感器的数据和无人机与裂缝的相对位置信息对预期移动目标位置进行修正。可以使无人机平稳移动至裂缝位置附近。

S7：结束当前帧的处理，并转至S1处理下一时刻(T+t)的新图像I_T+t；

S8：通过轻量级裂缝分割算法，识别图像中裂缝的几何边缘，获得裂缝所在子区域的位置信息；

S9：将S1中的原始图像输入到高精度裂缝分割算法中，得到高精度的裂缝几何边缘信息；

所述的高精度裂缝分割算法分为三个步骤，如下：

S9.1前处理算法：将相机拍摄的原始图像分割成固定大小的图像块；

S9.2结合轻量级裂缝分割算法识别出的像素级的裂缝区域，将含有裂缝的图像块输入到高精度裂缝几何边缘检测算法中，算法输出的结果为具有更精细裂缝几何边缘的识别结果；

S9.3后处理算法：将图像块拼接还原为原始图像大小，并通过形态学处理等算法去除识别结果中的异常点，最终得到高精度的裂缝识别结果。

S10：通过双目相机或雷达计算出深度图，并输入到裂缝位置信息计算算法中，得到裂缝位置信息；

S11：将高精度的裂缝几何边缘信息和裂缝位置信息输入到裂缝几何信息提取算法中，得到裂缝的几何信息。此处的裂缝检测流程完成，无人机根据预先设定的航线移动到下一个待检测区域，并重复进行上述流程。

进一步的，如S9.2所述的高精度裂缝几何边缘检测算法利用卷积神经网络算法，并加入空间自注意力机制和通道自注意力机制，将输入的原始图像经过多次降采样和上采样操作，并在采样得到的特征图之间进行跨层的通道连接，实现多层次的语义信息融合。通过上采样和特征映射最终得到与原始图像大小相同的像素级高精度裂缝识别结果。

算法如下：将输入的图像利用加入了空间自注意力机制和通道自注意力机制的卷积层进行四次降采样，并通过上采样将特征图映射回原始图像的大小；在特征图大小相等的网络层之间进行特征通道拼接，实现跨网络层的多尺度数据融合，并在网络的最后加入特征映射模块将特征图降至二维；在网络的训练阶段，针对完成特征通道拼接的特征图进行特征映射和上采样后，将输出的结果与实际值进行损失函数的计算，用于增强网络的训练效果，损失函数的表达式如下式所示：

式中，y为图像中某一像素处的真实值；y′为神经网络在该像素处的输出值；求值区间为图像中所有的像素；通过大量被像素级标注的裂缝图像结合梯度下降法实现对神经网络的训练；在实际使用过程中，冻结网络参数直接输出结果即可得到像素级的裂缝分割结果；由于网络的层数较多且参数量较大、使用了空间自注意力机制和通道自注意力机制并加入了多尺度语义信息的跨层融合，因此可以实现更高精度的裂缝几何边缘提取。

进一步的，如S11所述的裂缝几何信息提取算法通过双目图像计算得到的深度图或雷达采集的点云信息获得裂缝与相机之间的距离信息，由于使用局部的像素点进行像素解析度的计算误差较大，因此在图像中选取部分像素点并计算所选取像素点上的平均像素解析度，即可求出图像中的单个像素对应于现实世界中的长度。之后通过骨架线提取算法对高精度裂缝分割算法的识别结果进行处理，实现裂缝骨架线提取，并利用裂缝骨架线、裂缝几何边缘和像素解析度计算出裂缝的最大宽度。

具体算法如下：首先通过连通域标算法将同一图像中的多条裂缝分别提取到单独的图像中；通过骨架线提取算法提取每条裂缝的骨架线；计算骨架线上所有相邻像素之间的距离，并叠加以获得每条裂缝在图像坐标系下的长度；利用双目相机采集的图像通过双目立体匹配算法计算得到的深度图求解出像素解析度，由于使用局部的像素点进行像素解析度的计算误差较大，因此在图像中选取N条线段并计算线段上的平均像素解析度，即可求出图像中的单个像素对应于现实世界中的长度，如下式所示：

式中，N为在图像中选取的线段数，l_wi通过双目相机得到的深度图或雷达的点云数据计算得到的图像中线段在世界坐标系下的长度，l_pi为图像坐标系下线段的长度；

通过像素解析度和裂缝骨架线计算出每条裂缝的实际长度；分别计算裂缝骨架线上的每个像素点与裂缝几何边缘上所有点之间的欧氏距离之间的最小值，然后计算出所有最小值中的最大值并乘以二即为裂缝的最大宽度计算值。

进一步的，如S3所述轻量级裂缝分类算法，输入的图像经过多层包含通道洗牌、逐点分组卷积和深度可分离卷积构成的基本模块以及普通的卷积层、池化层等结构进行处理，最终输出结果为一个维度为1×1×2的张量，用以表示图像中是否存在裂缝。通过大量被标注的裂缝图像结合梯度下降法对神经网络进行训练。其中，训练时所使用的损失函数如下式所示：

其中，N为图像总数；t_i为真实值，其取值范围为0或1；p_i为神经网络输出的数值，即图像中包含裂缝的概率值。在实际使用过程中，冻结网络参数直接输出结果即可得到裂缝分类的结果。

进一步的，如S4所述轻量级裂缝分割算法，输入的图像分别经过一个细节分支和一个语义分支，其中细节分支较多的通道数和较少的网络层数，语义分支具有较少的通道数和较多的网络层数；在细节分支和语义分支后具有一个特征融合模块用以融合两个分支的特征图，在网络的最后加入一个特征映射模块将特征图降至二维；在网络的训练阶段，针对语义分支中每一个子结构的输出结果利用特征映射模块进行特征映射，并将输出的结果与实际值进行损失函数的计算，用于增强算法的训练效果，损失函数的表达式如下式所示：

式中，y为图像中某一像素处的真实值；y′为神经网络在该像素处的输出值；求值区间为图像中所有的像素；通过大量被像素级标注的裂缝图像结合梯度下降法对神经网络进行训练，得到最优的网络参数。

进一步的，如S5所述裂缝位置信息计算算法，通过将裂缝分割结果和深度图进行数据融合，可以获得裂缝相对于无人机在相机坐标系下的坐标P_c，如下式所示：

其中，D_t为无人机与裂缝之间的安全距离，o为深度图中被分割为裂缝的像素在相机坐标系下的坐标。

进一步的，如S6所述裂缝信息辅助的无人机飞行控制算法流程如下：首先获得目标位置

然后使用GPS记录此时无人机的位置P₁，并计算出无人机的预期飞行位移D₁，在无人机到达目标位置前，循环进行如下操作：通过IMU传感器数据计算无人机前一关键帧时的位置P_i-1和当前位置P_i之间的距离，即I_i-1，通过双目相机的深度图计算出此时裂缝与无人机之间的距离D_i；其中关键帧表示利用轻量级裂缝分割模块结合双目相机的深度图成功计算出裂缝与无人机相对位置关系的视频帧；由于利用双目相机的图像通过双目立体匹配算法计算出的深度图存在较大误差，因此在控制无人机移动方向时需对距离D_i进行修正得到D_i′；通过滑动时间窗口的方式融合n帧的测量结果实现误差的降低；由于IMU的误差远小于双目相机测距的误差，因此随着n的增加，D_i′的方差会减小；

此外，由于距离越远时，双目相机测距误差越大，因此引入遗忘因子α，用以减小总体的误差；之后通过下式计算出修正后的相对距离D_i′：

式中n为滑动窗口的大小，n的取值小于i，且在无人机飞行过程中可动态改变n的具体数值；之后控制无人机沿向量D_i′的方向进行移动，循环进行以上操作即可使无人机接近裂缝表面；

如果D_i′小于固定阈值Th₁，则将c_in增加1；否则，如果c_in不是0，则将c_out增加1；在进程开始时，c_in和c_out的值都设置为0；如果c_out大于特定的固定值c_outmax，将c_in和c_out设置为0；如果c_in大于特定的固定值c_inmax，循环结束，程序终止；上述操作可用于判断无人机是否已到达目标位置附近，并确保无人机飞行的稳定性；之后可以通过GPS的坐标信息使无人机返回到P₁处，从而结束对此处的裂缝检测。

与现有技术相比，本发明具有以下有益效果：

本发明通过轻量级裂缝分类算法和轻量级裂缝分割算法，实现了对所拍摄的图像进行高效且实时的裂缝检测，并结合裂缝位置信息计算算法为裂缝信息辅助的无人机飞行控制算法提供了关键的决策信息，实现了无人机移动至裂缝表面这一过程的自动化，可以降低人工操作无人机的复杂度，实现自动化的裂缝检测。相比于人工检测大幅度提升检测的效率并降低检测人员的风险。当无人机移动至裂缝附近时，通过高精度裂缝分割算法结合裂缝几何信息提取算法可以实现高精度的裂缝几何信息提取，因此本发明所提出的方法可以实时提供裂缝检测的分析结果，并大幅度提升裂缝几何信息提取的精度，在建筑物的日常安全维护和灾后的损伤快速评估方面具有更高的效率和精度。

附图说明

图1是本发明一种基于无人机的高精度实时裂缝检测方法的流程示意图；

图2是本发明一种基于无人机的高精度实时裂缝检测方法步骤九的流程示意图；

图3是本发明轻量级裂缝分类算法的示意图；

图4是本发明轻量级裂缝分割算法的示意图；

图5是本发明高精度裂缝分割算法中高精度裂缝几何边缘检测算法的示意图；

图6为本发明应用场景的示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

图6为本发明应用场景的示意图。

无人机上搭载有单目或双目相机、惯性测量单元IMU、机载电脑和机载雷达；所述单目相机用于获取不带深度信息的图像；所述双目相机用于获取左目和右目两张图像，并通过双目立体匹配算法计算出的深度图；所述机载雷达用于获取目标的点云数据；所述机载电脑运行本发明算法。

如图1所示，一种基于无人机的高精度实时裂缝检测方法，步骤过程为：

S1：设单目相机或双目相机图像的采样间隔为t；从单目相机或双目相机获取当前时刻T的一帧图像I_T；

S2：若上一帧不是关键帧，则将图像降采样后输入到S3中；若上一帧是关键帧，则将图像输入到S8中；

S3：通过轻量级裂缝分类算法，判断图像中是否存在裂缝，若图像中存在裂缝，则将图像输入到S4中，否则转至S7；

S4：通过轻量级裂缝分割算法，识别图像中裂缝的几何边缘；

S5：通过双目相机或雷达计算出深度图，并输入到裂缝位置信息计算算法中，得到裂缝的位置信息；

S6：将裂缝的几何边缘和裂缝的位置信息输入到裂缝信息辅助的无人机飞行控制算法中，控制无人机进行移动；若无人机平稳飞行至目的地，则将这一帧设置为关键帧并转至S7，否则直接转至S7；

S7：结束当前帧的处理，令T＝T+t，并转至S1处理下一帧的新图像I_T+t；

S8：通过轻量级裂缝分割算法，识别图像中裂缝的几何边缘，获得裂缝所在子区域的位置信息；

S9：将S1中的原始图像输入到高精度裂缝分割算法中，得到高精度的裂缝几何边缘信息；

S10：通过双目相机或雷达计算除深度图，并输入到裂缝位置信息计算算法中，得到裂缝位置信息；

S11：将高精度的裂缝几何边缘信息和裂缝位置信息输入到裂缝几何信息提取算法中，得到裂缝的几何信息。此处的裂缝检测流程完成，无人机根据预先设定的航线移动到下一个待检测区域，并重复进行上述流程。

如图2所示，

S9.1：前处理算法；

S9.2：高精度裂缝几何边缘检测算法；

S9.3：后处理算法；

轻量级裂缝分类算法的网络结构示意图如图3所示。输入的图像经过多层包含通道洗牌、逐点分组卷积和深度可分离卷积构成的基本模块以及普通的卷积层、池化层等结构进行处理，最终输出结果为一个维度为1×1×2的张量，用以表示图像中是否存在裂缝。通过大量被标注的裂缝图像结合梯度下降法对神经网络进行训练。其中，训练时所使用的损失函数如下式所示：

其中，N为图像总数；t_i为真实值，其取值范围为0或1；p_i为神经网络输出的数值，即图像中包含裂缝的概率值。在实际使用过程中，冻结网络参数直接输出结果即可得到裂缝分类的结果。

轻量级裂缝分割算法的网络整体结构示意图如图4所示。输入的图像分别经过一个细节分支和一个语义分支，其中细节分支较多的通道数和较少的网络层数，语义分支具有较少的通道数和较多的网络层数。在细节分支和语义分支后具有一个特征融合网络用以融合两个分支的特征图，在网络的最后加入一个特征映射网络将特征图降至二维。在网络的训练阶段，针对语义分支中每一个子结构的输出结果利用特征映射算法进行特征映射，并将输出的结果与实际值进行损失函数的计算，用于增强算法的训练效果，损失函数的表达式如下式所示：

式中，y为图像中某一像素处的真实值；y′为神经网络在该像素处的输出值。通过大量被像素级标注的裂缝图像结合梯度下降法对神经网络进行训练，得到最优的网络参数。在实际使用过程中，冻结网络参数直接输出结果即可得到像素级的裂缝分割结果。

通过将裂缝分割结果和深度图进行数据融合，可以获得裂缝相对于无人机在相机坐标系下的坐标P_c，如下式所示：

其中，D_t为无人机与裂缝之间的安全距离，p为深度图中被分割为裂缝的像素在相机坐标系下的坐标。

裂缝信息辅助的无人机飞行控制算法的流程如下：首先获得目标位置

然后使用GPS记录此时无人机的位置P₁，并计算出无人机的预期飞行位移D₁。在无人机到达目标位置前，循环进行如下操作：通过IMU传感器数据计算无人机前一关键帧时的位置P_i-1和当前位置P_i之间的距离，即I_i-1。通过双目相机的深度图计算出此时裂缝与无人机之间的距离D_i。其中关键帧表示利用轻量级裂缝分割算法结合双目相机的深度图成功计算出裂缝与无人机相对位置关系的视频帧。由于利用双目相机的图像通过双目立体匹配算法计算出的深度图存在较大误差，因此在控制无人机移动方向时需对距离D_i进行修正得到D_i′。通过滑动时间窗口的方式融合n帧的测量结果实现误差的降低。由于IMU的误差远小于双目相机测距的误差，因此随着n的增加，D_i′的方差会减小。

此外，由于距离越远时，双目相机测距误差越大，因此引入遗忘因子α，用以减小总体的误差。之后通过下式计算出修正后的相对距离D_i′：

式中n为滑动窗口的大小，n的取值小于i，且在无人机飞行过程中可动态改变n的具体数值。之后控制无人机沿向量D_i′的方向进行移动，循环进行以上操作即可使无人机接近裂缝表面。

如果D_i′小于固定阈值Th₁，则将c_in增加1；否则，如果c_in不是0，则将c_out增加1。在进程开始时，c_in和c_out的值都设置为0。如果c_out大于特定的固定值c_outmax，将c_in和c_out设置为0。如果c_in大于特定的固定值c_inmax，循环结束，程序终止。上述操作可用于判断无人机是否已到达目标位置附近，并确保无人机飞行的稳定性。之后可以通过GPS的坐标信息使无人机返回到P₁处，从而结束对此处的裂缝检测。

高精度裂缝分割算法将原始图像进行分块并结合轻量级裂缝分割的预测结果筛选出包含裂缝的图像子块，并将图像子块输入到高精度裂缝几何边缘检测算法中得到高精度的裂缝几何边缘信息，并将图像子块拼接为原始图像大小。通过孤立点消除算法实现识别结果中离群点的剔除，最后通过裂缝几何信息提取算法实现裂缝长度和最大宽度的提取。

如图5，高精度裂缝几何边缘检测算法将输入的图像利用加入了空间自注意力机制和通道自注意力机制的卷积层进行四次降采样，并通过上采样将特征图映射回原始图像的大小。在特征图大小相等的网络层之间进行特征通道拼接，实现跨网络层的多尺度数据融合，并在网络的最后加入特征映射算法将特征图降至二维。在网络的训练阶段，针对完成特征通道拼接的特征图进行特征映射和上采样后，将输出的结果与实际值进行损失函数的计算，用于增强网络的训练效果，损失函数的表达式如下式所示：

式中，y为图像中某一像素处的真实值；y′为神经网络在该像素处的输出值。通过大量被像素级标注的裂缝图像结合梯度下降法对神经网络进行训练，得到最优的网络参数。在实际使用过程中，冻结网络参数直接输出结果即可得到像素级的裂缝分割结果。由于网络的层数较多且参数量较大、使用了空间自注意力机制和通道自注意力机制并加入了多尺度语义信息的跨层融合，因此可以实现更高精度的裂缝几何边缘提取。

裂缝几何信息提取算法的流程如下：首先通过连通域标算法将同一图像中的多条裂缝分别提取到单独的图像中。通过骨架线提取算法提取每条裂缝的骨架线。计算骨架线上所有相邻像素之间的距离，并叠加以获得每条裂缝在图像坐标系下的长度。利用双目相机采集的图像通过双目立体匹配算法计算得到的深度图求解出像素解析度，由于使用局部的像素点进行像素解析度的计算误差较大，因此在图像中选取N条线段并计算线段上的平均像素解析度，即可求出图像中的单个像素对应于现实世界中的长度，如下式所示：

式中，N为在图像中选取的线段数，l_wi通过双目相机得到的深度图或雷达的点云数据计算得到的图像中线段在世界坐标系下的长度，l_pi为图像坐标系下线段的长度。

通过像素解析度和裂缝骨架线计算出每条裂缝的实际长度。分别计算裂缝骨架线上的每个像素点与裂缝几何边缘上所有点之间的欧氏距离之间的最小值，然后计算出所有最小值中的最大值并乘以二即为裂缝的最大宽度计算值。

此外，需要说明的是，本说明书中所描述的具体实施例，所取名称可以不同，本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所作的等效变化或者简单变化，均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均属于本发明的保护范围。

Claims (7)

1.一种基于无人机的高精度实时裂缝检测方法，所述无人机上搭载有单目或双目相机、惯性测量单元IMU、机载电脑和机载雷达，其特征在于，包括以下步骤：

S1：设单目相机或双目相机图像的采样间隔为t；从单目相机或双目相机获取目标当前时刻T的一帧图像I_T；提供给S2；

S2：若上一帧不是关键帧，则将图像降采样后输入到S3中；若上一帧是关键帧，则将图像输入到S8中；

所述关键帧表示利用轻量级裂缝分割算法结合双目相机的深度图计算出裂缝与无人机相对位置关系，且两者之间的距离小于预设阈值,并满足无人机稳定在该区域达到预设帧数条件的视频帧；

S3：利用轻量级裂缝分类算法，判断图像中是否存在裂缝，若图像中存在裂缝，则将图像输入到S4中，否则转至S7；

所述轻量级裂缝分类算法利用卷积神经网络算法，并通过在神经网络中加入通道洗牌、逐点分组卷积和深度可分离卷积实现计算量的大幅降低，从而实现实时的裂缝检测；

S4：利用轻量级裂缝分割算法，识别图像中裂缝的几何边缘；提供给S5和S6；

所述轻量化裂缝分割算法的输入为降采样后的由单目或双目相机采集的原始图像，输出结果为一张二值化的图像，用以表示图像中裂缝所在的区域；

所述轻量化裂缝分割算法利用卷积神经网络算法，具有一个细节分支和一个语义分支，其中细节分支具有较多的通道数和较少的网络层数，用于捕获低层细节并生成高分辨率的特征图，语义分支具有较少的通道数和较多的网络层数，获取高层次语义信息；此外，在细节分支和语义分支后具有一个特征融合算法以融合两个分支的特征图；通过这种方式建立的轻量化裂缝检测模型可以在保证精度的情况下实现高速的裂缝几何边缘提取，从而结合裂缝位置信息计算算法为裂缝信息辅助的无人机飞行控制算法实时地提供裂缝位置信息；

S5：利用双目相机或雷达获得目标深度图，并输入到裂缝位置信息计算算法中，得到裂缝的位置信息；

所述的裂缝位置信息计算算法的输入为双目相机的双目图像或雷达的点云数据以及轻量级裂缝分割算法的识别结果；通过双目立体匹配算法计算得到深度图并与原始图像进行图像匹配，结合轻量级裂缝分割算法的识别结果可以计算出裂缝与无人机在世界坐标系下的相对位置关系；此外，也可以通过雷达获得的点云数据与原始图像进行匹配，并结合轻量级裂缝分割算法的识别结果计算出裂缝与无人机在世界坐标系下的相对位置关系；

S6：将裂缝的几何边缘和裂缝的位置信息输入到裂缝信息辅助的无人机飞行控制算法中，控制无人机进行移动；若无人机平稳飞行至目的地，则将这一帧设置为关键帧并转至S7，否则直接转至S7；

所述的裂缝信息辅助的无人机飞行控制算法的输入为每一时刻裂缝和无人机的相对位置信息；通过限制无人机的最大飞行速度并在每两个关键帧之间结合IMU传感器的数据和无人机与裂缝的相对位置信息对预期移动目标位置进行修正；可以使无人机平稳移动至裂缝位置附近；

S7：结束当前帧的处理，并转至S1处理下一时刻(T+t)的新图像I_T+t；

S8：通过轻量级裂缝分割算法，识别图像中裂缝的几何边缘，获得裂缝所在子区域的位置信息；

S9：将S1中的原始图像输入到高精度裂缝分割算法中，得到高精度的裂缝几何边缘信息；

所述的高精度裂缝分割算法分为三个步骤，如下：

S9.1前处理算法：将相机拍摄的原始图像分割成固定大小的图像块；

S9.2结合轻量级裂缝分割算法识别出的像素级的裂缝区域，将含有裂缝的图像块输入到高精度裂缝几何边缘检测算法中，算法输出的结果为具有更精细裂缝几何边缘的识别结果；

S9.3后处理算法：将图像块拼接还原为原始图像大小，并通过形态学处理等算法去除识别结果中的异常点，最终得到高精度的裂缝识别结果；

S10：通过双目相机或雷达计算出深度图，并输入到裂缝位置信息计算算法中，得到裂缝位置信息；

S11：将高精度的裂缝几何边缘信息和裂缝位置信息输入到裂缝几何信息提取算法中，得到裂缝的几何信息；此处的裂缝检测流程完成，无人机根据预先设定的航线移动到下一个待检测区域，并重复进行上述流程。

2.如权利要求1所述一种基于无人机的高精度实时裂缝检测方法，其特征在于，S9.2所述的高精度裂缝几何边缘检测算法利用卷积神经网络算法，并加入空间自注意力机制和通道自注意力机制，将输入的原始图像经过多次降采样和上采样操作，并在采样得到的特征图之间进行跨层的通道连接，实现多层次的语义信息融合；通过上采样和特征映射最终得到与原始图像大小相同的像素级高精度裂缝识别结果；

算法如下：将输入的图像利用加入了空间自注意力机制和通道自注意力机制的卷积层进行四次降采样，并通过上采样将特征图映射回原始图像的大小；在特征图大小相等的网络层之间进行特征通道拼接，实现跨网络层的多尺度数据融合，并在网络的最后加入特征映射模块将特征图降至二维；在网络的训练阶段，针对完成特征通道拼接的特征图进行特征映射和上采样后，将输出的结果与实际值进行损失函数的计算，用于增强网络的训练效果，损失函数的表达式如下式所示：

式中，y为图像中某一像素处的真实值；y′为神经网络在该像素处的输出值；求值区间为图像中所有的像素；通过大量被像素级标注的裂缝图像结合梯度下降法实现对神经网络的训练；在实际使用过程中，冻结网络参数直接输出结果即可得到像素级的裂缝分割结果；由于网络的层数较多且参数量较大、使用了空间自注意力机制和通道自注意力机制并加入了多尺度语义信息的跨层融合，因此可以实现更高精度的裂缝几何边缘提取。

3.如权利要求1所述一种基于无人机的高精度实时裂缝检测方法，其特征在于，S3所述轻量级裂缝分类算法，输入的图像经过多层包含通道洗牌、逐点分组卷积和深度可分离卷积构成的基本模块以及普通的卷积层、池化层等结构进行处理，最终输出结果为一个维度为1×1×2的张量，用以表示图像中是否存在裂缝；通过大量被标注的裂缝图像结合梯度下降法对神经网络进行训练；其中，训练时所使用的损失函数如下式所示：

其中，N为图像总数；t_i为真实值，其取值范围为0或1；p_i为神经网络输出的数值，即图像中包含裂缝的概率值；在实际使用过程中，冻结网络参数直接输出结果即可得到裂缝分类的结果。

4.如权利要求1所述一种基于无人机的高精度实时裂缝检测方法，其特征在于，S4所述轻量级裂缝分割算法，输入的图像分别经过一个细节分支和一个语义分支，其中细节分支较多的通道数和较少的网络层数，语义分支具有较少的通道数和较多的网络层数；在细节分支和语义分支后具有一个特征融合模块用以融合两个分支的特征图，在网络的最后加入一个特征映射模块将特征图降至二维；在网络的训练阶段，针对语义分支中每一个子结构的输出结果利用特征映射模块进行特征映射，并将输出的结果与实际值进行损失函数的计算，用于增强算法的训练效果，损失函数的表达式如下式所示：

式中，y为图像中某一像素处的真实值；y′为神经网络在该像素处的输出值；求值区间为图像中所有的像素；通过大量被像素级标注的裂缝图像结合梯度下降法对神经网络进行训练，得到最优的网络参数。

5.如权利要求1所述一种基于无人机的高精度实时裂缝检测方法，其特征在于，S5所述裂缝位置信息计算算法，通过将裂缝分割结果和深度图进行数据融合，可以获得裂缝相对于无人机在相机坐标系下的坐标P_c，如下式所示：

其中，D_t为无人机与裂缝之间的安全距离，p为深度图中被分割为裂缝的像素在相机坐标系下的坐标。

6.如权利要求1所述一种基于无人机的高精度实时裂缝检测方法，其特征在于，S6所述裂缝信息辅助的无人机飞行控制算法流程如下：首先获得目标位置

然后使用GPS记录此时无人机的位置P₁，并计算出无人机的预期飞行位移D₁，在无人机到达目标位置前，循环进行如下操作：通过IMU传感器数据计算无人机前一关键帧时的位置P_i-1和当前位置P_i之间的距离，即I_i-1，通过双目相机的深度图计算出此时裂缝与无人机之间的距离D_i；其中关键帧表示利用轻量级裂缝分割模块结合双目相机的深度图成功计算出裂缝与无人机相对位置关系的视频帧；由于利用双目相机的图像通过双目立体匹配算法计算出的深度图存在较大误差，因此在控制无人机移动方向时需对距离D_i进行修正得到D_i′；通过滑动时间窗口的方式融合n帧的测量结果实现误差的降低；由于IMU的误差远小于双目相机测距的误差，因此随着n的增加，D_i′的方差会减小；

此外，由于距离越远时，双目相机测距误差越大，因此引入遗忘因子α，用以减小总体的误差；之后通过下式计算出修正后的相对距离D_i′：

式中n为滑动窗口的大小，n的取值小于i，且在无人机飞行过程中可动态改变n的具体数值；之后控制无人机沿向量D_i′的方向进行移动，循环进行以上操作即可使无人机接近裂缝表面；

如果D_i′小于固定阈值Th₁，则将c_in增加1；否则，如果c_in不是0，则将c_out增加1；在进程开始时，c_in和c_out的值都设置为0；如果c_out大于特定的固定值c_outmax，将c_in和c_out设置为0；如果c_in大于特定的固定值c_inmax，循环结束，程序终止；上述操作可用于判断无人机是否已到达目标位置附近，并确保无人机飞行的稳定性；之后可以通过GPS的坐标信息使无人机返回到P₁处，从而结束对此处的裂缝检测。

7.如权利要求1所述一种基于无人机的高精度实时裂缝检测方法，其特征在于，S11所述的裂缝几何信息提取算法通过双目图像计算得到的深度图或雷达采集的点云信息获得裂缝与相机之间的距离信息，在图像中选取部分像素点并计算所选取像素点上的平均像素解析度，即可求出图像中的单个像素对应于现实世界中的长度；之后通过骨架线提取算法对高精度裂缝分割算法的识别结果进行处理，实现裂缝骨架线提取，并利用裂缝骨架线、裂缝几何边缘和像素解析度计算出裂缝的最大宽度；

具体算法如下：首先通过连通域标算法将同一图像中的多条裂缝分别提取到单独的图像中；通过骨架线提取算法提取每条裂缝的骨架线；计算骨架线上所有相邻像素之间的距离，并叠加以获得每条裂缝在图像坐标系下的长度；利用双目相机采集的图像通过双目立体匹配算法计算得到的深度图求解出像素解析度，由于使用局部的像素点进行像素解析度的计算误差较大，因此在图像中选取N条线段并计算线段上的平均像素解析度，即可求出图像中的单个像素对应于现实世界中的长度，如下式所示：

式中，N为在图像中选取的线段数，l_wi通过双目相机得到的深度图或雷达的点云数据计算得到的图像中线段在世界坐标系下的长度，l_pi为图像坐标系下线段的长度；

通过像素解析度和裂缝骨架线计算出每条裂缝的实际长度；分别计算裂缝骨架线上的每个像素点与裂缝几何边缘上所有点之间的欧氏距离之间的最小值，然后计算出所有最小值中的最大值并乘以二即为裂缝的最大宽度计算值。

Images