CN114812398B - 一种基于无人机的高精度实时裂缝检测平台 - Google Patents
一种基于无人机的高精度实时裂缝检测平台 Download PDFInfo
- Publication number
- CN114812398B CN114812398B CN202210370434.5A CN202210370434A CN114812398B CN 114812398 B CN114812398 B CN 114812398B CN 202210370434 A CN202210370434 A CN 202210370434A CN 114812398 B CN114812398 B CN 114812398B
- Authority
- CN
- China
- Prior art keywords
- crack
- aerial vehicle
- unmanned aerial
- module
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明属于建筑物损伤检测领域,具体涉及一种基于无人机的高精度实时裂缝检测平台。其特征在于,所述无人机上搭载有单目或双目相机、惯性测量单元IMU、机载电脑和机载雷达;所述机载电脑运行软件,包括:轻量化的裂缝分类模块、轻量化的裂缝分割模块、裂缝位置信息计算模块、高精度的裂缝分割模块、裂缝几何信息提取模块和无人机飞行控制模块。无人机作业过程中,获取图像信息,经轻量级裂缝分类模块、轻量级裂缝分割模块、裂缝位置信息计算模块处理得到裂缝与无人机的相对位置信息,并通过裂缝信息辅助的无人机飞行控制模块逐步使无人机接近裂缝附近;并实现裂缝几何信息的提取。本发明所提出的平台可以大幅度提升裂缝几何信息提取的精度。
Description
技术领域
本发明属于建筑物损伤检测领域,具体涉及一种基于无人机的高精度实时裂缝检测平台。
背景技术
在建筑业的发展过程中,混凝土因为低成本的材料、良好的抗压性能和较高的耐久性在土木工程施工中占据了主导地位,在工程项目中广泛应用。近代科学对混凝土的细观研究和大量的工程实践经验表明:钢筋混凝土结构中的裂缝不可避免。但当钢筋混凝土结构中的裂缝发展程度过大时,一方面,裂缝的存在会影响整个结构的美观性,另一方面,裂缝的出现会降低结构的整体性和刚度,进而影响到整个结构的安全性,有可能造成巨大的生命财产损失。因此,测量裂缝的状态用于检查裂缝的形态变化发展及稳定性,据此来分析判断裂缝对结构的影响程度,对建筑物的正常使用和避免人民生命财产损失有着十分重要的意义。
为了实现裂缝检测的自动化,有必要在硬件设备上部署裂缝检测算法。此外,由于难以手动收集高层结构和桥梁等基础设施的图像信息,因此使用大型检查设备进行图像采集在效率和安全性方面更为有利。由于其良好的机动性和较宽的检测范围,无人机已成为裂缝检测问题的良好硬件设备。
由于模型参数的限制和巨大的计算成本,多数裂缝检测算法虽然精度较高,但不适合部署在无人机上进行实时裂缝检测。此外,在对建筑物进行结构健康监测中,裂缝宽度测量需要达到毫米级。因此,使用远离建筑物的无人机摄像头进行裂缝几何信息提取时,很难达到毫米级检测精度。此外,基于无人机的自动化裂缝检测未将无人机路径规划与裂缝检测结果相结合。因此,无人机无法实现自动接近建筑物的表面裂缝,这使得机载相机无法靠近裂缝以实现高精度的毫米级裂缝检测。
发明内容
本发明的目的是为了解决上述现有技术存在的缺陷而提供一种基于无人机的高精度实时裂缝检测平台,使用轻量级裂缝分类模块和轻量级裂缝分割模块检测提取出相机采集的图像中的裂缝位置信息,使用裂缝位置信息提取模块通过双目相机或雷达采集的数据结合图像中裂缝的位置信息计算出裂缝与无人机的相对位置信息,通过裂缝信息辅助的无人机飞行控制模块使无人机平稳飞行至裂缝表面附近,使用高精度裂缝分割模块和裂缝几何信息提取模块实现高精度的裂缝几何信息提取。由于相机拍摄时相机与裂缝之间的距离较小,因此实现更高精度且实时的自动化裂缝检测。
为了实现上述目标,本发明提供了如下技术方案:
一种基于无人机的高精度实时裂缝检测平台,所述无人机上搭载有单目或双目相机、惯性测量单元IMU、机载电脑和机载雷达;所述单目相机用于获取不带深度信息的图像;所述双目相机用于获取深度图像;所述机载雷达用于获取目标的点云数据;所述惯性测量单元IMU
所述单目或双目相机、惯性测量单元IMU和机载雷达的输出与机载电脑连接。
所述机载电脑运行软件,包括:轻量化的裂缝分类模块、轻量化的裂缝分割模块、裂缝位置信息计算模块、高精度的裂缝分割模块、裂缝几何信息提取模块和无人机飞行控制模块;
所述轻量化的裂缝分类模块用于判断单目或双目相机拍摄的图像中是否存在裂缝;所述轻量化的裂缝分割模块用于识别存在裂缝的图像中裂缝在图像坐标系下的坐标;所述裂缝位置信息计算模块利用双目相机计算得到的深度图或雷达的点云数据计算出图像坐标系与相机坐标系的映射关系并求解出裂缝和无人机在世界坐标系下的相对位置信息;所述无人机飞行控制模块利用裂缝和无人机的相对位置信息和IMU数据,控制无人机平稳飞行到所检测的裂缝表面附近;高精度的裂缝分割模块和裂缝几何信息提取模块实现高精度的裂缝几何信息提取;
设于无人机上的单目或双目相机获取图像信息,并将采集的图像发送到轻量级裂缝分类模块、轻量级裂缝分割模块进行处理实时得到裂缝的位置信息,将裂缝的位置信息和雷达或双目相机采集的信息输入裂缝位置信息计算模块中得到裂缝与无人机的相对位置信息并输入到裂缝信息辅助的无人机飞行控制模块中,逐步使无人机接近裂缝附近;
趋近过程至接近裂缝期间,无人机飞行平台将单目或双目相机采集的原始图像输入高精度裂缝分割模块提取裂缝的几何边缘信息,再通过裂缝几何信息提取模块联合裂缝位置信息计算模块实现裂缝几何信息的提取。
进一步的,所述轻量化裂缝分类模块的输入为降采样后的由单目或双目相机采集的原始图像,输出结果为图像中是否存在裂缝。若识别结果为存在裂缝,则将降采样的原始图像输入到轻量化裂缝分割模块中。
所述轻量化裂缝分类模块利用卷积神经网络算法,并通过在神经网络中加入通道洗牌、逐点分组卷积和深度可分离卷积实现计算量的大幅降低,从而实现实时的裂缝检测。
所述轻量化裂缝分割模块的输入为降采样后的由单目或双目相机采集的原始图像,输出结果为一张二值化的图像,用以表示图像中裂缝所在的区域。
所述轻量化裂缝分割模块利用卷积神经网络算法,具有一个细节分支和一个语义分支,其中细节分支具有较多的通道数和较少的网络层数,用于捕获低层细节并生成高分辨率的特征图,语义分支具有较少的通道数和较多的网络层数,获取高层次语义信息。此外,在细节分支和语义分支后具有一个特征融合模块以融合两个分支的特征图。通过这种方式建立的轻量化裂缝检测模型可以在保证精度的情况下实现高速的裂缝几何边缘提取,从而结合裂缝位置信息计算模块为裂缝信息辅助的无人机飞行控制模块实时地提供裂缝位置信息。
所述的裂缝位置信息计算模块的输入为双目相机的双目图像或雷达的点云数据以及轻量级裂缝分割模块的识别结果。通过双目立体匹配算法计算得到深度图并与原始图像进行图像匹配,结合轻量级裂缝分割模块的识别结果可以计算出裂缝与无人机在世界坐标系下的相对位置关系。此外,也可以通过雷达获得的点云数据与原始图像进行匹配,并结合轻量级裂缝分割模块的识别结果计算出裂缝与无人机在世界坐标系下的相对位置关系。
所述的裂缝信息辅助的无人机飞行控制模块的输入为每一时刻裂缝和无人机的相对位置信息。通过限制无人机的最大飞行速度并在每两个关键帧之间结合IMU传感器的数据和无人机与裂缝的相对位置信息对预期移动目标位置进行修正。可以使无人机平稳移动至裂缝位置附近。
所述的高精度裂缝分割模块包括:前处理模块、高精度裂缝几何边缘检测算法和后处理模块。前处理模块将相机拍摄的原始图像分割成固定大小的图像块,并结合轻量级裂缝分割算法识别出的像素级的裂缝区域,将含有裂缝的图像块输入到高精度裂缝几何边缘检测算法中,算法输出的结果为具有更精细裂缝几何边缘的识别结果;通过后处理模块,将图像块拼接还原为原始图像大小,并通过形态学处理等算法去除识别结果中的异常点,最终得到高精度的裂缝识别结果。
所述的高精度裂缝几何边缘检测算法利用卷积神经网络算法,并加入空间自注意力机制和通道自注意力机制,将输入的原始图像经过多次降采样和上采样操作,并在采样得到的特征图之间进行跨层的通道连接,实现多层次的语义信息融合。通过上采样和特征映射最终得到与原始图像大小相同的像素级高精度裂缝识别结果。
所述的裂缝几何信息提取模块通过双目图像计算得到的深度图或雷达采集的点云信息获得裂缝与相机之间的距离信息,由于使用局部的像素点进行像素解析度的计算误差较大,因此在图像中选取部分像素点并计算所选取像素点上的平均像素解析度,即可求出图像中的单个像素对应于现实世界中的长度。之后通过骨架线提取算法对高精度裂缝分割模块的识别结果进行处理,实现裂缝骨架线提取,并利用裂缝骨架线、裂缝几何边缘和像素解析度计算出裂缝的最大宽度。
与现有技术相比,本发明具有以下有益效果:
本发明通过轻量级裂缝分类模块和轻量级裂缝分割模块,实现了对所拍摄的图像进行高效且实时的裂缝检测,并结合裂缝位置信息计算模块为裂缝信息辅助的无人机飞行控制模块提供了关键的决策信息,实现了无人机移动至裂缝表面这一过程的自动化,可以降低人工操作无人机的复杂度,实现自动化的裂缝检测。相比于人工检测大幅度提升检测的效率并降低检测人员的风险。当无人机移动至裂缝附近时,通过高精度裂缝分割模块结合裂缝几何信息提取模块可以实现高精度的裂缝几何信息提取,因此本发明所提出的平台可以实时提供裂缝检测的分析结果,并大幅度提升裂缝几何信息提取的精度,在建筑物的日常安全维护和灾后的损伤快速评估方面具有更高的效率和精度。
附图说明
图1是本发明一种基于无人机的高精度实时裂缝检测平台模块关系图;
图2是本发明一种基于无人机的高精度实时裂缝检测模块构造图;
图3是本发明轻量级裂缝分类模块的示意图;
图4是本发明轻量级裂缝分割模块的示意图;
图5是本发明高精度裂缝分割模块中高精度裂缝几何边缘检测算法的示意图;
图6为本发明应用场景的示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例
图6为本发明应用场景的示意图。
如图1所示,一种基于无人机的高精度实时裂缝检测平台,其特征在于,所述无人机上搭载有单目或双目相机、IMU、机载电脑和机载雷达;设于无人机上的单目或双目相机获取图像信息,并将采集的图像发送到轻量级裂缝分类模块、轻量级裂缝分割模块进行处理实时得到裂缝的位置信息,将裂缝的位置信息和雷达或双目相机采集的信息输入裂缝位置信息计算模块中得到裂缝与无人机的相对位置信息并输入到裂缝信息辅助的无人机飞行控制模块中,逐步使无人机接近裂缝附近;
趋近过程至接近裂缝期间,无人机飞行平台将单目或双目相机采集的原始图像输入高精度裂缝分割模块提取裂缝的几何边缘信息,再通过裂缝几何信息提取模块联合裂缝位置信息计算模块实现裂缝几何信息的提取。
轻量级裂缝分类模块的网络结构示意图如图3所示。输入的图像经过多层包含通道洗牌、逐点分组卷积和深度可分离卷积构成的基本模块以及普通的卷积层、池化层等结构进行处理,最终输出结果为一个维度为1×1×2的张量,用以表示图像中是否存在裂缝。通过大量被标注的裂缝图像结合梯度下降法对神经网络进行训练。其中,训练时所使用的损失函数如下式所示:
其中,N为图像总数;ti为真实值,其取值范围为0或1;pi为神经网络输出的数值,即图像中包含裂缝的概率值。在实际使用过程中,冻结网络参数直接输出结果即可得到裂缝分类的结果。
轻量级裂缝分割模块的网络整体结构示意图如图4所示。输入的图像分别经过一个细节分支和一个语义分支,其中细节分支较多的通道数和较少的网络层数,语义分支具有较少的通道数和较多的网络层数。在细节分支和语义分支后具有一个特征融合模块用以融合两个分支的特征图,在网络的最后加入一个特征映射模块将特征图降至二维。在网络的训练阶段,针对语义分支中每一个子结构的输出结果利用特征映射模块进行特征映射,并将输出的结果与实际值进行损失函数的计算,用于增强算法的训练效果,损失函数的表达式如下式所示:
式中,y为图像中某一像素处的真实值;y′为神经网络在该像素处的输出值。通过大量被像素级标注的裂缝图像结合梯度下降法对神经网络进行训练,得到最优的网络参数。在实际使用过程中,冻结网络参数直接输出结果即可得到像素级的裂缝分割结果。
通过将裂缝分割结果和深度图进行数据融合,可以获得裂缝相对于无人机在相机坐标系下的坐标T,如下式所示:
其中,Dt为无人机与裂缝之间的安全距离,p为深度图中被分割为裂缝的像素在相机坐标系下的坐标。
裂缝信息辅助的无人机飞行控制模块的流程如下:首先获得目标位置T1。然后使用GPS记录此时无人机的位置P1,并计算出无人机的预期飞行位移D1。在无人机到达目标位置前,循环进行如下操作:通过IMU传感器数据计算无人机前一关键帧时的位置Pi-1和当前位置Pi之间的距离,即Ii-1。通过双目相机的深度图计算出此时裂缝与无人机之间的距离Di。其中关键帧表示利用轻量级裂缝分割模块结合双目相机的深度图成功计算出裂缝与无人机相对位置关系的视频帧。由于利用双目相机的图像通过双目立体匹配算法计算出的深度图存在较大误差,因此在控制无人机移动方向时需对距离Di进行修正得到Di′。通过滑动时间窗口的方式融合n帧的测量结果实现误差的降低。由于IMU的误差远小于双目相机测距的误差,因此随着n的增加,Di′的方差会减小。
此外,由于距离越远时,双目相机测距误差越大,因此引入遗忘因子α,用以减小总体的误差。之后通过下式计算出修正后的相对距离Di′:
式中n为滑动窗口的大小,n的取值小于i,且在无人机飞行过程中可动态改变n的具体数值。之后控制无人机沿向量Di′的方向进行移动,循环进行以上操作即可使无人机接近裂缝表面。
如果Di′小于固定阈值Th1,则将cin增加1;否则,如果cin不是0,则将cout增加1。在进程开始时,cin和cout的值都设置为0。如果cout大于特定的固定值coutmax,将cin和cout设置为0。如果cin大于特定的固定值cinmax,循环结束,程序终止。上述操作可用于判断无人机是否已到达目标位置附近,并确保无人机飞行的稳定性。之后可以通过GPS的坐标信息使无人机返回到P1处,从而结束对此处的裂缝检测。
高精度裂缝分割模块将原始图像进行分块并结合轻量级裂缝分割的预测结果筛选出包含裂缝的图像子块,并将图像子块输入到高精度裂缝几何边缘检测模块的算法中得到高精度的裂缝几何边缘信息,并将图像子块拼接为原始图像大小。通过孤立点消除算法实现识别结果中离群点的剔除,最后通过裂缝几何信息提取模块实现裂缝长度和最大宽度的提取。
如图2所示,包括前处理模块、高精度裂缝几何边缘检测模块、后处理模块;
高精度裂缝几何边缘检测模块,其算法:将输入的图像利用加入了空间自注意力机制和通道自注意力机制的卷积层进行四次降采样,并通过上采样将特征图映射回原始图像的大小。在特征图大小相等的网络层之间进行特征通道拼接,实现跨网络层的多尺度数据融合,并在网络的最后加入特征映射模块将特征图降至二维。在网络的训练阶段,针对完成特征通道拼接的特征图进行特征映射和上采样后,将输出的结果与实际值进行损失函数的计算,用于增强网络的训练效果,损失函数的表达式如下式所示:
式中,y为图像中某一像素处的真实值;y′为神经网络在该像素处的输出值。通过大量被像素级标注的裂缝图像结合梯度下降法实现对神经网络的训练。在实际使用过程中,冻结网络参数直接输出结果即可得到像素级的裂缝分割结果。由于网络的层数较多且参数量较大、使用了空间自注意力机制和通道自注意力机制并加入了多尺度语义信息的跨层融合,因此可以实现更高精度的裂缝几何边缘提取。
裂缝几何信息提取模块的流程如下:首先通过连通域标算法将同一图像中的多条裂缝分别提取到单独的图像中。通过骨架线提取算法提取每条裂缝的骨架线。计算骨架线上所有相邻像素之间的距离,并叠加以获得每条裂缝在图像坐标系下的长度。利用双目相机采集的图像通过双目立体匹配算法计算得到的深度图求解出像素解析度,由于使用局部的像素点进行像素解析度的计算误差较大,因此在图像中选取N条线段并计算线段上的平均像素解析度,即可求出图像中的单个像素对应于现实世界中的长度,如下式所示:
式中,N为在图像中选取的线段数,lwi通过双目相机得到的深度图或雷达的点云数据计算得到的图像中线段在世界坐标系下的长度,lpi为图像坐标系下线段的长度。
通过像素解析度和裂缝骨架线计算出每条裂缝的实际长度。分别计算裂缝骨架线上的每个像素点与裂缝几何边缘上所有点之间的欧氏距离之间的最小值,然后计算出所有最小值中的最大值并乘以二即为裂缝的最大宽度计算值。
此外,需要说明的是,本说明书中所描述的具体实施例,所取名称可以不同,本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所作的等效变化或者简单变化,均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法,只要不偏离本发明的结构或者超越本权利要求书所定义的范围,均属于本发明的保护范围。
Claims (9)
1.一种基于无人机的高精度实时裂缝检测平台,其特征在于,所述无人机上搭载有双目相机、惯性测量单元IMU、机载电脑和机载雷达;所述双目相机、惯性测量单元IMU和与机载电脑连接;
所述双目相机用于获取左目和右目两张图像,并通过双目相机计算得到的深度图;
所述机载电脑运行软件,包括:轻量化的裂缝分类模块、轻量化的裂缝分割模块、裂缝位置信息计算模块、高精度的裂缝分割模块、裂缝几何信息提取模块和无人机飞行控制模块;
所述轻量化的裂缝分类模块用于判断双目相机拍摄的图像中是否存在裂缝;所述轻量化的裂缝分割模块用于识别存在裂缝的图像中裂缝在图像坐标系下的坐标;所述裂缝位置信息计算模块利用双目相机计算得到的深度图计算出图像坐标系与相机坐标系的映射关系并求解出裂缝和无人机在世界坐标系下的相对位置信息;所述无人机飞行控制模块利用裂缝和无人机的相对位置信息和IMU数据,控制无人机平稳飞行到所检测的裂缝表面附近;所述高精度的裂缝分割模块和裂缝几何信息提取模块实现高精度的裂缝几何信息提取;
无人机飞行作业工作过程中,设于无人机上的双目相机获取图像信息,并将采集的图像发送到轻量化的裂缝分类模块、轻量级化的裂缝分割模块进行处理实时得到裂缝的位置信息,将裂缝的位置信息和双目相机采集的信息输入裂缝位置信息计算模块中得到裂缝与无人机的相对位置信息并输入到裂缝信息辅助的无人机飞行控制模块中,逐步使无人机接近裂缝附近;
趋近过程至接近裂缝期间,无人机飞行平台将双目相机采集的原始图像输入高精度裂缝分割模块提取裂缝的几何边缘信息,再通过裂缝几何信息提取模块联合裂缝位置信息计算模块实现裂缝几何信息的提取;
所述裂缝信息辅助的无人机飞行控制模块通过裂缝位置信息计算模块获取每一关键帧的无人机与裂缝的相对位置信息,并通过IMU数据计算得到两个关键帧之间的无人机位移信息,利用IMU数据对裂缝位置信息计算模块的计算结果进行修正实现对裂缝位置更加精确的定位,并控制无人机向计算得到的目标位置移动,实现裂缝检测过程中无人机飞行控制的自动化;
流程如下:首先获得目标位置T1,然后使用GPS记录此时无人机的位置P1,并计算出无人机的预期飞行位移D1,在无人机到达目标位置前,循环进行如下操作:通过IMU传感器数据计算无人机前一关键帧时的位置Pi-1和当前位置Pi之间的距离,即Ii-1,通过双目相机的深度图计算出此时裂缝与无人机之间的距离Di;其中关键帧表示利用轻量化的裂缝分割模块结合双目相机的深度图成功计算出裂缝与无人机相对位置关系的视频帧;由于利用双目相机的图像通过双目相机计算得到的深度图存在较大误差,因此在控制无人机移动方向时需对距离Di进行修正得到Di′;通过滑动时间窗口的方式融合n帧的测量结果实现误差的降低;由于IMU的误差远小于双目相机测距的误差,因此随着n的增加,Di′的方差会减小;
此外,由于距离越远时,双目相机测距误差越大,因此引入遗忘因子α,用以减小总体的误差;之后通过下式计算出修正后的相对距离Di′:
式中n为滑动窗口的大小,n的取值小于i,且在无人机飞行过程中可动态改变n的具体数值;之后控制无人机沿向量Di′的方向进行移动,循环进行以上操作即可使无人机接近裂缝表面;
如果Di′小于固定阈值Th1,则将cin增加1;否则,如果cin不是0,则将cout增加1;在进程开始时,cin和cout的值都设置为0;如果cout大于特定的固定值coutmax,将cin和cout设置为0;如果cin大于特定的固定值cinmax,循环结束,程序终止;上述操作可用于判断无人机是否已到达目标位置附近,并确保无人机飞行的稳定性;之后可以通过GPS的坐标信息使无人机返回到P1处,从而结束对此处的裂缝检测。
2.根据权利要求1所述的一种基于无人机的高精度实时裂缝检测平台,其特征在于,所述轻量化的裂缝分类模块使用卷积神经网络算法,并通过在神经网络中加入通道洗牌、逐点分组卷积和深度可分离卷积实现计算量的大幅降低,从而实现实时的裂缝检测;
输入的图像经过多层包含通道洗牌、逐点分组卷积和深度可分离卷积构成的基本模块以及普通的卷积层、池化层结构进行处理,最终输出结果为一个维度为1×1×2的张量,用以表示图像中是否存在裂缝;通过大量被标注的裂缝图像结合梯度下降法对神经网络进行训练;其中,训练时所使用的损失函数如下式所示:
其中,N为图像总数;ti为真实值,其取值范围为0或1;pi为神经网络输出的数值,即图像中包含裂缝的概率值。
3.根据权利要求1所述的一种基于无人机的高精度实时裂缝检测平台,其特征在于,所述轻量化的裂缝分割模块使用卷积神经网络算法,并在神经网络中加入语义分支、细节分支、特征融合模块和特征映射模块实现实时的裂缝几何边缘提取;
输入的图像分别经过一个细节分支和一个语义分支,其中细节分支较多的通道数和较少的网络层数,语义分支具有较少的通道数和较多的网络层数;在细节分支和语义分支后具有一个特征融合模块用以融合两个分支的特征图,在网络的最后加入一个特征映射模块将特征图降至二维;在网络的训练阶段,针对语义分支中每一个子结构的输出结果利用特征映射模块进行特征映射,并将输出的结果与实际值进行损失函数的计算,用于增强算法的训练效果,损失函数的表达式如下式所示:
式中,y为图像中某一像素处的真实值;y′为神经网络在该像素处的输出值;求值区间为图像中所有的像素;通过大量被像素级标注的裂缝图像结合梯度下降法对神经网络进行训练,得到最优的网络参数。
4.根据权利要求1所述的一种基于无人机的高精度实时裂缝检测平台,其特征在于,所述裂缝位置信息计算模块通过将雷达采集的点云信息或深度图与原始图像进行匹配,结合轻量化的裂缝分割模块的输出结果,计算出无人机与裂缝的相对位置信息;
通过将裂缝分割结果和深度图进行数据融合,可以获得裂缝相对于无人机在相机坐标系下的坐标T,如下式所示:
其中,Dt为无人机与裂缝之间的安全距离,p为深度图中被分割为裂缝的像素在相机坐标系下的坐标。
5.根据权利要求1所述的一种基于无人机的高精度实时裂缝检测平台,其特征在于,所述高精度裂缝分割模块包括前处理模块、高精度裂缝几何边缘检测算法以及后处理模块,可以针对原始的高分辨率图像实现高精度的裂缝几何边缘提取。
6.根据权利要求5所述的一种基于无人机的高精度实时裂缝检测平台,其特征在于,所述的前处理模块将双目相机拍摄的原始图像分割成固定大小的图像块,并结合轻量级裂缝分割算法识别出的裂缝所在区域,将含有裂缝的图像块输入到高精度裂缝几何边缘检测算法中。
7.根据权利要求5所述的一种基于无人机的高精度实时裂缝检测平台,其特征在于,所述的高精度裂缝几何边缘检测算法使用卷积神经网络算法,并在神经网络中加入空间自注意力机制和通道自注意力机制,将输入的原始图像经过多次降采样和上采样操作,并在采样得到的特征图之间进行跨层的连接,实现多层次的语义信息融合;
算法如下:将输入的图像利用加入了空间自注意力机制和通道自注意力机制的卷积层进行四次降采样,并通过上采样将特征图映射回原始图像的大小;在特征图大小相等的网络层之间进行特征通道拼接,实现跨网络层的多尺度数据融合,并在网络的最后加入特征映射模块将特征图降至二维;在网络的训练阶段,针对完成特征通道拼接的特征图进行特征映射和上采样后,将输出的结果与实际值进行损失函数的计算,用于增强网络的训练效果,损失函数的表达式如下式所示:
式中,y为图像中某一像素处的真实值;y′为神经网络在该像素处的输出值;求值区间为图像中所有的像素;通过大量被像素级标注的裂缝图像结合梯度下降法实现对神经网络的训练;在实际使用过程中,冻结网络参数直接输出结果即可得到像素级的裂缝分割结果;由于网络的层数较多且参数量较大、使用了空间自注意力机制和通道自注意力机制并加入了多尺度语义信息的跨层融合,因此可以实现更高精度的裂缝几何边缘提取。
8.根据权利要求5所述的一种基于无人机的高精度实时裂缝检测平台,其特征在于,所述后处理模块,将高精度裂缝几何边缘检测算法检测结果通过图像拼接还原为原始图像大小,并通过形态学处理算法去除识别结果中的异常点,最终得到高精度的裂缝识别结果。
9.根据权利要求1所述的一种基于无人机的高精度实时裂缝检测平台,其特征在于,所述裂缝几何信息提取模块通过双目图像计算得到的深度图与原始图像进行匹配,计算出像素解析度,进而结合高精度裂缝分割模块的结果,利用骨架线提取算法实现裂缝长度信息的提取,通过提取出的裂缝骨架线结合裂缝的几何边缘信息实现裂缝最大宽度信息的提取;
具体算法如下:首先通过连通域标算法将同一图像中的多条裂缝分别提取到单独的图像中;通过骨架线提取算法提取每条裂缝的骨架线;计算骨架线上所有相邻像素之间的距离,并叠加以获得每条裂缝在图像坐标系下的长度;利用双目相机采集的图像通过双目立体匹配算法计算得到的深度图求解出像素解析度,由于使用局部的像素点进行像素解析度的计算误差较大,因此在图像中选取N条线段并计算线段上的平均像素解析度,即可求出图像中的单个像素对应于现实世界中的长度,如下式所示:
式中,N为在图像中选取的线段数,lwi通过双目相机得到的深度图计算得到的图像中线段在世界坐标系下的长度,lpi为图像坐标系下线段的长度;
通过像素解析度和裂缝骨架线计算出每条裂缝的实际长度;分别计算裂缝骨架线上的每个像素点与裂缝几何边缘上所有点之间的欧氏距离之间的最小值,然后计算出所有最小值中的最大值并乘以二即为裂缝的最大宽度计算值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210370434.5A CN114812398B (zh) | 2022-04-10 | 2022-04-10 | 一种基于无人机的高精度实时裂缝检测平台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210370434.5A CN114812398B (zh) | 2022-04-10 | 2022-04-10 | 一种基于无人机的高精度实时裂缝检测平台 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114812398A CN114812398A (zh) | 2022-07-29 |
CN114812398B true CN114812398B (zh) | 2023-10-03 |
Family
ID=82534155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210370434.5A Active CN114812398B (zh) | 2022-04-10 | 2022-04-10 | 一种基于无人机的高精度实时裂缝检测平台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114812398B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115330726B (zh) * | 2022-08-16 | 2023-06-09 | 广东中鉴检测技术有限公司 | 一种钢筋保护层质量及墙体质量快速评定系统 |
CN116843829A (zh) * | 2023-06-07 | 2023-10-03 | 广州广检建设工程检测中心有限公司 | 基于双目视频的混凝土结构裂缝三维重建与长度量化方法 |
CN116777926B (zh) * | 2023-08-21 | 2023-10-31 | 华侨大学 | 基于左右分和式轻量卷积神经网络的裂缝分割方法及装置 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017037008A (ja) * | 2015-08-11 | 2017-02-16 | グランツールス株式会社 | 構造物の状態検査方法 |
JP2017036988A (ja) * | 2015-08-10 | 2017-02-16 | クモノスコーポレーション株式会社 | 撮影システム |
CN110147714A (zh) * | 2019-03-28 | 2019-08-20 | 中国矿业大学 | 基于无人机的煤矿采空区裂缝识别方法及检测系统 |
KR102100496B1 (ko) * | 2019-05-02 | 2020-04-13 | 케이에스엠기술 주식회사 | 드론 및 레이저스캐너를 이용한 콘크리트 구조물 균열 검사 시스템 및 방법 |
WO2020139195A1 (en) * | 2018-12-27 | 2020-07-02 | Performance Rotors Pte. Ltd. | Drone for surface defects inspection |
JP6807093B1 (ja) * | 2020-09-24 | 2021-01-06 | 株式会社センシンロボティクス | 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法 |
KR102237096B1 (ko) * | 2020-04-27 | 2021-04-08 | 주식회사 에이치에스씨앤디 | 무인비행장치와 플라이트 플랜을 이용한 건축물 크랙 유지보수 방법 |
CN112666963A (zh) * | 2020-12-18 | 2021-04-16 | 浙江师范大学 | 基于四轴无人机的公路路面裂缝检测系统及其检测方法 |
CN113312987A (zh) * | 2021-05-11 | 2021-08-27 | 东南大学 | 一种基于无人机航拍路面裂缝图像的识别方法 |
CN113706482A (zh) * | 2021-08-16 | 2021-11-26 | 武汉大学 | 一种高分辨率遥感影像变化检测方法 |
CN113762247A (zh) * | 2021-01-23 | 2021-12-07 | 长安大学 | 一种基于显著实例分割算法的道路裂缝自动检测方法 |
KR102349818B1 (ko) * | 2020-08-21 | 2022-01-10 | 금오공과대학교 산학협력단 | 개선된 cnn 기반으로 한 도로 균열 감지 자율 비행 드론 |
CN113988179A (zh) * | 2021-10-28 | 2022-01-28 | 北京化工大学 | 基于改进注意力和损失函数的目标分割方法、系统及设备 |
CN114049356A (zh) * | 2022-01-17 | 2022-02-15 | 湖南大学 | 一种结构表观裂缝检测方法、装置及系统 |
CN114186632A (zh) * | 2021-12-10 | 2022-03-15 | 北京百度网讯科技有限公司 | 关键点检测模型的训练方法、装置、设备、存储介质 |
-
2022
- 2022-04-10 CN CN202210370434.5A patent/CN114812398B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017036988A (ja) * | 2015-08-10 | 2017-02-16 | クモノスコーポレーション株式会社 | 撮影システム |
JP2017037008A (ja) * | 2015-08-11 | 2017-02-16 | グランツールス株式会社 | 構造物の状態検査方法 |
WO2020139195A1 (en) * | 2018-12-27 | 2020-07-02 | Performance Rotors Pte. Ltd. | Drone for surface defects inspection |
CN110147714A (zh) * | 2019-03-28 | 2019-08-20 | 中国矿业大学 | 基于无人机的煤矿采空区裂缝识别方法及检测系统 |
KR102100496B1 (ko) * | 2019-05-02 | 2020-04-13 | 케이에스엠기술 주식회사 | 드론 및 레이저스캐너를 이용한 콘크리트 구조물 균열 검사 시스템 및 방법 |
KR102237096B1 (ko) * | 2020-04-27 | 2021-04-08 | 주식회사 에이치에스씨앤디 | 무인비행장치와 플라이트 플랜을 이용한 건축물 크랙 유지보수 방법 |
KR102349818B1 (ko) * | 2020-08-21 | 2022-01-10 | 금오공과대학교 산학협력단 | 개선된 cnn 기반으로 한 도로 균열 감지 자율 비행 드론 |
JP6807093B1 (ja) * | 2020-09-24 | 2021-01-06 | 株式会社センシンロボティクス | 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法 |
CN112666963A (zh) * | 2020-12-18 | 2021-04-16 | 浙江师范大学 | 基于四轴无人机的公路路面裂缝检测系统及其检测方法 |
CN113762247A (zh) * | 2021-01-23 | 2021-12-07 | 长安大学 | 一种基于显著实例分割算法的道路裂缝自动检测方法 |
CN113312987A (zh) * | 2021-05-11 | 2021-08-27 | 东南大学 | 一种基于无人机航拍路面裂缝图像的识别方法 |
CN113706482A (zh) * | 2021-08-16 | 2021-11-26 | 武汉大学 | 一种高分辨率遥感影像变化检测方法 |
CN113988179A (zh) * | 2021-10-28 | 2022-01-28 | 北京化工大学 | 基于改进注意力和损失函数的目标分割方法、系统及设备 |
CN114186632A (zh) * | 2021-12-10 | 2022-03-15 | 北京百度网讯科技有限公司 | 关键点检测模型的训练方法、装置、设备、存储介质 |
CN114049356A (zh) * | 2022-01-17 | 2022-02-15 | 湖南大学 | 一种结构表观裂缝检测方法、装置及系统 |
Non-Patent Citations (2)
Title |
---|
Road Traffic Monitoring from UAV Images Using Deep Learning Networks;Sungwoo Byun等;Remote Sensing;1-15 * |
无人机视觉的桥梁底面裂缝检测方法;贺志勇等;筑路机械与施工机械化;第36卷;131-137 * |
Also Published As
Publication number | Publication date |
---|---|
CN114812398A (zh) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114812398B (zh) | 一种基于无人机的高精度实时裂缝检测平台 | |
Yang et al. | Deep concrete inspection using unmanned aerial vehicle towards cssc database | |
Banić et al. | Intelligent machine vision based railway infrastructure inspection and monitoring using UAV | |
US11042755B2 (en) | Method for foreign object debris detection | |
Yang et al. | Concrete defects inspection and 3D mapping using CityFlyer quadrotor robot | |
CN105373135B (zh) | 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统 | |
US11551344B2 (en) | Methods of artificial intelligence-assisted infrastructure assessment using mixed reality systems | |
Khan et al. | Unmanned aerial vehicle–based traffic analysis: Methodological framework for automated multivehicle trajectory extraction | |
WO2018028103A1 (zh) | 一种基于人眼视觉特性的电力线路无人机巡检方法 | |
JP6904614B2 (ja) | 対象物検出装置、予測モデル作成装置、対象物検出方法及びプログラム | |
Yu et al. | A UAV-based crack inspection system for concrete bridge monitoring | |
CN111126184B (zh) | 一种基于无人机视频的震后建筑物损毁检测方法 | |
CN109829908B (zh) | 基于双目影像的电力线下方地物安全距离检测方法及设备 | |
Qu et al. | Moving vehicle detection with convolutional networks in UAV videos | |
CN111768417B (zh) | 基于单目视觉3d重建技术的铁路货车超限检测方法 | |
CN111126183A (zh) | 一种基于近地面影像数据的震后建筑物损毁检测方法 | |
Yang et al. | A robotic system towards concrete structure spalling and crack database | |
Griffiths et al. | Rapid object detection systems, utilising deep learning and unmanned aerial systems (uas) for civil engineering applications | |
CN114841923A (zh) | 一种基于无人机的高精度实时裂缝检测方法 | |
CN107543539A (zh) | 一种无人机的位置信息获取方法及无人机 | |
Li et al. | Driver drowsiness behavior detection and analysis using vision-based multimodal features for driving safety | |
CN113569911A (zh) | 车辆识别方法、装置、电子设备及存储介质 | |
Esfandiari et al. | Building change detection in off-nadir images using deep learning | |
KR20240051806A (ko) | 드론 영상정보를 이용한 딥러닝 기반 구조물 손상 점검 방법 | |
Yang et al. | Method for building recognition from FLIR images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |