CN116297472A - 一种基于深度学习的无人机桥梁裂缝检测方法及系统 - Google Patents
一种基于深度学习的无人机桥梁裂缝检测方法及系统 Download PDFInfo
- Publication number
- CN116297472A CN116297472A CN202310033923.6A CN202310033923A CN116297472A CN 116297472 A CN116297472 A CN 116297472A CN 202310033923 A CN202310033923 A CN 202310033923A CN 116297472 A CN116297472 A CN 116297472A
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- module
- image
- bridge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 70
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 238000010008 shearing Methods 0.000 claims abstract description 14
- 230000005540 biological transmission Effects 0.000 claims description 60
- 238000012545 processing Methods 0.000 claims description 58
- 230000001133 acceleration Effects 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 23
- 238000007781 pre-processing Methods 0.000 claims description 23
- 230000001502 supplementing effect Effects 0.000 claims description 22
- 238000002156 mixing Methods 0.000 claims description 19
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 15
- 230000007547 defect Effects 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 238000004088 simulation Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 9
- 238000005286 illumination Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 6
- 238000009827 uniform distribution Methods 0.000 claims description 6
- 238000011049 filling Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 230000000087 stabilizing effect Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Computer Graphics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的无人机桥梁裂缝检测方法及系统通过无人机A及无人机B的配合，获取更精准的环境参数，同时通过UWB辅助定位更加便捷的获取无人机图像位置，并通过剪切混合的数据增强使得SSD算法得以改进，使得无人机裂缝的检测更加精准。
Description
技术领域
本发明涉及无人机桥梁检测领域，尤其是一种基于深度学习的无人机桥梁裂缝检测方法及系统。
背景技术
交通是连接城市的重要纽带，对生产要素的流动有着决定性的影响，而桥梁作为交通系统不可或缺的组成部分，在河流、沟壑等复杂地段起着举足轻重的作用，成为人们出行的重要保障。由于常年经受外部压力和拉力，以及超载、超限等外部因素，桥梁不可避免的发生破损。桥梁的缺陷主要有裂缝、风化、剥落、露筋、锈蚀，而裂缝作为桥梁主体结构的主要缺陷，如果没有得到及时的修复，将会对桥梁的承载能力产生不可逆的破坏，严重影响着桥梁的安全运营，甚至可能引发重大安全事故。因此，对桥梁采取有效的检测就显得至关重要。
传统的桥梁检测主要依赖于人工检测，存在着很多的不足之处。第一，受外部天气、温度的影响，以及对于检测装备的精确安装和拆卸等必经步骤，人力检测的效率极为低下；第二，人工检测主要以人眼观察为主，容易受到环境因素和主观因素影响，检测精度低；第三，桥梁位置多在河流、沟壑等复杂地段，采用人工检测不仅受到地段的限制，对检测人员的安全也存在着隐患；第四，人工检测的成本较高，效率低下。
近年来，随着计算机算力的大幅提升，基于深度学习的无人机桥梁缺陷检测受到相关领域的青睐，桥梁的裂缝检测技术发展迅速，该方法可有效降低传统的桥梁检测的不足，但仍然存在以下两个主要问题：第一，该方法需要操作人员熟练操作无人机，在一些复杂或者视线难以捕捉的地段极易发生坠机事故；第二，容易出现飞行盲区，造成检测漏洞；第三，在桥梁底部，可能存在GPS信号弱的情况，无人机无法定位。第三，近年来出现的各种目标检测算法，例如以R-CNN、Fast-Rcnn、Faster-Rcnn等为代表的两阶段目标检测算法，以SSD、Yolo为代表的一阶段目标检测算法，能够识别绝大部分的裂缝，但对于微细的裂缝，现有的算法检测精度较低，不能达到预期的效果。
发明内容
发明目的：本发明的目的是提供一种基于深度学习的无人机桥梁裂缝检测方法及系统，通过改进SSD算法进行检测，提高检测精度。
技术方案：本发明提供一种基于深度学习的无人机桥梁裂缝检测方法，包含以下步骤：
1)用测绘无人机A采集所测桥体及其周边地形环境，并将数据实时传入到地面处理平台；
2)地面处理平台根据测绘无人机A传回的数据进行三维建模，得到待测桥梁及其周边环境的3D坐标实景模型；
3)地面站根据3D坐标实景模型，规划图像采集无人机B的飞行路径，并将指令传达至图像采集无人机B的飞控模块；
4)按照规划路径模拟图像采集无人机B的仿真飞行，模拟过程中当无人机进入桥底时，通过UWB辅助定位模块获取无人机位置，传入地面站后由地面站不断修正后得到实际飞行路径，图像采集无人机B按照实际飞行路径实际飞行，并将采集图像实时传入地面站，同时通过储存模块保存供离线处理；
5)对采集图像进行预处理，该预处理方式包含归一化、高斯滤波处理、伽马校正；
6)用改进后的SSD检测算法对预处理后的图像进行检测，完成对缺陷的检测。
进一步的，步骤3)中，图像采集无人机B包含飞行控制模块、、测距传感器模块、加速度传感器模块、GPS定位模块、UWB辅助定位标签、第一数传电台、补光模块、云台相机、存储模块、第一图传电台、机载数据处理单元；
飞行控制模块用以接收飞行路径；测距传感器模块用以测量无人机与桥梁之间的距离；加速度传感器模块用以检测无人机的加速度大小；GPS定位模块用以定位无人机；UWB辅助定位标签用以在桥底GPS信号弱的情况下辅助定位；第一数传电台用以无人机与地面站第二数传电台之间的数据传输；云台相机用以图像的采集；补光模块用以在低照度环境下为云台相机补充光源；存储模块用以存储采集的数据供离线处理；第一图传电台用以将无人机与地面站第二图传电台的数据传输；机载数据处理单元用以控制云台相机的姿态以及发送采集信号。
进一步的，步骤5)中，对采集图像进行预处理，其中，归一化的公式如下：
其中xi代表图像像素点值，max(x)代表最大像素值，
代表最小像素值。
进一步的，步骤5)中，对于采集光线暗时的图像，采用伽马校正，公式如下：
其中γ为可调节系数，I为当前图像。
进一步的，步骤6)中，改进的SSD模型包含以下步骤：
6.1)使用剪切混合的数据增强方法，进行数据集的制作，其中，剪切混合的公式如下：
α＝M☉xA+(1-M)☉xB
β＝μyA+(1-μ)yB
其中，xA和xB是两个不同的训练样本，yA和yB是对应的标签值，剪切混合需要生成的是新的训练样本和对应标签α、β，M∈(0,1)W×H是二进制掩码，☉是逐像素相乘，μ属于Beta分布：μ～Beta(a,a),a＝1则服从(0，1)均匀分布；
对剪裁区域的边界框B＝(rx,ry,rw,rh)进行采样,用来对样本xA和xB做裁剪区域的指示标定,公式如下：
rx～Unif(0,W)；
ry～Unif(0,H)；
确定好裁剪区域B之后，将M中的裁剪区域B置0，其他区域置1，完成掩码的采样，将样本A中的剪裁区域B移除，将样本B中的剪裁区域B进行裁剪然后填充到样本A，得到数据集；
6.2)将高层与低层的特征图进行融合，将全连接层6和全连接层7分别进行CBL操作后再进行下采样操作以改进SSD骨干网络；
6.3)计算改进后SSD的损失函数，公式如下：
其中损失函数的第一部分是类别损失，第二部分是位置损失，N是匹配的先验框个数。
本发明对应提供一种基于深度学习的无人机桥梁裂缝检测系统，包含采集模块、三维建模模块、规划路径模块、仿真飞行模块、预处理模块、检测模块；
采集模块用以用测绘无人机A采集所测桥体及其周边地形环境，并将数据实时传入到地面处理平台；
三维建模模块用以用地面处理平台根据测绘无人机A传回的数据进行三维建模，得到待测桥梁及其周边环境的3D坐标实景模型；
规划路径模块用以通过地面站根据3D坐标实景模型，规划图像采集无人机B的飞行路径，并将指令传达至图像采集无人机B的飞控模块；
仿真飞行模块用以按照规划路径模拟图像采集无人机B的仿真飞行，模拟过程中当无人机进入桥底时，通过UWB辅助定位模块获取无人机位置，传入地面站后由地面站不断修正后得到实际飞行路径，图像采集无人机B按照实际飞行路径实际飞行，并将采集图像实时传入地面站，同时通过储存模块保存供离线处理；
预处理模块用以对采集图像进行预处理，该预处理方式包含归一化、高斯滤波处理、伽马校正；
检测模块用以通过改进后的SSD检测算法对预处理后的图像进行检测，完成对缺陷的检测。
进一步的，规划路径模块中，图像采集无人机B包含飞行控制模块、测距传感器模块、加速度传感器模块、GPS定位模块、UWB辅助定位标签、第一数传电台、补光模块、云台相机、存储模块、第一图传电台、机载数据处理单元；
飞行控制模块用以接收飞行路径；测距传感器模块用以测量无人机与桥梁之间的距离；加速度传感器模块用以检测无人机的加速度大小；GPS定位模块用以定位无人机；UWB辅助定位标签用以在桥底GPS信号弱的情况下辅助定位；第一数传电台用以无人机与地面站第二数传电台之间的数据传输；云台相机用以图像的采集；补光模块用以在低照度环境下为云台相机补充光源；存储模块用以存储采集的数据供离线处理；第一图传电台用以将无人机与地面站第二图传电台的数据传输；机载数据处理单元用以控制云台相机的姿态以及发送采集信号。
进一步的，预处理模块中，对采集图像进行预处理，其中，归一化的公式如下：
其中xi代表图像像素点值，max(x)代表最大像素值，
代表最小像素值。
进一步的，预处理模块中，对于采集光线暗时的图像，采用伽马校正，公式如下：
其中γ为可调节系数，I为当前图像。
进一步的，检测模块中，改进的SSD模型包含数据集的制作单元、改进SSD骨干网络单元、损失函数单元；
数据集的制作单元用以使用剪切混合的数据增强方法，进行数据集的制作，其中，剪切混合的公式如下：
α＝M☉xA+(1-M)☉xB
β＝μyA+(1-μ)yB
其中，xA和xB是两个不同的训练样本，yA和yB是对应的标签值，剪切混合需要生成的是新的训练样本和对应标签α、β，M∈(0,1)W×H是二进制掩码，☉是逐像素相乘，μ属于Beta分布：μ～Beta(a,a),a＝1则服从(0，1)均匀分布；
对剪裁区域的边界框B＝(rx,ry,rw,rh)进行采样,用来对样本xA和xB做裁剪区域的指示标定,公式如下：
rx～Unif(0,W)；
ry～Unif(0,H)；
确定好裁剪区域B之后，将M中的裁剪区域B置0，其他区域置1，完成掩码的采样，将样本A中的剪裁区域B移除，将样本B中的剪裁区域B进行裁剪然后填充到样本A，得到数据集；
改进SSD骨干网络单元用以将高层与低层的特征图进行融合，将全连接层6和全连接层7分别进行CBL操作后再进行下采样操作以改进SSD骨干网络；
损失函数单元用以计算改进后SSD的损失函数，公式如下：
其中损失函数的第一部分是类别损失，第二部分是位置损失，N是匹配的先验框个数。
有益效果：本发明与现有技术相比，其显著优点是通过无人机A及无人机B的配合，获取更精准的环境参数，同时通过UWB辅助定位更加便捷的获取无人机图像位置，并通过剪切混合的数据增强使得SSD算法得以改进，使得无人机裂缝的检测更加精准。
附图说明
图1是本发明中桥梁三维建模过程图；
图2是本发明中无人机B结构示意图；
图3是本发明中无人机B路劲规划图；
图4是本发明本发明中无人机B仿真飞行路线流程图；
图5是本发明中图像伽马校正效果图；
图6是本发明中剪切混合数据增强效果图；
图7是本发明中改进后SSD骨干网络图；
图8是本发明中桥梁缺陷检测结果样例图。
具体实施方式
以下结合附图对本发明的具体实施方式进行说明。
实施例1
本发明提供的一种基于深度学习的无人机桥梁裂缝检测方法，包含以下步骤：
1)用测绘无人机A采集所测桥体及其周边地形环境，并将数据实时传入到地面处理平台。
测绘无人机A搭载倾斜航摄仪和通信装置。倾斜航摄仪为五拼相机，五台相机分别朝向前、后、左、右和垂直向下，同时从垂直、倾斜不同角度采集图像，获取更为准确的信息。垂直地面角度获得的影片称为正片，镜头与地面成一定角度摄取的四组影像称为斜片，相对于垂直影像可以提供更好的视野观察待测模型。在制定飞行方案后布测相控点。
第一：为保证三维模型的精度，航向重叠和旁向重叠最少要在80％以上；第二：相机距模型的距离不能太大；第三：被测模型要占照片的一半区域以上，每个部位要在至少3张影像上出现；通讯装置记录航摄仪采集的图像及其位置信息，将其实时传入处理平台进行3D建模。
2)地面处理平台根据测绘无人机A传回的数据进行三维建模，得到待测桥梁及其周边环境的3D坐标实景模型。
请参阅图1所示，处理平台是基于倾斜摄影原理开发的三维建模软件，将具有一定重叠度的影像导入，建模软件会结合图像中所包含的位置信息自动进行空中三角测量，生成密集点云，构成三角网格模型，最后会结合倾斜影像的像素信息生成三维模型。
3)地面站根据3D坐标实景模型，规划图像采集无人机B的飞行路径，并将指令传达至图像采集无人机B的飞控模块。
请参阅图2所示，图像采集无人机B也称为无人机系统，包含飞行控制模块、机身稳定模块、测距传感器模块、加速度传感器模块、GPS定位模块、UWB辅助定位标签、第一数传电台、补光模块、云台相机、存储模块、第一图传电台、机载数据处理单元。
地面站称为地面端系统，包含地面站、第二数传电台、第二图传电台、UWB定位基站。
飞行控制模块用以接收飞行路径；机身稳定模块用以在采集图像时机身保持稳定；测距传感器模块用以测量无人机与桥梁之间的距离；加速度传感器模块用以检测无人机的加速度大小；GPS定位模块用以定位无人机；UWB辅助定位标签用以在桥底GPS信号弱的情况下辅助定位；第一数传电台用以无人机与地面站第二数传电台之间的数据传输；云台相机用以图像的采集；补光模块用以在低照度环境下为云台相机补充光源；存储模块用以存储采集的数据供离线处理；第一图传电台用以将无人机与地面站第二图传电台的数据传输；机载数据处理单元用以控制云台相机的姿态以及发送采集信号。
4)按照规划路径模拟图像采集无人机B的仿真飞行，模拟过程中当无人机进入桥底时，通过UWB辅助定位模块获取无人机位置，传入地面站后由地面站不断修正后得到实际飞行路径，图像采集无人机B按照实际飞行路径实际飞行，并将采集图像实时传入地面站，同时通过储存模块保存供离线处理。
无人机系统包括搭载在所述无人机B上，并包含与机载处理单元相连的机身稳定装置，机身稳定装置的主要作用是保证在采集图片的时候机身能够满足稳定条件。由于桥梁多建在跨流、相对于水平面较高的空旷地带，其周边拥有较大的风载以及车辆通过带来的气流扰动，将会对无人机的飞行状态产生较大干扰，机载相机采集图片时会产生较大震动，采集到的图片会产生大量噪音以及边缘的缺失，而图片的边缘信息对后续特征的提取尤为重要。因此，在采集图像前对无人机进行重力调节，通过调节陀螺仪的轴向重力方向与采集图像方向间的角度，保证检测时机身的稳定，减少震动带来的误差，同时对初步采集的图像进行判别，若图像满足要求，进行后续的采集，否则继续调整直至满足要求。
无人机系统包括搭载在所述无人机B上，并包含与机载处理单元相连的传感器组，传感器组布置在无人机的中部，为了避免在飞行过程中机体与桥梁主体或者桥墩等发生碰撞，提前设置半径为1m的极限接触距离。整个传感器组包括测距传感器、加速度传感器，两者通过有线连接向机身稳定装置传送数据。测距传感器用于测量无人机与桥梁的距离，避免因为距离太远或者太近导致相机镜头失焦。加速度传感器用于检测无人机的加速度大小，使无人机在快到达指定区域或者极限距离的时候改变加速度的大小，避免发生发生可能的碰撞。
无人机系统包括搭载在所述无人机B上，并包含与机载处理单元相连的GPS和UWB模块，所述GPS模块由GPS定位系统、电子地图系统和导航系统组成。UWB辅助定位模块更多的在无人机GPS信号弱时发挥作用，考虑到GPS信号弱问题多发生在桥梁的底部，在桥梁周边按照实际环境布置4个基站，基站数量可按实际信号情况考虑。本实施例采用到达时间差的UWB定位方法，标签卡对外发送一次UWB信号，在标签无线覆盖范围内的所有基站都会收到无线信号，如果有两个已知坐标点的基站收到信号，标签距离两个基站的间隔不同，那么这两个基站收到信号的时间点是不一样的。设某时刻无人机的坐标为(xi，yi，zi)，四个地面基站的坐标分别为(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)，(x4，y4，z4)，接收时间分别为t1，t2，t3，t4，无人机与地面基站的距离分别为r1，r2，r3，r4。则坐标计算公式如下：
无人机按事先设定的同步时间，利用GPS模块和UWB辅助定位模块对无人机进行精密定位，并将定位结果显示在电子地图上，根据无人机动态航迹与计划航线的偏差对无人机的飞行进行修正。
第一数传电台与机载处理单元通过无线连接，第二数传电台与地面站连接，无人机系统与地面端系统之间通过第一数传电台和第二数传电台实现无人机的控制指令及飞行状态数据交互传输。
无人机系统包括搭载在所述无人机B上，并包含与机载处理单元相连的补光模块。所述补光模块为所述云台相机在低照度环境下提供光源，从而提高图像的采集质量。
无人机系统包括搭载在所述无人机B上，并包含与所述机载处理单元相连的云台相机，该模块由位于无人机上部和下部的两个相机组成，每个相机有其独立的云台，可以对桥梁的多个角度，多个位置进行图像采集。
云台相机采集到的桥梁数据经所述第一图传电台发送至所述地面端第二图传电台。
地面中心站的主要作用是规划无人机B的飞行路线以及通过第二数传和第二图传接收第一数传和第一图传传入的数据。规划路线时综合考虑桥梁结构的桥墩、桥面的长度、宽度、高度以及桥梁附近的障碍物等多重因素，合理规划出无人机的飞行路线。同时对于传来的图像信息进行实时的保存，供后处理使用，同时记录桥梁缺陷的位置。
请参阅图4所示，无人机B经仿真飞行后得到实际飞行路径。
5)对采集图像进行预处理，该预处理方式包含归一化、高斯滤波处理、伽马校正。
由于外界环境及其相机震动带来的影响，采集到的图像会存在噪音，需要对采集到的图像进行预处理，具体过程如下：
5.1)先进行图像的归一化：图像归一化是指对图像进行一系列的标准变换，使之变换为一固定标准形式的过程。图像归一化的作用主要在于：第一，转换成标准模式，防止仿射变换的影响；第二，保证输出数据中数值小的不被吞食；第三，图像归一化可以加速后续神经网络的收敛。公式如下
其中xi代表图像像素点值，max(x)代表最大像素值，
代表最小像素值。
5.2)之后进行高斯滤波处理，高斯滤波是一种平滑滤波器，在图像去噪过程中大量应用。高斯滤波的具体操作是：用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。
5.3)对光线较暗的图像，采用伽玛校正。伽玛校正公式如下：
其中γ为可调节系数，I为当前图像，当γ为0.4时校正效果如图5所示。
6)用改进后的SSD检测算法对预处理后的图像进行检测，完成对缺陷的检测。
6.1)数据集的制作：对开源的桥梁裂缝数据集进行数据扩充，使用剪切混合的数据增强方法。剪切混合的原理如下：xA和xB是两个不同的训练样本，yA和yB是对应的标签值，剪切混合需要生成的是新的训练样本和对应标签α、β。
α＝M☉xA+(1-M)☉xB
β＝μyA+(1-μ)yB
其中M∈(0，1)W×H是为了去掉部分区域和进行填充的二进制掩码，☉是逐像素相乘，μ属于Beta分布：μ～Beta(a，a)，a＝1则服从(0，1)均匀分布。
为了对二进制掩码M进行采样，首先要对剪裁区域的边界框B＝(rx，ry，rw，rh)进行采样，用来对样本xA和xB做裁剪区域的指示标定，公式如下：
rx～Unif(0，W)；
ry～Unif(0，H)；
确定好裁剪区域B之后，将M中的裁剪区域B置0，其他区域置1。就完成了掩码的采样，然后将样本A中的剪裁区域B移除，将样本B中的剪裁区域B进行裁剪然后填充到样本A，效果如图6所示。
6.2)改进SSD骨干网络：传统SSD算法采用六个不同特征图来检测不同尺度的目标，其低层次的定位效果好但分类精度低，由于六个不同特征图相互独立，造成传统SSD算法对小目标的检测效果一般。
请参阅图7所示，在神经网络中，底层特征图包含着丰富的位置信息，高层特征图包含着丰富的语义信息，但传统的SSD网络中各个特征图之间是相互独立的，不存在任何联系，因此网络对模型的检测会丢失大量的信息，为此在原来的网络基础上，将高层与低层的特征图进行融合，将全连接层6和全连接层7分别进行CBL(卷积->批标准化->非线性激活)操作后再进行下采样操作，将特征图大小调为与全连接层8大小、通道数一致，之后将全连接层6、全连接层7、卷积层8进行堆叠操作后作为一个特征图代替原来的卷积层8特征图；将卷积层9和卷积层10分别进行CBL操作后进行上采样，与卷积层11特征图进行堆叠操作后代替原来的卷积层11特征图，最后将得到的6个特征图送入检测器，改进后的网络融合了低层的位置信息和高层的语义信息，提高了桥梁裂缝检测的精度。
6.3)损失函数:SSD将总体的目标损失函数定义为定位损失loc和置信度损失conf的加权和，公式如下：
其中损失函数的第一部分是类别损失，第二部分是位置损失。N是匹配的先验框个数。
对于类别损失：
其中：
对于置信度损失：
其中
是指示函数，表示第i个先验框是否与真实值匹配，若匹配为1，否则为0。
针对裂缝的检测结果，本实施例使用精度Pre(Precision)，召回率Rec(Recall)，F1score值，mAP(由于只有一个类别，mAP＝AP)进行检测结果评价。
其中，TP(True positive)表示预测为正类别，标签也为正类别；TN(Truenegative)表示预测为负类别，标签也为负类别；FP(False positive)表示预测为正类别，标签为负类别；FN(False Negative)表示预测为负类别，但标签为正类别。其评价指标如表1所示，加入了特征融合模块后的网络，在准确率、召回率(Recall)、F1_score显著高于原始网络，从数据角度证明了改进后网络的有效性，桥梁缺陷检测结果样例图如图8所示。
表1SSD-300与改进后SSD对比
实施例2
对应实施例1提供的基于深度学习的无人机桥梁裂缝检测方法，本实施例对应提供一种基于深度学习的无人机桥梁裂缝检测系统，包含采集模块、三维建模模块、规划路径模块、仿真飞行模块、预处理模块、检测模块。
采集模块用以用测绘无人机A采集所测桥体及其周边地形环境，并将数据实时传入到地面处理平台。
测绘无人机A搭载倾斜航摄仪和通信装置。倾斜航摄仪为五拼相机，五台相机分别朝向前、后、左、右和垂直向下，同时从垂直、倾斜不同角度采集图像，获取更为准确的信息。垂直地面角度获得的影片称为正片，镜头与地面成一定角度摄取的四组影像称为斜片，相对于垂直影像可以提供更好的视野观察待测模型。在制定飞行方案后布测相控点。
第一：为保证三维模型的精度，航向重叠和旁向重叠最少要在80％以上；第二：相机距模型的距离不能太大；第三：被测模型要占照片的一半区域以上，每个部位要在至少3张影像上出现；通讯装置记录航摄仪采集的图像及其位置信息，将其实时传入处理平台进行3D建模。
三维建模模块用以用地面处理平台根据测绘无人机A传回的数据进行三维建模，得到待测桥梁及其周边环境的3D坐标实景模型。
请参阅图1所示，处理平台是基于倾斜摄影原理开发的三维建模软件，将具有一定重叠度的影像导入，建模软件会结合图像中所包含的位置信息自动进行空中三角测量，生成密集点云，构成三角网格模型，最后会结合倾斜影像的像素信息生成三维模型。
规划路径模块用以通过地面站根据3D坐标实景模型，规划图像采集无人机B的飞行路径，并将指令传达至图像采集无人机B的飞控模块。
请参阅图2所示，图像采集无人机B也称为无人机系统，包含飞行控制模块、机身稳定模块、测距传感器模块、加速度传感器模块、GPS定位模块、UWB辅助定位标签、第一数传电台、补光模块、云台相机、存储模块、第一图传电台、机载数据处理单元。
地面站称为地面端系统，包含地面站、第二数传电台、第二图传电台、UWB定位基站。
飞行控制模块用以接收飞行路径；机身稳定模块用以在采集图像时机身保持稳定；测距传感器模块用以测量无人机与桥梁之间的距离；加速度传感器模块用以检测无人机的加速度大小；GPS定位模块用以定位无人机；UWB辅助定位标签用以在桥底GPS信号弱的情况下辅助定位；第一数传电台用以无人机与地面站第二数传电台之间的数据传输；云台相机用以图像的采集；补光模块用以在低照度环境下为云台相机补充光源；存储模块用以存储采集的数据供离线处理；第一图传电台用以将无人机与地面站第二图传电台的数据传输；机载数据处理单元用以控制云台相机的姿态以及发送采集信号。
仿真飞行模块用以按照规划路径模拟图像采集无人机B的仿真飞行，模拟过程中当无人机进入桥底时，通过UWB辅助定位模块获取无人机位置，传入地面站后由地面站不断修正后得到实际飞行路径，图像采集无人机B按照实际飞行路径实际飞行，并将采集图像实时传入地面站，同时通过储存模块保存供离线处理。
无人机系统包括搭载在所述无人机B上，并包含与机载处理单元相连的机身稳定装置，机身稳定装置的主要作用是保证在采集图片的时候机身能够满足稳定条件。由于桥梁多建在跨流、相对于水平面较高的空旷地带，其周边拥有较大的风载以及车辆通过带来的气流扰动，将会对无人机的飞行状态产生较大干扰，机载相机采集图片时会产生较大震动，采集到的图片会产生大量噪音以及边缘的缺失，而图片的边缘信息对后续特征的提取尤为重要。因此，在采集图像前对无人机进行重力调节，通过调节陀螺仪的轴向重力方向与采集图像方向间的角度，保证检测时机身的稳定，减少震动带来的误差，同时对初步采集的图像进行判别，若图像满足要求，进行后续的采集，否则继续调整直至满足要求。
无人机系统包括搭载在所述无人机B上，并包含与机载处理单元相连的传感器组，传感器组布置在无人机的中部，为了避免在飞行过程中机体与桥梁主体或者桥墩等发生碰撞，提前设置半径为1m的极限接触距离。整个传感器组包括测距传感器、加速度传感器，两者通过有线连接向机身稳定装置传送数据。测距传感器用于测量无人机与桥梁的距离，避免因为距离太远或者太近导致相机镜头失焦。加速度传感器用于检测无人机的加速度大小，使无人机在快到达指定区域或者极限距离的时候改变加速度的大小，避免发生发生可能的碰撞。
无人机系统包括搭载在所述无人机B上，并包含与机载处理单元相连的GPS和UWB模块，所述GPS模块由GPS定位系统、电子地图系统和导航系统组成。UWB辅助定位模块更多的在无人机GPS信号弱时发挥作用，考虑到GPS信号弱问题多发生在桥梁的底部，在桥梁周边按照实际环境布置4个基站，基站数量可按实际信号情况考虑。本实施例采用到达时间差的UWB定位方法，标签卡对外发送一次UWB信号，在标签无线覆盖范围内的所有基站都会收到无线信号，如果有两个已知坐标点的基站收到信号，标签距离两个基站的间隔不同，那么这两个基站收到信号的时间点是不一样的。设某时刻无人机的坐标为(xi，yi，zi)，四个地面基站的坐标分别为(x1，y1，z1)，(x2，y2，z2)，(x3，y3，z3)，(x4，y4，z4)，接收时间分别为t1，t2，t3，t4，无人机与地面基站的距离分别为r1，r2，r3，r4。则坐标计算公式如下：
无人机按事先设定的同步时间，利用GPS模块和UWB辅助定位模块对无人机进行精密定位，并将定位结果显示在电子地图上，根据无人机动态航迹与计划航线的偏差对无人机的飞行进行修正。
第一数传电台与机载处理单元通过无线连接，第二数传电台与地面站连接，无人机系统与地面端系统之间通过第一数传电台和第二数传电台实现无人机的控制指令及飞行状态数据交互传输。
无人机系统包括搭载在所述无人机B上，并包含与机载处理单元相连的补光模块。所述补光模块为所述云台相机在低照度环境下提供光源，从而提高图像的采集质量。
无人机系统包括搭载在所述无人机B上，并包含与所述机载处理单元相连的云台相机，该模块由位于无人机上部和下部的两个相机组成，每个相机有其独立的云台，可以对桥梁的多个角度，多个位置进行图像采集。
云台相机采集到的桥梁数据经所述第一图传电台发送至所述地面端第二图传电台。
地面中心站的主要作用是规划无人机B的飞行路线以及通过第二数传和第二图传接收第一数传和第一图传传入的数据。规划路线时综合考虑桥梁结构的桥墩、桥面的长度、宽度、高度以及桥梁附近的障碍物等多重因素，合理规划出无人机的飞行路线。同时对于传来的图像信息进行实时的保存，供后处理使用，同时记录桥梁缺陷的位置。
请参阅图4所示，无人机B经仿真飞行后得到实际飞行路径。
预处理模块用以对采集图像进行预处理，该预处理方式包含归一化、高斯滤波处理、伽马校正。
归一化：图像归一化是指对图像进行一系列的标准变换，使之变换为一固定标准形式的过程。图像归一化的作用主要在于：第一，转换成标准模式，防止仿射变换的影响；第二，保证输出数据中数值小的不被吞食；第三，图像归一化可以加速后续神经网络的收敛。公式如下
其中xi代表图像像素点值，max(x)代表最大像素值，
代表最小像素值。
高斯滤波处理，高斯滤波是一种平滑滤波器，在图像去噪过程中大量应用。高斯滤波的具体操作是：用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。
对光线较暗的图像，采用伽玛校正，伽玛校正公式如下：
其中γ为可调节系数，I为当前图像，当γ为0.4时校正效果如图5所示。
检测模块用以通过改进后的SSD检测算法对预处理后的图像进行检测，完成对缺陷的检测；该检测模块包含数据集的制作单元、改进SSD骨干网络单元、损失函数单元。
数据集的制作单元用以对开源的桥梁裂缝数据集进行数据扩充，并使用剪切混合的数据增强方法。剪切混合的原理如下：xA和xB是两个不同的训练样本，yA和yB是对应的标签值，剪切混合需要生成的是新的训练样本和对应标签α、β。
α＝M☉xA+(1-M)☉xB
β＝μyA+(1-μ)yB
其中M∈(0，1)W×H是为了去掉部分区域和进行填充的二进制掩码，☉是逐像素相乘，μ属于Beta分布：μ～Beta(a，a)，a＝1则服从(0，1)均匀分布。
为了对二进制掩码M进行采样，首先要对剪裁区域的边界框B＝(rx，ry，rw，rh)进行采样，用来对样本xA和xB做裁剪区域的指示标定，公式如下：
rx～Unif(0，W)；
ry～Unif(0，H)；
确定好裁剪区域B之后，将M中的裁剪区域B置0，其他区域置1。就完成了掩码的采样，然后将样本A中的剪裁区域B移除，将样本B中的剪裁区域B进行裁剪然后填充到样本A，效果如图6所示。
改进SSD骨干网络用以改进传统SSD算法。传统SSD算法采用六个不同特征图来检测不同尺度的目标，其低层次的定位效果好但分类精度低，由于六个不同特征图相互独立，造成传统SSD算法对小目标的检测效果一般。
请参阅图7所示，在神经网络中，底层特征图包含着丰富的位置信息，高层特征图包含着丰富的语义信息，但传统的SSD网络中各个特征图之间是相互独立的，不存在任何联系，因此网络对模型的检测会丢失大量的信息，为此在原来的网络基础上，将高层与低层的特征图进行融合，将全连接层6和全连接层7分别进行CBL(卷积->批标准化->非线性激活)操作后再进行下采样操作，将特征图大小调为与全连接层8大小、通道数一致，之后将全连接层6、全连接层7、卷积层8进行堆叠操作后作为一个特征图代替原来的卷积层8特征图；将卷积层9和卷积层10分别进行CBL操作后进行上采样，与卷积层11特征图进行堆叠操作后代替原来的卷积层11特征图，最后将得到的6个特征图送入检测器，改进后的网络融合了低层的位置信息和高层的语义信息，提高了桥梁裂缝检测的精度。
损失函数单元用以计算改进后SSD算法的损失函数。SSD将总体的目标损失函数定义为定位损失loc和置信度损失conf的加权和，公式如下：
其中损失函数的第一部分是类别损失，第二部分是位置损失。N是匹配的先验框个数。
对于类别损失：
其中：
对于置信度损失：
其中
是指示函数，表示第i个先验框是否与真实值匹配，若匹配为1，否则为0。
针对裂缝的检测结果，本实施例使用精度Pre(Precision)，召回率Rec(Recall)，F1score值，mAP(由于只有一个类别，mAP＝AP)进行检测结果评价。
其中，TP(True positive)表示预测为正类别，标签也为正类别；TN(Truenegative)表示预测为负类别，标签也为负类别；FP(False positive)表示预测为正类别，标签为负类别；FN(False Negative)表示预测为负类别，但标签为正类别。其评价指标如表1所示，加入了特征融合模块后的网络，在准确率、召回率(Recall)、F1_score显著高于原始网络，从数据角度证明了改进后网络的有效性，桥梁缺陷检测结果样例图如图8所示。
表2SSD-300与改进后SSD对比
Claims (10)
1.一种基于深度学习的无人机桥梁裂缝检测方法，其特征在于，包含以下步骤：
1)用测绘无人机A采集所测桥体及其周边地形环境，并将数据实时传入到地面处理平台；
2)地面处理平台根据测绘无人机A传回的数据进行三维建模，得到待测桥梁及其周边环境的3D坐标实景模型；
3)地面站根据3D坐标实景模型，规划图像采集无人机B的飞行路径，并将指令传达至图像采集无人机B的飞控模块；
4)按照规划路径模拟图像采集无人机B的仿真飞行，模拟过程中当无人机进入桥底时，通过UWB辅助定位模块获取无人机位置，传入地面站后由地面站不断修正后得到实际飞行路径，图像采集无人机B按照实际飞行路径实际飞行，并将采集图像实时传入地面站，同时通过储存模块保存供离线处理；
5)对采集图像进行预处理，该预处理方式包含归一化、高斯滤波处理、伽马校正；
6)用改进后的SSD检测算法对预处理后的图像进行检测，完成对缺陷的检测。
2.根据权利要求1所述的基于深度学习的无人机桥梁裂缝检测方法，其特征在于，步骤3)中，图像采集无人机B包含飞行控制模块、测距传感器模块、加速度传感器模块、GPS定位模块、UWB辅助定位标签、第一数传电台、补光模块、云台相机、存储模块、第一图传电台、机载数据处理单元；
飞行控制模块用以接收飞行路径；测距传感器模块用以测量无人机与桥梁之间的距离；加速度传感器模块用以检测无人机的加速度大小；GPS定位模块用以定位无人机；UWB辅助定位标签用以在桥底GPS信号弱的情况下辅助定位；第一数传电台用以无人机与地面站第二数传电台之间的数据传输；云台相机用以图像的采集；补光模块用以在低照度环境下为云台相机补充光源；存储模块用以存储采集的数据供离线处理；第一图传电台用以将无人机与地面站第二图传电台的数据传输；机载数据处理单元用以控制云台相机的姿态以及发送采集信号。
3.根据权利要求1所述的基于深度学习的无人机桥梁裂缝检测方法，其特征在于，步骤5)中，对采集图像进行预处理，其中，归一化的公式如下：
其中xi代表图像像素点值，max(x)代表最大像素值，
代表最小像素值。
4.根据权利要求1所述的基于深度学习的无人机桥梁裂缝检测方法，其特征在于，步骤5)中，对于采集光线暗时的图像，采用伽马校正，公式如下：
其中γ为可调节系数，I为当前图像。
5.根据权利要求1所述的基于深度学习的无人机桥梁裂缝检测方法，其特征在于，步骤6)中，改进的SSD模型包含以下步骤：
6.1)使用剪切混合的数据增强方法，进行数据集的制作，其中，剪切混合的公式如下：
α＝M☉xA+(1-M)☉xB
β＝μyA+(1-μ)yB
其中，xA和xB是两个不同的训练样本，yA和yB是对应的标签值，剪切混合需要生成的是新的训练样本和对应标签α、β，M∈(0,1)W×H是二进制掩码，☉是逐像素相乘，μ属于Beta分布：μ～Beta(a,a),a＝1则服从(0，1)均匀分布；
对剪裁区域的边界框B＝(rx,ry,rw,rh)进行采样,用来对样本xA和xB做裁剪区域的指示标定,公式如下：
确定好裁剪区域B之后，将M中的裁剪区域B置0，其他区域置1，完成掩码的采样，将样本A中的剪裁区域B移除，将样本B中的剪裁区域B进行裁剪然后填充到样本A，得到数据集；
6.2)将高层与低层的特征图进行融合，将全连接层6和全连接层7分别进行CBL操作后再进行下采样操作以改进SSD骨干网络；
6.3)计算改进后SSD的损失函数，公式如下：
其中损失函数的第一部分是类别损失，第二部分是位置损失，N是匹配的先验框个数。
6.一种基于深度学习的无人机桥梁裂缝检测系统，其特征在于，包含采集模块、三维建模模块、规划路径模块、仿真飞行模块、预处理模块、检测模块；
采集模块用以用测绘无人机A采集所测桥体及其周边地形环境，并将数据实时传入到地面处理平台；
三维建模模块用以用地面处理平台根据测绘无人机A传回的数据进行三维建模，得到待测桥梁及其周边环境的3D坐标实景模型；
规划路径模块用以通过地面站根据3D坐标实景模型，规划图像采集无人机B的飞行路径，并将指令传达至图像采集无人机B的飞控模块；
仿真飞行模块用以按照规划路径模拟图像采集无人机B的仿真飞行，模拟过程中当无人机进入桥底时，通过UWB辅助定位模块获取无人机位置，传入地面站后由地面站不断修正后得到实际飞行路径，图像采集无人机B按照实际飞行路径实际飞行，并将采集图像实时传入地面站，同时通过储存模块保存供离线处理；
预处理模块用以对采集图像进行预处理，该预处理方式包含归一化、高斯滤波处理、伽马校正；
检测模块用以通过改进后的SSD检测算法对预处理后的图像进行检测，完成对缺陷的检测。
7.根据权利要求6所述的基于深度学习的无人机桥梁裂缝检测系统，其特征在于，规划路径模块中，图像采集无人机B包含飞行控制模块、测距传感器模块、加速度传感器模块、GPS定位模块、UWB辅助定位标签、第一数传电台、补光模块、云台相机、存储模块、第一图传电台、机载数据处理单元；
飞行控制模块用以接收飞行路径；测距传感器模块用以测量无人机与桥梁之间的距离；加速度传感器模块用以检测无人机的加速度大小；GPS定位模块用以定位无人机；UWB辅助定位标签用以在桥底GPS信号弱的情况下辅助定位；第一数传电台用以无人机与地面站第二数传电台之间的数据传输；云台相机用以图像的采集；补光模块用以在低照度环境下为云台相机补充光源；存储模块用以存储采集的数据供离线处理；第一图传电台用以将无人机与地面站第二图传电台的数据传输；机载数据处理单元用以控制云台相机的姿态以及发送采集信号。
8.根据权利要求6所述的基于深度学习的无人机桥梁裂缝检测系统，其特征在于，预处理模块中，对采集图像进行预处理，其中，归一化的公式如下：
其中xi代表图像像素点值，max(x)代表最大像素值，
代表最小像素值。
9.根据权利要求6所述的基于深度学习的无人机桥梁裂缝检测系统，其特征在于，预处理模块中，对于采集光线暗时的图像，采用伽马校正，公式如下：
其中γ为可调节系数，I为当前图像。
10.根据权利要求6所述的基于深度学习的无人机桥梁裂缝检测系统，其特征在于，检测模块中，改进的SSD模型包含数据集的制作单元、改进SSD骨干网络单元、损失函数单元；
数据集的制作单元用以使用剪切混合的数据增强方法，进行数据集的制作，其中，剪切混合的公式如下：
α＝M☉xA+(1-M)☉xB
β＝μyA+(1-μ)yB
其中，xA和xB是两个不同的训练样本，yA和yB是对应的标签值，剪切混合需要生成的是新的训练样本和对应标签α、β，M∈(0,1)W×H是二进制掩码，☉是逐像素相乘，μ属于Beta分布：μ～Beta(a,a),a＝1则服从(0，1)均匀分布；
对剪裁区域的边界框B＝(rx,ry,rw,rh)进行采样,用来对样本xA和xB做裁剪区域的指示标定,公式如下：
确定好裁剪区域B之后，将M中的裁剪区域B置0，其他区域置1，完成掩码的采样，将样本A中的剪裁区域B移除，将样本B中的剪裁区域B进行裁剪然后填充到样本A，得到数据集；
改进SSD骨干网络单元用以将高层与低层的特征图进行融合，将全连接层6和全连接层7分别进行CBL操作后再进行下采样操作以改进SSD骨干网络；
损失函数单元用以计算改进后SSD的损失函数，公式如下：
其中损失函数的第一部分是类别损失，第二部分是位置损失，N是匹配的先验框个数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310033923.6A CN116297472A (zh) | 2023-01-10 | 2023-01-10 | 一种基于深度学习的无人机桥梁裂缝检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310033923.6A CN116297472A (zh) | 2023-01-10 | 2023-01-10 | 一种基于深度学习的无人机桥梁裂缝检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116297472A true CN116297472A (zh) | 2023-06-23 |
Family
ID=86780468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310033923.6A Pending CN116297472A (zh) | 2023-01-10 | 2023-01-10 | 一种基于深度学习的无人机桥梁裂缝检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116297472A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117067226A (zh) * | 2023-08-17 | 2023-11-17 | 兰州交通大学 | 钢桥锈蚀检测机器人及锈蚀检测方法 |
-
2023
- 2023-01-10 CN CN202310033923.6A patent/CN116297472A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117067226A (zh) * | 2023-08-17 | 2023-11-17 | 兰州交通大学 | 钢桥锈蚀检测机器人及锈蚀检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Automatic bridge crack detection using Unmanned aerial vehicle and Faster R-CNN | |
| CN111458720B (zh) | 复杂山区基于机载激光雷达数据的倾斜摄影建模方法 | |
| CN115439424B (zh) | 一种无人机航拍视频图像智能检测方法 | |
| CN109060281B (zh) | 基于无人机的一体化桥梁检测系统 | |
| CN109901625B (zh) | 一种桥梁巡检系统 | |
| US11017228B2 (en) | Method and arrangement for condition monitoring of an installation with operating means | |
| Khan et al. | Unmanned aerial vehicle–based traffic analysis: Methodological framework for automated multivehicle trajectory extraction | |
| CN109885097B (zh) | 一种桥梁外沿面巡检航线规划方法 | |
| CN111537515A (zh) | 基于三维实景模型的铁塔螺栓缺陷展示方法和系统 | |
| CN106645205A (zh) | 一种无人机桥梁底面裂纹检测方法及系统 | |
| CN112327906A (zh) | 一种基于无人机的智能自动巡检系统 | |
| CN108256413A (zh) | 可通行区域检测方法及装置、存储介质、电子设备 | |
| CN110991466A (zh) | 一种基于新型视觉传感设备的高速公路路面状况检测系统 | |
| CN105184776A (zh) | 目标跟踪方法 | |
| CN109885098B (zh) | 一种桥梁边栏巡检航线规划方法 | |
| CN210090988U (zh) | 一种无人机巡检系统 | |
| CN115240093B (zh) | 基于可见光和激光雷达点云融合的输电通道自动巡检方法 | |
| CN113298035A (zh) | 基于图像识别的无人机电力杆塔检测及自主巡航方法 | |
| CN109901623B (zh) | 桥梁墩身巡检航线规划方法 | |
| CN116719339A (zh) | 一种基于无人机的电力线路巡检控制方法及系统 | |
| CN113900436B (zh) | 巡检控制方法、装置、设备和存储介质 | |
| CN113177918B (zh) | 一种无人机对电力杆塔的智能精准巡检方法及系统 | |
| CN114089786A (zh) | 一种基于无人机视觉的沿山区公路自主巡检系统 | |
| CN113763484A (zh) | 基于视频图像分析技术的船舶目标定位及速度估算方法 | |
| CN116297472A (zh) | 一种基于深度学习的无人机桥梁裂缝检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |