CN116310785A - 基于YOLO v4的无人机影像路面病害检测方法 - Google Patents

基于YOLO v4的无人机影像路面病害检测方法 Download PDF

Info

Publication number
CN116310785A
CN116310785A CN202211660091.2A CN202211660091A CN116310785A CN 116310785 A CN116310785 A CN 116310785A CN 202211660091 A CN202211660091 A CN 202211660091A CN 116310785 A CN116310785 A CN 116310785A
Authority
CN
China
Prior art keywords
yolo
unmanned aerial
aerial vehicle
module
disease
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211660091.2A
Other languages
English (en)
Other versions
CN116310785B (zh
Inventor
杨景玉
王阳萍
安学刚
李文海
王�锋
党建武
李志强
岳彪
侯金泉
雍玖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gansu Luqiao Feiyu Transportation Facilities Co ltd
Lanzhou Jiaotong University
Original Assignee
Gansu Luqiao Feiyu Transportation Facilities Co ltd
Lanzhou Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gansu Luqiao Feiyu Transportation Facilities Co ltd, Lanzhou Jiaotong University filed Critical Gansu Luqiao Feiyu Transportation Facilities Co ltd
Priority to CN202211660091.2A priority Critical patent/CN116310785B/zh
Publication of CN116310785A publication Critical patent/CN116310785A/zh
Application granted granted Critical
Publication of CN116310785B publication Critical patent/CN116310785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及一种基于YOLOv4的无人机影像路面病害检测方法，属于路面病害检测领域。采用深度可分离卷积作为YOLOv4中卷积方式降低了网络的复杂度和减少模型计算的参数量；SE通道注意力按照每个通道的重要性分配不同的权重，有效利用通道间的信息；自适应特征融合模块充分学习高低层之间的特征信息，自适应地学习各尺度特征映射融合的空间权重，解决了由于YOLOv4中特征金字塔和路径聚合网络特征融合不充分问题，通过加入SE注意力机制和自适应特征融合模块能够进一步提高网络精度；采用的Focalloss损失函数解决了部分样本数量不均衡的问题，提高了路面病害检测精度。

Description

基于YOLO v4的无人机影像路面病害检测方法
技术领域
本发明涉及路面病害检测领域，特别是涉及一种基于YOLO v4的无人机影像路面病害检测方法。
背景技术
近几年，交通运输业飞速发展，公路交通已逐步成为交通运输的重要形式，公路运行的安全问题也受到社会各界的广泛关注。公路路面健康问题会严重影响公路行车安全，尤其在车速过高时可能引发重大交通事故，如果在公路路面出现明显破损时才开始维修养护，会导致后期养护成本过高，在早期使用智能检测技术有效的对路面的坑槽、裂缝进行检测并及时的进行修复对保障公路运输安全有着重要意义。
目前路面病害检测方式主要包括人工巡检和道路检测车两种方式，人工巡检需要工人去公路上进行检查，在影响行车安全的同时很难保证工作人员的安全，而且受检测工人的主观判断影响，检测结果也会受到影响。而道路检测车虽然能够有效的加快检测速度，但是受到路面各种因素的影响，相对来说，自动化水平比较低，并且检测车如果车速太慢会影响交通。现在针对路面病害检测的数据集采集主要是通过手机和检测车两种拍摄方式。无人机具有成本低、灵活性高、操作简单、体积小且对比于手机拍摄的影像有视野宽阔，不会妨碍公路行车安全等优点。
根据研究发现，目前对无人机影像下路面病害检测方法主要包括基于传统的检测方法和基于深度学习的检测方法两种，而传统的方法在检测准确率和鲁棒性上都不高。随着计算机视觉和科技水平的快速发展，越来越多的研究者开始将研究重点侧重于深度学习。陈晓芳等人通过选取三种常用的一阶段目标检测算法训练了6种检测模型，实现了在不同场景和需求下对路面损害的检测。杜玉川等人使用YOLO v3对路面病害进行了检测，检测精度达到73.64％，在检测速度方面是Faster R-CNN的9倍，SSD的0.7倍。陈朋弟等人针对传统方法在检测过程中检测精度低、时间复杂度高以及鲁棒性差等问题，提出了基于Mask R-CNN的利用无人机影像识别并检测路面交通标志的方法，效果优于Yolo v3模型和FasterR-CNN模型。恩里克等人使用神经网络来检测无人机拍摄的图像中的坑槽，精确度达到了70％。罗晖等人提出了一种新的基于改进YOLO v4的公路路面多尺度病害检测方法，用于解决目前公路路面病害检测中存在的病害类型多、尺度变化大及样本数据集较小及个别样本训练不充分导致的病害难以检测的问题。
综上所述，现有的基于无人机影像的路面病害检测存在着检测精度不高，不能充分利用各层之间的特征信息，检测样本不均衡等问题。
发明内容
本发明的目的是提供一种基于YOLO v4的无人机影像路面病害检测方法，以充分利用各层之间的特征信息，并克服检测样本不均衡的问题，提高路面病害检测效率。
为实现上述目的，本发明提供了如下方案：
一种基于YOLO v4的无人机影像路面病害检测方法，包括：
设置YOLO v4的卷积方式为深度可分离卷积，并在YOLO v4网络结构中添加SE注意力模块和自适应特征融合模块，获得改进的YOLO v4；
将无人机拍摄的多张路面病害图像进行病害类型标注后，与UAPD数据集一起构成训练数据集；
根据所述训练数据集，采用Focal loss损失函数对改进的YOLO v4进行训练，获得YOLO v4目标检测模型；
将无人机实时拍摄的路面病害图像输入YOLO v4目标检测模型，输出路面病害类型。
可选的，所述在YOLO v4网络结构中添加SE注意力模块，具体包括：
在YOLO v4网络结构中neck部分的空间金字塔池化模块和路径聚合网络模块之间、主干网络和neck部分之间、主干网络和neck部分的路径聚合网络模块之间均添加一个SE注意力模块。
可选的，在YOLO v4网络结构中添加自适应特征融合模块，具体包括：
在YOLO v4网络结构中neck部分最后的每层输出层之后添加一个自适应特征融合模块。
可选的，所述自适应特征融合模块的输出为
Figure SMS_1
式中，
Figure SMS_2
为自适应特征融合模块的输出，/>
Figure SMS_3
分别为不同层的空间重要性权重，/>
Figure SMS_4
分别为不同特征层的输出，/>
Figure SMS_5
i，j代表的是向量的(i，j)坐标，l代表的是特征层的层数。
可选的，所述将无人机拍摄的多张路面病害图像进行病害类型标注，具体包括：
使用无人机以多相机倾斜拍摄的方式拍摄指定的实验路，获取多张图像；
从多张图像中筛选存在路面病害的图像，并裁剪成统一大小的路面病害图像；
对裁剪后的路面病害图像进行数据增强；所述数据增强包括镜像、裁剪、翻转、增加噪声和亮度变换；
对每张数据增强后的路面病害图像进行病害类型标注，获得无人机影像数据集；所述病害类型包括横向裂缝、纵向裂缝、龟形裂缝、斜裂缝、修复和坑槽。
一种基于YOLO v4的无人机影像路面病害检测系统，包括：
改进模块，用于设置YOLO v4的卷积方式为深度可分离卷积，并在YOLO v4网络结构中添加SE注意力模块和自适应特征融合模块，获得改进的YOLO v4；
标注模块，用于将无人机拍摄的多张路面病害图像进行病害类型标注后，与UAPD数据集一起构成训练数据集；
训练模块，用于根据所述训练数据集，采用Focal loss损失函数对改进的YOLO v4进行训练，获得YOLO v4目标检测模型；
检测模块，用于将无人机实时拍摄的路面病害图像输入YOLO v4目标检测模型，输出路面病害类型。
一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前述的基于YOLO v4的无人机影像路面病害检测方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如前述的基于YOLO v4的无人机影像路面病害检测方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开一种基于YOLO v4的无人机影像路面病害检测方法，设置YOLO v4的卷积方式为深度可分离卷积，并在YOLO v4网络结构中添加SE注意力模块和自适应特征融合模块，采用Focal loss损失函数对改进的YOLO v4进行训练，利用训练好的YOLO v4进行路面病害类型检测。本发明采用深度可分离卷积作为YOLO v4中卷积方式降低了网络的复杂度和减少模型计算的参数量；SE通道注意力按照每个通道的重要性分配不同的权重，有效利用通道间的信息；自适应特征融合模块充分学习高低层之间的特征信息，自适应地学习各尺度特征映射融合的空间权重，解决了由于YOLO v4中特征金字塔和路径聚合网络特征融合不充分问题，通过加入SE注意力机制和自适应特征融合模块能够进一步提高网络精度；采用的Focal loss损失函数解决了部分样本数量不均衡的问题，提高了路面病害检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于YOLO v4的无人机影像路面病害检测方法的流程图；
图2为现有的YOLO v4模型结构图；
图3为本发明实施例提供的改进的YOLO v4模型结构图；
图4为现有的卷积结构示意图；
图5为本发明实施例提供的深度可分离卷积结构示意图；
图6为本发明实施例提供的SE注意力模块结构示意图；
图7为本发明实施例提供的ASFF结构示意图；
图8为本发明实施例提供的模型损失示意图；
图9为本发明实施例提供的正常光下不同网络模型检测无人机影像路面病害的效果对比图；
图10为本发明实施例提供的阴影下不同网络模型检测无人机影像路面病害的效果对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于YOLO v4的无人机影像路面病害检测方法，以充分利用各层之间的特征信息，并克服检测样本不均衡的问题，提高路面病害检测效率。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
对无人机影像下路面健康检测时检测精度较低，现有模型较大，无法嵌入到无人机进行检测，在特征提取阶段目标特征融合不充分，无人机影像数据集小且样本不均衡等问题。本发明实施例提供了一种基于YOLO v4的无人机影像路面病害检测方法，首先，采用深度可分离卷积作为YOLO v4中卷积方式以减少模型计算的参数量；然后，为了更好的利用各通道的有效信息引入了SE通道注意力，按照每个通道的重要性给他们分配不同的权重，有效利用通道间的信息；其次，通过引入ASFF(Adaptively Spatial Feature Fusion，自适应特征融合模块)，充分学习高低层之间的特征信息，自适应地学习各尺度特征映射融合的空间权重，来解决由于YOLO v4中FPN(Featurized Image Pyramid，特征金字塔)和PANet(Path Aggregation Network，路径聚合网络)特征融合不充分问题；并且，使用Focal loss损失函数进行训练，解决了现有无人机路面病害数据集各种样本之间类别不均衡造成的部分结果精度较低的情况。最后通过自制数据集，以及现场实验，实验表明，所提方法较原始YOLO v4模型平均检测精度提高了7.62％。并且所提方法在无人机影像的路面健康检测中能够快速的检测出路面的破损位置及类型，且性能优于对比方法。通过使用深度可分离卷积网络降低了网络的复杂度和参数量；通过加入SE注意力机制和ASFF能够进一步提高网络精度；通过Focal loss损失函数解决了部分样本数量不均衡的问题提高检测精度。
如图1所示，本发明实施例提供了一种基于YOLO v4的无人机影像路面病害检测方法具体包括以下步骤：
步骤S1，设置YOLO v4的卷积方式为深度可分离卷积，并在YOLO v4网络结构中添加SE注意力模块和自适应特征融合模块，获得改进的YOLO v4。
YOLO v4由Backbone，Neck和Head三部分组成，是在YOLO v3的基础上增加了优秀目标检测方法演变而来的，结构如图2所示，在YOLO v3基础上保留了预测部分，将主干网络从原来darkNet53的基础上加入了CSP模块，同时将可以扩大感受野的SPP(SpatialPyramid Pooling，空间金字塔池化)模块和PANet(路径聚合网络)模块作为YOLO v4的neck部分，PANet作用是用来进行路径扩充和聚合，这两部分包括用来将高层语义信息向低层进行融合的FPN(特征金字塔)和从低层到高层的信息融合网络。其中SPP用4个大小为13×13，9×9，5×5，1×1的卷积核将特征层的输出进行最大池化操作，扩大了感受野，并且能够挑选出最主要的上下文特征并且没有降低网络运行的速度，它对每张图像都进行了多方面的特征提取，提高了检测任务的精度。
在公路路面病害检测数据集中主要的拍摄方式是公路检测车或者手机，由于公路检测车和手机在拍摄照片时存在一定的局限性，因此本发明选择无人机拍摄的数据集进行实验。由于路面病害检测具有尺度不一致，检测精度不高，检测速率较低，训练样本不均衡等问题。在这里本发明采用的是一阶段的检测模型YOLO v4作为主干网络，并在此基础上做了相应改进：首先，采用深度可分离卷积减少网络模型参数的计算量，提高检测速度，并引入通道注意力机制SE模块，利用各通道之间权重比例，提高目标的检测能力；其次，引入了ASFF模块，将高低层特征利用学习权重参数，融合不同尺度的特征；最后，使用Focal Loss作为损失函数，利用平衡参数来动态的调节正负样本的比例，有效解决了一阶段网络检测模型检测中由于数据集正负样本数量不平衡导致的样本训练不充分和检测精度低的问题，在保证检测速度的同时提高无人机影像下公路路面病害检测的精确度。算法结构如图3所示。
(1)改进原始卷积方式
普通卷积的操作如图4所示，给定输入特征图大小为a×b×c，使用m个大小为n×n的卷积核，输出特征图大小为a'×b'×c'。由于输入的通道数等于卷积核的通道数，所以普通卷积的参数计算量为：
Conv1＝a×b×c×m×n×n(1)
深度可分离卷积(Depthwise seperable convolution，DC)包括逐通道卷积和逐点卷积两部分。与传统卷积相比，深度可分离卷积的参数数量和运算成本相对较低，结构如图5所示。DC就是先将特征图分成c个通道，每个通道会被独立的卷积核进行卷积操作形成c个新的特征图，再将这c个特征图进行concat操作传递给后面进行逐点卷积，这里只处理长宽方向的空间信息，不处理跨通道的信息。逐通道卷积的参数计算量为：
Conv2＝a×b×c×n×n(2)
逐点卷积是将concat操作得到的a'×b'×c用m个1×1的卷积核进行跨通道卷积输出大小为a'×b'×m，逐点卷积的参数计算量为：
Conv3＝a'×b'×c×m(3)
深度可分离卷积的总体计算量是：
Figure SMS_6
深度可分离卷积与传统卷积的参数计算量的比值为：
Figure SMS_7
(2)SE模块
由于在路面病害特征提取过程中，不是所有的通道都起相同的作用，在这里本发明引入通道注意力模块，通过注意力机制为路面病害特征图不同通道赋予不同的权重来确定每个通道的重要程度。图6是SE注意力模块图。SE模块主要由压缩(Squeeze)和激励(Excitation)两部分组成，压缩操作简单来说就是一个全局平均池化(global averagepooling)，对应图中的Fsq(·)操作。经过压缩操作后特征图被压缩为1×1×C向量。激励操作是由两个全连接层组成，对应图中的Fex(·，W)操作，第一个全连接层有C×SERatio个神经元，输入大小为1×1×C，输出大小为1×1×C×SERadio。第二个全连接层有C个神经元，输入大小为1×1×C×SERadio，输出大小为1×1×C。其中SERatio是一个缩放参数，它通过减少通道个数来降低计算量，最后通过sigmoid函数进行归一化处理，将结果归一化到0-1之间，这个数即通道的重要程度，然后将其乘到各个通道上作为下一级的输入。通过引入注意力机制，使路面病害目标得到更多关注，使得特征得以充分利用。
参照图2，在YOLO v4网络结构中neck部分的空间金字塔池化模块和路径聚合网络模块之间、主干网络和neck部分之间、主干网络和neck部分的路径聚合网络模块之间均添加一个SE注意力模块。
(3)自适应特征模块ASFF
为了更加充分地利用高低层特征信息，YOLO v4中采用的是PANet进行特征融合，PANet相较于FPN的改进是在它的基础上加入了自下而上的增强结构，将融合方式从单项融合变为双向融合，这种融合方式只是简单将特征图变换成相同尺寸再相加操作，无法充分利用不同尺度的特征并且由于不同尺度的特征层在进行融合时由于大小不一致会造成背景冲突问题，并不能将特征充分融合。为了将图像中高层路面病害的语义信息和低层路面病害的轮廓、边缘、颜色、纹理和形状等特征进行充分融合，本发明使用了ASFF。ASFF结构如图7所示。
如图2所示，在YOLO v4网络结构中neck部分最后的每层输出层之后添加一个自适应特征融合模块。
YOLO v4中Neck部分的输出的特征图为level1、level2和level3，在这里主要以ASFF-3为例进行介绍，融合后的ASFF-3输出是level1、level2、level3的语义特征与来自不同层的权重α，β和γ相乘并进行相加的结果，如公式6所示。
Figure SMS_8
其中：
Figure SMS_9
是来自不同层的空间重要性权重，/>
Figure SMS_10
是来自不同特征层的输出，/>
Figure SMS_11
步骤S2，将无人机拍摄的多张路面病害图像进行病害类型标注后，与UAPD数据集一起构成训练数据集。
由于在模型训练时需要大量的训练数据集，所以本发明中使用UAPD数据集和自制数据集进行训练和测试，在数据采集阶段本发明使用的是型号为M600 Pro的大疆无人机，飞行高度为25米，采用多相机倾斜拍摄的方式进行拍摄。拍摄的是项目合作的甘肃省陇南市拾光乐园和青年公园附近的两段指定实验路，一共546张图片，图片大小为4000像素×3000像素，由于采集的部分图像中不包括路面病害，本发明筛选了其中的205张图片进行数据裁剪，切割成512像素×512像素大小的图片。再进行筛选，将筛选出来的存在病害的图片进行标注，本发明使用的标记工具是开源标定软件LabelImg，由于现有的UAPD数据集将样本标记为Transverse crack(横向裂缝)，Longitudinal crack(纵向裂缝)，Alligatorcrack(龟形裂缝)，Oblique crack(左，右斜裂缝)，Repair(大面积修复，裂缝修复)，Pothole(坑槽)这6个类别。在这里为了数据的统一性，本发明继续使用这6个类别作为新建数据集的类别，并将对应图片的VOC格式的标签文件保存到文件中。
由于模型训练需要大量数据，因此本发明进行了数据增强，通过镜像、裁剪、翻转、增加噪声、亮度变换等一系列方法并且引入了公开数据集UAPD数据集的2401张图片，最终得到了9584张图片用来进行训练。如表1所示是现有数据集各种路面病害的不同种类的个数统计。
表1路面病害个数
路面病害类别 数量
纵向裂缝 5056个
横向裂缝 5052个
龟形裂缝 1172个
左，右斜裂缝 648个
大面积修复，裂缝修复 3076个
按照8:1:1的比例进行划分，7762张图片用来进行训练，863图片用来进行验证，959张图片用来测试。
步骤S3，根据所述训练数据集，采用Focal loss损失函数对改进的YOLO v4进行训练，获得YOLO v4目标检测模型。
YOLO v4中损失函数是由类别损失，位置损失和置信度损失三部分组成，训练样本包含了大量容易被分辨出来的负样本，这些负样本对损失函数起主要影像作用，为了增强网络对困难样本的预测能力，采用Focal loss来对目标的置信度进行回归。Focal loss损失函数是在标准交叉熵损失函数的基础上演变出来的一种损失函数。由于在一阶段检测模型中Focal loss损失函数能够对样本加权，对坑槽和斜裂纹加大训练权重解决训练样本中类别不平衡问题，因此将损失函数替换为Focal loss损失函数。Focal loss定义如下：
Focal loss＝-αt(1-Pt)γlog(Pt) (7)
式中：Pt为模型的预测概率；αt为平衡参数，主要是用来平衡正、负样本本身的比例；γ为调节参数，用来减少易分类样本的损失，当样本分错时Pt是一个极小的值，(1-Pt)趋近于1，损失没有较大的影响，当Pt趋近于1时，(1-Pt)趋近于0，权重就被调低，此样本对总的损失的影响特别小，当γ＝0时即为普通交叉熵损失。在实验中设置αt＝0.25，γ＝2。
本实验使用的框架是Pytorch框架，处理器为Intel(R)Xeon(R)Gold5115CPU@2.40GHz 2.39GHz，使用的内存是128GB，显卡为NVIDIAQuadro P5000和windows 10操作系统。
本实验一共设置100个epoch，为防止固定学习率对训练精度的影响，使用余弦退火算法改变学习率，以得到最优模型。实验过程中图像大小为512×512，本实验中将前50个Epoch的初始学习率设置为0.001，batch_size大小为8。将后50个Epoch的初始学习率设置为0.0001，batch_size大小为4。为了使模型训练达到较高的检测精度，使用迁移学习策略在公开数据集VOC2007上训练生成的权重，然后通过共享权重方式在本发明数据集中进行训练。
本发明所提模型训练损失图如图8所示，横坐标表示的是训练过程中模型的迭代数，纵坐标表示的是训练过程中的损失值的变化大小，其中包括训练集损失函数，验证集损失函数Smooth train loss和Smooth val loss。根据图像可知随着模型训练迭代次数的增加，本发明模型的损失逐渐趋于收敛。
步骤S4，将无人机实时拍摄的路面病害图像输入YOLO v4目标检测模型，输出路面病害类型。
为了验证所提方法的可靠性，针对无人机影像下的路面横向裂纹，纵向裂纹，龟状裂纹，路面修复，路面坑槽以及斜裂纹几种类型在正常光下和有阴影的情况下进行了检测实验，并采用了YoloX检测模型、改进的SSD(Single Shot MultiBox Detector)检测模型(文献1：葛鹏飞.公路沥青路面养护技术研究.交通世界,2019(33):24-25)和基于改进YOLOv3-tiny的路面坑洞检测模型(文献2：翟帅,冯永慧,罗宏煜,肖思航,田丽玲,吴少伟.基于改进YOLOv3-tiny的路面坑洞检测.计量与测试技术,2021,48(09):45-49)进行了对比实验。在针对此数据集进行的各实验中，使用YOLO v4进行检测时，基本能够检测出裂缝，坑槽及破损修复，但是在龟状裂纹检测时存在锚框检测位置不准确等问题，在使用本发明算法进行检测时能够准确地检测出破损位置和图片中病害的类型，模型大小减小了78.6M，且在FPS只降低了2.18的情况下mAP提高了7.62％。使用改进的SSD检测模型在正常光下进行实验时，竖向裂纹检测框检测不全，龟状裂纹检测时其他的裂纹未检测全，同样存在路面破损修复未检测出来的情况，在阴影下横向裂纹、纵向裂纹存在明显漏检的情况，相较于此方法本发明方法mAP提高了7.33％，FPS提高了6.91。在使用YoloX检测模型进行检测时，能基本检测出各种路面病害，但在FPS相近的情况下mAP低于本发明方法4.12％。在正常光下使用基于改进YOLOv3-tiny的路面坑洞检测模型检测纵向裂纹时，存在着明显误检；在检测龟状裂纹时，龟状裂纹检测不全；在检测路面修复时也同样存在着误检的情况，在阴影下检测时该方法同样出现了误检的情况，相较于此方法，本发明方法FPS提高了20.81，mAP提高了6.71％。在不同的网络模型的结果对比如表2所示，正常光情况下不同模型的路面病害检测效果如图9所示，有阴影情况下不同模型的路面病害检测效果如图10所示。
表2不同模型下对公路病害检测结果对比
Figure SMS_12
在路面病害检测实验中本发明主要使用的是平均精度，平均准确率均值，召回率和检测速度作为评价网络性能的标准。
(1)平均精度(Average Precision，AP)，AP是P-R曲线下部和坐标轴X轴相交区域的面积，分类器越好，AP越高越好，计算公式如下：
Figure SMS_13
式中，P表示精确率，R表示召回率，计算方式如(9)(10)所示
Figure SMS_14
Figure SMS_15
式中，TP是路面病害检测过程中病害检测正确的数量，FP是路面病害检测过程中病害检测错误的数量，FN是路面病害检测过程中病害未检测出的数量。
(2)F1表示的是模型的精确率和召回率的一种调和平均，它的最大值为1，最小值为0，计算公式如(11)所示：
Figure SMS_16
(3)平均检测精度(meanAverage Precision，mAP)，mAP是AP的平均值，计算公式如下：
Figure SMS_17
(4)检测速度(FPS，Frames Per Second)，FPS的定义是每秒钟能够检测图片的数量。
为了验证所提方法中使用深度可分离卷积，引入SE模块和ASFF模块以及使用Focal loss损失函数对检测结果的影响，本发明进行了消融实验。通过对原始网络模型YOLO v4上融合所提出模块的方法，并分别进行训练及测试，并且做了定量以及定性的比较，验证了所提方法的有效性。消融实验过程中均采用相同的实验环境和相同的数据集进行训练与测试。
消融实验的定量分析如表3所示，在YOLO v4网络模型中使用深度可分离卷积检测精度从原来的75.06％提升到75.17％，在此基础上融合SE通道注意力机制，通过更好的利用各通道信息，将网络的平均检测精度从原来的75.17％提升到75.62％，在前面的基础上融合了ASFF模块后，检测精度从原来的75.06％提升到80.33％，最后在训练过程中采用Focal loss损失函数解决样本不平衡的问题，检测精度从原来的80.33％提升到82.68％，所提方法相较于原始的YOLO v4网络模型相比，平均精度提高了7.62％。
表3消融实验
Figure SMS_18
针对无人机影像中横向裂缝，纵向裂缝，斜向裂缝，龟状裂缝，修复，坑槽等六种路面病害检测中检测精度不高，数据集太小，特征融合不充分，数据集样本不平衡等问题对一阶段检测模型YOLO v4上进行改进，对网络的网络卷积结构，特征融合方式，损失函数等进行了改进。并且将现有的数据集和自建数据集通过翻转、镜像、裁剪、亮度变换、增加噪声等操作进行数据增强，本发明对路面病害检测困难引入了SE模块，有效的改善了检测效果；由于特征融合不充分，本发明在YOLO v4的特征融合的基础上引入了ASFF模块，并且利用Focal loss损失函数解决了数据集样本不均衡的问题。本发明的方法与原始网络YOLO v4网络模型相比在精度上提高了7.62％。
本发明还提供了一种基于YOLO v4的无人机影像路面病害检测系统，包括：
改进模块，用于设置YOLO v4的卷积方式为深度可分离卷积，并在YOLO v4网络结构中添加SE注意力模块和自适应特征融合模块，获得改进的YOLO v4；
标注模块，用于将无人机拍摄的多张路面病害图像进行病害类型标注后，与UAPD数据集一起构成训练数据集；
训练模块，用于根据所述训练数据集，采用Focal loss损失函数对改进的YOLO v4进行训练，获得YOLO v4目标检测模型；
检测模块，用于将无人机实时拍摄的路面病害图像输入YOLO v4目标检测模型，输出路面病害类型。
本发明实施例提供的多飞行器协同再入轨迹规划系统与上述实施例所述的多飞行器协同再入轨迹规划方法，其工作原理和有益效果类似，故此处不再详述，具体内容可参见上述方法实施例的介绍。
本发明还提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前述的基于YOLO v4的无人机影像路面病害检测方法。
此外，上述的存储器中的计算机程序通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如前述的基于YOLO v4的无人机影像路面病害检测方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本发明中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于YOLO v4的无人机影像路面病害检测方法，其特征在于，包括：
设置YOLO v4的卷积方式为深度可分离卷积，并在YOLO v4网络结构中添加SE注意力模块和自适应特征融合模块，获得改进的YOLO v4；
将无人机拍摄的多张路面病害图像进行病害类型标注后，与UAPD数据集一起构成训练数据集；
根据所述训练数据集，采用Focal loss损失函数对改进的YOLO v4进行训练，获得YOLOv4目标检测模型；
将无人机实时拍摄的路面病害图像输入YOLO v4目标检测模型，输出路面病害类型。
2.根据权利要求1所述的基于YOLO v4的无人机影像路面病害检测方法，其特征在于，所述在YOLO v4网络结构中添加SE注意力模块，具体包括：
在YOLO v4网络结构中neck部分的空间金字塔池化模块和路径聚合网络模块之间、主干网络和neck部分之间、主干网络和neck部分的路径聚合网络模块之间均添加一个SE注意力模块。
3.根据权利要求1所述的基于YOLO v4的无人机影像路面病害检测方法，其特征在于，在YOLO v4网络结构中添加自适应特征融合模块，具体包括：
在YOLO v4网络结构中neck部分最后的每层输出层之后添加一个自适应特征融合模块。
4.根据权利要求3所述的基于YOLO v4的无人机影像路面病害检测方法，其特征在于，所述自适应特征融合模块的输出为
Figure FDA0004013451920000011
式中，
Figure FDA0004013451920000012
为自适应特征融合模块的输出，/>
Figure FDA0004013451920000013
分别为不同层的空间重要性权重，/>
Figure FDA0004013451920000014
分别为不同特征层的输出，/>
Figure FDA0004013451920000015
i，j代表的是向量的(i，j)坐标，l代表的是特征层的层数。
5.根据权利要求1所述的基于YOLO v4的无人机影像路面病害检测方法，其特征在于，所述将无人机拍摄的多张路面病害图像进行病害类型标注，具体包括：
使用无人机以多相机倾斜拍摄的方式拍摄指定的实验路，获取多张图像；
从多张图像中筛选存在路面病害的图像，并裁剪成统一大小的路面病害图像；
对裁剪后的路面病害图像进行数据增强；所述数据增强包括镜像、裁剪、翻转、增加噪声和亮度变换；
对每张数据增强后的路面病害图像进行病害类型标注，获得无人机影像数据集；所述病害类型包括横向裂缝、纵向裂缝、龟形裂缝、斜裂缝、修复和坑槽。
6.一种基于YOLO v4的无人机影像路面病害检测系统，其特征在于，包括：
改进模块，用于设置YOLO v4的卷积方式为深度可分离卷积，并在YOLO v4网络结构中添加SE注意力模块和自适应特征融合模块，获得改进的YOLO v4；
标注模块，用于将无人机拍摄的多张路面病害图像进行病害类型标注后，与UAPD数据集一起构成训练数据集；
训练模块，用于根据所述训练数据集，采用Focalloss损失函数对改进的YOLO v4进行训练，获得YOLO v4目标检测模型；
检测模块，用于将无人机实时拍摄的路面病害图像输入YOLO v4目标检测模型，输出路面病害类型。
7.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的基于YOLO v4的无人机影像路面病害检测方法。
8.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被执行时实现如权利要求1至5中任一项所述的基于YOLO v4的无人机影像路面病害检测方法。
CN202211660091.2A 2022-12-23 2022-12-23 基于YOLO v4的无人机影像路面病害检测方法 Active CN116310785B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211660091.2A CN116310785B (zh) 2022-12-23 2022-12-23 基于YOLO v4的无人机影像路面病害检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211660091.2A CN116310785B (zh) 2022-12-23 2022-12-23 基于YOLO v4的无人机影像路面病害检测方法

Publications (2)

Publication Number Publication Date
CN116310785A true CN116310785A (zh) 2023-06-23
CN116310785B CN116310785B (zh) 2023-11-24

Family

ID=86817466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211660091.2A Active CN116310785B (zh) 2022-12-23 2022-12-23 基于YOLO v4的无人机影像路面病害检测方法

Country Status (1)

Country Link
CN (1) CN116310785B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958825A (zh) * 2023-08-28 2023-10-27 中国公路工程咨询集团有限公司 一种移动式遥感图像采集方法及公路维护监测方法
CN117011688A (zh) * 2023-07-11 2023-11-07 广州大学 一种水下结构病害的识别方法、系统及存储介质
CN117079256A (zh) * 2023-10-18 2023-11-17 南昌航空大学 基于目标检测及关键帧快速定位的疲劳驾驶检测算法
CN117541881A (zh) * 2024-01-03 2024-02-09 广东石油化工学院 一种道路损伤检测方法及系统
CN117690128A (zh) * 2024-02-04 2024-03-12 武汉互创联合科技有限公司 胚胎细胞多核目标检测系统、方法和计算机可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110894704A (zh) * 2019-11-15 2020-03-20 东南大学 一种基于无人机的公路路面病害的定位方法
CN112101434A (zh) * 2020-09-04 2020-12-18 河南大学 基于改进YOLO v3的红外图像弱小目标检测方法
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device
CN113989230A (zh) * 2021-10-28 2022-01-28 华东交通大学 一种基于改进YOLOv4的公路路面病害检测方法
CN114220035A (zh) * 2021-12-23 2022-03-22 中科合肥智慧农业协同创新研究院 一种基于改进yolo v4的快速害虫检测方法
CN114359387A (zh) * 2022-01-06 2022-04-15 东北林业大学 基于改进yolov4算法的袋料栽培香菇检测方法
CN114419659A (zh) * 2021-12-13 2022-04-29 中南大学 一种复杂场景下的安全帽佩戴检测方法
US20220163455A1 (en) * 2020-11-23 2022-05-26 Engage Jeweler, Llc System for analyzing a composite object in an image to determine ring characteristics using staged machine learning models
CN115240259A (zh) * 2022-07-27 2022-10-25 西安电子科技大学 一种基于yolo深度网络的课堂环境下人脸检测方法及其检测系统
CN115331141A (zh) * 2022-08-03 2022-11-11 天津大学 一种基于改进YOLO v5的高空烟火检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110894704A (zh) * 2019-11-15 2020-03-20 东南大学 一种基于无人机的公路路面病害的定位方法
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device
CN112101434A (zh) * 2020-09-04 2020-12-18 河南大学 基于改进YOLO v3的红外图像弱小目标检测方法
US20220163455A1 (en) * 2020-11-23 2022-05-26 Engage Jeweler, Llc System for analyzing a composite object in an image to determine ring characteristics using staged machine learning models
CN113989230A (zh) * 2021-10-28 2022-01-28 华东交通大学 一种基于改进YOLOv4的公路路面病害检测方法
CN114419659A (zh) * 2021-12-13 2022-04-29 中南大学 一种复杂场景下的安全帽佩戴检测方法
CN114220035A (zh) * 2021-12-23 2022-03-22 中科合肥智慧农业协同创新研究院 一种基于改进yolo v4的快速害虫检测方法
CN114359387A (zh) * 2022-01-06 2022-04-15 东北林业大学 基于改进yolov4算法的袋料栽培香菇检测方法
CN115240259A (zh) * 2022-07-27 2022-10-25 西安电子科技大学 一种基于yolo深度网络的课堂环境下人脸检测方法及其检测系统
CN115331141A (zh) * 2022-08-03 2022-11-11 天津大学 一种基于改进YOLO v5的高空烟火检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GEGE GUO等: "Road damage detection algorithm for improved YOLOv5", 《SCIENTIFIC REPORTS》, pages 1 - 12 *
ZHI QIU等: "Application of an improved YOLOv5 algorithm in real-time detection of foreign objects by ground penetrating radar", 《REMOTE SENSING》, vol. 14, no. 8, pages 1 - 25 *
罗晖等: "基于改进YOLOv4的公路路面病害检测算法", 《激光与光电子学进展》, vol. 58, no. 14, pages 336 - 344 *
陈帅等: "改进Yolov5的手语字母识别算法研究[J/OL]", 《小型微型计算机系统》, pages 3 *
高玮玮等: "嵌入SENet的改进YOLOv4眼底图像微动脉瘤自动检测算法", 《生物医学工程学杂志》, vol. 39, no. 04, pages 713 - 720 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011688A (zh) * 2023-07-11 2023-11-07 广州大学 一种水下结构病害的识别方法、系统及存储介质
CN117011688B (zh) * 2023-07-11 2024-03-08 广州大学 一种水下结构病害的识别方法、系统及存储介质
CN116958825A (zh) * 2023-08-28 2023-10-27 中国公路工程咨询集团有限公司 一种移动式遥感图像采集方法及公路维护监测方法
CN116958825B (zh) * 2023-08-28 2024-03-22 中国公路工程咨询集团有限公司 一种移动式遥感图像采集方法及公路维护监测方法
CN117079256A (zh) * 2023-10-18 2023-11-17 南昌航空大学 基于目标检测及关键帧快速定位的疲劳驾驶检测算法
CN117079256B (zh) * 2023-10-18 2024-01-05 南昌航空大学 基于目标检测及关键帧快速定位的疲劳驾驶检测算法
CN117541881A (zh) * 2024-01-03 2024-02-09 广东石油化工学院 一种道路损伤检测方法及系统
CN117541881B (zh) * 2024-01-03 2024-04-16 广东石油化工学院 一种道路损伤检测方法及系统
CN117690128A (zh) * 2024-02-04 2024-03-12 武汉互创联合科技有限公司 胚胎细胞多核目标检测系统、方法和计算机可读存储介质
CN117690128B (zh) * 2024-02-04 2024-05-03 武汉互创联合科技有限公司 胚胎细胞多核目标检测系统、方法和计算机可读存储介质

Also Published As

Publication number Publication date
CN116310785B (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
CN116310785B (zh) 基于YOLO v4的无人机影像路面病害检测方法
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
Liu et al. FPCNet: Fast pavement crack detection network based on encoder-decoder architecture
CN110929577A (zh) 一种基于YOLOv3的轻量级框架改进的目标识别方法
CN114897779B (zh) 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置
CN107133943A (zh) 一种防震锤缺陷检测的视觉检测方法
CN110532946B (zh) 一种基于卷积神经网络识别绿通车车辆轴型的方法
CN114627383B (zh) 一种基于度量学习的小样本缺陷检测方法
CN111401418A (zh) 一种基于改进Faster r-cnn的员工着装规范检测方法
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN114120317B (zh) 基于深度学习和图像处理的光学元件表面损伤识别方法
CN112633149A (zh) 一种域自适应雾天图像目标检测方法和装置
CN111540203B (zh) 基于Faster-RCNN调节绿灯通行时间的方法
CN115170529A (zh) 基于注意力机制的多尺度微小瑕疵检测方法
CN113628297A (zh) 一种基于注意力机制和迁移学习的covid-19深度学习诊断系统
CN116597224A (zh) 基于改进yolo v8网络模型的马铃薯缺陷检测方法
CN113221943B (zh) 一种柴油车黑烟图像识别方法、系统及存储介质
CN115830302B (zh) 一种多尺度特征提取融合配电网设备定位识别方法
CN116912625A (zh) 一种基于先验缺陷特征与sspcab注意力机制的数据增强方法
CN111339950B (zh) 一种遥感图像目标检测方法
Xu et al. Research on improved residual network classification method for defect recognition of thermal battery
CN110533098B (zh) 一种基于卷积神经网络识别绿通车车厢装载类型的方法
CN111881932B (zh) 一种军用飞机的FasterRCNN目标检测算法
CN115019039A (zh) 一种结合自监督和全局信息增强的实例分割方法及系统
CN115063679A (zh) 一种基于深度学习的路面质量评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant