CN116681657A - 基于改进YOLOv7模型的沥青路面病害检测方法 - Google Patents

基于改进YOLOv7模型的沥青路面病害检测方法 Download PDF

Info

Publication number
CN116681657A
CN116681657A CN202310561743.5A CN202310561743A CN116681657A CN 116681657 A CN116681657 A CN 116681657A CN 202310561743 A CN202310561743 A CN 202310561743A CN 116681657 A CN116681657 A CN 116681657A
Authority
CN
China
Prior art keywords
asphalt pavement
yolov7
model
improved
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310561743.5A
Other languages
English (en)
Other versions
CN116681657B (zh
Inventor
但汉成
颜鹏
山宏宇
李绪干
菅永明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202310561743.5A priority Critical patent/CN116681657B/zh
Publication of CN116681657A publication Critical patent/CN116681657A/zh
Application granted granted Critical
Publication of CN116681657B publication Critical patent/CN116681657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于改进YOLOv7模型的沥青路面病害检测方法，包括：获取沥青路面病害图像数据集；构建包含CSPNeXt模块的YOLOv7目标检测模型，并加入移动网络注意力机制，得到改进YOLOv7目标检测模型；利用K均值聚类算法对改进YOLOv7目标检测模型的锚框进行重新设计；利用沥青路面病害图像数据集对改进YOLOv7目标检测模型进行初步训练，并通过二次标注法进行纠错优化，得到沥青路面病害识别模型；将待检测沥青路面图像输入沥青路面病害识别模型进行识别，获得沥青路面病害检测结果。本发明能够迅速又精准地检测沥青路面病害，为沥青路面养护提供指导。

Description

基于改进YOLOv7模型的沥青路面病害检测方法
技术领域
本发明涉及公路路面养护技术领域，尤其涉及一种基于改进YOLOv7模型的沥青路面病害检测方法。
背景技术
今年来，随着我国基础建设工程的不断完善，现代化建设的快速发展，基础设备网络规模跃居世界前列，随着公路里程的不断增加，公路的持续运营及路面养护工作越发重要，而快速又准确的获取道路路面信息是公路养护管理的关键所在。
路面检测技术的发展总体上历经了三个阶段：人工检测、半自动化检测和无损自动检测。由于人工检测方法取决于检测人员的知识和经验，检测结果容易受到人为因素的影响。近年来，基于图像识别的路面病害检测成为主流的路面损坏检测方法。而在实际工作中，路面病害的快速准确识别仍是一个难题。
目前，许多学者都对基于路面检测车的全自动路面信息采集与目标检测方法的结合颇感兴趣，希望借此来实现沥青路面病害的精确快速识别。而在目标检测方法方面，两阶段网络由于复杂的网路结构，例如Mask-RCNN、Faster-RCNN等，检测速度普遍劣于一阶段网络，而在一阶段网络方面，YOLO系列(从V1到V5)模型一直以来广受关注，而目前最新的YOLO系列模型YOLOv7在沥青路面检测方面的应用空白。
基于此，如何在YOLOv7模型的基础网络结构的基础上，对YOLOv7模型进行特化改进，使其适用于沥青路面病害检测，并提高沥青路面病害检测的速度和精准度是当前需要解决的技术问题。
发明内容
基于此，本发明实施例提供一种基于改进YOLOv7模型的沥青路面病害检测方法，旨在解决背景技术中存在的上述技术问题。
为解决上述问题，本发明实施例提供了一种基于改进YOLOv7模型的沥青路面病害检测方法，包括：
获取沥青路面病害图像数据集；
构建包含CSPNeXt模块的YOLOv7目标检测模型，并向YOLOv7目标检测模型加入移动网络注意力机制，得到改进YOLOv7目标检测模型；
利用K均值聚类算法对改进YOLOv7目标检测模型的锚框进行重新设计；
利用所述沥青路面病害图像数据集对所述改进YOLOv7目标检测模型进行初步训练；
通过二次标注法对初步训练后的改进YOLOv7目标检测模型进行纠错优化，得到沥青路面病害识别模型；
利用所述沥青路面病害识别模型对待检测沥青路面图像进行识别，获得沥青路面病害检测结果。
上述基于改进YOLOv7模型的沥青路面病害检测方法，首先使用CSPNeXt模块代替YOLOv7模型中的ELAN模块来构建YOLOv7目标检测模型，在实现模型轻量化的同时，减少了计算量，提升了检测精度；然后采用移动网络注意力机制与K均值聚类算法对YOLOv7目标检测模型进一步优化，进一步提高检测精度和检测效率；最后，采用二次标注法对改进YOLOv7目标检测进行训练，在扩充沥青路面病害图像数据集的同时，对模型纠错，进一步提升检测精度，实现了迅速又精准地检测沥青路面病害，为沥青路面养护提供指导的目的。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的基于改进YOLOv7模型的沥青路面病害检测方法的流程图；
图2示出了本发明实施例中的CSPNeXt模块的结构示意图；
图3示出了本发明实施例中的改进YOLOv7目标检测模型的结构示意图。
图4示出了本发明实施例中的改进YOLOv7目标检测模型中的各模块的结构示意图；
图5示出了本发明实施例中的移动网络注意力模块的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的方法的例子。
如图1所示，本发明实施例所提供的一种基于改进YOLOv7模型的沥青路面病害检测方法的流程图，该方法包括以下步骤：
S10，获取沥青路面病害图像数据集。
在步骤S10中，所述沥青路面病害图像数据集可以是由第一预设数量的包含标注信息的沥青路面缺陷图像构成，用于改进YOLOv7目标检测模型的训练阶段，以及用于K均值聚类算法的聚类阶段。
作为优选，所述步骤S10包括以下步骤：
S101，获取第一预设数量的沥青路面图像，并对所述沥青路面图像进行病害类别标注，得到包含标注信息的沥青路面缺陷图像；
S102，根据所述沥青路面缺陷图像，构建原始数据集；
S103，对所述原始数据集中的已标注沥青路面病害图像进行预处理，得到沥青路面病害图像数据集。
在本实施例中，第一预设数量可以根据需要进行设置，例如第一预设数量设置为5800张；标注信息为一种或多种沥青路面病害类别。
具体的，首先采集5800张沥青路面图像，包括五种类别的沥青路面病害，分别为条状修补、块状修补、裂缝、路面龟裂和路面松散，并对各张沥青路面图像进行病害类别标注，得到包含标注信息的沥青路面缺陷图像。
然后，由5800张包含标注信息的沥青路面缺陷图像构成原始数据集，并对原始数据集中的所有图像进行图像增强、图像去噪等预处理后，得到沥青路面病害图像数据集。
在一可选实施例中，所述步骤S103可以包括以下步骤：
S1031，对所述原始数据集中的沥青路面缺陷图像进行直方图均衡化增强。
在步骤S1031中，采用直方图均衡化对沥青路面缺陷图像进行图像增强。通过对沥青路面缺陷图像中像素个数多的灰度值进行展宽，对像素个数少的灰度值进行并归，从而使得沥青路面缺陷图像的灰度呈均匀概率分布，增大对比度，使图像清晰，达到图像增强的目的。其中，对沥青路面缺陷图像进行直方图均衡化的计算公式为：
上式中，Sk为新灰度值；Γ(rk)为原始灰度级rk的映射函数；nj为沥青路面缺陷图像中属于灰度级rj的像素个数；k为灰度级范围，且k＝0,1,2,…,L-1；L为灰度级总数。
沥青路面缺陷图像中属于灰度级rj的像素个数nj可以表示为：
nj＝pr(rj)*MN，
上式中，pr(rj)为沥青路面缺陷图像中灰度级rj的出现概率；MN为像素总数。
S1032，对直方图均衡化后的沥青路面缺陷图像进行高斯模糊处理。
在步骤S1032中，使用高斯模糊算法对直方图均衡化后的沥青路面缺陷图像进行图像降噪。高斯模糊算法进行图像降噪的原理是对沥青路面缺陷图像进行卷积，对像素点周围的像素点进行加权平均运算，以代替该像素点像素值。可选地，周围像素点的权值参数，由离散化的零均值高斯滤波函数求得，该零均值高斯滤波函数为：
上式中，Hi,j为沥青路面缺陷图像中第i行和第j列的像素点的权值；σ为高斯滤波器宽度；i、j为像素点相对于高斯核的坐标；k为高斯滤波的大小。
从零均值高斯滤波函数可以看出，离高斯核越近，像素点的权值参数也就越大。其中，高斯核大小为(2k+1)2。
高斯滤波器宽度σ与平滑程度相关，高斯滤波器宽度越大，高斯滤波器频带越宽，平滑程度越好。在本实施例中，在高斯滤波器宽度σ设置为1时，可以在较好保留图像边缘信息的情况下，实现较好的平滑效果。
S1033，根据高斯模糊后的沥青路面缺陷图像，构建沥青路面病害图像数据集。
可以理解的是，本实施例通过对沥青路面缺陷图像进行直方图均衡化增强和高斯模糊处理，突出了沥青路面缺陷图像中的目标特征，将其与背景作出明显区别，更有利于后续改进YOLOv7目标检测模型训练。
S20，构建包含CSPNeXt模块的YOLOv7目标检测模型，并加入移动网络注意力机制，得到改进YOLOv7目标检测模型。
在本实施例中，参考如图2所示的CSPNeXt模块的结构示意图，所述CSPNeXt模块(CSPNeXt Module)包含三个二维卷积模块(ConvModule)、多个CSPNeXt块(CSPNeXt Block)和一个通道注意力模块(Channel Attention Module)。
所述二维卷积模块由二维卷积层(Conv2d)、批量归一化层(BatchNorm，BN)和第一激活函数层组成，所述二维卷积层的卷积核大小为3*3，所述第一激活函数为SiLU激活函数。
参考图2所示的CSPNeXt块的结构示意图，所述CSPNeXt块由一个一维卷积模块和一个深度可分离卷积模块组成；一维卷积模块由一维卷积层(Conv)、批量归一化层和第一激活函数层组成，所述卷积层的卷积核大小为3*3；所述深度可分离卷积模块由深度可分离卷积层(Depthwise Conv)、批量归一化层和第一激活函数层组成，所述深度可分离卷积层的卷积核大小为5*5。
所述通道注意力模块由二元自适应均值汇聚层(AdaptiveAvgPool2d)、二维卷积层和第二激活函数层组成，所述二维卷积层的卷积核为1x1，所述第二激活函数为HardSigmoid激活函数。
在步骤S20中，对于现有的YOLOv7模型，将原骨干网络和原头部网络中的大部分ELAN模块替换为CSPNeXt模块，CSPNeXt模块采用深度可分离卷积，在扩大感受野的同时，降低了参数量与运算成本，即CSPNeXt模块通过深度可分离卷积以合理的运算成本扩大感受野，有效提高了准确性。
进一步地，引入移动网络注意力(Coordinate Attention)机制对YOLOv7模型的原头部网络进行改进，可以进一步提高检测精度。
作为优选，所述步骤S20可以包括以下步骤：
S201，构建CSPNeXt模块；所述CSPLayer模块包含三个二维卷积模块、多个CSPNeXt块和一个通道注意力模块；所述二维卷积模块由二维卷积层、批量归一化层和第一激活函数层组成；所述CSPNeXt块由一个一维卷积模块和一个深度可分离卷积模块组成；所述通道注意力模块由二元自适应均值汇聚层、二维卷积层和第二激活函数层组成。
S202，使用CSPNeXt模块替换YOLOv7模型中的部分ELAN模块，得到包含CSPNeXt模块的YOLOv7目标检测模型；
作为优选，所述步骤S202可以包括以下步骤：
对于所述YOLOv7模型的骨干网络，将第一个ELAN模块和最后一个ELAN模块用CSPNeXt模块进行替换，并在所述CSPNeXt模块之后加入二维卷积模块；同时对于所述YOLOv7模型的头部网络，将所有的ELAN模块用CSPNeXt模块进行替换。
S203，引入移动网络注意力机制对YOLOv7目标检测模型的骨干网络进行改进，得到改进YOLOv7目标检测模型。
在本实施例中，参考图3所示的改进YOLOv7目标检测模型的结构示意图，所述改进YOLOv7目标检测模型包含输入网络(Input Network)、骨干网络(Backbone Network)和头部网络(Head Network)。
所述输入网络由输入层(Input)、增强层(Mosaic)和重塑层(Reshape)组成；输入层用于获取输入的沥青路面图像；增强层用于对沥青路面图像进行增强处理；重塑层用于将增强后的沥青路面图像转换为标准尺寸大小的沥青路面图像，并将标准尺寸大小的沥青路面图像输入骨干网络。可理解的，本实施例的输入网络，通过输入层获取原始的沥青路面图像，通过增强层进行图像增强处理后，进一步通过重塑层将增强后的沥青路面图像转换为640*640*3的沥青路面图像，并输入骨干网络。
所述骨干网络包含13层，其中第1至4层、第6层以及第13层均为CBS模块，第5层和第12层均为CSPNeXt模块，第7层、第9层和第11层均为第一下采样模块(MP-1)，第8层和第10层均为ELAN模块；其中，第1层的CBS模块(Conv+BN+SiLU)用于获取输入子网络输出的沥青路面图像，并进行卷积操作后，得到尺寸大小为640*640*32的特征图输出至下一层的卷积模块；第13层的CBS模块用于获取上一层CSPNeXt模块输入的尺寸大小为20*20*1024的特征图，并进行卷积操作后，得到尺寸大小为20*20*256的特征图(C3)输出至头部网络；其余层的CBS模块用于获取上一层输入的特征图，并进行卷积操作后，得到对应尺寸的特征图输出至下一层；CSPNeXt模块用于获取上一层输入的特征图，并进行深度可分离卷积操作后，得到对应尺寸的特征图输出至下一层；第一下采样模块用于获取上一层输入的特征图，并进行下采样操作后，得到对应尺寸的特征图输出至下一层；ELAN模块用于获取上一层输入的特征图，并进行多层卷积操作后，得到对应尺寸的特征图(C1和C2)输出至下一层以及头部网络。可理解的，本实施例的骨干网络，通过上述13层结构可以提取到三种不同尺寸大小的有效特征图。
进一步地，参考图4所示的第一下采样模块的结构示意图，所述第一下采样模块包含2条支路，第一条支路由一个最大池化层和一个CBS模块组成，第二条支路由两个CBS模块组成。
进一步地，参考图4所示的ELAN模块的结构示意图，所述ELAN模块包含八个CBS模块。
所述头部网络采用PAFPN网络结构，包含2条跨链接通道、1条上采样支路、1条下采样支路和3条输出支路。所述跨链接通道包含一个CBS模块。所述上采样支路由一个改进空间金字塔池化模块(SPPCSP)、两个CBS模块、两个上采样模块(UPSample)、两个特征融合层(Cat)和两个CSPNeXt模块组成。其中，改进空间金字塔池化模块用于接收骨干网络最后一层CBS模块输出的特征图(C3)，经过金字塔池化后，得到尺寸大小为20*20*512的特征图(P1)输出至下采样支路；上采样模块用于接收通过CBS模块处理后的特征图，并进行下采样操作后，得到对应尺寸的特征图输出至特征融合层；特征融合层用于接收上采样模块输出的特征图和跨链接通道输出的特征图，并进行特征融合后，得到新的特征图输入至CSPNeXt模块；CSPNeXt模块用于接收特征融合层输出的新的特征图，并进行深度可分离卷积操作后，得到对应尺寸的特征图(P2、P3)输出至下一层、下采样支路以及第一条输出支路。
进一步地，参考图4所示的改进空间金字塔池化模块的结构示意图，所述改进空间金字塔池化模块包含七个CBS模块和三个最大池化层。
所述下采样支路包含从上到下依次连接的基于移动网络注意力机制的下采样模块(MP-CP)、第一特征融合层、第一CSPNeXt模块、第二下采样模块(MP-2)、第二特征融合层和第二CSPNeXt模块；其中，基于移动网络注意力机制的下采样模块用于接收上采样支路中第二个CSPNeXt模块输出的特征图(P3)，并进行位置信息嵌入和位置注意力生成，得到尺寸大小为80*80*256的特征图输出至第一特征融合层；第一特征融合层用于接收上采样支路中第一个CSPNeXt模块输出的特征图(P2)和基于移动网络注意力机制的下采样模块输出的特征图，并进行特征融合后，得到尺寸大小为40*40*512的特征图输出至第一CSPNeXt模块；第一CSPNeXt模块用于接收第一特征融合层输出的特征图，并进行深度可分离卷积操作后，得到尺寸大小为40*40*256的特征图(F1)输出至第二下采样模块和第二条输出支路；第二下采样模块用于接收第一CSPNeXt模块输出的特征图，并进行下采样操作后，得到对应尺寸的特征图输出至第二特征融合层；第二特征融合层用于获取改进空间金字塔池化模块输出的特征图(P1)和第二下采样模块输出的特征图，并进行特征融合后，得到尺寸大小为20*20*1024的特征图输出至第二CSPNeXt模块；第二CSPNeXt模块用于接收第二特征融合层输出的特征图，并进行深度可分离卷积操作后，得到尺寸大小为20*20*512的特征图(F2)输出至第三条输出支路。
进一步地，参考图4所示的基于移动网络注意力机制的下采样模块的结构示意图，所述基于移动网络注意力机制的下采样模块包含一个移动网络注意力模块(CoordinateAttention Module)、一个最大池化层和两个CBS模块。
进一步地，参考图5所示的移动网络注意力模块的结构示意图，所述移动网络注意力模块包含1条残差支路和2条交叉融合支路；残差支路包含残差层(Residual)和最大池化层；2条交叉融合支路包含平均池化层(Ave Pool)、融合层(Concat)、二维卷积层(Conv2d)、含非线性激活函数(Non-linear)的批量归一化层以及Sigmoid激活函数。
所述三条输出支路均由重参数卷积模块(REP)和卷积核为1*1的卷积层组成；其中，第一条输出支路用于根据上采样支路中第二个CSPNeXt模块输出的特征图(P3)经过重参数化卷积操作后，得到目标检测置信度；第一条输出支路用于根据下采样支路中第一CSPNeXt模块输出的特征图(F1)经过重参数化卷积操作后，得到沥青路面病害类别；第三条输出支路用于根据下采样支路中第二CSPNeXt模块输出的特征图(F2)经过重参数化卷积操作后，得到沥青路面病害位置。
可理解的，对于头部网络，首先通过改进空间金字塔池化层获取骨干网络输出的特征图C3，经过金字塔池化处理后，得到直接利用的特征图P1；然后按照从下到上的方式和骨干网络输出的特征图C2、特征图C1进行融合，得到融合后的特征图P2、P3；接下来，除骨干网络最后输出的特征图P3之外，按照从上到下的方式和特征图P2、P1进一步融合。改进后的头部网络整体与YOLOv7模型的原头部网络类似，其中ELAN模块被替换为CSPNeXt模块，再在采样通道处插入移动网络注意力机制，帮助快速定位缺陷，提高检测精度。对于PAFPN输出的特征图P1、F1和F2，经过重参数化卷积层(RepConv)调整通道数，最后采用卷积核为1x1的卷积层(Conv)去预测目标检测置信度、沥青路面病害类别和沥青路面病害位置三部分，从而得到沥青路面病害检测结果。
S30，利用K均值聚类算法对所述改进YOLOv7目标检测模型的锚框进行重新设计。
作为优选，步骤S30具体包括以下步骤：
S301，将所述沥青路面病害图像数据集划分为K个图像数据子集，并选取K个沥青路面缺陷图像设为初始的聚类中心；
S302，对于每个所述图像数据子集，获取每个所述沥青路面缺陷图像与每个所述聚类中心之间的距离，将每个所述沥青路面缺陷图像分配至最近的聚类中心，以生成面向所述沥青路面病害图像数据集的锚框。
在本实施例中，由于YOLOv7模型中预先设置的锚框不能保证能够较好地匹配数据集，因此使用K均值聚类算法对沥青路面病害图像数据集进行聚类。具体的，预先将沥青路面病害图像数据集中的沥青路面缺陷图像分为K组，并随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离(相似程度)，把每个对象分配给距离它最近的聚类中心，来生成更适合沥青路面病害图像数据集的锚框。
可理解的，本实施例通过K均值聚类算法进行聚类生成不同大小的锚框，与相应特征图匹配，有效提高了检测精度。
S40，利用所述沥青路面病害图像数据集对所述改进YOLOv7目标检测模型进行初步训练。
作为优选，所述步骤S40具体包括以下步骤：
S401，初始化所述改进YOLOv7目标检测模型的模型参数；
S402，将所述沥青路面病害图像数据集中的沥青路面缺陷图像输入所述改进YOLOv7目标检测模型进行识别，获取初步检测结果；
S403，将所述初步检测结果和所述沥青路面缺陷图像的标注信息输入至预设的优化损失函数，得到损失值；
S404，基于所述损失值，通过梯度下降算法优化所述改进YOLOv7目标检测模型的模型参数，并在达到初步训练停止条件时，得到初步训练后的改进YOLOv7目标检测模型。
在本实施例中，所述优化损失函数为OTA损失函数。
更具体的，在模型初步训练阶段，将沥青路面病害图像数据集中的沥青路面缺陷图像输入改进YOLOv7目标检测模型，此时，改进YOLOv7目标检测模型首先通过输入网络对各沥青路面缺陷图像进行图像增强和图像重塑处理后，得到标准尺寸大小的沥青路面图像，然后通过骨干网络对标准尺寸大小的沥青路面图像进行深度可分离卷积和下采样等处理，得到三种不同尺寸的特征图，最后通过头部网络的上采样支路对三种不同尺寸的特征图进行金字塔池化和深度可分离卷积等操作，得到初步融合后的特征图，通过头部网络的下采样支路对初步融合后的特征图进行位置信息嵌入、位置注意力生成和深度可分离卷积等处理后，得到二次融合后的特征图，并通过头部网络的三条输出支路对二次融合后的特征图进行重参数化卷积处理后，分别得到目标检测置信度、沥青路面病害类别和沥青路面病害位置，组合得到初步检测结果。
进一步地，将初步检测结果和沥青路面缺陷图像的标注信息输入至OTA损失函数，得到损失值，结合梯度下降算法优化改进YOLOv7目标检测模型的模型参数，并在损失值达到预设的损失阈值或者当前迭代次数达到预设的初步训练迭代次数时，确定迭代停止，保留优化后的模型参数，并输出初步训练后的改进YOLOv7目标检测模型。
S50，通过二次标注法对初步训练后的改进YOLOv7目标检测模型进行纠错优化，得到沥青路面病害识别模型。
作为优选，所述步骤S50包括以下步骤：
S501，获取第二预设数量的沥青路面图像输入至初步训练后的改进YOLOv7目标检测模型进行识别，获得对应的路面检测结果；
S502，将所述路面检测结果反向导入标注软件中，得到路面缺陷自动标注框；
S503，利用路面缺陷手动标记框对所述路面缺陷自动标注框进行修正，并根据修正后的路面缺陷自动标注框对所述沥青路面图像进行标记；
S504，根据标记好的沥青路面图像扩充所述沥青路面病害图像数据集，以对所述初步训练后的改进YOLOv7目标检测模型进行二次训练，得到沥青路面病害识别模型。
在本实施例中，所述第二预设数量根据需要进行设置，例如，第二预设数量设置为1000张。
具体的，首先获取额外的1000张沥青路面图像，并采用人为辨别的方式获取每张沥青路面图像的路面缺陷手动标记框；然后通过初步训练后的改进YOLOv7目标检测模型对1000张沥青路面图像进行识别，获得路面检测结果，并将路面检测结果反向导入标注软件中，得到路面缺陷自动标注框；接下来，利用路面缺陷手动标记框对路面缺陷自动标注框进行修正，根据修正后的路面缺陷自动标注框生成包含路面缺陷标注框的沥青路面图像，并加入沥青路面病害图像数据集，完成数据集扩充；最后，利用扩充后的沥青路面病害图像数据集对初步训练后的改进YOLOv7目标检测模型进行二次训练，在达到二次训练停止条件时，停止训练，得到沥青路面病害识别模型。
可理解的是，二次标注法的优势在于按纠正模型错误的思路，通过数据集内相同内容的不同标记改善学习效率，提升了识别准确率上限，同时对数据集进行了扩充。相较于普通训练方法，二次标注法可以加快和提升训练的效果。
S60，将待检测沥青路面图像输入所述沥青路面病害识别模型进行识别，获得沥青路面病害检测结果。
在步骤S60中，所述待检测沥青路面图像为实时采集的沥青路面图像；所述沥青路面病害检测结果包含沥青路面病害类别和沥青路面病害位置。
也即，获取待检测沥青路面图像，将待检测沥青路面图像输入步骤S50得到的沥青路面病害识别模型，通过沥青路面病害识别模型对待检测沥青路面图像进行分类识别，从而得到沥青路面病害类别和沥青路面病害位置。
综上所述，本实施例提供的基于改进YOLOv7模型的沥青路面病害检测方法，首先使用CSPNeXt模块代替YOLOv7模型中的ELAN模块来构建YOLOv7目标检测模型，在实现模型轻量化的同时，减少了计算量，提升了检测精度；然后采用移动网络注意力机制与K均值聚类算法对YOLOv7目标检测模型进一步优化，进一步提高检测精度和检测效率；最后，采用二次标注法对改进YOLOv7目标检测进行训练，在扩充沥青路面病害图像数据集的同时，对模型纠错，进一步提升检测精度，实现了迅速又精准地检测沥青路面病害，为沥青路面养护提供指导的目的。
需要说明的是，在本发明的描述中，参考术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (9)

1.一种基于改进YOLOv7模型的沥青路面病害检测方法，其特征在于，包括：
获取沥青路面病害图像数据集；
构建包含CSPNeXt模块的YOLOv7目标检测模型，并加入移动网络注意力机制，得到改进YOLOv7目标检测模型；
利用K均值聚类算法对改进YOLOv7目标检测模型的锚框进行重新设计；
利用所述沥青路面病害图像数据集对所述改进YOLOv7目标检测模型进行初步训练；
通过二次标注法对初步训练后的改进YOLOv7目标检测模型进行纠错优化，得到沥青路面病害识别模型；
将待检测沥青路面图像输入所述沥青路面病害识别模型进行识别，获得沥青路面病害检测结果。
2.根据权利要求1所述的基于改进YOLOv7模型的沥青路面病害检测方法，其特征在于，所述获取沥青路面病害图像数据集，包括：
获取第一预设数量的沥青路面图像，并对所述沥青路面图像进行病害类别标注，得到包含标注信息的沥青路面缺陷图像；
根据所述沥青路面缺陷图像，构建原始数据集；
对所述原始数据集中的沥青路面缺陷图像进行预处理，得到沥青路面病害图像数据集。
3.根据权利要求2所述的基于改进YOLOv7模型的沥青路面病害检测方法，其特征在于，所述对所述原始数据集中的沥青路面缺陷图像进行预处理，得到沥青路面病害图像数据集，包括：
对所述原始数据集中的沥青路面缺陷图像进行直方图均衡化增强；
对直方图均衡化后的沥青路面缺陷图像进行高斯模糊处理；
根据高斯模糊后的沥青路面缺陷图像，构建沥青路面病害图像数据集。
4.根据权利要求1所述的基于改进YOLOv7模型的沥青路面病害检测方法，其特征在于，所述构建包含CSPNeXt模块的YOLOv7目标检测模型，并加入移动网络注意力机制，得到改进YOLOv7目标检测模型，包括：
构建CSPNeXt模块；所述CSPLayer模块包含三个二维卷积模块、多个CSPNeXt块和一个通道注意力模块；所述二维卷积模块由二维卷积层、批量归一化层和第一激活函数层组成；所述CSPNeXt块由一个一维卷积模块和一个深度可分离卷积模块组成；所述通道注意力模块由二元自适应均值汇聚层、二维卷积层和第二激活函数层组成；
使用CSPNeXt模块替换YOLOv7模型中的部分ELAN模块，得到包含CSPNeXt模块的YOLOv7目标检测模型；
引入移动网络注意力机制对YOLOv7目标检测模型的骨干网络进行改进，得到改进YOLOv7目标检测模型。
5.根据权利要求1所述的基于改进YOLOv7模型的沥青路面病害检测方法，其特征在于，所述使用CSPNeXt模块替换YOLOv7模型中的部分ELAN模块，包括：
对于所述YOLOv7模型的原骨干网络，将第一个ELAN模块和最后一个ELAN模块用CSPNeXt模块进行替换，并在所述CSPNeXt模块之后加入二维卷积模块；
对于所述YOLOv7模型的原头部网络，将所有的ELAN模块用CSPNeXt模块进行替换。
6.根据权利要求2所述的基于改进YOLOv7模型的沥青路面病害检测方法，其特征在于，所述利用K均值聚类算法对所述改进YOLOv7目标检测模型的锚框进行重新设计，包括：
将所述沥青路面病害图像数据集划分为K个图像数据子集，并选取K个沥青路面缺陷图像设为初始的聚类中心；
对于每个所述图像数据子集，获取每个所述沥青路面缺陷图像与每个所述聚类中心之间的距离，将每个所述沥青路面缺陷图像分配至最近的聚类中心，以生成面向所述沥青路面病害图像数据集的锚框。
7.根据权利要求6所述的基于改进YOLOv7模型的沥青路面病害检测方法，其特征在于，所述利用所述沥青路面病害图像数据集对所述改进YOLOv7目标检测模型进行初步训练，包括：
初始化所述改进YOLOv7目标检测模型的模型参数；
将所述沥青路面病害图像数据集中的沥青路面缺陷图像输入所述改进YOLOv7目标检测模型进行识别，获取初步检测结果；
将所述初步检测结果和所述沥青路面缺陷图像的标注信息输入至预设的优化损失函数，得到损失值；
基于所述损失值，通过梯度下降算法优化所述改进YOLOv7目标检测模型的模型参数，并在达到初步训练停止条件时，得到初步训练后的改进YOLOv7目标检测模型。
8.根据权利要求7所述的基于改进YOLOv7模型的沥青路面病害检测方法，其特征在于，所述优化损失函数为OTA损失函数。
9.根据权利要求7所述的基于改进YOLOv7模型的沥青路面病害检测方法，其特征在于，所述利用所述沥青路面病害图像数据集对所述改进YOLOv7目标检测模型进行初步训练，包括：
获取第二预设数量的沥青路面图像输入至初步训练后的改进YOLOv7目标检测模型进行识别，获得对应的路面检测结果；
将所述路面检测结果反向导入标注软件中，得到路面缺陷自动标注框；
利用路面缺陷手动标记框对所述路面缺陷自动标注框进行修正，并根据修正后的路面缺陷自动标注框对所述沥青路面图像进行标记；
根据标记好的沥青路面图像扩充所述沥青路面病害图像数据集，以对所述初步训练后的改进YOLOv7目标检测模型进行二次训练，得到沥青路面病害识别模型。
CN202310561743.5A 2023-05-18 2023-05-18 基于改进YOLOv7模型的沥青路面病害检测方法 Active CN116681657B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310561743.5A CN116681657B (zh) 2023-05-18 2023-05-18 基于改进YOLOv7模型的沥青路面病害检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310561743.5A CN116681657B (zh) 2023-05-18 2023-05-18 基于改进YOLOv7模型的沥青路面病害检测方法

Publications (2)

Publication Number Publication Date
CN116681657A true CN116681657A (zh) 2023-09-01
CN116681657B CN116681657B (zh) 2024-03-22

Family

ID=87780059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310561743.5A Active CN116681657B (zh) 2023-05-18 2023-05-18 基于改进YOLOv7模型的沥青路面病害检测方法

Country Status (1)

Country Link
CN (1) CN116681657B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591606A (zh) * 2021-07-08 2021-11-02 武汉理工大学 沥青路面隐藏病害识别方法、装置、电子设备及存储介质
CN113989230A (zh) * 2021-10-28 2022-01-28 华东交通大学 一种基于改进YOLOv4的公路路面病害检测方法
US20220276182A1 (en) * 2020-03-03 2022-09-01 Chang'an University Method for constructing recognition model of moisture damage of asphalt pavement and method and system for recognizing moisture damage of asphalt pavement
CN115393587A (zh) * 2022-08-22 2022-11-25 东南大学 基于融合卷积神经网络的高速公路沥青路面病害感知方法
CN115393642A (zh) * 2022-08-22 2022-11-25 东南大学 基于目标检测的高速公路沥青路面病害检测方法
CN115661032A (zh) * 2022-09-22 2023-01-31 北京工业大学 一种适用于复杂背景的路面病害智能检测方法
CN115861696A (zh) * 2022-12-06 2023-03-28 浙江师范大学 一种使用特征混合网络模型进行图像分类的方法
CN116029980A (zh) * 2022-11-18 2023-04-28 武汉科技大学 一种基于改进SegNet的沥青路面损坏检测及评估方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220276182A1 (en) * 2020-03-03 2022-09-01 Chang'an University Method for constructing recognition model of moisture damage of asphalt pavement and method and system for recognizing moisture damage of asphalt pavement
CN113591606A (zh) * 2021-07-08 2021-11-02 武汉理工大学 沥青路面隐藏病害识别方法、装置、电子设备及存储介质
CN113989230A (zh) * 2021-10-28 2022-01-28 华东交通大学 一种基于改进YOLOv4的公路路面病害检测方法
CN115393587A (zh) * 2022-08-22 2022-11-25 东南大学 基于融合卷积神经网络的高速公路沥青路面病害感知方法
CN115393642A (zh) * 2022-08-22 2022-11-25 东南大学 基于目标检测的高速公路沥青路面病害检测方法
CN115661032A (zh) * 2022-09-22 2023-01-31 北京工业大学 一种适用于复杂背景的路面病害智能检测方法
CN116029980A (zh) * 2022-11-18 2023-04-28 武汉科技大学 一种基于改进SegNet的沥青路面损坏检测及评估方法
CN115861696A (zh) * 2022-12-06 2023-03-28 浙江师范大学 一种使用特征混合网络模型进行图像分类的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YUFEI HE: "Research on underwater object detection of improved YOLOv7 model based on attention mechanism: The underwater detection module YOLOv7-C", RICAI \'22: PROCEEDINGS OF THE 2022 4TH INTERNATIONAL CONFERENCE ON ROBOTICS, INTELLIGENT CONTROL AND ARTIFICIAL INTELLIGENCE *
但汉成: "沥青路面振动碾压施工的数值仿真与工艺参数分析", 铁道科学与工程学报, vol. 19, no. 6 *
杨建华;邹俊志;: "基于机器学习的RC桥梁病害检测方法", 北方交通, no. 06 *
陈旭丹;姜男;董丽娜;田卫群;吴向菊;曾鹏飞;杨帆;: "基于深度学习YOLO模型的高原山区沥青路面病害自动识别", 公路交通科技(应用技术版), no. 11 *

Also Published As

Publication number Publication date
CN116681657B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN107368787B (zh) 一种面向深度智驾应用的交通标志识别方法
CN108776772B (zh) 一种跨时间建筑物变化检测建模方法以及检测装置、方法及存储介质
CN114120102A (zh) 边界优化的遥感图像语义分割方法、装置、设备及介质
CN112233092A (zh) 一种用于无人机电力巡检智能缺陷检测的深度学习方法
CN111126453A (zh) 基于注意力机制和切割填充的细粒度图像分类方法及系统
CN111160205B (zh) 一种交通场景嵌入式多类目标端对端统一检测方法
CN112232371B (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN109543753B (zh) 基于自适应模糊修复机制的车牌识别方法
CN106780727B (zh) 一种车头检测模型重建方法及装置
CN110807485B (zh) 基于高分遥感影像二分类语义分割图融合成多分类语义图的方法
CN112819840B (zh) 一种融合深度学习与传统处理的高精度图像实例分割方法
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN113591866A (zh) 基于db与crnn的特种作业证件检测方法及系统
CN110852358A (zh) 一种基于深度学习的车辆类型判别方法
CN116994140A (zh) 基于遥感影像的耕地提取方法、装置、设备和介质
CN113420619A (zh) 一种遥感影像建筑物提取方法
CN111414878B (zh) 一种关于地块的社会属性分析、图像处理方法及装置
CN113313031A (zh) 一种基于深度学习的车道线检测和车辆横向定位方法
CN115761297A (zh) 一种基于边缘引导的注意神经网络自动识别滑坡的方法
CN115546466A (zh) 一种基于多尺度显著特征融合的弱监督图像目标定位方法
CN113628180A (zh) 一种基于语义分割网络的遥感建筑物检测方法及系统
CN116681657B (zh) 基于改进YOLOv7模型的沥青路面病害检测方法
CN113971764B (zh) 一种基于改进YOLOv3的遥感图像小目标检测方法
CN115294548B (zh) 一种基于行方向上位置选择和分类方法的车道线检测方法
CN115689946A (zh) 图像修复方法、电子设备及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant